BAAI: bge-m3
BAAI BGE-M3 תומך באחזור צפוף, באחזור לקסיקלי דליל ובאחזור רב-וקטורי ביותר מ-100 שפות. לפלט הצפוף שלו יש 1024 ממדים, וחלון של 8192 טוקנים מאפשר לעבד ממשפטים ועד מסמכים ארוכים יותר, בלי הוראת שאילתה מחייבת.
על המודל
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
BGE-M3 הוא מודל האחזור הרב־לשוני של BAAI, שתוכנן סביב שלושה סוגי גמישות: פונקציות אחזור מרובות, שפות מרובות ואורכי קלט שונים. היצרן מתעד תמיכה ביותר ממאה שפות ובקלטים עד 8192 טוקנים. המודל המאוחד שלו יכול לספק וקטורים צפופים, משקלים לקסיקליים דלילים וייצוגים מרובי וקטורים, כך שתכנון אחזור יכול לבחור או לשלב יותר מסוג אחד של ראיות.
שלושה ייצוגים לאחזור
המצב הצפוף ממפה טקסט לווקטור יחיד בעל 1024 ממדים. הוא תומך בהשוואת המשמעות המיוצגת בשאילתה ובקטע. המצב הדליל מקצה משקלים לטוקנים הנוכחים בטקסט לצורך התאמה לקסיקלית. מצב מרובה וקטורים מייצג טקסט באמצעות כמה וקטורים ומשתמש באינטראקציה בסגנון ColBERT להשוואת השאילתה והמסמך ברמה מפורטת יותר.
לפלטים האלה יש תפקידים שונים באינדקס חיפוש. וקטור צפוף מספק ייצוג אחד לקטע; מפה דלילה של משקלי טוקנים שומרת אותות לקסיקליים; כמה וקטורים מספקים מבנה השוואה אחר. דוגמאות היצרן מראות החזרה של הייצוגים שנבחרו וחישוב ציונים לזוגות טקסטים. התייחסו לייצוג ולשיטת מתן הציונים שנבחרו כחלק מכוון ממשימת האחזור.
טקסט רב־לשוני והכנת קלט
BGE-M3 אינו דורש הוספת הוראת האחזור ששימשה מודלי BGE קודמים. הכינו ישירות את השאילתה ואת קטעי המקור בפועל. אוסף ידע רב־לשוני יכול לשמור כל קטע בשפתו המקורית, עם מזהה המסמך והלוקאל שלו. השתמשו בשאלות משתמש אמיתיות מתמהיל השפות המיועד בעת בדיקת התוצאות.
משימה מעשית היא לחפש הסברי מדיניות, עזרה למוצר או תיעוד טכני השמורים בכמה שפות. שמרו שמות, מספרי דגמים ומונחים שחשובים לשאלה. ייצוג לקסיקלי יכול לעזור לשמור התאמה למונחים האלה, ואילו ייצוג צפוף מספק ראיות סמנטיות. הקטע שאוחזר צריך לכלול את הטקסט ואת מיקום המקור שהקורא יכול לבדוק.
מסמכים ארוכים יותר ורמת פירוט
חלון הקלט בן 8192 הטוקנים מאפשר למודל לייצג חומר ממשפטים קצרים ועד מסמכים ארוכים יותר. בחרו את רמת הפירוט לפי התשובה שהחיפוש צריך להחזיר. מקטע שלם יכול לשמור הגדרה ואת החריגים שלה; קטע קטן יותר יכול להקל על איתור הוראה מסוימת. חלון ארוך מאפשר את הבחירות האלה, אך הווקטור נשאר קשור לחומר שקודד בפועל.
שמרו כל קטע מקושר למסמך האב ולגרסה שלו. בדוח ארוך, שמרו את הכותרת ואת ההסבר המקיף את האיור או המסקנה הרלוונטיים. אל תסתמכו רק על כותרת של תוצאת חיפוש כאשר הראיות נמצאות בגוף הטקסט. אם המקור משתנה, שמרו מספיק מטא־נתונים לעדכון ייצוגי האחזור המתאימים.
ציונים היברידיים ושימוש בהמשך
היצרן ממליץ על אחזור היברידי ולאחריו שלב נפרד של דירוג מחדש. הדוגמאות שלו מחשבות ציונים צפופים, דלילים ומרובי וקטורים ויוצרות שילובים משוקללים. בחרו את השילוב לפי שאלות האוסף ואוצר המילים שלו; משקל המוצג בדוגמה אינו הגדרה אוניברסלית לכל קורפוס.
תוצאה שימושית היא קבוצת מועמדים שקטעי המקור שלה נשארים זמינים, עם תיעוד של הייצוג ושל שיטת הדירוג. מדרג מחדש נפרד יכול לחדד את הקבוצה הזאת, ושלב נפרד של יצירת טקסט יכול להשתמש בתוכן הקטעים. היכולות הדלילות ומרובות הווקטורים של BGE-M3 הן מצבים של מודל היצרן; ההטמעה הצפופה, הפלט הלקסיקלי וציון הזוג הם תוצרים נפרדים ולא מערכים הניתנים להחלפה.
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings baai/bge-m3
baai/bge-m3התחלה
BAAI BGE-M3 תומך באחזור צפוף, באחזור לקסיקלי דליל ובאחזור רב-וקטורי ביותר מ-100 שפות. לפלט הצפוף שלו יש 1024 ממדים, וחלון של 8192 טוקנים מאפשר לעבד ממשפטים ועד מסמכים ארוכים יותר, בלי הוראת שאילתה מחייבת.
- סוגי קלט נתמכים
- טקסט · token_ids
- תוצאות
- embedding
זמין ב-Ailoot · קלט ושיטות
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings
- סוגי קלט
text,token_ids- סוגי פלט
embedding- הקשר
- 8,194 tokens
- פורמט פלט
- json
| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות baai/bge-m3 | ברירת מחדל— |
שדהinput | סוגstring|string[]|integer[]|integer[][] | דרישהחובה | ערכים ומגבלות מספר פריטים מזערי: 1 תנאים: אצווה אחידה שאינה ריקה. מזהי הטוקנים הם מספרים שלמים אי־שליליים. תקציב קלט: מקסימום: 8,194 · יחידת טקסט: בתים בקידוד UTF8 · יחידת טוקנים: רכיבים במערך טוקנים | ברירת מחדל— |
שדהencoding_format | סוגstring | דרישהרשות | ערכים ומגבלות float | ברירת מחדלfloat |
שדהdimensions | סוגinteger | דרישהלא נתמך | ערכים ומגבלות מינימום: 1 | ברירת מחדל— |
שדהuser | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהsession_id | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהtrace | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות תנאים: provider.options נדחה | ברירת מחדל— |
שילובים של חומרי קלט
text_to_embedding
פרמטרים ומחזור חיים של השיטה
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, input |
פרמטרinput_shapes | מפרטstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
פרמטרencoding_format | מפרטfloat |
פרמטרdimensions_override | מפרטfalse |
פרמטרmax_input_budget_units | מפרט8194 |
פרמטרmultimodal_objects | מפרטfalse |
פרמטרmaterial_types | מפרטtext, token_ids |
מחזור חיים: synchronous_json
שמרו כל אינדקס וקטור וממד.
שם מודל רב־מודאלי אינו מאפשר אובייקטי תמונה בנתיב המדויק הזה.
תעריפים
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
- מצב מהיר
- תעריף רגיל כאשר נבחר מצב מהיר
- מצב Flex
- תעריף רגיל כאשר נבחר מצב flex
- מאמץ חשיבה מרבי
- תעריף רגיל כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)
תעריפי Ailoot
מחירים לפי תצורה
| תצורה | טבלת תעריפים | חיוב |
|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | חיוב קלט · טוקני קלט $0.00004 / 1K טוקנים פלט · טוקני פלט $0 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
דוגמאות לבקשות
Ailoot Ultra · ייצוגים וקטוריים
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "baai/bge-m3", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='baai/bge-m3',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
קבלה ושמירה של תוצאות
Ailoot Ultra · ייצוגים וקטוריים
json
שמירת כל התוצאות שהושלמו
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו כל וקטור עם האינדקס שלו. מספר הווקטורים חייב להיות שווה למספר פריטי הקלט; מספר הממדים חייב להיות עקבי.
כשצריך לבדוק את התגובה המקורית
לא מתווספת נקודת קצה למשימות הטמעה.
שדות התגובה
| שדה | סוג |
|---|---|
שדהobject | סוגstring |
שדהmodel | סוגstring |
שדהdata[].index | סוגinteger |
שדהdata[].embedding | סוגfinite float[] |
שדהusage | סוגobject |
שגיאות והשלבים הבאים
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
כינויים
כינויים למודל
Ailoot Ultra baai/bge-m3
כינויים לנתיבי שיטות
השתמשו בנתיבי השיטות המוצגים למעלה.
מזהי מודלים קשורים IDs
FAQ · BAAI: bge-m3
- אילו קלטים ותוצאות זמינים?
POST /v1/embeddings·baai/bge-m3:text,token_ids→embedding- באילו שדות הבקשה משתמשת?
POST /v1/embeddings·baai/bge-m3:model,input,encoding_format,provider- אילו מגבלות חלות?
POST /v1/embeddings·baai/bge-m3:ctx:8194;input.budget.maximum:8194(בתים בקידוד UTF8);input.min_items:1