VoyageAI by MongoDB: voyage-4
voyage-4 מטמיע טקסט לאחזור כללי ורב־לשוני, עם מרחב וקטורי משותף למשפחת Voyage 4. הוא תומך בקלטים באורך 32,000 טוקנים, בפלטים עם מספר ממדים לבחירה בין 256 ל־2048 ובתפקידי query/document לחיפוש ול־RAG.
על המודל
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
voyage-4 הוא מודל הטמעת הטקסט הבינוני של Voyage AI במשפחת Voyage 4. הוא ממיר טקסט של שאילתות ומסמכים לווקטורים מספריים לאחזור כללי ורב־לשוני. היכולת המגדירה את המשפחה היא מרחב הטמעה משותף: voyage-4, voyage-4-large, voyage-4-lite ו־voyage-4-nano מייצרים ייצוגים תואמים, ומאפשרים לצד השאילתה ולצד המסמך במשימת חיפוש להשתמש במודלים שונים מאותה משפחה.
מרחב משותף ואחזור אסימטרי
היצרן מכנה שימוש במודלים שונים לשאילתות ולקורפוס אחזור אסימטרי. דפוס מתועד אחד הוא להכין את הקורפוס עם voyage-4-large ולחפש בו באמצעות הטמעות שאילתה של voyage-4. את הקורפוס מטמיעים פעם אחת או כאשר חומר המקור שלו משתנה, ואילו וקטורי השאילתות נוצרים כשהחיפושים מגיעים. המרחב המשותף מאפשר לשנות את בחירת המודל בצד השאילתה בתוך המשפחה, בלי להטמיע את הקורפוס מחדש רק בגלל ההחלפה הזו.
שמרו על תאימות במספר ממדי הפלט ובייצוג בין הווקטורים המושווים. ההצהרה על מרחב משותף מתייחסת למודלי הטקסט הנקובים בשם במשפחת Voyage 4; היא אינה מוכחת רק מכך ששני מודלים לא קשורים מחזירים מערכים באותו אורך. לכן במשימה מעשית אפשר להשתמש ב־voyage-4 בשני צדי החיפוש, או להשתמש בווקטורי השאילתה שלו עם אינדקס מסמכים קיים של voyage-4-large כאשר הגדרות הייצוג שלהם תואמות.
תפקידי שאילתה ומסמך
לאחזור, Voyage ממליצה לזהות את טקסט הקלט כשאילתה או כמסמך. אפשרות תפקיד הקלט מספקת את הוראת האחזור המתאימה לפני ההמרה לווקטור. הכינו את קטעי הקורפוס כמסמכים ואת ניסוח החיפוש של המשתמש כשאילתה, ושמרו את טקסט המקור בפועל ואת המזהים לצד כל וקטור מאוחסן.
למשל, אוסף לחיפוש ידע יכול לאנדקס הוראות טכניות והסברים על מוצרים. שאילתה על מה שקורה לאחר ייבוא שנכשל צריכה להחזיר את קטע המקור המתאר את ההתנהגות הזו. שמרו כותרות, תנאים רלוונטיים ומיקום במקור עם הקטע, כדי שאפשר יהיה לבדוק את תוצאת החיפוש או להשתמש בה בשלב מאוחר יותר של כתיבת תשובת RAG. ההטמעה היא הייצוג המספרי לאחזור; הקטע המקורי הוא הראיה המשמשת באותו שלב מאוחר יותר.
ממדים וסוגי נתוני הפלט
חלון ההקשר המתועד לכל טקסט הוא 32,000 טוקנים. אפשר לבחור 256, 512, 1024 או 2048 ממדים, כאשר ברירת המחדל היא 1024. למידת Matryoshka מספקת את גדלי הייצוג המקוננים האלה. הפלט יכול להשתמש בנקודה צפה ב־32 סיביות, במספרים שלמים ב־8 סיביות עם סימן או ללא סימן, או בערכים בינאריים ארוזים, בזכות ההכנה המודעת לכימות של המשפחה.
בפלט בינארי ארוז, כל בייט שמוחזר מאחסן שמונה סיביות הטמעה, ולכן אורך רשימת הבייטים הוא שמינית ממספר הממדים שנבחר. למספר הבייטים ולמספר ממדי ההטמעה יש משמעויות שונות. בחרו בייצוג שאינדקס החיפוש שלכם יכול לפרש, ובדקו את רלוונטיות המועמדים על השאלות והשפות שבהן האוסף משתמש בפועל לפני בחירת תצורה דחוסה.
אורך הקלט, אצוות וקיטוע
מדריך הטמעת הטקסט הנוכחי של היצרן מאפשר עד 1,000 מחרוזות ו־320,000 טוקנים בסך הכול בבקשת voyage-4. מכסת האצווה נפרדת מחלון 32,000 הטוקנים לכל קלט. קיטוע מופעל כברירת מחדל: טקסט ארוך מדי מקוצר כדי שיתאים. אם הקיטוע כבוי, פריט ארוך מדי גורם לשגיאה במקום זאת.
בדוח ארוך או בתמליל ארוך, הכינו במכוון קטעים המכילים את המידע הנדרש לתשובה, במקום להסתמך על חיתוך בגבול הקלט. שמרו כל קטע מקושר למסמך האב ולגרסת המקור שלו. קלטי הטמעה רגילים של voyage-4 הם טקסטים נפרדים; עיבוד קבוצות מקטעים בהתחשב בהקשר שייך למודלי ההטמעה ההקשריים המתועדים בנפרד.
השתמשו בתוצאת האחזור
שמרו את הווקטורים עם טקסט הקטעים ומזהי מקור יציבים, השוו כל וקטור שאילתה לווקטורי המסמכים התואמים והחזירו קטעים מועמדים. פרסום המשפחה מעריך אחזור על חומר הכולל מסמכים טכניים, שיחות, מסמכים ארוכים, קוד, משפט, פיננסים וטקסט מהרשת. מדרג מחדש נפרד יכול לחדד את המועמדים, ושלב תשובה מאוחר יותר יכול להשתמש בטקסט שלהם. העריכו את הקטעים שהוחזרו בהתאם למשימה; תאימות המרחב המשותף מאפשרת את שילוב המודלים, ואילו שימושיות התוצאה עדיין תלויה בחומר המקור ובשאלה.
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings voyageai/voyage-4
voyageai/voyage-4התחלה
voyage-4 מטמיע טקסט לאחזור כללי ורב־לשוני, עם מרחב וקטורי משותף למשפחת Voyage 4. הוא תומך בקלטים באורך 32,000 טוקנים, בפלטים עם מספר ממדים לבחירה בין 256 ל־2048 ובתפקידי query/document לחיפוש ול־RAG.
- סוגי קלט נתמכים
- טקסט · token_ids
- תוצאות
- embedding
זמין ב-Ailoot · קלט ושיטות
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings
- סוגי קלט
text,token_ids- סוגי פלט
embedding- הקשר
- 32,000 tokens
- פורמט פלט
- json
| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות voyageai/voyage-4 | ברירת מחדל— |
שדהinput | סוגstring|string[]|integer[]|integer[][] | דרישהחובה | ערכים ומגבלות מספר פריטים מזערי: 1 תנאים: אצווה אחידה שאינה ריקה. מזהי הטוקנים הם מספרים שלמים אי־שליליים. תקציב קלט: מקסימום: 32,000 · יחידת טקסט: בתים בקידוד UTF8 · יחידת טוקנים: רכיבים במערך טוקנים | ברירת מחדל— |
שדהencoding_format | סוגstring | דרישהרשות | ערכים ומגבלות float | ברירת מחדלfloat |
שדהdimensions | סוגinteger | דרישהלא נתמך | ערכים ומגבלות מינימום: 1 | ברירת מחדל— |
שדהuser | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהsession_id | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהtrace | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות תנאים: provider.options נדחה | ברירת מחדל— |
שילובים של חומרי קלט
text_to_embedding
פרמטרים ומחזור חיים של השיטה
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, input |
פרמטרinput_shapes | מפרטstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
פרמטרencoding_format | מפרטfloat |
פרמטרdimensions_override | מפרטfalse |
פרמטרmax_input_budget_units | מפרט32000 |
פרמטרmultimodal_objects | מפרטfalse |
פרמטרmaterial_types | מפרטtext, token_ids |
מחזור חיים: synchronous_json
שמרו כל אינדקס וקטור וממד.
שם מודל רב־מודאלי אינו מאפשר אובייקטי תמונה בנתיב המדויק הזה.
תעריפים
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
- מצב מהיר
- תעריף רגיל כאשר נבחר מצב מהיר
- מצב Flex
- תעריף רגיל כאשר נבחר מצב flex
- מאמץ חשיבה מרבי
- תעריף רגיל כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)
תעריפי Ailoot
מחירים לפי תצורה
| תצורה | טבלת תעריפים | חיוב |
|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | חיוב קלט · טוקני קלט $0.00012 / 1K טוקנים פלט · טוקני פלט $0 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
דוגמאות לבקשות
Ailoot Ultra · ייצוגים וקטוריים
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-4", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-4',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
קבלה ושמירה של תוצאות
Ailoot Ultra · ייצוגים וקטוריים
json
שמירת כל התוצאות שהושלמו
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו כל וקטור עם האינדקס שלו. מספר הווקטורים חייב להיות שווה למספר פריטי הקלט; מספר הממדים חייב להיות עקבי.
כשצריך לבדוק את התגובה המקורית
לא מתווספת נקודת קצה למשימות הטמעה.
שדות התגובה
| שדה | סוג |
|---|---|
שדהobject | סוגstring |
שדהmodel | סוגstring |
שדהdata[].index | סוגinteger |
שדהdata[].embedding | סוגfinite float[] |
שדהusage | סוגobject |
שגיאות והשלבים הבאים
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
כינויים
כינויים למודל
Ailoot Ultra voyageai/voyage-4
כינויים לנתיבי שיטות
השתמשו בנתיבי השיטות המוצגים למעלה.
מזהי מודלים קשורים IDs
FAQ · VoyageAI by MongoDB: voyage-4
- אילו קלטים ותוצאות זמינים?
POST /v1/embeddings·voyageai/voyage-4:text,token_ids→embedding- באילו שדות הבקשה משתמשת?
POST /v1/embeddings·voyageai/voyage-4:model,input,encoding_format,provider- אילו מגבלות חלות?
POST /v1/embeddings·voyageai/voyage-4:ctx:32000;input.budget.maximum:32000(בתים בקידוד UTF8);input.min_items:1