VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 מטמיע טקסט, תמונות ופריימים של וידאו במרחב אחזור משותף. הוא מעבד תוכן משולב כגון צילומי מסמכים, טבלאות וסצנות, עם קלטים באורך 32,000 טוקנים וייצוג ברירת מחדל בן 1024 ממדים.
על המודל
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
voyage-multimodal-3.5 הוא מודל ההטמעה של Voyage AI לאחזור באמצעות טקסט, תמונות ווידאו. הוא מעבד טקסט ותוכן חזותי המשולבים זה בזה באמצעות מקודד Transformer יחיד, ומייצג קלט רב־מודלי שלם במרחב וקטורי משותף. מהדורת 3.5 מוסיפה תמיכה מפורשת בפריימים של וידאו וגמישות במספר ממדי ההטמעה.
שמרו על הקשר בין הטקסט לתוכן החזותי
הכינו עמוד או חלק של מסמך בצורה המשמרת את המידע החזותי השימושי שלו. שקופית המכילה תרשים והסבר קצר אפשר לייצג באמצעות תמונת השקופית והטקסט הנלווה באותו קלט מסודר. באוסף המבוסס על PDF, הקלט החזותי המתועד הוא צילום עמוד או ייצוג אחר של המסמך כתמונה.
בתרשים מתוך דוח, שמרו בתמונה את הכותרת, תוויות הצירים והמקרא. צרפו טקסט הסבר כאשר הוא מספק את ההקשר הדרוש לפירוש התוכן החזותי. שמרו את מספר העמוד ומזהה המקור לצד הווקטור שנוצר, כדי שמועמד שאוחזר יאפשר לפתוח את העמוד הרלוונטי ולא רק להחזיר שם מסמך.
פורמט הקלט של היצרן תומך ברצפים של טקסט, תמונות וסרטונים. פורמטי התמונות המפורסמים הם PNG, JPEG, WebP ו־GIF, ופורמט הווידאו הוא MP4. בתהליך המתועד אפשר לייצג תוכן חזותי באמצעות כתובות URL או נתוני Base64; השתמשו באופן עקבי בסגנון ייצוג אחד בתוך כל בקשה.
אחזרו סצנה במקום סרטון ארוך שלם
המודל מייצג וידאו כרצף מסודר של פריימים. היצרן ממליץ לחלק סרטון ארוך לסצנות קשורות, להתאים את גבולות הסצנות לחותמות זמן זמינות בתמליל ולשמור את טקסט התמליל המתאים. רזולוציה נמוכה יותר או קצב פריימים מופחת יכולים לעזור להכניס סצנה רציפה מבחינה סמנטית לתקציב ההקשר שלה.
באוסף סרטוני הדרכה, שאילתה עשויה לבקש את הסצנה שמדגימה התאמה של פקד מסוים. קַשרו כל סצנה מאונדקסת לטווח הזמן שלה. החזירו את הסצנה המתאימה ובדקו את הפריימים או את הקטע המקורי כדי לראות את הפעולה בפועל, במקום להתייחס לווקטור שאוחזר כאל תיאור כתוב של כל מה שמופיע בהקלטה.
טקסט תמליל יכול לתרום כאשר הוא מוכן כחלק מהקלט הרב־מודלי. הטמעת פריימים של וידאו כשלעצמה אינה מספקת תמליל דיבור.
מגבלות ההקשר וההכנה
אורך ההקשר המוצהר הוא 32,000 טוקנים לכל קלט. בחישוב המפורסם שלה Voyage סופרת כל 560 פיקסלים של תמונה וכל 1120 פיקסלים של וידאו כטוקן, כך שהתוכן החזותי חולק את התקציב הזה עם הטקסט. המגבלות המתועדות כוללות גם 16 מיליון פיקסלים ו־20 MB לכל תמונה, ו־20 MB לכל סרטון. רשימה מכילה לכל היותר 1000 קלטים ו־320,000 טוקנים בסך הכול.
הגדרת הקיטוע המוגדרת כברירת מחדל מקצרת קלט ארוך מדי; אם הגבול עובר בתוך תמונה, התמונה כולה מושמטת. לכן הכנת עמודים או סצנות שלמים במסגרת התקציב משמרת תוכן קלט צפוי יותר. ההגדרה החלופית המתועדת דוחה קלטים ארוכים מדי במקום לקטוע אותם.
ממדי הווקטורים ותפקידי האחזור
מספר ממדי הפלט המוגדר כברירת מחדל הוא 1024, ולמהדורה זו מתועדים גם 256, 512 ו־2048 ממדים. ההכרזה מתארת הטמעות Matryoshka וייצוגים בנקודה צפה, ב־8 סיביות עם סימן או ללא סימן, ובפורמט בינארי. שמרו את מספר הממדים ואת הייצוג שנבחרו יחד עם האינדקס.
תהליך האחזור של Voyage מבחין בין קלטי שאילתה לקלטי מסמך. שאילתה יכולה להיות טקסט או תמונה, ומסמכים מאונדקסים יכולים לשלב טקסט ותוכן חזותי. וקטור אחד מייצג כל רצף קלט שלם; שמרו את הקישור שלו לעמוד, לתמונה או לסצנת המקור, כדי שאפשר יהיה לבדוק את התוצאה המדורגת.
השתמשו במקור החזותי שהוחזר
שלב אחזור יכול לאתר עמוד דוח, טבלה, שקופית או סצנה הרלוונטיים לשאילתה. לאחר מכן שלב כתיבת התשובה או הניתוח קורא את חומר המקור. בטבלה, בדקו את הכותרות והערכים בפועל לפני השימוש בתוצאה; בסצנה, בדקו את הפריימים הרלוונטיים ואת הטקסט המשויך.
ההבדל המהותי לעומת voyage-multimodal-3 הוא התמיכה המפורשת בווידאו ואפשרויות הייצוג הנוספות במהדורת 3.5. אלו יכולות הטמעה לאיתור חומר מקור, עם וקטורים מספריים כפלט ולא תמונות, וידאו או תשובה סיפורית שנוצרים בידי המודל.
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5התחלה
Voyage AI voyage-multimodal-3.5 מטמיע טקסט, תמונות ופריימים של וידאו במרחב אחזור משותף. הוא מעבד תוכן משולב כגון צילומי מסמכים, טבלאות וסצנות, עם קלטים באורך 32,000 טוקנים וייצוג ברירת מחדל בן 1024 ממדים.
- סוגי קלט נתמכים
- טקסט · token_ids
- תוצאות
- embedding
זמין ב-Ailoot · קלט ושיטות
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings
- סוגי קלט
text,token_ids- סוגי פלט
embedding- הקשר
- 32,000 tokens
- פורמט פלט
- json
| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות voyageai/voyage-multimodal-3.5 | ברירת מחדל— |
שדהinput | סוגstring|string[]|integer[]|integer[][] | דרישהחובה | ערכים ומגבלות מספר פריטים מזערי: 1 תנאים: אצווה אחידה שאינה ריקה. מזהי הטוקנים הם מספרים שלמים אי־שליליים. תקציב קלט: מקסימום: 32,000 · יחידת טקסט: בתים בקידוד UTF8 · יחידת טוקנים: רכיבים במערך טוקנים | ברירת מחדל— |
שדהencoding_format | סוגstring | דרישהרשות | ערכים ומגבלות float | ברירת מחדלfloat |
שדהdimensions | סוגinteger | דרישהלא נתמך | ערכים ומגבלות מינימום: 1 | ברירת מחדל— |
שדהuser | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהsession_id | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהtrace | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות תנאים: provider.options נדחה | ברירת מחדל— |
שילובים של חומרי קלט
text_to_embedding
פרמטרים ומחזור חיים של השיטה
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, input |
פרמטרinput_shapes | מפרטstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
פרמטרencoding_format | מפרטfloat |
פרמטרdimensions_override | מפרטfalse |
פרמטרmax_input_budget_units | מפרט32000 |
פרמטרmultimodal_objects | מפרטfalse |
פרמטרmaterial_types | מפרטtext, token_ids |
מחזור חיים: synchronous_json
שמרו כל אינדקס וקטור וממד.
שם מודל רב־מודאלי אינו מאפשר אובייקטי תמונה בנתיב המדויק הזה.
תעריפים
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
- מצב מהיר
- תעריף רגיל כאשר נבחר מצב מהיר
- מצב Flex
- תעריף רגיל כאשר נבחר מצב flex
- מאמץ חשיבה מרבי
- תעריף רגיל כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)
תעריפי Ailoot
מחירים לפי תצורה
| תצורה | טבלת תעריפים | חיוב |
|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | חיוב קלט · טוקני קלט $0.00024 / 1K טוקנים פלט · טוקני פלט $0 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
דוגמאות לבקשות
Ailoot Ultra · ייצוגים וקטוריים
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
קבלה ושמירה של תוצאות
Ailoot Ultra · ייצוגים וקטוריים
json
שמירת כל התוצאות שהושלמו
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו כל וקטור עם האינדקס שלו. מספר הווקטורים חייב להיות שווה למספר פריטי הקלט; מספר הממדים חייב להיות עקבי.
כשצריך לבדוק את התגובה המקורית
לא מתווספת נקודת קצה למשימות הטמעה.
שדות התגובה
| שדה | סוג |
|---|---|
שדהobject | סוגstring |
שדהmodel | סוגstring |
שדהdata[].index | סוגinteger |
שדהdata[].embedding | סוגfinite float[] |
שדהusage | סוגobject |
שגיאות והשלבים הבאים
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
כינויים
כינויים למודל
Ailoot Ultra voyageai/voyage-multimodal-3.5
כינויים לנתיבי שיטות
השתמשו בנתיבי השיטות המוצגים למעלה.
מזהי מודלים קשורים IDs
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- אילו קלטים ותוצאות זמינים?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- באילו שדות הבקשה משתמשת?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- אילו מגבלות חלות?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(בתים בקידוד UTF8);input.min_items:1