Intfloat: Multilingual-E5-Large
intfloat Multilingual-E5-Large מקודד טקסט רב־לשוני לווקטורים בעלי 1024 ממדים באמצעות מודל בן 24 שכבות. הוא תומך בטווח מאה השפות של XLM-R, משתמש בקידומות query/passage באנגלית בכל שפה וקוטע קלטים ב־512 טוקנים.
על המודל
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
Multilingual-E5-Large הוא מודל של intfloat להטמעות טקסט צפופות ורב־לשוניות, עם עשרים וארבע שכבות ופלט בעל 1024 ממדים. הוא מאותחל מ־XLM-RoBERTa Large ומאומן בהמשך על נתונים רב־לשוניים. כרטיס המודל מתאר תמיכה בטווח מאה השפות של XLM-R ומציין ביצועים חלשים יותר בשפות דלות משאבים. הווקטורים שלו מייצגים טקסט לאחזור, להשוואה סמנטית ולמשימות של תכונות מספריות.
שמרו על תפקיד הקלט בכל שפה
הקידומות שעליהן אומן המודל הן “query:” ו־“passage:”, גם בטקסט שאינו באנגלית. שאילתת אחזור והקטעים בקורפוס שלה משתמשים בתפקידים המתאימים להם. הקידומות נשארות המחרוזות האנגליות האלה, ואילו הניסוח המקורי שומר על שפתו. לדמיון סמנטי סימטרי, לאחזור פרפרזות, לכריית טקסטים מקבילים בשתי שפות או לשימוש בתכונות, היצרן ממליץ על “query:”.
אוסף מעשי יכול להכיל תיעוד בכמה שפות נתמכות. שמרו עם הווקטור של כל קטע את שפתו, את הטקסט המקורי ואת מיקום המקור. הכינו שאלות חיפוש אמיתיות מהקהל במקום להניח שבדיקה אחת באנגלית מייצגת את כל האוסף. הפלט צריך להחזיר את הקטע בפועל ואת ההקשר שלו, כדי שהקורא יוכל להעריך מה הוא אומר.
במשימת התאמה רב־לשונית, שמרו על מטרת ההשוואה ברורה. זוג תרגומים מועמד ושאילתה שמחפשת קטע תומך הם הכנות שונות. הנחיות המודל לקידומות תפקיד מספקות מוסכמה מסוימת למשימות האלה; השמטת הקידומת אינה חלופה שקולה לפי התיעוד, משום שהיא משנה את דפוס הקלט ששימש באימון.
איגום והשוואת וקטורים
דוגמת היצרן מחשבת ממוצע של ייצוגי הטוקנים באמצעות מסכת קשב להחרגת ריפוד, ואז מנרמלת את הווקטור. מכפלות סקלריות של וקטורים מנורמלים נותנות דמיון קוסינוס. המערך בעל 1024 הממדים מייצג טקסט מוכן אחד. שמרו על הקשר בין המודל המדויק וההכנה לבין הווקטורים המאוחסנים, כדי ששאילתות מאוחרות יותר ישתמשו בייצוג התואם.
הווקטורים האלה יכולים לספק דירוגי מועמדים או תכונות לשלב מאוחר יותר של קיבוץ לאשכולות או סיווג. הם אינם מתרגמים את המקור או מחברים תשובה. החזירו את טקסט הקטע המקורי כאשר תוצאת אחזור אמורה לתמוך בקורא או בשלב יצירה מאוחר יותר של RAG.
אימון וכיסוי שפות
כרטיס המודל מתעד אימון מקדים קונטרסטיבי בפיקוח חלש ולאחריו כוונון עדין בפיקוח. ההכנה הרב־לשונית כוללת חומר כגון זוגות כותרת–קטע, זוגות שיחתיים וזוגות תרגומים, ואילו נתוני אחזור והבנת שפה מסומנים מספקים את השלב המאוחר. הדבר מסביר את משימות ייצוג הטקסט המיועדות בלי לקבוע ביצועים שווים בכל שפה.
היצרן מזהה במפורש ירידה בביצועים בשפות דלות משאבים כמגבלה. בדקו את השפות והניסוחים בפועל באוסף, כולל קיצורים, שמות ומונחים מקצועיים. התווית הרב־לשונית היא תיאור היקף שימושי; עדיין צריך לבחון את רלוונטיות הטקסט שהוחזר לקהל ולמשימה.
אורך ותוצאות שימושיות
קלט ארוך נקטע ל־512 טוקנים לכל היותר. הכינו מסמך ארוך כקטעים קוהרנטיים הכוללים את קידומת התפקיד ואת הכותרות הרלוונטיות. שמרו הגדרות והסתייגויות ליד האמירה שהן משפיעות עליה, ושמרו מזהה מסמך אב וגרסת מקור מחוץ לווקטור.
היצרן ממליץ להתמקד בסדר היחסי של ציוני הקוסינוס במקום להתייחס לערך מוחלט כמדד ביטחון אוניברסלי. תוצאה שימושית היא קבוצת קטעים מועמדים, ייצוגי טקסט שניתן להשוות או תכונות הקשורות לרשומות המקור שלהם. המודל המדויק הזה נשאר נפרד מנקודות הביקורת E5 v2 באנגלית בלבד ומגרסאות E5 שעברו התאמה להוראות, גם כאשר מודל אחר מחזיר גם הוא 1024 ערכים.
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-largeהתחלה
intfloat Multilingual-E5-Large מקודד טקסט רב־לשוני לווקטורים בעלי 1024 ממדים באמצעות מודל בן 24 שכבות. הוא תומך בטווח מאה השפות של XLM-R, משתמש בקידומות query/passage באנגלית בכל שפה וקוטע קלטים ב־512 טוקנים.
- סוגי קלט נתמכים
- טקסט · token_ids
- תוצאות
- embedding
זמין ב-Ailoot · קלט ושיטות
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings
- סוגי קלט
text,token_ids- סוגי פלט
embedding- הקשר
- 512 tokens
- פורמט פלט
- json
| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות intfloat/multilingual-e5-large | ברירת מחדל— |
שדהinput | סוגstring|string[]|integer[]|integer[][] | דרישהחובה | ערכים ומגבלות מספר פריטים מזערי: 1 תנאים: אצווה אחידה שאינה ריקה. מזהי הטוקנים הם מספרים שלמים אי־שליליים. תקציב קלט: מקסימום: 512 · יחידת טקסט: בתים בקידוד UTF8 · יחידת טוקנים: רכיבים במערך טוקנים | ברירת מחדל— |
שדהencoding_format | סוגstring | דרישהרשות | ערכים ומגבלות float | ברירת מחדלfloat |
שדהdimensions | סוגinteger | דרישהלא נתמך | ערכים ומגבלות מינימום: 1 | ברירת מחדל— |
שדהuser | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהsession_id | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהtrace | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות תנאים: provider.options נדחה | ברירת מחדל— |
שילובים של חומרי קלט
text_to_embedding
פרמטרים ומחזור חיים של השיטה
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, input |
פרמטרinput_shapes | מפרטstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
פרמטרencoding_format | מפרטfloat |
פרמטרdimensions_override | מפרטfalse |
פרמטרmax_input_budget_units | מפרט512 |
פרמטרmultimodal_objects | מפרטfalse |
פרמטרmaterial_types | מפרטtext, token_ids |
מחזור חיים: synchronous_json
שמרו כל אינדקס וקטור וממד.
שם מודל רב־מודאלי אינו מאפשר אובייקטי תמונה בנתיב המדויק הזה.
תעריפים
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
- מצב מהיר
- תעריף רגיל כאשר נבחר מצב מהיר
- מצב Flex
- תעריף רגיל כאשר נבחר מצב flex
- מאמץ חשיבה מרבי
- תעריף רגיל כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)
תעריפי Ailoot
מחירים לפי תצורה
| תצורה | טבלת תעריפים | חיוב |
|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | חיוב קלט · טוקני קלט $0.00002 / 1K טוקנים פלט · טוקני פלט $0 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
דוגמאות לבקשות
Ailoot Ultra · ייצוגים וקטוריים
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
קבלה ושמירה של תוצאות
Ailoot Ultra · ייצוגים וקטוריים
json
שמירת כל התוצאות שהושלמו
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו כל וקטור עם האינדקס שלו. מספר הווקטורים חייב להיות שווה למספר פריטי הקלט; מספר הממדים חייב להיות עקבי.
כשצריך לבדוק את התגובה המקורית
לא מתווספת נקודת קצה למשימות הטמעה.
שדות התגובה
| שדה | סוג |
|---|---|
שדהobject | סוגstring |
שדהmodel | סוגstring |
שדהdata[].index | סוגinteger |
שדהdata[].embedding | סוגfinite float[] |
שדהusage | סוגobject |
שגיאות והשלבים הבאים
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
כינויים
כינויים למודל
Ailoot Ultra intfloat/multilingual-e5-large
כינויים לנתיבי שיטות
השתמשו בנתיבי השיטות המוצגים למעלה.
מזהי מודלים קשורים IDs
FAQ · Intfloat: Multilingual-E5-Large
- אילו קלטים ותוצאות זמינים?
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- באילו שדות הבקשה משתמשת?
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- אילו מגבלות חלות?
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(בתים בקידוד UTF8);input.min_items:1