Intfloat: E5-Large-v2
intfloat E5-Large-v2 מקודד שאילתות וקטעים באנגלית לווקטורים בעלי 1024 ממדים. המודל בן 24 השכבות משתמש בתפקידי query/passage, באיגום ממוצע ובמגבלת קלט של 512 טוקנים לחיפוש, לדמיון סמנטי ולתכונות טקסט מספריות.
על המודל
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
E5-Large-v2 הוא מודל של intfloat להטמעות טקסט באנגלית, בעל עשרים וארבע שכבות ופלט בן 1024 ממדים. הוא נועד לייצג שאילתות וקטעים באופן מספרי לאחזור ולמשימות הטמעה אחרות. מוסכמת ההכנה של E5 היא חלק מהאימון שלו: טקסט הקלט נושא קידומת תפקיד, וייצוגי הטוקנים המקודדים מאוגמים לווקטור אחד עבור הטקסט הזה.
שמרו על תפקידי השאילתה והקטע מפורשים
לאחזור לא סימטרי, התחילו את השאלה ב־“query:” ואת טקסט הקורפוס ב־“passage:”. התפקידים האלה מבדילים בין מה שהמשתמש מחפש לבין החומר שעשוי לענות עליו. להשוואה סימטרית, לחיפוש פרפרזות או לתכונות לקיבוץ לאשכולות או לסיווג, היצרן ממליץ על “query:” לטקסטים שעוברים הטמעה.
אוסף מעשי יכול לאנדקס הסברי תמיכה באנגלית. הכינו שאלה כגון “query: What should I check before replacing the connector?” וצוותו אותה לקטעי מקור המתארים את הבדיקות והחריגים. טקסט הקטע שומר על הקידומת המתאימה לו. אחסנו את מזהה המקור ואת הניסוח המקורי לצד כל וקטור, כדי שהתוצאה תוכל להחזיר את החומר שהמשתמש צריך לקרוא.
הקידומות אינן תוויות קישוט שיש להסיר מצדו האחד של התהליך. היצרן מציין שהשמטתן פוגעת בביצועי האחזור משום שהמודל אומן עם ההכנה הזאת. החילו את התפקיד שנבחר בעקביות בזמן בניית הקורפוס ובהטמעה של שאילתה מאוחר יותר.
איגום ממוצע ווקטורים מנורמלים
דוגמת הקידוד הרשמית מחשבת ממוצע של ייצוגי הטוקנים תוך החרגת מיקומי ריפוד בעזרת מסכת הקשב. לאחר מכן היא מנרמלת את הווקטור המתקבל. מכפלה סקלרית בין וקטורי שאילתה וקטע מנורמלים מספקת דמיון קוסינוס לסידור מועמדים. מתכון איגום הממוצע הזה שייך ל־E5-Large-v2; מתכון איגום לפי הטוקן הראשון ממשפחה אחרת הוא בחירת הכנה נפרדת.
1024 ערכי הפלט יוצרים את ההטמעה, ולא תשובה כתובה או תווית קטגוריה ישירה. שלב חיפוש משווה את הערכים האלה לייצוגי קורפוס תואמים, ושלב מאוחר יותר משתמש בטקסט הקטע שנבחר. אם הווקטורים משמשים תכונות לקיבוץ לאשכולות או למסווג, שמרו על הקשר בין כל וקטור לרשומת הקלט שאת תכונותיה הוא מייצג.
טקסט באנגלית בתוך החלון
כרטיס המודל מציין טקסט באנגלית בלבד וקטיעה של קלטים ארוכים ל־512 טוקנים לכל היותר. שמרו על כל קטע מסמך קוהרנטי בתוך החלון הזה, כולל קידומת התפקיד והקשר מקור שימושי. מדריך ארוך צריך להיות מוכן כמקטעים שאת כותרותיהם, תנאיהם והוראותיהם אפשר להבין גם כאשר הם מאוחזרים בנפרד.
לדוגמה, סעיף המתאר הגדרה עשוי להזדקק להגדרת המונח ולחריג במשפט הבא. שמרו את היחידה הקטנה הזאת יחד במקום לפצל רק לפי מספר תווים. שמרו את מסמך האב ואת גרסת המקור עם הקטע, כדי שעדכון יחליף את החומר הנכון.
קראו את הדירוג כראיית אחזור
היצרן מסביר שסדר ציוני הקוסינוס חשוב יותר מהערכים המוחלטים שלהם. אין לפרש ציון כהסתברות מכוילת לכך שקטע עונה על השאלה. בדקו קטעים שידוע שהם מכילים תשובות וחומר סמוך שאינו רלוונטי כאשר בוחרים כמה תוצאות לשמור או היכן לסנן קבוצת מועמדים.
הפלט השימושי הוא ייצוג של קורפוס או שאילתה, אות להשוואה סמנטית או תכונות מספריות למשימה אחרת. נקודת הביקורת המדויקת Large v2 באנגלית נשארת נפרדת מ־E5-Base-v2 ומ־Multilingual-E5-Large. התאמה בממדים בלבד אינה הופכת את הווקטורים שלהם למרחב הטמעות משותף מתועד.
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings intfloat/e5-large-v2
intfloat/e5-large-v2התחלה
intfloat E5-Large-v2 מקודד שאילתות וקטעים באנגלית לווקטורים בעלי 1024 ממדים. המודל בן 24 השכבות משתמש בתפקידי query/passage, באיגום ממוצע ובמגבלת קלט של 512 טוקנים לחיפוש, לדמיון סמנטי ולתכונות טקסט מספריות.
- סוגי קלט נתמכים
- טקסט · token_ids
- תוצאות
- embedding
זמין ב-Ailoot · קלט ושיטות
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings
- סוגי קלט
text,token_ids- סוגי פלט
embedding- פורמט פלט
- json
| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות intfloat/e5-large-v2 | ברירת מחדל— |
שדהinput | סוגstring|string[]|integer[]|integer[][] | דרישהחובה | ערכים ומגבלות מספר פריטים מזערי: 1 תנאים: אצווה אחידה שאינה ריקה. מזהי הטוקנים הם מספרים שלמים אי־שליליים. תקציב קלט: מקסימום: 512 · יחידת טקסט: בתים בקידוד UTF8 · יחידת טוקנים: רכיבים במערך טוקנים | ברירת מחדל— |
שדהencoding_format | סוגstring | דרישהרשות | ערכים ומגבלות float | ברירת מחדלfloat |
שדהdimensions | סוגinteger | דרישהלא נתמך | ערכים ומגבלות מינימום: 1 | ברירת מחדל— |
שדהuser | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהsession_id | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהtrace | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות תנאים: provider.options נדחה | ברירת מחדל— |
שילובים של חומרי קלט
text_to_embedding
פרמטרים ומחזור חיים של השיטה
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, input |
פרמטרinput_shapes | מפרטstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
פרמטרencoding_format | מפרטfloat |
פרמטרdimensions_override | מפרטfalse |
פרמטרmax_input_budget_units | מפרט512 |
פרמטרmultimodal_objects | מפרטfalse |
פרמטרmaterial_types | מפרטtext, token_ids |
מחזור חיים: synchronous_json
שמרו כל אינדקס וקטור וממד.
שם מודל רב־מודאלי אינו מאפשר אובייקטי תמונה בנתיב המדויק הזה.
תעריפים
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
- מצב מהיר
- לא צוין כאשר נבחר מצב מהיר
- מצב Flex
- לא צוין כאשר נבחר מצב flex
- מאמץ חשיבה מרבי
- לא צוין כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)
תעריפי Ailoot
מחירים לפי תצורה
| תצורה | טבלת תעריפים | חיוב |
|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | חיוב קלט · טוקני קלט $0.00002 / 1K טוקנים פלט · טוקני פלט $0 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
דוגמאות לבקשות
Ailoot Ultra · ייצוגים וקטוריים
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-large-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-large-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
קבלה ושמירה של תוצאות
Ailoot Ultra · ייצוגים וקטוריים
json
שמירת כל התוצאות שהושלמו
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו כל וקטור עם האינדקס שלו. מספר הווקטורים חייב להיות שווה למספר פריטי הקלט; מספר הממדים חייב להיות עקבי.
כשצריך לבדוק את התגובה המקורית
לא מתווספת נקודת קצה למשימות הטמעה.
שדות התגובה
| שדה | סוג |
|---|---|
שדהobject | סוגstring |
שדהmodel | סוגstring |
שדהdata[].index | סוגinteger |
שדהdata[].embedding | סוגfinite float[] |
שדהusage | סוגobject |
שגיאות והשלבים הבאים
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
כינויים
כינויים למודל
Ailoot Ultra intfloat/e5-large-v2
כינויים לנתיבי שיטות
השתמשו בנתיבי השיטות המוצגים למעלה.
מזהי מודלים קשורים IDs
FAQ · Intfloat: E5-Large-v2
- אילו קלטים ותוצאות זמינים?
POST /v1/embeddings·intfloat/e5-large-v2:text,token_ids→embedding- באילו שדות הבקשה משתמשת?
POST /v1/embeddings·intfloat/e5-large-v2:model,input,encoding_format,provider- אילו מגבלות חלות?
POST /v1/embeddings·intfloat/e5-large-v2:input.budget.maximum:512(בתים בקידוד UTF8);input.min_items:1