Intfloat: E5-Base-v2
intfloat E5-Base-v2 הופך טקסט באנגלית להטמעות בנות 768 ממדים באמצעות מקודד בן 12 שכבות. קידומות לשאילתה ולקטע וחלון של 512 טוקנים מגדירים את הכנתו לחיפוש, להשוואת ניסוחים, לאשכול ולמאפייני טקסט.
על המודל
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
E5-Base-v2 הוא מודל של intfloat להטמעות באנגלית, בעל שתים עשרה שכבות וייצוג בן 768 ממדים. הוא הופך טקסט שהוכן לווקטור מספרי אחד לאחזור, להשוואה סמנטית או לשימוש בתכונות במשימה אחרת. נקודת הביקורת Base v2 נבדלת ממהדורת Large v2 בעלת עשרים וארבע השכבות ו־1024 הממדים וממודלי E5 הרב־לשוניים שאומנו בנפרד.
השתמשו בקידומות התפקיד שעליהן אומן המודל
E5 מצפה לתפקיד בתחילת הקלט. לאחזור קטעים, שאלה מתחילה ב־“query:” ומקור שעשוי להכיל את תשובתה מתחיל ב־“passage:”. היצרן ממליץ על “query:” בשני הצדדים במשימות סימטריות כגון דמיון סמנטי ואחזור פרפרזות. הוא ממליץ על הקידומת הזאת גם כשהווקטורים יהיו תכונות לקיבוץ לאשכולות או לסיווג.
לדוגמה, אוסף משוב יכול להכיל כמה בקשות לשיפור זהה בניסוחים שונים. קודדו את הרשומות האלה באמצעות ההכנה הסימטרית המומלצת, ואז השוו את הווקטורים שהתקבלו או קבצו אותם לאשכולות. שמרו את הניסוח המקורי ואת מזהה הרשומה עם כל ייצוג, כדי שאפשר יהיה לבחון אשכול כהודעות לקוח אמיתיות ולא כקבוצת מספרים בלתי מוסברת.
לאוסף חיפוש, הכינו שאלות וקטעי מקור בתפקידים המתאימים להם. שאילתה שימושית היא “query: Which setting changes the notification frequency?” קטע הקורפוס שומר את ההסבר ואת התנאים הרלוונטיים שלו. הקידומת היא חלק מההכנה שעליה אומן המודל; היצרן מציין שהשמטתה מפחיתה ביצועים.
אגמו והשוו את הייצוג
הדוגמה הרשמית מחשבת ממוצע של ייצוגי הטוקנים תוך התחשבות במסכת הקשב והחרגת ריפוד, ואז מנרמלת את הווקטור המתקבל. מכפלה סקלרית בין הטמעות מנורמלות מספקת דמיון קוסינוס. 768 ערכי הפלט מתארים טקסט אחד; הם אינם תשובה, תווית מחלקה או ציון של מדרג מחדש לזוג טקסטים.
בתהליך קיבוץ לאשכולות, שלב אחר יוצר קבוצות מהווקטורים האלה. בתהליך סיווג, שלב אחר משתמש בהם כתכונות קלט. שמירת ההבחנה הזאת מקלה על פירוש התוצאה: ההטמעה מייצגת את הרשומה, ואילו המשימה בהמשך קובעת קבוצה או תווית. השתמשו במודל אחד ובמוסכמת הכנה אחת בעקביות עבור הייצוגים שמושווים.
עבדו באנגלית ובתוך 512 טוקנים
כרטיס המודל אומר שהמהדורה הזאת פועלת רק באנגלית וקוטעת טקסט ארוך ל־512 טוקנים לכל היותר. הכינו קטעים קוהרנטיים בתחום הזה, כולל קידומת התפקיד הנדרשת. סקירה, דוח או מדריך ארוכים צריכים להיות מחולקים לפי מקטעים בעלי משמעות, במקום להיות מוטמעים כקלט גדול מדי שזנבו אובד.
שמרו כותרת עם המשפטים שהיא מציגה ושמרו את התנאי או החריג שמשנה את משמעותו של כלל. ברשומות קצרות כגון משוב, שמרו את ההודעה המלאה כאשר היא נכנסת. מזהה מקור וגרסה הנשמרים לצד הווקטור מאפשרים לעדכון מאוחר יותר של האוסף להחליף את הרשומה הנכונה.
פרשו את הדמיון בהתאם למשימה
היצרן מסביר שסדר יחסי של ציוני קוסינוס חשוב יותר מערך מוחלט. יש להעריך סף סינון על דוגמאות מהאוסף עצמו, ודמיון בין וקטורים אינו הסתברות מכוילת לתווית תואמת או לתשובה נכונה. בחנו רשומות סמוכות ואי־התאמות ידועות בעת ההחלטה כיצד ישמשו הווקטורים.
התוצר השימושי הוא אינדקס חיפוש באנגלית, קבוצת השוואה סמנטית או תכונות טקסט מספריות המשויכות לרשומות המקור שלהן. פרופיל Base v2 הזה מספק את הממדים, האיגום והכנת התפקיד שלו עצמו; צורת הווקטור או כיסוי השפות של מהדורת E5 אחרת אינם קובעים ייצוג שניתן להחליף בו.
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings intfloat/e5-base-v2
intfloat/e5-base-v2התחלה
intfloat E5-Base-v2 הופך טקסט באנגלית להטמעות בנות 768 ממדים באמצעות מקודד בן 12 שכבות. קידומות לשאילתה ולקטע וחלון של 512 טוקנים מגדירים את הכנתו לחיפוש, להשוואת ניסוחים, לאשכול ולמאפייני טקסט.
- סוגי קלט נתמכים
- טקסט · token_ids
- תוצאות
- embedding
זמין ב-Ailoot · קלט ושיטות
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings
- סוגי קלט
text,token_ids- סוגי פלט
embedding- פורמט פלט
- json
| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות intfloat/e5-base-v2 | ברירת מחדל— |
שדהinput | סוגstring|string[]|integer[]|integer[][] | דרישהחובה | ערכים ומגבלות מספר פריטים מזערי: 1 תנאים: אצווה אחידה שאינה ריקה. מזהי הטוקנים הם מספרים שלמים אי־שליליים. תקציב קלט: מקסימום: 512 · יחידת טקסט: בתים בקידוד UTF8 · יחידת טוקנים: רכיבים במערך טוקנים | ברירת מחדל— |
שדהencoding_format | סוגstring | דרישהרשות | ערכים ומגבלות float | ברירת מחדלfloat |
שדהdimensions | סוגinteger | דרישהלא נתמך | ערכים ומגבלות מינימום: 1 | ברירת מחדל— |
שדהuser | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהsession_id | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהtrace | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות תנאים: provider.options נדחה | ברירת מחדל— |
שילובים של חומרי קלט
text_to_embedding
פרמטרים ומחזור חיים של השיטה
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, input |
פרמטרinput_shapes | מפרטstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
פרמטרencoding_format | מפרטfloat |
פרמטרdimensions_override | מפרטfalse |
פרמטרmax_input_budget_units | מפרט512 |
פרמטרmultimodal_objects | מפרטfalse |
פרמטרmaterial_types | מפרטtext, token_ids |
מחזור חיים: synchronous_json
שמרו כל אינדקס וקטור וממד.
שם מודל רב־מודאלי אינו מאפשר אובייקטי תמונה בנתיב המדויק הזה.
תעריפים
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
- מצב מהיר
- לא צוין כאשר נבחר מצב מהיר
- מצב Flex
- לא צוין כאשר נבחר מצב flex
- מאמץ חשיבה מרבי
- לא צוין כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)
תעריפי Ailoot
מחירים לפי תצורה
| תצורה | טבלת תעריפים | חיוב |
|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | חיוב קלט · טוקני קלט $0.00001 / 1K טוקנים פלט · טוקני פלט $0 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
דוגמאות לבקשות
Ailoot Ultra · ייצוגים וקטוריים
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
קבלה ושמירה של תוצאות
Ailoot Ultra · ייצוגים וקטוריים
json
שמירת כל התוצאות שהושלמו
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו כל וקטור עם האינדקס שלו. מספר הווקטורים חייב להיות שווה למספר פריטי הקלט; מספר הממדים חייב להיות עקבי.
כשצריך לבדוק את התגובה המקורית
לא מתווספת נקודת קצה למשימות הטמעה.
שדות התגובה
| שדה | סוג |
|---|---|
שדהobject | סוגstring |
שדהmodel | סוגstring |
שדהdata[].index | סוגinteger |
שדהdata[].embedding | סוגfinite float[] |
שדהusage | סוגobject |
שגיאות והשלבים הבאים
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
כינויים
כינויים למודל
Ailoot Ultra intfloat/e5-base-v2
כינויים לנתיבי שיטות
השתמשו בנתיבי השיטות המוצגים למעלה.
מזהי מודלים קשורים IDs
FAQ · Intfloat: E5-Base-v2
- אילו קלטים ותוצאות זמינים?
POST /v1/embeddings·intfloat/e5-base-v2:text,token_ids→embedding- באילו שדות הבקשה משתמשת?
POST /v1/embeddings·intfloat/e5-base-v2:model,input,encoding_format,provider- אילו מגבלות חלות?
POST /v1/embeddings·intfloat/e5-base-v2:input.budget.maximum:512(בתים בקידוד UTF8);input.min_items:1