Thenlper: GTE-Base
Alibaba DAMO Academy GTE-base מטמיע טקסט באנגלית בווקטורים בני 768 ממדים לאחזור ולדמיון סמנטי. המודל המדויק משתמש במיצוע, תומך ברצפים של עד 512 טוקנים ומתעד השוואה בסגנון קוסינוס עם נרמול אופציונלי.
על המודל
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
GTE-base הוא מודל General Text Embeddings בגודל Base שאומן בידי Alibaba DAMO Academy. מקודד הטקסט באנגלית הזה מבוסס בעיקר על מסגרת BERT ומייצר וקטורים צפופים בני 768 ממדים. האימון שלו משתמש בקורפוס גדול של זוגות בעלי קשר רלוונטיות מתחומים שונים, ובין היישומים המוצהרים נמצאים אחזור מידע, דמיון סמנטי בין טקסטים ודירוג טקסט מחדש המבוסס על הטמעות.
הכינו שאילתות וקטעים באנגלית
השתמשו בטקסט קריא באנגלית הן לצורך המידע והן לחומר שבו יחפשו. למשל, שאילתה על החלפת רכיב שחוק יכולה להיות מושווית לסעיפי תחזוקה קצרים המתארים קריטריונים להחלפה, שלבי בדיקה והוראות הזמנה. שמרו את שם הרכיב ואת התנאים המבחינים בין הסעיפים האלה.
הדוגמה המפורסמת מקודדת שאלות וטקסט מועמד ישירות, בלי להוסיף הוראת משימה. שמרו על הכנה עקבית באוסף ובשאילתות מאוחרות יותר. אחסנו את הקטע המקורי ואת המזהה שלו לצד הווקטור, כדי שתוצאה מדורגת תוכל להציג את המידע המיוצג בווקטור.
מיצוע והשוואה
התהליך המומלץ ממצע את ייצוגי הטוקנים של המודל בעזרת מסכת הקשב, ומונע ממיקומי הריפוד לתרום לתוצאה. לאחר מכן הוא מציג נרמול L2 אופציונלי ומשווה את הווקטורים המנורמלים באמצעות המכפלה הסקלרית שלהם. דוגמה נפרדת משתמשת בדמיון קוסינוס.
בחרו ושמרו הגדרות נרמול והשוואה עקביות לאינדוקס ולאחזור. הפלט מכיל 768 רכיבים מספריים; הוא אינו מכיל תשובה שנוצרה בידי המודל. בשלב דירוג מועמדים מחדש, קודדו את הקטעים המועמדים באותו מודל וסדרו אותם לפי הדמיון שלהם לשאילתה. זו עדיין השוואה המבוססת על הטמעות, ולא טענה שהמודל קורא במשותף כל זוג שאילתה–קטע כמקודד צולב.
היקף באנגלית וקלטים של 512 טוקנים
הכרטיס המדויק מגביל את המודל הזה לטקסט באנגלית ומציין שקלטים ארוכים נקטעים לאורך מרבי של 512 טוקנים. לכן מדריך ארוך צריך להפוך לסעיפים בעלי משמעות לפני האינדוקס. שמרו אזהרה, חריג או סייג יחד עם הכלל שהם משנים בכל פעם שהפרטים האלה נדרשים לפירוש הקטע.
בשאילתה על מרווחי תחזוקה, סעיף המכיל את המרווח ואת תנאי ההפעלה מועיל יותר מקטע המכיל רק מספר. שמרו את הכותרת או את זהות הציוד כאשר הן מבהירות את ההוראה. בדקו את אורך הקלט בטוקנים במקום להסתמך על מספר המילים הגלוי.
השתמשו בקטעי המקור שמאחורי הציון
האחזור מחזיר מועמדים מתוך האוסף המאונדקס. בדקו את הקטעים המובילים ביחס למשימה המדויקת, ושמרו את מיקומם במקור בעת העברתם לשלב כתיבת תשובת RAG. קטע קשור עשוי לעסוק בבדיקה בלי לאשר החלפה; ההבחנה הזו חייבת להישאר גלויה בחומר המקור.
GTE-base שונה מ־GTE-large, המייצר וקטורים בני 1024 ממדים, וממהדורות GTE מאוחרות יותר שהן רב־לשוניות או בעלות הקשר מורחב. זהות המודל המפורסמת שלו מגדירה את ההיקף באנגלית, את הייצוג בן 768 הרכיבים ואת גבול 512 הטוקנים. השתמשו בפרופיל המדויק הזה עם שאילתות מייצגות ורשומות מקור בעת הערכת אוסף לאחזור.
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings thenlper/gte-base
thenlper/gte-baseהתחלה
Alibaba DAMO Academy GTE-base מטמיע טקסט באנגלית בווקטורים בני 768 ממדים לאחזור ולדמיון סמנטי. המודל המדויק משתמש במיצוע, תומך ברצפים של עד 512 טוקנים ומתעד השוואה בסגנון קוסינוס עם נרמול אופציונלי.
- סוגי קלט נתמכים
- טקסט · token_ids
- תוצאות
- embedding
זמין ב-Ailoot · קלט ושיטות
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings
- סוגי קלט
text,token_ids- סוגי פלט
embedding- פורמט פלט
- json
| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות thenlper/gte-base | ברירת מחדל— |
שדהinput | סוגstring|string[]|integer[]|integer[][] | דרישהחובה | ערכים ומגבלות מספר פריטים מזערי: 1 תנאים: אצווה אחידה שאינה ריקה. מזהי הטוקנים הם מספרים שלמים אי־שליליים. תקציב קלט: מקסימום: 512 · יחידת טקסט: בתים בקידוד UTF8 · יחידת טוקנים: רכיבים במערך טוקנים | ברירת מחדל— |
שדהencoding_format | סוגstring | דרישהרשות | ערכים ומגבלות float | ברירת מחדלfloat |
שדהdimensions | סוגinteger | דרישהלא נתמך | ערכים ומגבלות מינימום: 1 | ברירת מחדל— |
שדהuser | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהsession_id | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהtrace | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות תנאים: provider.options נדחה | ברירת מחדל— |
שילובים של חומרי קלט
text_to_embedding
פרמטרים ומחזור חיים של השיטה
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, input |
פרמטרinput_shapes | מפרטstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
פרמטרencoding_format | מפרטfloat |
פרמטרdimensions_override | מפרטfalse |
פרמטרmax_input_budget_units | מפרט512 |
פרמטרmultimodal_objects | מפרטfalse |
פרמטרmaterial_types | מפרטtext, token_ids |
מחזור חיים: synchronous_json
שמרו כל אינדקס וקטור וממד.
שם מודל רב־מודאלי אינו מאפשר אובייקטי תמונה בנתיב המדויק הזה.
תעריפים
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
- מצב מהיר
- לא צוין כאשר נבחר מצב מהיר
- מצב Flex
- לא צוין כאשר נבחר מצב flex
- מאמץ חשיבה מרבי
- לא צוין כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)
תעריפי Ailoot
מחירים לפי תצורה
| תצורה | טבלת תעריפים | חיוב |
|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | חיוב קלט · טוקני קלט $0.00001 / 1K טוקנים פלט · טוקני פלט $0 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
דוגמאות לבקשות
Ailoot Ultra · ייצוגים וקטוריים
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
קבלה ושמירה של תוצאות
Ailoot Ultra · ייצוגים וקטוריים
json
שמירת כל התוצאות שהושלמו
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו כל וקטור עם האינדקס שלו. מספר הווקטורים חייב להיות שווה למספר פריטי הקלט; מספר הממדים חייב להיות עקבי.
כשצריך לבדוק את התגובה המקורית
לא מתווספת נקודת קצה למשימות הטמעה.
שדות התגובה
| שדה | סוג |
|---|---|
שדהobject | סוגstring |
שדהmodel | סוגstring |
שדהdata[].index | סוגinteger |
שדהdata[].embedding | סוגfinite float[] |
שדהusage | סוגobject |
שגיאות והשלבים הבאים
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
כינויים
כינויים למודל
Ailoot Ultra thenlper/gte-base
כינויים לנתיבי שיטות
השתמשו בנתיבי השיטות המוצגים למעלה.
מזהי מודלים קשורים IDs
FAQ · Thenlper: GTE-Base
- אילו קלטים ותוצאות זמינים?
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- באילו שדות הבקשה משתמשת?
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- אילו מגבלות חלות?
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(בתים בקידוד UTF8);input.min_items:1