Sentence Transformers: all-MiniLM-L6-v2
Sentence Transformers all-MiniLM-L6-v2 מייצג משפטים ופסקאות קצרות כווקטורים בעלי 384 ממדים לחיפוש סמנטי, לקיבוץ לאשכולות ולדמיון. המתכון שפורסם משלב איגום ממוצע עם נרמול L2 וברירת מחדל של 256 חלקי מילה.
על המודל
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
all-MiniLM-L6-v2 הוא מקודד של Sentence Transformers למשפטים ולפסקאות קצרות. הוא ממפה כל טקסט לווקטור צפוף בעל 384 ממדים לאחזור, לקיבוץ לאשכולות ולדמיון בין משפטים. המודל עבר כוונון עדין מארכיטקטורת הבסיס MiniLM-L6-H384-uncased באמצעות למידה קונטרסטיבית על אוסף בן מיליארד זוגות משפטים.
הכינו רשומות תמציתיות ובעלות משמעות
בחרו את המשפט או הפסקה שצריכים להופיע בתוצאת חיפוש. באוסף שאלות נפוצות, שמרו את השאלה ואת ההסבר הקצר שמבדיל את נושאה. קטע על איפוס סיסמה שנשכחה צריך לשמור את נוהל האיפוס, במקום להצטמצם למילה מבודדת כגון ״חשבון״.
במאמר ארוך, אנדקסו מקטעים קצרים וקוהרנטיים ושמרו את מיקומי המקור שלהם. אחזרו מקטעים מועמדים באמצעות השוואת וקטור השאילתה לייצוגים המאוחסנים, ואז הציגו את הקטעים המקוריים, כדי שהקורא יוכל לבדוק את ההוראות בפועל.
השיגו את ייצוג המשפט
מתכון הקידוד הישיר של היצרן מחשב ממוצע של ייצוגי הטוקנים בעזרת מסכת הקשב ומחריג מיקומי ריפוד מהממוצע. לאחר מכן הוא מחיל נרמול L2. השלבים האלה מפיקים את הטמעת המשפט המשמשת להשוואה; ייצוגי טוקנים בודדים מהטרנספורמר שבבסיס ממלאים תפקיד אחר.
לכל פלט יש 384 רכיבים. השתמשו באותה נקודת ביקורת, באותו איגום ובאותו נרמול בעת בניית האוסף וקידוד שאילתות מאוחרות. דמיון קוסינוס יכול להשוות את הווקטורים שהתקבלו. ערך דמיון שימושי לדירוג מועמדים בהגדרה הזאת, ואילו הטקסט המקורי קובע אם מועמד עונה על השאלה.
אורך וגבולות המהדורה
ברירת המחדל שפורסמה קוטעת קלטים הארוכים מ־256 חלקי מילה. יחידת הטוקנייזר הזאת אינה מקבילה ישירות למילה רגילה או לתו. שמרו תנאים חשובים בתוך היחידה המאונדקסת ופצלו נוהל ארוך בגבולות בעלי משמעות לפני קידודו.
רצפי האימון הוגבלו ל־128 טוקנים. הגדרת האימון הזאת נפרדת מברירת המחדל של 256 חלקי מילה המשמשת לקידוד. בקטעים ארוכים באופן חריג או מקצועיים, השתמשו בדוגמאות מייצגות של שאילתות וקטעים להערכת התנהגות האחזור, במקום להניח שעמידה בגבול הקלט מבטיחה טיפול שווה בכל פרט.
מהדורת L6-v2 המדויקת היא פרופיל הטמעות באנגלית. למהדורות L12-v2 ו־paraphrase-MiniLM יש זהויות מודל ותצורות נפרדות. השם המשותף MiniLM או פלט בעל 384 ממדים אינם קובעים וקטורים הניתנים להחלפה.
חיפוש, דמיון וקיבוץ
לסקירת שאלות כפולות, אחזרו שאלות דומות והשוו את הניסוח בפועל לפני מיזוג רשומות. השאלות ״האם אוכל לאפס את הסיסמה שלי?״ ו״האם מנהל מערכת יכול לאפס את הסיסמה של משתמש אחר?״ עוסקות בנושאים קשורים אך בהרשאות שונות. שמרו את ההבחנה הזאת בטקסט המקודד ובשלב הסקירה.
לקיבוץ לאשכולות, השתמשו בהטמעות כקלטים מספריים לתהליך קיבוץ, ואז בדקו רשומות מייצגות לפני מתן שם לקבוצה. המודל הזה מספק וקטורים במקום תוויות אשכול כתובות או תשובה שנוצרה לשאלה נפוצה. התוצאה השימושית שלו היא ייצוג קומפקטי של קטע מקור קצר שנשאר מקושר לרשומה המקורית.
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2התחלה
Sentence Transformers all-MiniLM-L6-v2 מייצג משפטים ופסקאות קצרות כווקטורים בעלי 384 ממדים לחיפוש סמנטי, לקיבוץ לאשכולות ולדמיון. המתכון שפורסם משלב איגום ממוצע עם נרמול L2 וברירת מחדל של 256 חלקי מילה.
- סוגי קלט נתמכים
- טקסט · token_ids
- תוצאות
- embedding
זמין ב-Ailoot · קלט ושיטות
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings
- סוגי קלט
text,token_ids- סוגי פלט
embedding- פורמט פלט
- json
| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות sentence-transformers/all-minilm-l6-v2 | ברירת מחדל— |
שדהinput | סוגstring|string[]|integer[]|integer[][] | דרישהחובה | ערכים ומגבלות מספר פריטים מזערי: 1 תנאים: אצווה אחידה שאינה ריקה. מזהי הטוקנים הם מספרים שלמים אי־שליליים. תקציב קלט: מקסימום: 512 · יחידת טקסט: בתים בקידוד UTF8 · יחידת טוקנים: רכיבים במערך טוקנים | ברירת מחדל— |
שדהencoding_format | סוגstring | דרישהרשות | ערכים ומגבלות float | ברירת מחדלfloat |
שדהdimensions | סוגinteger | דרישהלא נתמך | ערכים ומגבלות מינימום: 1 | ברירת מחדל— |
שדהuser | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהsession_id | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהtrace | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות תנאים: provider.options נדחה | ברירת מחדל— |
שילובים של חומרי קלט
text_to_embedding
פרמטרים ומחזור חיים של השיטה
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, input |
פרמטרinput_shapes | מפרטstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
פרמטרencoding_format | מפרטfloat |
פרמטרdimensions_override | מפרטfalse |
פרמטרmax_input_budget_units | מפרט512 |
פרמטרmultimodal_objects | מפרטfalse |
פרמטרmaterial_types | מפרטtext, token_ids |
מחזור חיים: synchronous_json
שמרו כל אינדקס וקטור וממד.
שם מודל רב־מודאלי אינו מאפשר אובייקטי תמונה בנתיב המדויק הזה.
תעריפים
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
- מצב מהיר
- לא צוין כאשר נבחר מצב מהיר
- מצב Flex
- לא צוין כאשר נבחר מצב flex
- מאמץ חשיבה מרבי
- לא צוין כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)
תעריפי Ailoot
מחירים לפי תצורה
| תצורה | טבלת תעריפים | חיוב |
|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | חיוב קלט · טוקני קלט $0.00001 / 1K טוקנים פלט · טוקני פלט $0 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
דוגמאות לבקשות
Ailoot Ultra · ייצוגים וקטוריים
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-minilm-l6-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
קבלה ושמירה של תוצאות
Ailoot Ultra · ייצוגים וקטוריים
json
שמירת כל התוצאות שהושלמו
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו כל וקטור עם האינדקס שלו. מספר הווקטורים חייב להיות שווה למספר פריטי הקלט; מספר הממדים חייב להיות עקבי.
כשצריך לבדוק את התגובה המקורית
לא מתווספת נקודת קצה למשימות הטמעה.
שדות התגובה
| שדה | סוג |
|---|---|
שדהobject | סוגstring |
שדהmodel | סוגstring |
שדהdata[].index | סוגinteger |
שדהdata[].embedding | סוגfinite float[] |
שדהusage | סוגobject |
שגיאות והשלבים הבאים
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
כינויים
כינויים למודל
Ailoot Ultra sentence-transformers/all-minilm-l6-v2
כינויים לנתיבי שיטות
השתמשו בנתיבי השיטות המוצגים למעלה.
מזהי מודלים קשורים IDs
FAQ · Sentence Transformers: all-MiniLM-L6-v2
- אילו קלטים ותוצאות זמינים?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:text,token_ids→embedding- באילו שדות הבקשה משתמשת?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:model,input,encoding_format,provider- אילו מגבלות חלות?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:input.budget.maximum:512(בתים בקידוד UTF8);input.min_items:1