Sentence Transformers: paraphrase-MiniLM-L6-v2
Sentence Transformers paraphrase-MiniLM-L6-v2 ממפה משפטים ופסקאות קצרות לווקטורים בעלי 384 ממדים לחיפוש סמנטי ולקיבוץ לאשכולות. התצורה שפורסמה שלו משתמשת באיגום ממוצע ובהגדרת רצף של 128 טוקנים.
על המודל
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
paraphrase-MiniLM-L6-v2 הוא מודל הטמעות של Sentence Transformers למשפטים ולפסקאות קצרות. הוא ממפה כל טקסט למרחב וקטורים צפוף בעל 384 ממדים, כאשר חיפוש סמנטי וקיבוץ לאשכולות נמנים עם המשימות שציין היצרן. הארכיטקטורה שפורסמה משלבת טרנספורמר עם איגום ממוצע; אורך הרצף המוגדר שלה הוא 128 טוקנים.
ייצגו את הקטע שברצונכם להשוות
הכינו את המשפט או הפסקה הקצרה בפועל, תוך שמירה על הנושא ועל תנאים חשובים. אוסף מעשי יכול להכיל שאלות בניסוחים שונים או תיאורים קצרים של נושאים קשורים. בצעו הטמעה לכל רשומה ושמרו את הניסוח המקורי ואת המזהה שלה, כדי שהשוואה מאוחרת יותר תוכל להחזיר את הטקסט עצמו.
לדוגמה, כמה שאלות עזרה עשויות לתאר אותו קושי במונחים שונים. שלב דמיון יכול לקרב את המועמדים האלה, ולאחר מכן אפשר לבדוק את הניסוח שלהם ביחס לבעיה בפועל. ההטמעה היא הייצוג המספרי המשמש בהשוואה הזאת; היא אינה כותבת פרפרזה או מקצה בעצמה תווית אשכול סופית.
איגום ממוצע ושימוש בווקטורים
דוגמת הקידוד הישיר של היצרן מתחשבת במסכת הקשב בעת חישוב ממוצע ייצוגי הטוקנים, תוך החרגת מיקומי ריפוד. הארכיטקטורה שלה בוחרת במפורש באיגום ממוצע ואינה בוחרת באיגום CLS או באיגום מקסימום. שמרו את מתכון האיגום הזה עם המודל בעת הכנת וקטורים שניתן להשוות.
לכל ייצוג מוחזר יש 384 רכיבים. שלב אינדוקס או קיבוץ לאשכולות עובד עם הווקטורים האלה באמצעות תצורת דמיון שנבחרה, בעוד שרשומת המקור נשארת זמינה לסקירה. שמרו על אותו מודל, הכנת קלט והגדרות השוואה על פני הפריטים שמושווים. מודל אחר שמחזיר 384 ערכים אינו אותו מרחב הטמעות על סמך הצורה הזאת בלבד.
קלטים קצרים בתצורה שפורסמה
תצורת הייחוס של Sentence Transformer משתמשת באורך רצף מרבי של 128 טוקנים. הכינו מקור ארוך כיחידות קצרות וקוהרנטיות במקום פסקה אחת גדולה מדי. משפט המכיל כלל עשוי להזדקק לחריג שבמשפט הבא; שמרו את היחידה הקטנה הזאת יחד כשהיא נכנסת. מספר מילים או תווים אינו קובע ישירות את אורך הרצף בטוקנים.
בקבוצת תיאורים קצרים, שמרו שמות ותכונות מבחינות שחשובים להשוואה. רשומה המכילה רק קטגוריה עמומה עשויה להיות קשה להפרדה מרשומות אחרות מאותו סוג. אחסנו את השיוך למקור מחוץ לווקטור, כדי שאפשר יהיה לבדוק מועמד שהוחזר מול החומר המקורי.
תוצאות חיפוש וקיבוץ לאשכולות
בחיפוש סמנטי, ייצגו את השאילתה ואת חומר הקורפוס באותו מודל והחזירו רשומות מועמדות עם טקסט המקור שלהן. בקיבוץ לאשכולות, שלב אחר יוצר קבוצות מהווקטורים. בדקו את הרשומות הסמוכות לגבול אשכול לפני השימוש בקיבוץ כהחלטת מוצר או כתווית אוטומטית.
הפלט השימושי הוא ייצוג קומפקטי של טקסט קצר הקשור לרשומה המקורית שלו. לנקודת הביקורת המדויקת paraphrase-MiniLM-L6-v2 יש תצורת איגום ורצף משלה. גרסאות all-MiniLM וגרסאות paraphrase הרב־לשוניות הן פרופילי מודל נפרדים; האימון, טווח השפות או הגדרות הקלט שלהן אינם משתמעים מהשם המשותף MiniLM.
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings sentence-transformers/paraphrase-minilm-l6-v2
sentence-transformers/paraphrase-minilm-l6-v2
sentence-transformers/paraphrase-minilm-l6-v2התחלה
Sentence Transformers paraphrase-MiniLM-L6-v2 ממפה משפטים ופסקאות קצרות לווקטורים בעלי 384 ממדים לחיפוש סמנטי ולקיבוץ לאשכולות. התצורה שפורסמה שלו משתמשת באיגום ממוצע ובהגדרת רצף של 128 טוקנים.
- סוגי קלט נתמכים
- טקסט · token_ids
- תוצאות
- embedding
זמין ב-Ailoot · קלט ושיטות
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings
- סוגי קלט
text,token_ids- סוגי פלט
embedding- פורמט פלט
- json
| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות sentence-transformers/paraphrase-minilm-l6-v2 | ברירת מחדל— |
שדהinput | סוגstring|string[]|integer[]|integer[][] | דרישהחובה | ערכים ומגבלות מספר פריטים מזערי: 1 תנאים: אצווה אחידה שאינה ריקה. מזהי הטוקנים הם מספרים שלמים אי־שליליים. תקציב קלט: מקסימום: 512 · יחידת טקסט: בתים בקידוד UTF8 · יחידת טוקנים: רכיבים במערך טוקנים | ברירת מחדל— |
שדהencoding_format | סוגstring | דרישהרשות | ערכים ומגבלות float | ברירת מחדלfloat |
שדהdimensions | סוגinteger | דרישהלא נתמך | ערכים ומגבלות מינימום: 1 | ברירת מחדל— |
שדהuser | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהsession_id | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהtrace | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות תנאים: provider.options נדחה | ברירת מחדל— |
שילובים של חומרי קלט
text_to_embedding
פרמטרים ומחזור חיים של השיטה
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, input |
פרמטרinput_shapes | מפרטstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
פרמטרencoding_format | מפרטfloat |
פרמטרdimensions_override | מפרטfalse |
פרמטרmax_input_budget_units | מפרט512 |
פרמטרmultimodal_objects | מפרטfalse |
פרמטרmaterial_types | מפרטtext, token_ids |
מחזור חיים: synchronous_json
שמרו כל אינדקס וקטור וממד.
שם מודל רב־מודאלי אינו מאפשר אובייקטי תמונה בנתיב המדויק הזה.
תעריפים
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
- מצב מהיר
- לא צוין כאשר נבחר מצב מהיר
- מצב Flex
- לא צוין כאשר נבחר מצב flex
- מאמץ חשיבה מרבי
- לא צוין כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)
תעריפי Ailoot
מחירים לפי תצורה
| תצורה | טבלת תעריפים | חיוב |
|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | חיוב קלט · טוקני קלט $0.00001 / 1K טוקנים פלט · טוקני פלט $0 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
דוגמאות לבקשות
Ailoot Ultra · ייצוגים וקטוריים
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/paraphrase-minilm-l6-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/paraphrase-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
קבלה ושמירה של תוצאות
Ailoot Ultra · ייצוגים וקטוריים
json
שמירת כל התוצאות שהושלמו
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו כל וקטור עם האינדקס שלו. מספר הווקטורים חייב להיות שווה למספר פריטי הקלט; מספר הממדים חייב להיות עקבי.
כשצריך לבדוק את התגובה המקורית
לא מתווספת נקודת קצה למשימות הטמעה.
שדות התגובה
| שדה | סוג |
|---|---|
שדהobject | סוגstring |
שדהmodel | סוגstring |
שדהdata[].index | סוגinteger |
שדהdata[].embedding | סוגfinite float[] |
שדהusage | סוגobject |
שגיאות והשלבים הבאים
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
כינויים
כינויים למודל
Ailoot Ultra sentence-transformers/paraphrase-minilm-l6-v2
כינויים לנתיבי שיטות
השתמשו בנתיבי השיטות המוצגים למעלה.
מזהי מודלים קשורים IDs
FAQ · Sentence Transformers: paraphrase-MiniLM-L6-v2
- אילו קלטים ותוצאות זמינים?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:text,token_ids→embedding- באילו שדות הבקשה משתמשת?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:model,input,encoding_format,provider- אילו מגבלות חלות?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:input.budget.maximum:512(בתים בקידוד UTF8);input.min_items:1