Sentence Transformers: all-mpnet-base-v2
Sentence Transformers all-mpnet-base-v2 ממיר משפטים ופסקאות קצרות לווקטורים בעלי 768 ממדים לאחזור, לקיבוץ לאשכולות ולדמיון. המתכון שפורסם משתמש באיגום ממוצע ובנרמול L2, עם קטיעה כברירת מחדל ב־384 חלקי מילה.
על המודל
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
all-mpnet-base-v2 הוא מודל של Sentence Transformers לייצוג משפטים ופסקאות קצרות כווקטורים צפופים בעלי 768 ממדים. הוא עבר כוונון עדין ממודל הבסיס MPNet באמצעות למידה קונטרסטיבית על אוסף בן מיליארד זוגות משפטים. היצרן מציין אחזור מידע, קיבוץ לאשכולות ודמיון בין משפטים כשימושים מיועדים.
קודדו משפט או פסקה קצרה
הכינו את הטקסט שיש להשוות, תוך שמירה על הרעיון המרכזי ועל הפרטים שמבדילים אותו. באוסף מסמכים פנימי, מקטע קצר עשוי לתאר כיצד לבקש החלפת ציוד או איזה מידע דוח תחזוקה חייב להכיל. שמרו את כותרת המסמך ואת מיקום המקור שלו זמינים לצד הווקטור.
שאילתה שעברה הטמעה באותו מודל יכולה לאחזר מקטעים קשורים גם כשהניסוח שלהם שונה. בדקו במקטעים האלה את ההוראה בפועל שהקורא זקוק לה. בתהליך דמיון, השוו את המשפטים המועמדים עצמם לאחר האחזור, במיוחד כאשר אחד מהם מכיל חריג או תנאי שנעדר מהאחר.
איגום ממוצע ונרמול
דוגמת הקידוד של הייחוס מחשבת ממוצע של ייצוגי טוקנים בהקשר בעזרת מסכת הקשב, תוך החרגת ריפוד מהממוצע. לאחר מכן היא מבצעת נרמול L2 להטמעות המשפטים שהתקבלו. שמרו על שני השלבים בעת יצירת וקטורים לאוסף ולשאילתות מאוחרות יותר.
לכל וקטור יש 768 רכיבים. דמיון קוסינוס יכול להשוות את הייצוגים המנורמלים האלה, ואילו טקסט המקור מספק את הראיות שמאחורי התוצאה. מספר הרכיבים המשותף אינו הופך את המודל הזה לתואם ל־multi-qa-mpnet-base-dot-v1: המהדורה הנפרדת הזאת מציינת איגום CLS ווקטורים לא מנורמלים למתן ציונים במכפלה סקלרית.
קטיעה כברירת מחדל והכנת קטעים
היצרן מציין שקלט מעבר ל־384 חלקי מילה נקטע כברירת מחדל. שמרו את המקטע הרלוונטי בתוך גבול הטוקנייזר הזה. בנוהל ארוך, פצלו בגבולות של מקטעים בעלי משמעות וכללו מספיק הקשר מקומי כדי להסביר על מה שלב חל. קטע כגון ״הגישו בתוך חמישה ימים״ זקוק לאירוע או לתהליך שמתחיל את מניין המועד.
תהליך האימון הגביל רצפים ל־128 טוקנים, בנפרד מברירת המחדל שפורסמה לקידוד של 384 חלקי מילה. השתמשו בחומר מייצג בעת הערכת פסקאות ארוכות יותר או אוצר מילים ייחודי לאוסף שלכם. העובדה שיותר טקסט נכנס לקלט אינה קובעת שכל פרט ישפיע באותה מידה על תוצאת אחזור.
אחזור, קיבוץ והשוואה
בחיפוש, שמרו על השיוך בין הווקטור למסמך, כדי שמועמדים מדורגים יוכלו להחזיר את המקטעים המקוריים. בתהליך RAG, המקטעים שנבחרו הופכים להקשר של שלב כתיבת התשובה. המודל מספק ייצוגים מספריים; הוא אינו יוצר תשובה מבוססת מקורות או מחליט איזה מסמך הוא הסמכות הקובעת.
בקיבוץ לאשכולות, השוו את הרשומות בכל קבוצה מוצעת לפני הקצאת תוויות. קבוצת הערות תחזוקה עשויה להכיל שפה דומה אך להתייחס למכשירים או לתנאי כשל שונים. כללו את הפרטים המבחינים האלה בטקסט המקודד ובדקו אותם בחומר שהוחזר במקום להסתמך על ציון בלבד.
נקודת הביקורת המדויקת all-mpnet-base-v2 היא פרופיל הטמעות למשפטים באנגלית עם הגדרות איגום ממוצע, נרמול וקטיעה כברירת מחדל משלו. שמרו את ההגדרות האלה עם האוסף המאונדקס והשתמשו בווקטורים כעזר למציאת קטעי המקור החשובים למשימה ולהשוואתם.
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2התחלה
Sentence Transformers all-mpnet-base-v2 ממיר משפטים ופסקאות קצרות לווקטורים בעלי 768 ממדים לאחזור, לקיבוץ לאשכולות ולדמיון. המתכון שפורסם משתמש באיגום ממוצע ובנרמול L2, עם קטיעה כברירת מחדל ב־384 חלקי מילה.
- סוגי קלט נתמכים
- טקסט · token_ids
- תוצאות
- embedding
זמין ב-Ailoot · קלט ושיטות
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings
- סוגי קלט
text,token_ids- סוגי פלט
embedding- פורמט פלט
- json
| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות sentence-transformers/all-mpnet-base-v2 | ברירת מחדל— |
שדהinput | סוגstring|string[]|integer[]|integer[][] | דרישהחובה | ערכים ומגבלות מספר פריטים מזערי: 1 תנאים: אצווה אחידה שאינה ריקה. מזהי הטוקנים הם מספרים שלמים אי־שליליים. תקציב קלט: מקסימום: 512 · יחידת טקסט: בתים בקידוד UTF8 · יחידת טוקנים: רכיבים במערך טוקנים | ברירת מחדל— |
שדהencoding_format | סוגstring | דרישהרשות | ערכים ומגבלות float | ברירת מחדלfloat |
שדהdimensions | סוגinteger | דרישהלא נתמך | ערכים ומגבלות מינימום: 1 | ברירת מחדל— |
שדהuser | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהsession_id | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהtrace | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות תנאים: provider.options נדחה | ברירת מחדל— |
שילובים של חומרי קלט
text_to_embedding
פרמטרים ומחזור חיים של השיטה
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, input |
פרמטרinput_shapes | מפרטstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
פרמטרencoding_format | מפרטfloat |
פרמטרdimensions_override | מפרטfalse |
פרמטרmax_input_budget_units | מפרט512 |
פרמטרmultimodal_objects | מפרטfalse |
פרמטרmaterial_types | מפרטtext, token_ids |
מחזור חיים: synchronous_json
שמרו כל אינדקס וקטור וממד.
שם מודל רב־מודאלי אינו מאפשר אובייקטי תמונה בנתיב המדויק הזה.
תעריפים
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
- מצב מהיר
- לא צוין כאשר נבחר מצב מהיר
- מצב Flex
- לא צוין כאשר נבחר מצב flex
- מאמץ חשיבה מרבי
- לא צוין כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)
תעריפי Ailoot
מחירים לפי תצורה
| תצורה | טבלת תעריפים | חיוב |
|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | חיוב קלט · טוקני קלט $0.00001 / 1K טוקנים פלט · טוקני פלט $0 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
דוגמאות לבקשות
Ailoot Ultra · ייצוגים וקטוריים
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-mpnet-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-mpnet-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
קבלה ושמירה של תוצאות
Ailoot Ultra · ייצוגים וקטוריים
json
שמירת כל התוצאות שהושלמו
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו כל וקטור עם האינדקס שלו. מספר הווקטורים חייב להיות שווה למספר פריטי הקלט; מספר הממדים חייב להיות עקבי.
כשצריך לבדוק את התגובה המקורית
לא מתווספת נקודת קצה למשימות הטמעה.
שדות התגובה
| שדה | סוג |
|---|---|
שדהobject | סוגstring |
שדהmodel | סוגstring |
שדהdata[].index | סוגinteger |
שדהdata[].embedding | סוגfinite float[] |
שדהusage | סוגobject |
שגיאות והשלבים הבאים
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
כינויים
כינויים למודל
Ailoot Ultra sentence-transformers/all-mpnet-base-v2
כינויים לנתיבי שיטות
השתמשו בנתיבי השיטות המוצגים למעלה.
מזהי מודלים קשורים IDs
FAQ · Sentence Transformers: all-mpnet-base-v2
- אילו קלטים ותוצאות זמינים?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:text,token_ids→embedding- באילו שדות הבקשה משתמשת?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:model,input,encoding_format,provider- אילו מגבלות חלות?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:input.budget.maximum:512(בתים בקידוד UTF8);input.min_items:1