LiquidAI: LFM2.5-Embedding-350M (free)
LiquidAI LFM2.5-Embedding-350M מפיק וקטור אחד בן 1024 ממדים לכל טקסט, לצורך אחזור רב-לשוני ואחזור בין שפות. הוא מיועד ל-11 שפות ולקלטים קצרים של 512 טוקנים, עם קידומות שונות לשאילתה ולמסמך.
על המודל
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
LFM2.5-Embedding-350M הוא מודל bi-encoder צפוף של LiquidAI לאחזור רב־לשוני ובין שפות. הוא מפיק וקטור אחד בעל 1024 ממדים לכל טקסט ומיועד לחיפוש בהקשר קצר באחת עשרה שפות. משפחת המודל הנקובה 350M משתמשת בהתאמה דו־כיוונית של LFM2.5-350M-Base; טבלת המודל המפורטת מציינת כ־354 מיליון פרמטרים למהדורת ההטמעות הזאת.
ייצוג אחזור דו־כיווני
היצרן מתאים את ארכיטקטורת הבסיס כך שקשב וקונבולוציות מקומיות יוכלו להשתמש בהקשר משני צדי הטוקן. איגום בסגנון CLS הופך את הטקסט המעובד לווקטור צפוף אחד. טבלת המודל מתארת שבע עשרה שכבות: עשרה בלוקי קונבולוציה, שישה בלוקי קשב ושלב איגום. זהו מקודד אחזור עם הכנה ופלט משלו, ולא משימת יצירת הטקסט של מודל הבסיס.
LFM2.5-ColBERT-350M, הנושא שם נפרד, שומר וקטורים לכל טוקן לצורך אינטראקציה מאוחרת. הייצוג הזה דורש אינדקס ושיטת השוואה אחרים. מודל Embedding כאן מספק וקטור אחד לכל מסמך או שאילתה, עם דמיון קוסינוס כהשוואה המתועדת.
השתמשו בפרומפטים הלא סימטריים הנכונים
הכינו שאילתות חיפוש עם “query:” וקטעי מקור עם “document:”. היצרן שומר את הפרומפטים האלה בתצורה שלו, ותהליך הייחוס מחיל את שם הפרומפט המתאים. הוא ממליץ במפורש להשתמש בתפקיד המתאים בכל צד משום שהמודל אומן עם הקידומות האלה. קידומת המסמך הזאת שונה ממוסכמת “passage:” של מודלי E5.
אוסף מעשי לחיפוש מוצרים יכול להכיל תיאורים בשפות הנתמכות. הכינו את ניסוח החיפוש של המשתמש כשאילתה ואת תיאור כל מוצר כמסמך. אחסנו את הטקסט המקורי, מזהה המוצר והשפה עם הווקטור, כדי שתוצאת חיפוש תוכל להחזיר את הרשומה המתאימה. באוסף תמיכה, שמרו את המדיניות או ההוראה הרלוונטית לשאלה במקום להחליף אותה בתווית קצרה ולא קשורה.
שפות וגודל קטעים
קבוצת השפות המתועדת היא אנגלית, ספרדית, גרמנית, צרפתית, איטלקית, פורטוגזית, ערבית, שוודית, נורווגית, יפנית וקוריאנית. היצרן מכוון במפורש הן לאחזור בתוך שפה והן לאחזור מעבר לגבולות שפה. הכינו שאלות אמיתיות מהקהל המיועד ובדקו את טקסט המסמך שהוחזר בשפות האלה.
מפרט אורך המסמך הוא 512 טוקנים. חלקו מקור ארוך לקטעים קוהרנטיים ששומרים את הכותרת, ההגדרות והתנאים הדרושים לתוצאה שאוחזרה. קידומת התפקיד וההקשר שנוסף שייכים לקלט המוכן. תשובה לשאלה נפוצה, הסבר על מוצר או מקטע ממוקד של מסמך טכני הם יחידות מתאימות יותר ממדריך שלם וגדול מדי.
אימון והתאמה
היצרן מתאר שלושה שלבי אימון: אימון מקדים קונטרסטיבי באנגלית, זיקוק רב־לשוני ובין שפות, ואז כוונון עדין עם דוגמאות שליליות קשות שנכרו. המודל שהתקבל מיועד לקטלוגי מוצרים, לאוספי שאלות נפוצות ותמיכה, לחיפוש קבצים או הערות ולאחזור ידע ארגוני. אלה משימות לייצוגי הטקסט, ולא טענות על פריסה של יישום מסוים.
דוגמת היצרן מנרמלת וקטורי שאילתה ומסמך ומדרגת אותם באמצעות מכפלה סקלרית, השקולה לדמיון קוסינוס. חשבו מראש את ייצוגי הקורפוס בעת הכנת חומר המקור, ואז הטמיעו שאילתת חיפוש והחזירו מסמכים מועמדים עם הטקסט והמזהים שלהם. שמרו את המודל שנבחר ואת מוסכמת התפקיד עם האינדקס, כדי שההשוואה המספרית תשתמש בייצוגים תואמים.
התוצאה השימושית היא אינדקס חיפוש צפוף וקומפקטי או וקטור שאילתה שמאחזר חומר מקור על פני קבוצת השפות המתועדת. מהדורת LFM2.5 Embedding המדויקת הזאת נשארת נפרדת ממודל ColBERT הנלווה שלה, ממאחזרי LFM2 ישנים יותר וממימושים שעברו כימות חיצוני. טקסט הקטע שנבחר הוא הראיה המשמשת קורא או שלב תשובת RAG מאוחר יותר.
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings liquid/lfm-2.5-embedding-350m:free
liquid/lfm-2.5-embedding-350m:free
liquid/lfm-2.5-embedding-350m:freeהתחלה
LiquidAI LFM2.5-Embedding-350M מפיק וקטור אחד בן 1024 ממדים לכל טקסט, לצורך אחזור רב-לשוני ואחזור בין שפות. הוא מיועד ל-11 שפות ולקלטים קצרים של 512 טוקנים, עם קידומות שונות לשאילתה ולמסמך.
- סוגי קלט נתמכים
- טקסט · token_ids
- תוצאות
- embedding
זמין ב-Ailoot · קלט ושיטות
Ailoot Ultra · ייצוגים וקטוריים POST /v1/embeddings
- סוגי קלט
text,token_ids- סוגי פלט
embedding- הקשר
- 512 tokens
- פורמט פלט
- json
| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות liquid/lfm-2.5-embedding-350m:free | ברירת מחדל— |
שדהinput | סוגstring|string[]|integer[]|integer[][] | דרישהחובה | ערכים ומגבלות מספר פריטים מזערי: 1 תנאים: אצווה אחידה שאינה ריקה. מזהי הטוקנים הם מספרים שלמים אי־שליליים. תקציב קלט: מקסימום: 512 · יחידת טקסט: בתים בקידוד UTF8 · יחידת טוקנים: רכיבים במערך טוקנים | ברירת מחדל— |
שדהencoding_format | סוגstring | דרישהרשות | ערכים ומגבלות float | ברירת מחדלfloat |
שדהdimensions | סוגinteger | דרישהלא נתמך | ערכים ומגבלות מינימום: 1 | ברירת מחדל— |
שדהuser | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהsession_id | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהtrace | סוגjson_value | דרישהרשות | ערכים ומגבלות תנאים: המקור מאפשר שדה מטא־נתונים זה ב־JSON; המשמעות המדויקת אצל הספק תלויה במודל. | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות תנאים: provider.options נדחה | ברירת מחדל— |
שילובים של חומרי קלט
text_to_embedding
פרמטרים ומחזור חיים של השיטה
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, input |
פרמטרinput_shapes | מפרטstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
פרמטרencoding_format | מפרטfloat |
פרמטרdimensions_override | מפרטfalse |
פרמטרmax_input_budget_units | מפרט512 |
פרמטרmultimodal_objects | מפרטfalse |
פרמטרmaterial_types | מפרטtext, token_ids |
מחזור חיים: synchronous_json
שמרו כל אינדקס וקטור וממד.
שם מודל רב־מודאלי אינו מאפשר אובייקטי תמונה בנתיב המדויק הזה.
תעריפים
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
- מצב מהיר
- תעריף רגיל כאשר נבחר מצב מהיר
- מצב Flex
- תעריף רגיל כאשר נבחר מצב flex
- מאמץ חשיבה מרבי
- תעריף רגיל כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)
תעריפי Ailoot
מחירים לפי תצורה
| תצורה | טבלת תעריפים | חיוב |
|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | חיוב קלט · טוקני קלט $0 / 1K טוקנים פלט · טוקני פלט $0 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
דוגמאות לבקשות
Ailoot Ultra · ייצוגים וקטוריים
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "liquid/lfm-2.5-embedding-350m:free", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='liquid/lfm-2.5-embedding-350m:free',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
קבלה ושמירה של תוצאות
Ailoot Ultra · ייצוגים וקטוריים
json
שמירת כל התוצאות שהושלמו
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו כל וקטור עם האינדקס שלו. מספר הווקטורים חייב להיות שווה למספר פריטי הקלט; מספר הממדים חייב להיות עקבי.
כשצריך לבדוק את התגובה המקורית
לא מתווספת נקודת קצה למשימות הטמעה.
שדות התגובה
| שדה | סוג |
|---|---|
שדהobject | סוגstring |
שדהmodel | סוגstring |
שדהdata[].index | סוגinteger |
שדהdata[].embedding | סוגfinite float[] |
שדהusage | סוגobject |
שגיאות והשלבים הבאים
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
כינויים
כינויים למודל
Ailoot Ultra liquid/lfm-2.5-embedding-350m:free
כינויים לנתיבי שיטות
השתמשו בנתיבי השיטות המוצגים למעלה.
מזהי מודלים קשורים IDs
FAQ · LiquidAI: LFM2.5-Embedding-350M (free)
- אילו קלטים ותוצאות זמינים?
POST /v1/embeddings·liquid/lfm-2.5-embedding-350m:free:text,token_ids→embedding- באילו שדות הבקשה משתמשת?
POST /v1/embeddings·liquid/lfm-2.5-embedding-350m:free:model,input,encoding_format,provider- אילו מגבלות חלות?
POST /v1/embeddings·liquid/lfm-2.5-embedding-350m:free:ctx:512;input.budget.maximum:512(בתים בקידוד UTF8);input.min_items:1