Sentence Transformers: all-mpnet-base-v2
A Sentence Transformers all-mpnet-base-v2 mondatokat és rövid bekezdéseket alakít 768 dimenziós vektorokká visszakereséshez, klaszterezéshez és hasonlósághoz. A közzétett recept átlagoló poolingot és L2-normalizálást használ, alapértelmezésben 384 szórésznél csonkítva.
A modellről
Ez a leírás a modell képességeit ismerteti. Az Ailootban elérhető bemenetek, kimenetek és lehetőségek alább, a kiválasztott metódusnál láthatók.
Az all-mpnet-base-v2 a Sentence Transformers modellje mondatok és rövid bekezdések 768 dimenziós sűrű vektorokként való reprezentálásához. Az MPNet alapmodellből finomhangolták kontrasztív tanulással egy egymilliárd mondatpárból álló gyűjteményen. A gyártó tervezett használatként információ-visszakeresést, klaszterezést és mondathasonlóságot nevez meg.
Kódoljon mondatot vagy rövid bekezdést
Készítse elő az összehasonlítandó szöveget, megtartva a fő gondolatot és megkülönböztető részleteit. Belső dokumentumgyűjteménynél egy rövid szakasz leírhatja, hogyan kérhető eszközcsere, vagy milyen adatokat kell tartalmaznia a karbantartási jelentésnek. A dokumentum címe és forráshelye maradjon elérhető a vektor mellett.
Az azonos modellel beágyazott lekérdezés eltérő megfogalmazás mellett is visszakereshet kapcsolódó szakaszokat. Vizsgálja meg e szakaszokban az olvasó számára szükséges tényleges utasítást. Hasonlósági munkafolyamatnál a visszakeresés után magukat a jelöltmondatokat hasonlítsa össze, különösen ha az egyik olyan kivételt vagy feltételt tartalmaz, amely a másikból hiányzik.
Átlagoló pooling és normalizálás
A referencia kódolási példa figyelmi maszkkal átlagolja a kontextuális tokenreprezentációkat, a kitöltést kizárva az átlagból. Ezután L2-normalizálja a kapott mondatbeágyazásokat. Mindkét lépést őrizze meg a gyűjtemény és későbbi lekérdezések vektorainak előállításakor.
Minden vektor 768 komponensű. A koszinuszhasonlóság összehasonlíthatja e normalizált reprezentációkat, a forrásszöveg pedig az eredmény mögötti bizonyítékot adja. A közös komponensszám nem teszi e modellt kompatibilissé a multi-qa-mpnet-base-dot-v1 modellel: az a külön kiadás CLS poolingot és nem normalizált vektorokat ír elő skalárszorzatos pontozáshoz.
Alapértelmezett csonkítás és szövegrészlet-előkészítés
A gyártó közli, hogy a 384 szórészen túli bemenet alapértelmezésben csonkul. A releváns szakaszt tartsa e tokenizálóhatáron belül. Hosszú eljárásnál értelmes szakaszhatároknál bontson, és adjon elég helyi kontextust annak elmagyarázásához, mire vonatkozik egy lépés. Az olyan töredékhez, mint „Öt napon belül küldje be”, szükség van a határidőt elindító eseményre vagy folyamatra.
A tanítási eljárás 128 tokenre korlátozta a szekvenciákat, ami különbözik a közzétett 384 szórészes kódolási alapértéktől. Hosszabb bekezdések vagy a gyűjteményre jellemző szókincs értékeléséhez reprezentatív anyagot használjon. Attól, hogy több szöveg fér a bemenetbe, még nem igazolt, hogy minden részlet egyformán befolyásolja a visszakeresési eredményt.
Visszakeresés, csoportosítás és összehasonlítás
Keresésnél őrizze meg a vektor és dokumentum kapcsolatát, hogy a rangsorolt jelöltek az eredeti szakaszokat adhassák vissza. RAG-munkafolyamatban a kiválasztott szakaszok a válaszíró lépés kontextusává válnak. A modell numerikus reprezentációkat ad; nem generál forrásalapú választ, és nem dönti el, melyik dokumentum mérvadó.
Klaszterezésnél címkék kiosztása előtt hasonlítsa össze az egyes javasolt csoportok rekordjait. Karbantartási jegyzetek készlete hasonló nyelvezetet tartalmazhat, mégis eltérő eszközökre vagy hibakörülményekre vonatkozhat. Ezeket a megkülönböztető részleteket foglalja a kódolt szövegbe, és a visszaadott anyagban vizsgálja őket, ne kizárólag pontszámra hagyatkozzon.
Ez a pontos all-mpnet-base-v2 checkpoint angol mondatbeágyazási profil saját átlagoló pooling-, normalizálási és alapértelmezett csonkítási beállításokkal. E beállításokat tartsa az indexelt gyűjteménnyel együtt, és a vektorokat a feladathoz fontos forrásszövegrészletek megtalálásának és összehasonlításának segédeszközeként használja.
Ailoot Ultra · Beágyazások POST /v1/embeddings sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2Kezdő lépések
A Sentence Transformers all-mpnet-base-v2 mondatokat és rövid bekezdéseket alakít 768 dimenziós vektorokká visszakereséshez, klaszterezéshez és hasonlósághoz. A közzétett recept átlagoló poolingot és L2-normalizálást használ, alapértelmezésben 384 szórésznél csonkítva.
- Elfogadott bemenetek
- Szöveg · token_ids
- Eredmények
- embedding
Elérhető az Ailootban · bemenetek és metódusok
Ailoot Ultra · Beágyazások POST /v1/embeddings
- Bemenet
text,token_ids- Kimenet
embedding- Kimeneti formátum
- json
| Mező | Típus | Követelmény | Értékek és korlátok | Alapértelmezett |
|---|---|---|---|---|
Mezőmodel | Típusstring | KövetelményKötelező | Értékek és korlátok sentence-transformers/all-mpnet-base-v2 | Alapértelmezett— |
Mezőinput | Típusstring|string[]|integer[]|integer[][] | KövetelményKötelező | Értékek és korlátok Minimális elemszám: 1 Feltételek: Nem üres, homogén köteg. A tokenazonosítók nemnegatív egész számok. Bemeneti keret: Maximum: 512 · Szövegegység: UTF8-bájtok · Tokenegység: tokentömb elemei | Alapértelmezett— |
Mezőencoding_format | Típusstring | KövetelményOpcionális | Értékek és korlátok float | Alapértelmezettfloat |
Meződimensions | Típusinteger | KövetelményNem támogatott | Értékek és korlátok Minimum: 1 | Alapértelmezett— |
Mezőuser | Típusjson_value | KövetelményOpcionális | Értékek és korlátok Feltételek: A forrás engedélyezi ezt a JSON-metaadatmezőt; a szolgáltatónál érvényes pontos jelentése modellenként eltér. | Alapértelmezett— |
Mezősession_id | Típusjson_value | KövetelményOpcionális | Értékek és korlátok Feltételek: A forrás engedélyezi ezt a JSON-metaadatmezőt; a szolgáltatónál érvényes pontos jelentése modellenként eltér. | Alapértelmezett— |
Mezőtrace | Típusjson_value | KövetelményOpcionális | Értékek és korlátok Feltételek: A forrás engedélyezi ezt a JSON-metaadatmezőt; a szolgáltatónál érvényes pontos jelentése modellenként eltér. | Alapértelmezett— |
Mezőprovider | Típusobject | KövetelményOpcionális | Értékek és korlátok Feltételek: A provider.options elutasítva | Alapértelmezett— |
Bemeneti anyagok kombinációi
text_to_embedding
Metódus paraméterei és életciklusa
| Paraméter | Szerződés |
|---|---|
Paramétercontent_type | Szerződésapplication/json |
Paraméterrequired | Szerződésmodel, input |
Paraméterinput_shapes | Szerződésstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Paraméterencoding_format | Szerződésfloat |
Paraméterdimensions_override | Szerződésfalse |
Paramétermax_input_budget_units | Szerződés512 |
Paramétermultimodal_objects | Szerződésfalse |
Paramétermaterial_types | Szerződéstext, token_ids |
Életciklus: synchronous_json
Őrizze meg minden vektor indexét és dimenzióját.
A multimodális modell neve ezen a pontos útvonalon nem teszi lehetővé képobjektumok használatát.
Díjcsomagok
A díjszabás nem ad új kérési lehetőségeket. A támogatott paraméterek a kiválasztott módszernél szerepelnek.
- Gyors mód
- Nincs megadva Ha a gyors mód van kiválasztva
- Flex mód
- Nincs megadva Ha a flex mód van kiválasztva
- Maximális gondolkodási ráfordítás
- Nincs megadva Ha a maximális gondolkodási ráfordításra a default beállításhoz tartozó korrekció vonatkozik
Ailoot-díjak
Árak beállításonként
| Beállítás | Díjtáblázat | Díj |
|---|---|---|
| BeállításTokenenkénti alapárak | DíjtáblázatAlapdíj | Díj Bemenet · Bemeneti tokenek $0.00001 / 1K token Kimenet · Kimeneti tokenek $0 / 1K token Bemenet · Gyorsítótár olvasása — / 1K token Bemenet · Írás a gyorsítótárba — / 1K token Bemenet · Írás a gyorsítótárba, 1 óra — / 1K token |
Az Ailoot a kérés előtt becsült összeget foglal le. Az eredmény után a mért használat alapján elszámolja a végső díjat. Folyamatos átvitel esetén a végső használati rekordot használja. A foglalás és az elszámolás működése →
Példakérések
Ailoot Ultra · Beágyazások
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-mpnet-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-mpnet-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Eredmények fogadása és mentése
Ailoot Ultra · Beágyazások
json
Őrizzen meg minden elkészült eredményt
Őrizzen meg minden teljes visszaadott választ, fájlt és tartalomrészt.
Őrizzen meg minden vektort az indexével együtt. A vektorok számának meg kell egyeznie a bemenetek számával; a dimenzióknak egységesnek kell lenniük.
Ha az eredeti választ ellenőrizni kell
Nem kerül bevezetésre külön beágyazási feladatvégpont.
Válaszmezők
| Mező | Típus |
|---|---|
Mezőobject | Típusstring |
Mezőmodel | Típusstring |
Meződata[].index | Típusinteger |
Meződata[].embedding | Típusfinite float[] |
Mezőusage | Típusobject |
Hibák és következő lépések
| Válasz | Feltétel | Következő lépés |
|---|---|---|
Válasz400 · invalid_request_error | FeltételÉrvénytelen kötelező mezők, az anyag érvénytelen reprezentációja vagy érvénytelen paraméterérték | Következő lépésJavítsa a jelzett mezőket egy új létrehozási kérés előtt. |
Álnevek
Modell álnevei
Ailoot Ultra sentence-transformers/all-mpnet-base-v2
Metódusútvonalak álnevei
Használja a fent látható metódusútvonalakat.
Kapcsolódó modellazonosítók
FAQ · Sentence Transformers: all-mpnet-base-v2
- Milyen bemenetek és eredmények érhetők el?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:text,token_ids→embedding- Mely mezőket használja a kérés?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:model,input,encoding_format,provider- Milyen korlátok érvényesek?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:input.budget.maximum:512(UTF8-bájtok);input.min_items:1