Sentence Transformers: all-MiniLM-L6-v2
Sentence Transformers all-MiniLM-L6-v2 sakinius ir trumpas pastraipas atvaizduoja 384 matmenų vektoriais semantinei paieškai, grupavimui į klasterius ir panašumo vertinimui. Paskelbtoje procedūroje derinamas vidurkinimas, L2 normalizavimas ir numatytoji 256 žodžių dalių riba.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
all-MiniLM-L6-v2 yra Sentence Transformers sakinių ir trumpų pastraipų koduotuvas. Kiekvieną tekstą jis paverčia 384 matmenų tankiuoju vektoriumi informacijos paieškai, grupavimui į klasterius ir sakinių panašumo vertinimui. Modelis papildomai mokytas iš MiniLM-L6-H384-uncased pagrindo, taikant kontrastinį mokymąsi milijardo sakinių porų rinkinyje.
Paruoškite glaustus, prasmingus įrašus
Pasirinkite sakinį ar pastraipą, kuri turėtų būti rodoma paieškos rezultate. DUK kolekcijoje išsaugokite klausimą ir trumpą paaiškinimą, atskleidžiantį jo temos ypatumą. Ištraukoje apie pamiršto slaptažodžio nustatymą iš naujo turėtų likti atkūrimo procedūra, užuot ją sutrumpinus iki pavienio žodžio, pavyzdžiui, „Paskyra“.
Ilgame straipsnyje indeksuokite rišlius trumpus skyrius ir išsaugokite jų vietas šaltinyje. Kandidatinius skyrius raskite palygindami užklausos vektorių su saugomais atvaizdais, tada parodykite originalias ištraukas, kad skaitytojas galėtų patikrinti tikrąsias instrukcijas.
Gaukite sakinio atvaizdą
Gamintojo tiesioginio kodavimo procedūroje žetonų atvaizdai vidurkinami atsižvelgiant į dėmesio kaukę, neįtraukiant užpildymo pozicijų į vidurkį. Tada taikomas L2 normalizavimas. Šie veiksmai sukuria palyginimui naudojamą sakinio įterpinį; atskirų žetonų atvaizdai iš pagrindinio transformerių modelio atlieka kitą vaidmenį.
Kiekviena išvestis turi 384 komponentus. Kurdami kolekciją ir koduodami vėlesnes užklausas naudokite tą pačią modelio versiją, agregavimą ir normalizavimą. Gautus vektorius galima palyginti kosinuso panašumu. Pagal šią konfigūraciją panašumo reikšmė naudinga kandidatams rikiuoti, o originalus tekstas lemia, ar kandidatas atsako į klausimą.
Ilgio ir versijų ribos
Pagal paskelbtą numatytąjį nustatymą ilgesnės nei 256 žodžių dalių įvestys nukerpamos. Šis tokenizatoriaus vienetas tiesiogiai neatitinka įprasto žodžio ar ženklo. Svarbias sąlygas išlaikykite indeksuojamame vienete, o ilgą procedūrą prieš kodavimą suskaidykite prasmingose vietose.
Mokymo sekos buvo ribojamos iki 128 žetonų. Šis mokymo nustatymas yra atskiras nuo koduojant taikomos numatytosios 256 žodžių dalių ribos. Neįprastai ilgų ar specializuotų ištraukų paieškos elgseną vertinkite reprezentatyviais užklausų ir ištraukų pavyzdžiais, užuot manę, kad tilpimas į įvesties ribą garantuoja vienodą dėmesį kiekvienai detalei.
Konkreti L6-v2 versija yra anglų kalbos įterpinių profilis. L12-v2 ir paraphrase-MiniLM versijos turi atskiras modelių tapatybes ir konfigūracijas. Bendras MiniLM pavadinimas ar 384 matmenų išvestis neįrodo, kad vektoriai yra tarpusavyje pakeičiami.
Paieška, panašumas ir grupavimas
Peržiūrėdami galimai pasikartojančius klausimus raskite panašius klausimus ir prieš sujungdami įrašus palyginkite tikrąsias formuluotes. Klausimai „Ar galiu iš naujo nustatyti savo slaptažodį?“ ir „Ar administratorius gali iš naujo nustatyti kito naudotojo slaptažodį?“ susiję su panašia tema, bet skirtingomis teisėmis. Išsaugokite šį skirtumą užkoduotame tekste ir peržiūros etape.
Grupuodami į klasterius naudokite įterpinius kaip skaitines grupavimo proceso įvestis, o prieš pavadindami grupę patikrinkite reprezentatyvius įrašus. Šis modelis pateikia vektorius, o ne parašytas klasterių žymas ar sugeneruotą DUK atsakymą. Naudingas jo rezultatas yra kompaktiškas trumpos šaltinio ištraukos atvaizdas, išliekantis susietas su originaliu įrašu.
Ailoot Ultra · Įterpiniai POST /v1/embeddings sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2Pradžia
Sentence Transformers all-MiniLM-L6-v2 sakinius ir trumpas pastraipas atvaizduoja 384 matmenų vektoriais semantinei paieškai, grupavimui į klasterius ir panašumo vertinimui. Paskelbtoje procedūroje derinamas vidurkinimas, L2 normalizavimas ir numatytoji 256 žodžių dalių riba.
- Leidžiamos įvestys
- Tekstas · token_ids
- Rezultatai
- embedding
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Įterpiniai POST /v1/embeddings
- Įvestis
text,token_ids- Išvestis
embedding- Išvesties formatas
- json
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos sentence-transformers/all-minilm-l6-v2 | Numatyta— |
Laukasinput | Tipasstring|string[]|integer[]|integer[][] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 Sąlygos: Netuščias vienalyčių įvesčių paketas. Žetonų ID yra neneigiami sveikieji skaičiai. Įvesties biudžetas: Didžiausia reikšmė: 512 · Teksto vienetas: UTF8 baitai · Tokenų vienetas: žetonų masyvo elementai | Numatyta— |
Laukasencoding_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos float | Numatytafloat |
Laukasdimensions | Tipasinteger | ReikalavimasNepalaikoma | Reikšmės ir ribos Mažiausia reikšmė: 1 | Numatyta— |
Laukasuser | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukassession_id | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukastrace | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options atmetamas | Numatyta— |
Įvesties medžiagos deriniai
text_to_embedding
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input |
Parametrasinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrasencoding_format | Specifikacijafloat |
Parametrasdimensions_override | Specifikacijafalse |
Parametrasmax_input_budget_units | Specifikacija512 |
Parametrasmultimodal_objects | Specifikacijafalse |
Parametrasmaterial_types | Specifikacijatext, token_ids |
Gyvavimo ciklas: synchronous_json
Išsaugokite kiekvieną vektoriaus indeksą ir matmenį.
Tai, kad modelio pavadinimas nurodo multimodalumą, nereiškia, jog šiuo konkrečiu keliu priimami vaizdų objektai.
Planai
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Nenurodyta Pasirinkus spartųjį režimą
- Flex režimas
- Nenurodyta Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Nenurodyta Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Ailoot įkainiai
Kainos pagal konfigūraciją
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.00001 / 1K tokenų Išvestis · Išvesties tokenai $0 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Įterpiniai
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-minilm-l6-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Įterpiniai
json
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną vektorių su jo indeksu. Vektorių skaičius turi sutapti su įvesčių skaičiumi; jų matmenų skaičius turi būti vienodas.
Jei reikia patikrinti pradinį atsakymą
Vektorių generavimo užduotims atskiras API galinis taškas neįvedamas.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukasobject | Tipasstring |
Laukasmodel | Tipasstring |
Laukasdata[].index | Tipasinteger |
Laukasdata[].embedding | Tipasfinite float[] |
Laukasusage | Tipasobject |
Klaidos ir tolesni veiksmai
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra sentence-transformers/all-minilm-l6-v2
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · Sentence Transformers: all-MiniLM-L6-v2
- Kokios įvestys ir rezultatai prieinami?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:text,token_ids→embedding- Kokius laukus naudoja užklausa?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:model,input,encoding_format,provider- Kokie apribojimai taikomi?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:input.budget.maximum:512(UTF8 baitai);input.min_items:1