Sentence Transformers: all-MiniLM-L12-v2
Sentence Transformers all-MiniLM-L12-v2 sakinius ir trumpas pastraipas koduoja į 384 matmenų vektorius paieškai, panašumo vertinimui ir grupavimui į klasterius. Etaloninėje procedūroje naudojamas vidurkinimas ir normalizavimas, o pagal numatytuosius nustatymus įvestis nukerpama ties 256 žodžių dalimis.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
all-MiniLM-L12-v2 yra Sentence Transformers koduotuvas sakiniams ir trumpoms pastraipoms. Kiekvienam tekstui jis sukuria vieną 384 matmenų tankųjį vektorių semantinei paieškai, informacijos paieškai, grupavimui į klasterius ir sakinių panašumo vertinimui. Modelis naudoja MiniLM-L12-H384-uncased pagrindą ir buvo papildomai mokytas taikant kontrastinį mokymąsi milijardo sakinių porų rinkinyje.
Užkoduokite vienetą, kurį norite rasti
Naudokite sakinį arba trumpą pastraipą, išreiškiančią vieną naudingą mintį. Produktų aprašymų kolekcijoje išsaugokite savybę ir sąlygą, kuri išskiria prekę: „Adapteris prijungia laidines ausines su mikrofonu prie USB-C prievado“ yra informatyviau nei „Garso priedas“. Įrašo identifikatorių ir originalų aprašymą saugokite šalia jo vektoriaus.
Tada paieškos užklausą galima palyginti su užkoduotais aprašymais. Prieš pateikdami galutinį pasirinkimą patikrinkite, ar grąžinti kandidatai atitinka tikslius reikalavimus, pavyzdžiui, jungties tipą arba įrenginių suderinamumą. Vektorius atvaizduoja teksto reikšmę; jį naudojanti paieškos programa suranda atitinkamus įrašus.
Vidurkinimas ir normalizuoti vektoriai
Paskelbtame kodavimo pavyzdyje žetonų atvaizdai vidurkinami atsižvelgiant į dėmesio kaukę, todėl užpildymo pozicijos neprisideda prie vidurkio. Tada taikomas L2 normalizavimas. Šie veiksmai yra etaloninės sakinio vektoriaus gavimo procedūros dalis, o ne nurodymas paimti bet kurį žetoną iš pagrindinio transformerių modelio.
Indeksuotiems tekstams ir naujoms užklausoms išlaikykite vienodą modelio, agregavimo ir normalizavimo konfigūraciją. Gautus 384 komponentų atvaizdus galima palyginti kosinuso panašumu. Saugokite šios konfigūracijos įrašą kartu su kolekcija; kitas 384 matmenų koduotuvas netampa suderinamas vien dėl vienodo vektorių ilgio.
Numatytasis įvesties ilgis ir mokymo aprėptis
Gamintojas nurodo numatytąjį nukirpimą viršijus 256 žodžių dalis. Tai tokenizatoriaus riba, o ne įprastų žodžių ar ženklų skaičius. Ilgesniam įrašui pasirinkite rišlius trumpus skyrius ir išsaugokite antraštę ar identifikuojančią detalę, reikalingą kiekvienam iš jų suprasti.
Modelio mokymo procedūroje naudotos iki 128 žetonų sekos. Šis mokymo nustatymas yra atskiras nuo paskelbtos numatytosios 256 žodžių dalių ribos kodavimo metu. Į numatytąją ribą telpanti ištrauka vis tiek gali labai skirtis nuo mokymo metu naudotų trumpų sakinių medžiagos, todėl ilgus ar specializuotus aprašymus vertinkite reprezentatyviais pavyzdžiais.
Panašumo vertinimo ir grupavimo į klasterius procesai
Pagalbos tarnybos pranešimų rinkiniui įterpiniai gali suteikti skaitines grupavimo etapo įvestis. Prieš suteikdami žmogui suprantamą žymą peržiūrėkite kelis kiekvienos siūlomos grupės pranešimus ir esančius prie jos ribos. Tikrindami pasikartojantį turinį raskite panašius įrašus ir palyginkite tikrąsias jų formuluotes; dvi ištraukos gali aptarti tą pačią temą, bet pateikti skirtingas instrukcijas.
Ši konkreti L12-v2 versija yra anglų kalbos sakinių įterpinių profilis. Ji skiriasi nuo all-MiniLM-L6-v2 ir paraphrase-MiniLM modelių versijų. Bendri šeimos pavadinimai neperkelia sekos konfigūracijos ar agregavimo procedūros. Naudokite jos kompaktiškus tankiuosius vektorius kartu su šaltinio įrašais ir konkrečiai užduočiai skirtu vertinimu, užuot panašumo reikšmę laikę patikrintu atsakymu ar galutiniu redakciniu sprendimu.
Ailoot Ultra · Įterpiniai POST /v1/embeddings sentence-transformers/all-minilm-l12-v2
sentence-transformers/all-minilm-l12-v2
sentence-transformers/all-minilm-l12-v2Pradžia
Sentence Transformers all-MiniLM-L12-v2 sakinius ir trumpas pastraipas koduoja į 384 matmenų vektorius paieškai, panašumo vertinimui ir grupavimui į klasterius. Etaloninėje procedūroje naudojamas vidurkinimas ir normalizavimas, o pagal numatytuosius nustatymus įvestis nukerpama ties 256 žodžių dalimis.
- Leidžiamos įvestys
- Tekstas · token_ids
- Rezultatai
- embedding
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Įterpiniai POST /v1/embeddings
- Įvestis
text,token_ids- Išvestis
embedding- Išvesties formatas
- json
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos sentence-transformers/all-minilm-l12-v2 | Numatyta— |
Laukasinput | Tipasstring|string[]|integer[]|integer[][] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 Sąlygos: Netuščias vienalyčių įvesčių paketas. Žetonų ID yra neneigiami sveikieji skaičiai. Įvesties biudžetas: Didžiausia reikšmė: 512 · Teksto vienetas: UTF8 baitai · Tokenų vienetas: žetonų masyvo elementai | Numatyta— |
Laukasencoding_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos float | Numatytafloat |
Laukasdimensions | Tipasinteger | ReikalavimasNepalaikoma | Reikšmės ir ribos Mažiausia reikšmė: 1 | Numatyta— |
Laukasuser | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukassession_id | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukastrace | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options atmetamas | Numatyta— |
Įvesties medžiagos deriniai
text_to_embedding
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input |
Parametrasinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrasencoding_format | Specifikacijafloat |
Parametrasdimensions_override | Specifikacijafalse |
Parametrasmax_input_budget_units | Specifikacija512 |
Parametrasmultimodal_objects | Specifikacijafalse |
Parametrasmaterial_types | Specifikacijatext, token_ids |
Gyvavimo ciklas: synchronous_json
Išsaugokite kiekvieną vektoriaus indeksą ir matmenį.
Tai, kad modelio pavadinimas nurodo multimodalumą, nereiškia, jog šiuo konkrečiu keliu priimami vaizdų objektai.
Planai
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Nenurodyta Pasirinkus spartųjį režimą
- Flex režimas
- Nenurodyta Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Nenurodyta Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Ailoot įkainiai
Kainos pagal konfigūraciją
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.00001 / 1K tokenų Išvestis · Išvesties tokenai $0 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Įterpiniai
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-minilm-l12-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-minilm-l12-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Įterpiniai
json
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną vektorių su jo indeksu. Vektorių skaičius turi sutapti su įvesčių skaičiumi; jų matmenų skaičius turi būti vienodas.
Jei reikia patikrinti pradinį atsakymą
Vektorių generavimo užduotims atskiras API galinis taškas neįvedamas.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukasobject | Tipasstring |
Laukasmodel | Tipasstring |
Laukasdata[].index | Tipasinteger |
Laukasdata[].embedding | Tipasfinite float[] |
Laukasusage | Tipasobject |
Klaidos ir tolesni veiksmai
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra sentence-transformers/all-minilm-l12-v2
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · Sentence Transformers: all-MiniLM-L12-v2
- Kokios įvestys ir rezultatai prieinami?
POST /v1/embeddings·sentence-transformers/all-minilm-l12-v2:text,token_ids→embedding- Kokius laukus naudoja užklausa?
POST /v1/embeddings·sentence-transformers/all-minilm-l12-v2:model,input,encoding_format,provider- Kokie apribojimai taikomi?
POST /v1/embeddings·sentence-transformers/all-minilm-l12-v2:input.budget.maximum:512(UTF8 baitai);input.min_items:1