Sentence Transformers: paraphrase-MiniLM-L6-v2
Sentence Transformers paraphrase-MiniLM-L6-v2 sakinius ir trumpas pastraipas paverčia 384 matmenų vektoriais, skirtais semantinei paieškai ir grupavimui į klasterius. Paskelbtoje konfigūracijoje naudojamas vidurkinimas ir nustatyta 128 žetonų sekos riba.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
paraphrase-MiniLM-L6-v2 yra Sentence Transformers įterpinių modelis sakiniams ir trumpoms pastraipoms. Kiekvieną tekstą jis atvaizduoja 384 matmenų tankiųjų vektorių erdvėje; tarp gamintojo nurodytų užduočių yra semantinė paieška ir grupavimas į klasterius. Paskelbtoje architektūroje transformerių modelis derinamas su vidurkinimu; sukonfigūruotas sekos ilgis yra 128 žetonai.
Atvaizduokite pastraipą, kurią norite palyginti
Paruoškite tikrąjį sakinį arba trumpą pastraipą, išsaugodami temą ir svarbias sąlygas. Praktinėje kolekcijoje gali būti skirtingai suformuluotų klausimų arba trumpų susijusių temų aprašymų. Sukurkite kiekvieno įrašo įterpinį ir išsaugokite originalią formuluotę bei identifikatorių, kad vėliau palyginus būtų galima grąžinti patį tekstą.
Pavyzdžiui, keli pagalbos tarnybai skirti klausimai gali skirtingais terminais apibūdinti tą patį sunkumą. Panašumo vertinimo etapas gali suvesti tokius kandidatus, o tada jų formuluotes galima patikrinti ir nustatyti tikrąją problemą. Įterpinys yra tame palyginime naudojamas skaitinis atvaizdas; jis pats nesukuria perfrazuoto teksto ir nesuteikia galutinės klasterio žymos.
Vidurkinimas ir vektorių naudojimas
Gamintojo tiesioginio kodavimo pavyzdyje, vidurkinant žetonų atvaizdus, atsižvelgiama į dėmesio kaukę ir neįtraukiamos užpildymo pozicijos. Architektūroje aiškiai pasirinktas vidurkinimas, o CLS ar maksimalių reikšmių agregavimas nepasirinktas. Rengdami palyginamus vektorius išsaugokite šią agregavimo procedūrą kartu su modeliu.
Kiekvienas grąžinamas atvaizdas turi 384 komponentus. Indeksavimo arba grupavimo į klasterius etapas šiuos vektorius naudoja pagal pasirinktą panašumo konfigūraciją, o pirminis šaltinio įrašas lieka prieinamas peržiūrai. Visoms lyginamoms pozicijoms naudokite tą patį modelį, įvesties paruošimą ir palyginimo nustatymus. Kitas modelis, grąžinantis 384 reikšmes, vien dėl tokios formos nesukuria tos pačios įterpinių erdvės.
Trumpos įvestys paskelbtoje konfigūracijoje
Etaloninėje Sentence Transformer konfigūracijoje nustatytas didžiausias 128 žetonų sekos ilgis. Ilgą šaltinį paruoškite kaip trumpus rišlius vienetus, o ne vieną pernelyg ilgą pastraipą. Sakinį, kuriame pateikta taisyklė, gali reikėti laikyti kartu su kitame sakinyje nurodyta išimtimi; jei telpa, išsaugokite šį nedidelį vienetą kartu. Žodžių ar ženklų skaičius tiesiogiai neparodo sekos ilgio žetonais.
Trumpų aprašymų rinkinyje išsaugokite pavadinimus ir skiriamąsias savybes, kurios svarbios palyginimui. Įrašą, kuriame pateikta tik neaiški kategorija, gali būti sunku atskirti nuo kitų to tipo įrašų. Ryšį su šaltiniu saugokite už vektoriaus ribų, kad grąžintą kandidatą būtų galima patikrinti pagal originalią medžiagą.
Paieškos ir grupavimo į klasterius rezultatai
Semantinėje paieškoje užklausą ir korpuso medžiagą atvaizduokite tuo pačiu modeliu ir grąžinkite kandidatinius įrašus su jų šaltinio tekstu. Grupavimo į klasterius atveju kitas etapas iš vektorių sudaro grupes. Prieš naudodami grupavimą produkto sprendimui ar automatinei žymai, patikrinkite įrašus prie klasterio ribos.
Naudingas išvesties rezultatas yra kompaktiškas trumpo teksto atvaizdas, susietas su originaliu įrašu. Ši konkreti paraphrase-MiniLM-L6-v2 modelio versija turi savo agregavimo ir sekos konfigūraciją. all-MiniLM ir daugiakalbiai paraphrase variantai yra atskiri modelių profiliai; bendras MiniLM pavadinimas savaime nereiškia tokio paties mokymo, kalbų aprėpties ar įvesties nustatymų.
Ailoot Ultra · Įterpiniai POST /v1/embeddings sentence-transformers/paraphrase-minilm-l6-v2
sentence-transformers/paraphrase-minilm-l6-v2
sentence-transformers/paraphrase-minilm-l6-v2Pradžia
Sentence Transformers paraphrase-MiniLM-L6-v2 sakinius ir trumpas pastraipas paverčia 384 matmenų vektoriais, skirtais semantinei paieškai ir grupavimui į klasterius. Paskelbtoje konfigūracijoje naudojamas vidurkinimas ir nustatyta 128 žetonų sekos riba.
- Leidžiamos įvestys
- Tekstas · token_ids
- Rezultatai
- embedding
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Įterpiniai POST /v1/embeddings
- Įvestis
text,token_ids- Išvestis
embedding- Išvesties formatas
- json
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos sentence-transformers/paraphrase-minilm-l6-v2 | Numatyta— |
Laukasinput | Tipasstring|string[]|integer[]|integer[][] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 Sąlygos: Netuščias vienalyčių įvesčių paketas. Žetonų ID yra neneigiami sveikieji skaičiai. Įvesties biudžetas: Didžiausia reikšmė: 512 · Teksto vienetas: UTF8 baitai · Tokenų vienetas: žetonų masyvo elementai | Numatyta— |
Laukasencoding_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos float | Numatytafloat |
Laukasdimensions | Tipasinteger | ReikalavimasNepalaikoma | Reikšmės ir ribos Mažiausia reikšmė: 1 | Numatyta— |
Laukasuser | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukassession_id | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukastrace | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options atmetamas | Numatyta— |
Įvesties medžiagos deriniai
text_to_embedding
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input |
Parametrasinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrasencoding_format | Specifikacijafloat |
Parametrasdimensions_override | Specifikacijafalse |
Parametrasmax_input_budget_units | Specifikacija512 |
Parametrasmultimodal_objects | Specifikacijafalse |
Parametrasmaterial_types | Specifikacijatext, token_ids |
Gyvavimo ciklas: synchronous_json
Išsaugokite kiekvieną vektoriaus indeksą ir matmenį.
Tai, kad modelio pavadinimas nurodo multimodalumą, nereiškia, jog šiuo konkrečiu keliu priimami vaizdų objektai.
Planai
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Nenurodyta Pasirinkus spartųjį režimą
- Flex režimas
- Nenurodyta Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Nenurodyta Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Ailoot įkainiai
Kainos pagal konfigūraciją
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.00001 / 1K tokenų Išvestis · Išvesties tokenai $0 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Įterpiniai
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/paraphrase-minilm-l6-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/paraphrase-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Įterpiniai
json
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną vektorių su jo indeksu. Vektorių skaičius turi sutapti su įvesčių skaičiumi; jų matmenų skaičius turi būti vienodas.
Jei reikia patikrinti pradinį atsakymą
Vektorių generavimo užduotims atskiras API galinis taškas neįvedamas.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukasobject | Tipasstring |
Laukasmodel | Tipasstring |
Laukasdata[].index | Tipasinteger |
Laukasdata[].embedding | Tipasfinite float[] |
Laukasusage | Tipasobject |
Klaidos ir tolesni veiksmai
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra sentence-transformers/paraphrase-minilm-l6-v2
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · Sentence Transformers: paraphrase-MiniLM-L6-v2
- Kokios įvestys ir rezultatai prieinami?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:text,token_ids→embedding- Kokius laukus naudoja užklausa?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:model,input,encoding_format,provider- Kokie apribojimai taikomi?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:input.budget.maximum:512(UTF8 baitai);input.min_items:1