Sentence Transformers: paraphrase-MiniLM-L6-v2
Sentence Transformers paraphrase-MiniLM-L6-v2 stavke in kratke odstavke preslika v 384-razsežne vektorje za semantično iskanje in gručenje. Njegova objavljena konfiguracija uporablja povprečenje predstavitev in nastavitev zaporedja na 128 žetonov.
O modelu
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
paraphrase-MiniLM-L6-v2 je model embeddingov Sentence Transformers za stavke in kratke odstavke. Vsako besedilo preslika v 384-razsežen prostor gostih vektorjev, med nalogami, ki jih navaja proizvajalec, pa sta semantično iskanje in gručenje. Objavljena arhitektura združuje transformer s povprečenjem predstavitev; nastavljena dolžina zaporedja je 128 žetonov.
Predstavite odlomek, ki ga želite primerjati
Pripravite dejanski stavek ali kratek odstavek ter ohranite temo in pomembne pogoje. Praktična zbirka lahko vsebuje različno ubesedena vprašanja ali kratke opise povezanih tem. Ustvarite embedding vsakega zapisa in ohranite izvirno besedilo ter identifikator, da poznejša primerjava lahko vrne samo besedilo.
Več vprašanj pomoči lahko na primer z različnimi izrazi opisuje isto težavo. Stopnja primerjave podobnosti lahko te kandidate približa, nato pa je mogoče njihove formulacije pregledati glede na dejanski problem. Embedding je številčna predstavitev, uporabljena v tej primerjavi; sam ne napiše parafraze ali dodeli končne oznake gruče.
Povprečenje predstavitev in uporaba vektorjev
Proizvajalčev primer neposrednega kodiranja pri povprečenju predstavitev žetonov upošteva masko pozornosti in izloči položaje zapolnitve. Njegova arhitektura izrecno izbere povprečenje in ne izbere CLS ali združevanja po maksimumu. Pri pripravi primerljivih vektorjev ta postopek združevanja ohranite z modelom.
Vsaka vrnjena predstavitev ima 384 komponent. Indeks ali stopnja gručenja s temi vektorji dela z izbrano konfiguracijo podobnosti, izvirni zapis pa ostane na voljo za pregled. Za primerjane elemente ohranite isti model, pripravo vhoda in nastavitve primerjave. Sama oblika izhoda drugega modela s 384 vrednostmi ne pomeni istega prostora embeddingov.
Kratki vhodi v objavljeni konfiguraciji
Referenčna konfiguracija Sentence Transformer uporablja največjo dolžino zaporedja 128 žetonov. Dolg vir pripravite kot kratke povezane enote, ne en prevelik odstavek. Stavek s pravilom lahko potrebuje izjemo iz naslednjega stavka; to majhno enoto ohranite skupaj, kadar se prilega. Število besed ali znakov ne določa neposredno dolžine v žetonih.
Pri naboru kratkih opisov ohranite imena in razločevalne lastnosti, pomembne za primerjavo. Zapis, ki vsebuje samo nejasno kategorijo, je lahko težko ločiti od drugih zapisov tega tipa. Povezavo z virom shranite zunaj vektorja, da je vrnjenega kandidata mogoče preveriti glede na izvirno gradivo.
Rezultati iskanja in gručenja
Pri semantičnem iskanju poizvedbo in gradivo korpusa predstavite z istim modelom ter vrnite kandidatne zapise z izvornim besedilom. Pri gručenju druga stopnja oblikuje skupine iz vektorjev. Zapise ob meji gruče preglejte pred uporabo skupin za odločitev o izdelku ali samodejno oznako.
Koristni izhod je zgoščena predstavitev kratkega besedila, povezana z izvirnim zapisom. Ta konkretna kontrolna točka paraphrase-MiniLM-L6-v2 ima lastno konfiguracijo združevanja predstavitev in zaporedja. all-MiniLM in večjezične različice paraphrase so ločeni profili modelov; skupno ime MiniLM ne implicira njihovega učenja, jezikovnega obsega ali vhodnih nastavitev.
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings sentence-transformers/paraphrase-minilm-l6-v2
sentence-transformers/paraphrase-minilm-l6-v2
sentence-transformers/paraphrase-minilm-l6-v2Začetek
Sentence Transformers paraphrase-MiniLM-L6-v2 stavke in kratke odstavke preslika v 384-razsežne vektorje za semantično iskanje in gručenje. Njegova objavljena konfiguracija uporablja povprečenje predstavitev in nastavitev zaporedja na 128 žetonov.
- Dovoljeni vhodi
- Besedilo · token_ids
- Rezultati
- embedding
Na voljo v Ailoot · vhodi in metode
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings
- Vhod
text,token_ids- Izhod
embedding- Izhodni format
- json
| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve sentence-transformers/paraphrase-minilm-l6-v2 | Privzeto— |
Poljeinput | Vrstastring|string[]|integer[]|integer[][] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 Pogoji: Neprazen paket istovrstnih vhodnih podatkov. Identifikatorji žetonov so nenegativna cela števila. Vhodni proračun: Največ: 512 · Besedilna enota: bajti UTF8 · Enota žetonov: elementi polja žetonov | Privzeto— |
Poljeencoding_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve float | Privzetofloat |
Poljedimensions | Vrstainteger | ZahtevaNi podprto | Vrednosti in omejitve Najmanj: 1 | Privzeto— |
Poljeuser | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljesession_id | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljetrace | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je zavrnjen | Privzeto— |
Kombinacije vhodnih gradiv
text_to_embedding
Parametri in življenjski cikel metode
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, input |
Parameterinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Specifikacijafloat |
Parameterdimensions_override | Specifikacijafalse |
Parametermax_input_budget_units | Specifikacija512 |
Parametermultimodal_objects | Specifikacijafalse |
Parametermaterial_types | Specifikacijatext, token_ids |
Življenjski cikel: synchronous_json
Shranite indeks in dimenzijo vsakega vektorja.
Ime multimodalnega modela ne pomeni, da so na tej točno določeni poti dovoljeni slikovni objekti.
Cenik
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
- Hitri način
- Ni navedeno Ko je izbran hitri način
- Način flex
- Ni navedeno Ko je izbran način flex
- Najvišja raven razmišljanja
- Ni navedeno Ko najvišja raven razmišljanja uporablja privzeto prilagoditev (default)
Cene Ailoot
Cene po nastavitvah
| Nastavitev | Cenovna lestvica | Strošek |
|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Strošek Vhod · Vhodni žetoni $0.00001 / 1K žetonov Izhod · Izhodni žetoni $0 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
Primeri zahtev
Ailoot Ultra · Vektorske predstavitve
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/paraphrase-minilm-l6-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/paraphrase-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prejmi in shrani rezultate
Ailoot Ultra · Vektorske predstavitve
json
Ohrani vse dokončane rezultate
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Shranite vsak vektor skupaj z njegovim indeksom. Število vektorjev mora biti enako številu vhodov; dimenzije morajo biti skladne.
Če je treba preveriti izvirni odgovor
Končna točka za opravila ustvarjanja vektorskih predstavitev se ne uvaja.
Polja odgovora
| Polje | Vrsta |
|---|---|
Poljeobject | Vrstastring |
Poljemodel | Vrstastring |
Poljedata[].index | Vrstainteger |
Poljedata[].embedding | Vrstafinite float[] |
Poljeusage | Vrstaobject |
Napake in naslednji koraki
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Druga imena
Druga imena modelov
Ailoot Ultra sentence-transformers/paraphrase-minilm-l6-v2
Druga imena poti metod
Uporabite zgoraj navedene poti metod.
Povezani ID-ji za klic
FAQ · Sentence Transformers: paraphrase-MiniLM-L6-v2
- Kateri vhodi in rezultati so na voljo?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:text,token_ids→embedding- Katera polja uporablja zahteva?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:model,input,encoding_format,provider- Katere omejitve veljajo?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:input.budget.maximum:512(bajti UTF8);input.min_items:1