Sentence Transformers: all-MiniLM-L6-v2
Sentence Transformers all-MiniLM-L6-v2 stavke in kratke odstavke predstavlja kot 384-razsežne vektorje za semantično iskanje, gručenje in primerjavo podobnosti. Njegov objavljeni postopek združuje povprečenje predstavitev z normalizacijo L2 in privzeto nastavitvijo 256 podbesednih enot.
O modelu
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
all-MiniLM-L6-v2 je kodirnik Sentence Transformers za stavke in kratke odstavke. Vsako besedilo preslika v 384-razsežen gosti vektor za pridobivanje informacij, gručenje in primerjavo podobnosti stavkov. Model je bil dodatno učen na osnovi MiniLM-L6-H384-uncased s kontrastivnim učenjem na zbirki milijarde parov stavkov.
Pripravite kratke, smiselne zapise
Izberite stavek ali odstavek, ki naj se pojavi v rezultatu iskanja. Pri zbirki FAQ ohranite vprašanje in kratko pojasnilo, ki razločuje njegovo temo. Odlomek o ponastavitvi pozabljenega gesla naj ohrani postopek ponastavitve, ne da se skrči na osamljeno besedo, kot je “Račun”.
Pri dolgem članku indeksirajte povezane kratke dele in ohranite njihova mesta v viru. Kandidatne dele pridobite s primerjavo vektorja poizvedbe s shranjenimi predstavitvami, nato pokažite izvirne odlomke, da bralec lahko pregleda dejanska navodila.
Pridobite predstavitev stavka
Proizvajalčev postopek neposrednega kodiranja povpreči predstavitve žetonov z masko pozornosti in iz povprečja izloči položaje zapolnitve. Nato uporabi normalizacijo L2. Ta koraka ustvarita embedding stavka za primerjavo; predstavitve posameznih žetonov osnovnega transformerja imajo drugačno vlogo.
Vsak izhod ima 384 komponent. Pri gradnji zbirke in kodiranju poznejših poizvedb uporabite isto kontrolno točko, združevanje predstavitev in normalizacijo. Nastale vektorje lahko primerja kosinusna podobnost. Vrednost podobnosti je uporabna za razvrščanje kandidatov pri tej nastavitvi, izvirno besedilo pa določa, ali kandidat odgovori na vprašanje.
Meje dolžine in izdaje
Objavljena privzeta nastavitev skrajša vhode, daljše od 256 podbesednih enot. Ta enota tokenizatorja ne ustreza neposredno običajni besedi ali znaku. Pomembne pogoje ohranite znotraj indeksirane enote in daljši postopek pred kodiranjem razdelite po smiselnih mejah.
Učna zaporedja so bila omejena na 128 žetonov. Ta učna nastavitev je ločena od privzetih 256 podbesednih enot pri kodiranju. Pri neobičajno dolgih ali strokovnih odlomkih vedenje pridobivanja informacij ocenite z reprezentativnimi primeri poizvedb in odlomkov, ne s predpostavko, da prileganje vhodni meji zagotavlja enako obravnavo vsake podrobnosti.
Ta konkretna izdaja L6-v2 je angleški profil embeddingov. Izdaji L12-v2 in paraphrase-MiniLM imata ločeni identiteti modelov in konfiguraciji. Skupno ime MiniLM ali 384-razsežen izhod ne dokazujeta zamenljivih vektorjev.
Iskanje, podobnost in združevanje
Pri pregledu podvojenih vprašanj pridobite podobna vprašanja in pred združitvijo zapisov primerjajte dejansko besedilo. “Ali lahko ponastavim svoje geslo?” in “Ali lahko skrbnik ponastavi geslo drugega uporabnika?” se nanašata na povezani temi, a različna dovoljenja. To razliko ohranite v kodiranem besedilu in stopnji pregleda.
Pri gručenju embeddinge uporabite kot številčne vhode postopka združevanja, nato preglejte reprezentativne zapise, preden skupino poimenujete. Model daje vektorje, ne pisnih oznak gruč ali generiranega odgovora FAQ. Njegov uporabni rezultat je zgoščena predstavitev kratkega izvornega odlomka, ki ostane povezana z izvirnim zapisom.
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2Začetek
Sentence Transformers all-MiniLM-L6-v2 stavke in kratke odstavke predstavlja kot 384-razsežne vektorje za semantično iskanje, gručenje in primerjavo podobnosti. Njegov objavljeni postopek združuje povprečenje predstavitev z normalizacijo L2 in privzeto nastavitvijo 256 podbesednih enot.
- Dovoljeni vhodi
- Besedilo · token_ids
- Rezultati
- embedding
Na voljo v Ailoot · vhodi in metode
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings
- Vhod
text,token_ids- Izhod
embedding- Izhodni format
- json
| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve sentence-transformers/all-minilm-l6-v2 | Privzeto— |
Poljeinput | Vrstastring|string[]|integer[]|integer[][] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 Pogoji: Neprazen paket istovrstnih vhodnih podatkov. Identifikatorji žetonov so nenegativna cela števila. Vhodni proračun: Največ: 512 · Besedilna enota: bajti UTF8 · Enota žetonov: elementi polja žetonov | Privzeto— |
Poljeencoding_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve float | Privzetofloat |
Poljedimensions | Vrstainteger | ZahtevaNi podprto | Vrednosti in omejitve Najmanj: 1 | Privzeto— |
Poljeuser | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljesession_id | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljetrace | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je zavrnjen | Privzeto— |
Kombinacije vhodnih gradiv
text_to_embedding
Parametri in življenjski cikel metode
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, input |
Parameterinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Specifikacijafloat |
Parameterdimensions_override | Specifikacijafalse |
Parametermax_input_budget_units | Specifikacija512 |
Parametermultimodal_objects | Specifikacijafalse |
Parametermaterial_types | Specifikacijatext, token_ids |
Življenjski cikel: synchronous_json
Shranite indeks in dimenzijo vsakega vektorja.
Ime multimodalnega modela ne pomeni, da so na tej točno določeni poti dovoljeni slikovni objekti.
Cenik
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
- Hitri način
- Ni navedeno Ko je izbran hitri način
- Način flex
- Ni navedeno Ko je izbran način flex
- Najvišja raven razmišljanja
- Ni navedeno Ko najvišja raven razmišljanja uporablja privzeto prilagoditev (default)
Cene Ailoot
Cene po nastavitvah
| Nastavitev | Cenovna lestvica | Strošek |
|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Strošek Vhod · Vhodni žetoni $0.00001 / 1K žetonov Izhod · Izhodni žetoni $0 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
Primeri zahtev
Ailoot Ultra · Vektorske predstavitve
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-minilm-l6-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prejmi in shrani rezultate
Ailoot Ultra · Vektorske predstavitve
json
Ohrani vse dokončane rezultate
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Shranite vsak vektor skupaj z njegovim indeksom. Število vektorjev mora biti enako številu vhodov; dimenzije morajo biti skladne.
Če je treba preveriti izvirni odgovor
Končna točka za opravila ustvarjanja vektorskih predstavitev se ne uvaja.
Polja odgovora
| Polje | Vrsta |
|---|---|
Poljeobject | Vrstastring |
Poljemodel | Vrstastring |
Poljedata[].index | Vrstainteger |
Poljedata[].embedding | Vrstafinite float[] |
Poljeusage | Vrstaobject |
Napake in naslednji koraki
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Druga imena
Druga imena modelov
Ailoot Ultra sentence-transformers/all-minilm-l6-v2
Druga imena poti metod
Uporabite zgoraj navedene poti metod.
Povezani ID-ji za klic
FAQ · Sentence Transformers: all-MiniLM-L6-v2
- Kateri vhodi in rezultati so na voljo?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:text,token_ids→embedding- Katera polja uporablja zahteva?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:model,input,encoding_format,provider- Katere omejitve veljajo?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:input.budget.maximum:512(bajti UTF8);input.min_items:1