Sentence Transformers: all-MiniLM-L6-v2
Sentence Transformers all-MiniLM-L6-v2 reprezentuje vety a krátke odseky ako 384-rozmerné vektory na sémantické vyhľadávanie, zhlukovanie a podobnosť. Jeho zverejnený postup spája priemerovanie reprezentácií s normalizáciou L2 a predvolenými 256 podslovnými jednotkami.
O modeli
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
all-MiniLM-L6-v2 je enkodér Sentence Transformers pre vety a krátke odseky. Každý text mapuje na 384-rozmerný hustý vektor na vyhľadávanie, zhlukovanie a podobnosť viet. Model bol doladený zo základnej siete MiniLM-L6-H384-uncased pomocou kontrastívneho učenia na kolekcii miliardy dvojíc viet.
Pripravte stručné a zmysluplné záznamy
Vyberte vetu alebo odsek, ktorý sa má zobraziť vo výsledku vyhľadávania. Pri kolekcii FAQ zachovajte otázku a krátke vysvetlenie, ktoré rozlišuje jej tému. Pasáž o obnovení zabudnutého hesla má zachovať postup obnovenia, nie byť zredukovaná na izolované slovo, napríklad „Účet“.
Pri dlhom článku indexujte ucelené krátke časti a uchovajte ich umiestnenie v zdroji. Kandidátske časti vyhľadajte porovnaním vektora dopytu s uloženými reprezentáciami a potom ukážte pôvodné pasáže, aby čitateľ mohol preskúmať skutočné pokyny.
Získajte reprezentáciu vety
Postup priameho kódovania od výrobcu priemeruje reprezentácie tokenov s maskou pozornosti a vylučuje pozície výplne z priemeru. Potom používa normalizáciu L2. Tieto kroky vytvárajú embedding vety používaný na porovnávanie; reprezentácie jednotlivých tokenov zo základného transformera slúžia inej úlohe.
Každý výstup má 384 zložiek. Pri budovaní kolekcie aj kódovaní neskorších dopytov používajte rovnaký kontrolný bod, zlučovanie a normalizáciu. Výsledné vektory možno porovnávať kosínusovou podobnosťou. Hodnota podobnosti je užitočná na zoradenie kandidátov v tomto nastavení, zatiaľ čo pôvodný text určuje, či kandidát odpovedá na otázku.
Hranice dĺžky a edície
Zverejnené predvolené nastavenie skracuje vstupy dlhšie než 256 podslovných jednotiek. Táto jednotka tokenizéra nezodpovedá priamo bežnému slovu alebo znaku. Dôležité podmienky ponechajte v indexovanej jednotke a dlhý postup pred kódovaním rozdeľte na významových hraniciach.
Trénovacie sekvencie boli obmedzené na 128 tokenov. Toto trénovacie nastavenie je oddelené od predvolených 256 podslovných jednotiek používaných pri kódovaní. Pri nezvyčajne dlhých alebo odborných pasážach používajte reprezentatívne príklady dopytov a pasáží na posúdenie správania vyhľadávania namiesto predpokladu, že zmestenie sa do vstupnej hranice zaručuje rovnaké spracovanie každého detailu.
Konkrétna edícia L6-v2 je anglický profil embeddingov. Edície L12-v2 a paraphrase-MiniLM majú samostatné identity modelov a konfigurácie. Spoločný názov MiniLM alebo 384-rozmerný výstup nepreukazuje zameniteľné vektory.
Vyhľadávanie, podobnosť a zoskupovanie
Pri kontrole duplicitných otázok vyhľadajte podobné otázky a pred zlúčením záznamov porovnajte skutočné znenie. „Môžem si obnoviť heslo?“ a „Môže správca obnoviť heslo iného používateľa?“ sa týkajú súvisiacich tém, ale odlišných oprávnení. Tento rozdiel zachovajte v kódovanom texte aj vo fáze kontroly.
Pri zhlukovaní používajte embeddingy ako číselné vstupy do procesu zoskupovania a pred pomenovaním skupiny preskúmajte reprezentatívne záznamy. Tento model poskytuje vektory, nie písomné štítky zhlukov ani generovanú odpoveď FAQ. Jeho užitočným výsledkom je kompaktná reprezentácia krátkej zdrojovej pasáže, ktorá zostáva prepojená s pôvodným záznamom.
Ailoot Ultra · Embeddingy POST /v1/embeddings sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2Úvod
Sentence Transformers all-MiniLM-L6-v2 reprezentuje vety a krátke odseky ako 384-rozmerné vektory na sémantické vyhľadávanie, zhlukovanie a podobnosť. Jeho zverejnený postup spája priemerovanie reprezentácií s normalizáciou L2 a predvolenými 256 podslovnými jednotkami.
- Povolené vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metódy
Ailoot Ultra · Embeddingy POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Výstupný formát
- json
| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity sentence-transformers/all-minilm-l6-v2 | Predvolené— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 Podmienky: Neprázdna homogénna dávka. ID tokenov sú nezáporné celé čísla. Vstupný rozpočet: Maximum: 512 · Textová jednotka: bajty UTF8 · Jednotka tokenov: prvky poľa tokenov | Predvolené— |
Poleencoding_format | Typstring | PožiadavkaVoliteľné | Hodnoty a limity float | Predvolenéfloat |
Poledimensions | Typinteger | PožiadavkaNepodporované | Hodnoty a limity Minimum: 1 | Predvolené— |
Poleuser | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Polesession_id | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poletrace | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa odmieta | Predvolené— |
Kombinácie vstupných podkladov
text_to_embedding
Parametre a životný cyklus metódy
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input |
Parameterinput_shapes | Špecifikáciastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Špecifikáciafloat |
Parameterdimensions_override | Špecifikáciafalse |
Parametermax_input_budget_units | Špecifikácia512 |
Parametermultimodal_objects | Špecifikáciafalse |
Parametermaterial_types | Špecifikáciatext, token_ids |
Životný cyklus: synchronous_json
Uchovajte každý index a rozmer vektora.
Názov multimodálneho modelu neznamená, že na tejto konkrétnej trase možno použiť objekty obrázkov.
Cenník
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
- Rýchly režim
- Neuvedené Keď je zvolený rýchly režim
- Režim Flex
- Neuvedené Keď je zvolený režim flex
- Maximálna úroveň uvažovania
- Neuvedené Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)
Sadzby Ailoot
Ceny podľa konfigurácie
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00001 / 1K tokenov Výstup · Výstupné tokeny $0 / 1K tokenov Vstup · Čítanie cache — / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
Príklady požiadaviek
Ailoot Ultra · Embeddingy
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-minilm-l6-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prijať a uložiť výsledky
Ailoot Ultra · Embeddingy
json
Uchovať všetky dokončené výsledky
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Uchovajte každý vektor spolu s jeho indexom. Počet vektorov sa musí rovnať počtu vstupov; rozmery musia byť konzistentné.
Ak treba overiť pôvodnú odpoveď
Nezavádza sa žiadny koncový bod pre úlohy tvorby embeddingov.
Polia odpovede
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a ďalšie kroky
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Aliasy
Aliasy modelov
Ailoot Ultra sentence-transformers/all-minilm-l6-v2
Aliasy ciest metód
Použite cesty metód uvedené vyššie.
Súvisiace ID na volanie
FAQ · Sentence Transformers: all-MiniLM-L6-v2
- Aké vstupy a výsledky sú dostupné?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:text,token_ids→embedding- Aké polia používa požiadavka?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:model,input,encoding_format,provider- Aké limity platia?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:input.budget.maximum:512(bajty UTF8);input.min_items:1