Sentence Transformers: all-MiniLM-L12-v2
Sentence Transformers all-MiniLM-L12-v2 kóduje vety a krátke odseky do 384-rozmerných vektorov na vyhľadávanie, podobnosť a zhlukovanie. Jeho referenčný postup používa priemerovanie reprezentácií a normalizáciu s predvoleným skracovaním na 256 podslovných jednotiek.
O modeli
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
all-MiniLM-L12-v2 je enkodér Sentence Transformers pre vety a krátke odseky. Pre každý text vytvára jeden 384-rozmerný hustý vektor na sémantické vyhľadávanie, vyhľadávanie informácií, zhlukovanie a podobnosť viet. Model používa základnú sieť MiniLM-L12-H384-uncased a bol doladený kontrastívnym učením na kolekcii miliardy dvojíc viet.
Zakódujte jednotku, ktorú chcete vyhľadať
Použite vetu alebo krátky odsek vyjadrujúci jednu užitočnú myšlienku. Pri kolekcii opisov produktov zachovajte vlastnosť a podmienku, ktoré predmet rozlišujú: „Adaptér pripája káblovú náhlavnú súpravu k portu USB-C“ je informatívnejšie než „Zvukové príslušenstvo“. Identifikátor záznamu a pôvodný opis uložte vedľa jeho vektora.
Vyhľadávací dopyt možno potom porovnať so zakódovanými opismi. Pred predložením konečnej voľby preskúmajte vrátených kandidátov vzhľadom na presné požiadavky, ako sú typ konektora alebo kompatibilita zariadenia. Vektor reprezentuje význam textu; okolitá vyhľadávacia aplikácia získava zodpovedajúce záznamy.
Priemerovanie reprezentácií a normalizované vektory
Zverejnený príklad kódovania priemeruje reprezentácie tokenov s maskou pozornosti, takže pozície výplne neprispievajú do priemeru. Potom používa normalizáciu L2. Tieto kroky sú súčasťou referenčného postupu na získanie vektora vety, nie pokynom vziať ľubovoľný token zo základného transformera.
Medzi indexovanými textami a novými dopytmi zachovajte konzistentnú konfiguráciu modelu, zlučovania a normalizácie. Výsledné reprezentácie s 384 zložkami možno porovnávať kosínusovou podobnosťou. Záznam tejto konfigurácie uchovajte s kolekciou; iný 384-rozmerný enkodér sa nestáva kompatibilným iba preto, že jeho vektory majú rovnakú dĺžku.
Predvolená dĺžka vstupu a rozsah trénovania
Výrobca uvádza predvolené skracovanie nad 256 podslovných jednotiek. Ide o limit tokenizéra, nie o počet bežných slov alebo znakov. Pri dlhšom zázname vyberte ucelené krátke časti a zachovajte nadpis alebo identifikačný detail potrebný na interpretáciu každej z nich.
Trénovací postup modelu používal sekvencie do 128 tokenov. Toto trénovacie nastavenie je oddelené od zverejnených predvolených 256 podslovných jednotiek v čase kódovania. Pasáž, ktorá sa do predvoleného limitu zmestí, sa môže stále podstatne líšiť od materiálu krátkych viet používaného pri trénovaní, preto dlhé alebo odborné opisy posudzujte na reprezentatívnych príkladoch.
Postupy podobnosti a zhlukovania
Pri súbore správ podpory môžu embeddingy poskytovať číselné vstupy do fázy zoskupovania. Pred priradením čitateľného štítka preskúmajte viacero správ z každej navrhnutej skupiny aj správy blízko jej hranice. Pri kontrole duplicitného obsahu vyhľadajte podobné záznamy a porovnajte ich skutočné znenie; dve pasáže môžu hovoriť o rovnakej téme, ale dávať odlišné pokyny.
Táto konkrétna edícia L12-v2 je anglický profil embeddingov viet. Odlišuje sa od all-MiniLM-L6-v2 a kontrolných bodov paraphrase-MiniLM. Spoločné názvy modelových rodín neprenášajú ich konfiguráciu sekvencie ani postup zlučovania. Jeho kompaktné husté vektory používajte spolu so zdrojovými záznamami a hodnotením konkrétnej úlohy namiesto považovania hodnoty podobnosti za overenú odpoveď alebo konečné redakčné rozhodnutie.
Ailoot Ultra · Embeddingy POST /v1/embeddings sentence-transformers/all-minilm-l12-v2
sentence-transformers/all-minilm-l12-v2
sentence-transformers/all-minilm-l12-v2Úvod
Sentence Transformers all-MiniLM-L12-v2 kóduje vety a krátke odseky do 384-rozmerných vektorov na vyhľadávanie, podobnosť a zhlukovanie. Jeho referenčný postup používa priemerovanie reprezentácií a normalizáciu s predvoleným skracovaním na 256 podslovných jednotiek.
- Povolené vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metódy
Ailoot Ultra · Embeddingy POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Výstupný formát
- json
| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity sentence-transformers/all-minilm-l12-v2 | Predvolené— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 Podmienky: Neprázdna homogénna dávka. ID tokenov sú nezáporné celé čísla. Vstupný rozpočet: Maximum: 512 · Textová jednotka: bajty UTF8 · Jednotka tokenov: prvky poľa tokenov | Predvolené— |
Poleencoding_format | Typstring | PožiadavkaVoliteľné | Hodnoty a limity float | Predvolenéfloat |
Poledimensions | Typinteger | PožiadavkaNepodporované | Hodnoty a limity Minimum: 1 | Predvolené— |
Poleuser | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Polesession_id | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poletrace | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa odmieta | Predvolené— |
Kombinácie vstupných podkladov
text_to_embedding
Parametre a životný cyklus metódy
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input |
Parameterinput_shapes | Špecifikáciastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Špecifikáciafloat |
Parameterdimensions_override | Špecifikáciafalse |
Parametermax_input_budget_units | Špecifikácia512 |
Parametermultimodal_objects | Špecifikáciafalse |
Parametermaterial_types | Špecifikáciatext, token_ids |
Životný cyklus: synchronous_json
Uchovajte každý index a rozmer vektora.
Názov multimodálneho modelu neznamená, že na tejto konkrétnej trase možno použiť objekty obrázkov.
Cenník
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
- Rýchly režim
- Neuvedené Keď je zvolený rýchly režim
- Režim Flex
- Neuvedené Keď je zvolený režim flex
- Maximálna úroveň uvažovania
- Neuvedené Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)
Sadzby Ailoot
Ceny podľa konfigurácie
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00001 / 1K tokenov Výstup · Výstupné tokeny $0 / 1K tokenov Vstup · Čítanie cache — / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
Príklady požiadaviek
Ailoot Ultra · Embeddingy
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-minilm-l12-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-minilm-l12-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prijať a uložiť výsledky
Ailoot Ultra · Embeddingy
json
Uchovať všetky dokončené výsledky
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Uchovajte každý vektor spolu s jeho indexom. Počet vektorov sa musí rovnať počtu vstupov; rozmery musia byť konzistentné.
Ak treba overiť pôvodnú odpoveď
Nezavádza sa žiadny koncový bod pre úlohy tvorby embeddingov.
Polia odpovede
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a ďalšie kroky
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Aliasy
Aliasy modelov
Ailoot Ultra sentence-transformers/all-minilm-l12-v2
Aliasy ciest metód
Použite cesty metód uvedené vyššie.
Súvisiace ID na volanie
FAQ · Sentence Transformers: all-MiniLM-L12-v2
- Aké vstupy a výsledky sú dostupné?
POST /v1/embeddings·sentence-transformers/all-minilm-l12-v2:text,token_ids→embedding- Aké polia používa požiadavka?
POST /v1/embeddings·sentence-transformers/all-minilm-l12-v2:model,input,encoding_format,provider- Aké limity platia?
POST /v1/embeddings·sentence-transformers/all-minilm-l12-v2:input.budget.maximum:512(bajty UTF8);input.min_items:1