Sentence Transformers: paraphrase-MiniLM-L6-v2
Sentence Transformers paraphrase-MiniLM-L6-v2 mapuje vety a krátke odseky do 384-rozmerných vektorov na sémantické vyhľadávanie a zhlukovanie. Jeho zverejnená konfigurácia používa priemerovanie reprezentácií a nastavenie sekvencie na 128 tokenov.
O modeli
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
paraphrase-MiniLM-L6-v2 je model embeddingov Sentence Transformers pre vety a krátke odseky. Každý text mapuje do 384-rozmerného priestoru hustých vektorov; medzi úlohami uvádzanými výrobcom sú sémantické vyhľadávanie a zhlukovanie. Zverejnená architektúra spája transformer s priemerovaním reprezentácií; nakonfigurovaná dĺžka sekvencie je 128 tokenov.
Reprezentujte pasáž, ktorú chcete porovnať
Pripravte skutočnú vetu alebo krátky odsek a zachovajte predmet aj dôležité podmienky. Praktická kolekcia môže obsahovať rôzne formulované otázky alebo stručné opisy súvisiacich tém. Vytvorte embedding každého záznamu a uchovajte jeho pôvodné znenie a identifikátor, aby neskoršie porovnanie mohlo vrátiť samotný text.
Napríklad viaceré otázky pomoci môžu rôznymi výrazmi opisovať rovnaký problém. Fáza porovnávania podobnosti môže týchto kandidátov priblížiť k sebe a potom možno preskúmať ich znenie vzhľadom na skutočný problém. Embedding je číselná reprezentácia používaná v tomto porovnaní; sám nepíše parafrázu ani nepriraďuje konečný štítok zhluku.
Priemerovanie reprezentácií a použitie vektorov
Príklad priameho kódovania od výrobcu pri priemerovaní reprezentácií tokenov zohľadňuje masku pozornosti a vylučuje pozície výplne. Jeho architektúra výslovne volí priemerovanie a nevolí CLS ani max pooling. Pri príprave porovnateľných vektorov zachovajte tento postup zlučovania spolu s modelom.
Každá vrátená reprezentácia má 384 zložiek. Index alebo fáza zhlukovania pracuje s týmito vektormi pomocou zvolenej konfigurácie podobnosti, zatiaľ čo pôvodný zdrojový záznam zostáva dostupný na kontrolu. Medzi porovnávanými položkami zachovajte rovnaký model, prípravu vstupu a nastavenia porovnávania. Iný model vracajúci 384 hodnôt nie je len na základe tohto tvaru rovnakým priestorom embeddingov.
Krátke vstupy v zverejnenej konfigurácii
Referenčná konfigurácia Sentence Transformer používa maximálnu dĺžku sekvencie 128 tokenov. Dlhý zdroj pripravte ako krátke ucelené jednotky namiesto jedného nadmerného odseku. Veta obsahujúca pravidlo môže potrebovať výnimku v nasledujúcej vete; keď sa táto malá jednotka zmestí, ponechajte ju spolu. Počet slov alebo znakov priamo neurčuje dĺžku v tokenoch.
Pri súbore krátkych opisov zachovajte mená a rozlišujúce vlastnosti, ktoré sú dôležité pre porovnanie. Záznam obsahujúci iba neurčitú kategóriu môže byť ťažké oddeliť od iných záznamov daného typu. Prepojenie na zdroj uložte mimo vektora, aby bolo možné vráteného kandidáta overiť voči pôvodnému materiálu.
Výsledky vyhľadávania a zhlukovania
Pri sémantickom vyhľadávaní reprezentujte dopyt aj materiál korpusu týmto istým modelom a vracajte kandidátske záznamy so zdrojovým textom. Pri zhlukovaní iná fáza vytvára skupiny z vektorov. Pred použitím zoskupenia ako produktového rozhodnutia alebo automatického štítka preskúmajte záznamy blízko hranice zhluku.
Užitočným výstupom je kompaktná reprezentácia krátkeho textu prepojená s pôvodným záznamom. Tento konkrétny kontrolný bod paraphrase-MiniLM-L6-v2 má vlastnú konfiguráciu zlučovania a sekvencie. Varianty all-MiniLM a viacjazyčné paraphrase sú samostatné profily modelov; spoločný názov MiniLM neimplikuje ich trénovanie, jazykový rozsah ani nastavenia vstupu.
Ailoot Ultra · Embeddingy POST /v1/embeddings sentence-transformers/paraphrase-minilm-l6-v2
sentence-transformers/paraphrase-minilm-l6-v2
sentence-transformers/paraphrase-minilm-l6-v2Úvod
Sentence Transformers paraphrase-MiniLM-L6-v2 mapuje vety a krátke odseky do 384-rozmerných vektorov na sémantické vyhľadávanie a zhlukovanie. Jeho zverejnená konfigurácia používa priemerovanie reprezentácií a nastavenie sekvencie na 128 tokenov.
- Povolené vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metódy
Ailoot Ultra · Embeddingy POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Výstupný formát
- json
| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity sentence-transformers/paraphrase-minilm-l6-v2 | Predvolené— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 Podmienky: Neprázdna homogénna dávka. ID tokenov sú nezáporné celé čísla. Vstupný rozpočet: Maximum: 512 · Textová jednotka: bajty UTF8 · Jednotka tokenov: prvky poľa tokenov | Predvolené— |
Poleencoding_format | Typstring | PožiadavkaVoliteľné | Hodnoty a limity float | Predvolenéfloat |
Poledimensions | Typinteger | PožiadavkaNepodporované | Hodnoty a limity Minimum: 1 | Predvolené— |
Poleuser | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Polesession_id | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poletrace | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa odmieta | Predvolené— |
Kombinácie vstupných podkladov
text_to_embedding
Parametre a životný cyklus metódy
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input |
Parameterinput_shapes | Špecifikáciastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Špecifikáciafloat |
Parameterdimensions_override | Špecifikáciafalse |
Parametermax_input_budget_units | Špecifikácia512 |
Parametermultimodal_objects | Špecifikáciafalse |
Parametermaterial_types | Špecifikáciatext, token_ids |
Životný cyklus: synchronous_json
Uchovajte každý index a rozmer vektora.
Názov multimodálneho modelu neznamená, že na tejto konkrétnej trase možno použiť objekty obrázkov.
Cenník
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
- Rýchly režim
- Neuvedené Keď je zvolený rýchly režim
- Režim Flex
- Neuvedené Keď je zvolený režim flex
- Maximálna úroveň uvažovania
- Neuvedené Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)
Sadzby Ailoot
Ceny podľa konfigurácie
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00001 / 1K tokenov Výstup · Výstupné tokeny $0 / 1K tokenov Vstup · Čítanie cache — / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
Príklady požiadaviek
Ailoot Ultra · Embeddingy
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/paraphrase-minilm-l6-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/paraphrase-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prijať a uložiť výsledky
Ailoot Ultra · Embeddingy
json
Uchovať všetky dokončené výsledky
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Uchovajte každý vektor spolu s jeho indexom. Počet vektorov sa musí rovnať počtu vstupov; rozmery musia byť konzistentné.
Ak treba overiť pôvodnú odpoveď
Nezavádza sa žiadny koncový bod pre úlohy tvorby embeddingov.
Polia odpovede
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a ďalšie kroky
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Aliasy
Aliasy modelov
Ailoot Ultra sentence-transformers/paraphrase-minilm-l6-v2
Aliasy ciest metód
Použite cesty metód uvedené vyššie.
Súvisiace ID na volanie
FAQ · Sentence Transformers: paraphrase-MiniLM-L6-v2
- Aké vstupy a výsledky sú dostupné?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:text,token_ids→embedding- Aké polia používa požiadavka?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:model,input,encoding_format,provider- Aké limity platia?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:input.budget.maximum:512(bajty UTF8);input.min_items:1