Sentence Transformers: all-mpnet-base-v2
Sentence Transformers all-mpnet-base-v2 převádí věty a krátké odstavce do vektorů se 768 rozměry pro vyhledávání, shlukování a posuzování podobnosti. Publikovaný postup používá průměrování a normalizaci L2 s výchozím zkracováním na 384 částí slov.
O modelu
Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu.
all-mpnet-base-v2 je model Sentence Transformers pro reprezentaci vět a krátkých odstavců jako hustých vektorů se 768 rozměry. Byl doladěn ze základního modelu MPNet pomocí kontrastivního učení na kolekci miliardy párů vět. Výrobce uvádí jako zamýšlená použití vyhledávání informací, shlukování a posuzování podobnosti vět.
Zakódujte větu nebo krátký odstavec
Připravte text, který se má porovnávat, a zachovejte hlavní myšlenku i rozlišující podrobnosti. V interní kolekci dokumentů může krátká sekce popisovat, jak požádat o výměnu zařízení nebo jaké informace má obsahovat zpráva o údržbě. Název dokumentu a umístění zdroje uchovejte dostupné vedle vektoru.
Dotaz zakódovaný stejným modelem může vyhledat související sekce i při odlišné formulaci. Prozkoumejte je kvůli skutečnému pokynu potřebnému pro čtenáře. V postupu porovnávání podobnosti po vyhledání porovnejte samotné kandidátní věty, zejména pokud jedna zahrnuje výjimku nebo podmínku chybějící ve druhé.
Průměrování a normalizace
Referenční příklad kódování průměruje kontextové reprezentace tokenů s maskou pozornosti a vylučuje výplň z průměru. Poté výsledné reprezentace vět normalizuje metodou L2. Při vytváření vektorů pro kolekci i pozdější dotazy zachovejte oba kroky.
Každý vektor má 768 složek. Kosinová podobnost může porovnávat tyto normalizované reprezentace, zatímco zdrojový text poskytuje podklady k výsledku. Společný počet složek nedělá tento model kompatibilním s multi-qa-mpnet-base-dot-v1: tato samostatná edice specifikuje agregaci CLS a nenormalizované vektory pro skórování skalárním součinem.
Výchozí zkracování a příprava pasáží
Výrobce uvádí, že vstup nad 384 částí slov se ve výchozím nastavení zkracuje. Udržujte relevantní sekci uvnitř tohoto limitu tokenizéru. Dlouhý postup rozdělte na smysluplných hranicích sekcí a zahrňte dostatek místního kontextu k vysvětlení, čeho se krok týká. Fragment jako „Odešlete do pěti dnů“ potřebuje událost nebo proces, kterým lhůta začíná.
Trénovací postup omezoval sekvence na 128 tokenů, což je oddělené od publikovaného výchozího kódování 384 částí slov. Při posuzování delších odstavců nebo slovní zásoby konkrétní kolekce používejte reprezentativní materiál. Více textu, který se vejde do vstupu, nedokládá, že každá podrobnost ovlivní výsledek vyhledávání stejně.
Vyhledávání, seskupování a porovnávání
Při hledání zachovejte spojení vektoru s dokumentem, aby seřazení kandidáti mohli vracet původní sekce. V postupu RAG se vybrané sekce stávají kontextem pro fázi psaní odpovědi. Model dodává číselné reprezentace; negeneruje odpověď podloženou zdroji ani nerozhoduje, který dokument je autoritativní.
Při shlukování porovnávejte záznamy v každé navrhované skupině před přiřazením štítků. Sada poznámek o údržbě může obsahovat podobný jazyk, ale odkazovat na různá zařízení nebo podmínky selhání. Tyto rozlišující podrobnosti zahrňte do kódovaného textu a zkoumejte je ve vráceném materiálu, místo spoléhání pouze na skóre.
Tento přesný checkpoint all-mpnet-base-v2 je anglický profil vektorových reprezentací vět s vlastním průměrováním, normalizací a výchozím zkracováním. Zachovejte tato nastavení s indexovanou kolekcí a používejte vektory jako pomůcku k hledání a porovnávání zdrojových pasáží důležitých pro úlohu.
Ailoot Ultra · Vektorové reprezentace POST /v1/embeddings sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2Úvod
Sentence Transformers all-mpnet-base-v2 převádí věty a krátké odstavce do vektorů se 768 rozměry pro vyhledávání, shlukování a posuzování podobnosti. Publikovaný postup používá průměrování a normalizaci L2 s výchozím zkracováním na 384 částí slov.
- Přijímané vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metody
Ailoot Ultra · Vektorové reprezentace POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Výstupní formát
- json
| Pole | Typ | Požadavek | Hodnoty a limity | Výchozí |
|---|---|---|---|---|
Polemodel | Typstring | PožadavekPovinné | Hodnoty a limity sentence-transformers/all-mpnet-base-v2 | Výchozí— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožadavekPovinné | Hodnoty a limity Minimální počet položek: 1 Podmínky: Neprázdná homogenní dávka. ID tokenů jsou nezáporná celá čísla. Rozpočet vstupu: Maximum: 512 · Jednotka textu: bajty UTF8 · Jednotka tokenů: prvky pole tokenů | Výchozí— |
Poleencoding_format | Typstring | PožadavekVolitelné | Hodnoty a limity float | Výchozífloat |
Poledimensions | Typinteger | PožadavekNepodporováno | Hodnoty a limity Minimum: 1 | Výchozí— |
Poleuser | Typjson_value | PožadavekVolitelné | Hodnoty a limity Podmínky: Zdroj povoluje toto pole metadat JSON; jeho přesný význam u poskytovatele závisí na konkrétním modelu. | Výchozí— |
Polesession_id | Typjson_value | PožadavekVolitelné | Hodnoty a limity Podmínky: Zdroj povoluje toto pole metadat JSON; jeho přesný význam u poskytovatele závisí na konkrétním modelu. | Výchozí— |
Poletrace | Typjson_value | PožadavekVolitelné | Hodnoty a limity Podmínky: Zdroj povoluje toto pole metadat JSON; jeho přesný význam u poskytovatele závisí na konkrétním modelu. | Výchozí— |
Poleprovider | Typobject | PožadavekVolitelné | Hodnoty a limity Podmínky: Parametr provider.options byl odmítnut | Výchozí— |
Kombinace vstupních materiálů
text_to_embedding
Parametry a životní cyklus metody
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, input |
Parametrinput_shapes | Kontraktstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrencoding_format | Kontraktfloat |
Parametrdimensions_override | Kontraktfalse |
Parametrmax_input_budget_units | Kontrakt512 |
Parametrmultimodal_objects | Kontraktfalse |
Parametrmaterial_types | Kontrakttext, token_ids |
Životní cyklus: synchronous_json
Uchovejte index i rozměr každého vektoru.
Multimodální název modelu neznamená, že tato konkrétní cesta přijímá obrazové objekty.
Tarify
Údaje o tarifech nepřidávají možnosti požadavku. Podporované parametry jsou uvedeny u vybrané metody.
- Rychlý režim
- Neuvedeno Při výběru rychlého režimu
- Režim flex
- Neuvedeno Při výběru režimu flex
- Maximální intenzita uvažování
- Neuvedeno Když se při maximální intenzitě uvažování použije výchozí úprava (default)
Sazby Ailoot
Ceny podle konfigurace
| Konfigurace | Tabulka sazeb | Poplatek |
|---|---|---|
| KonfiguraceZákladní sazby za tokeny | Tabulka sazebZákladní sazba | Poplatek Vstup · Vstupní tokeny $0.00001 / 1K tokenů Výstup · Výstupní tokeny $0 / 1K tokenů Vstup · Čtení z mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. Jak funguje rezervace a vyúčtování →
Příklady požadavků
Ailoot Ultra · Vektorové reprezentace
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-mpnet-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-mpnet-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Přijímání a ukládání výsledků
Ailoot Ultra · Vektorové reprezentace
json
Uchovejte všechny dokončené výsledky
Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu.
Uchovejte každý vektor spolu s jeho indexem. Počet vektorů musí odpovídat počtu vstupů; jejich rozměr musí být jednotný.
Pokud je nutné ověřit původní odpověď
Samostatný endpoint úloh pro embeddingy se nezavádí.
Pole odpovědi
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a další kroky
| Odpověď | Podmínka | Další krok |
|---|---|---|
Odpověď400 · invalid_request_error | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. |
Aliasy
Aliasy modelu
Ailoot Ultra sentence-transformers/all-mpnet-base-v2
Aliasy cest metod
Použijte cesty metod uvedené výše.
Související ID modelů
FAQ · Sentence Transformers: all-mpnet-base-v2
- Jaké vstupy a výsledky jsou dostupné?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:text,token_ids→embedding- Jaká pole požadavek používá?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:model,input,encoding_format,provider- Jaké limity platí?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:input.budget.maximum:512(bajty UTF8);input.min_items:1