Thenlper: GTE-Base
Alibaba DAMO Academy GTE-base vytváří embeddingy anglického textu ve 768rozměrných vektorech pro vyhledávání a posuzování sémantické podobnosti. Tento konkrétní model používá průměrové sdružování, podporuje sekvence až 512 tokenů a dokumentuje porovnání pomocí kosinové podobnosti s volitelnou normalizací.
O modelu
Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu.
GTE-base je základní velikostní varianta modelu General Text Embeddings vytrénovaná společností Alibaba DAMO Academy. Tento enkodér anglického textu je založen převážně na architektuře BERT a vytváří 768rozměrné husté vektory. Při trénování používá velký korpus dvojic souvisejících textů z různých oborů; mezi uvedené aplikace patří vyhledávání informací, posuzování sémantické podobnosti textů a přeřazování textů založené na embeddingu.
Příprava anglických dotazů a pasáží
Pro informační potřebu i prohledávaný materiál používejte čitelný anglický text. Například dotaz na výměnu opotřebené součásti lze porovnat s krátkými oddíly údržby popisujícími kritéria výměny, kroky kontroly a pokyny k objednání. Zachovejte název součásti a podmínky, které tyto oddíly odlišují.
Publikovaný příklad kóduje otázky a kandidátní text přímo bez přidaného pokynu k úkolu. Tuto přípravu udržujte konzistentní v kolekci i pozdějších dotazech. Původní pasáž a její identifikátor ukládejte s vektorem, aby seřazený výsledek mohl zobrazit reprezentované informace.
Průměrové sdružování a porovnávání
Referenční postup průměruje reprezentace tokenů modelu pomocí masky pozornosti a brání tomu, aby k výsledku přispívaly výplňové pozice. Následně ukazuje volitelnou normalizaci L2 a porovnává normalizované vektory prostřednictvím jejich skalárního součinu. Samostatný příklad používá kosinovou podobnost.
Zvolte a zachovejte konzistentní nastavení normalizace a porovnávání pro indexování i vyhledávání. Výstup obsahuje 768 číselných složek; neobsahuje vygenerovanou odpověď. Pro fázi přeřazování kandidátů kódujte kandidátní pasáže stejným modelem a řaďte je podle podobnosti s dotazem. Stále jde o porovnání založené na embeddingu, nikoli o tvrzení, že model společně čte každý pár dotazu a pasáže jako cross-encoder.
Omezení na angličtinu a vstupy 512 tokenů
Konkrétní karta omezuje tento model na anglický text a uvádí, že dlouhé vstupy se ořezávají na maximálně 512 tokenů. Dlouhá příručka by se proto měla před indexováním rozdělit na smysluplné oddíly. Varování, výjimku nebo upřesnění ponechte u pravidla, které upravují, kdykoli jsou tyto detaily nutné k interpretaci pasáže.
U dotazu na intervaly údržby je oddíl obsahující interval a provozní podmínku užitečnější než fragment obsahující pouze číslo. Zachovejte nadpis nebo identitu zařízení, pokud zpřesňují význam pokynu. Kontrolujte délku vstupu v tokenech, místo abyste spoléhali na viditelný počet slov.
Použití zdrojových pasáží, z nichž skóre vychází
Vyhledávání vrací kandidáty z indexované kolekce. Nejvýše umístěné pasáže zkontrolujte vzhledem ke konkrétnímu úkolu a při jejich předávání do fáze psaní odpovědi pomocí RAG uchovávejte umístění ve zdroji. Související pasáž může pojednávat o kontrole, aniž opravňuje k výměně; tento rozdíl musí zůstat ve zdrojovém materiálu viditelný.
GTE-base se liší od GTE-large, který vytváří 1024rozměrné vektory, i od pozdějších vícejazyčných edic GTE nebo edic s rozšířeným kontextem. Jeho publikovaná identita modelu určuje omezení na angličtinu, reprezentaci se 768 složkami a hranici 512 tokenů. Při hodnocení kolekce pro vyhledávání používejte tento konkrétní profil s reprezentativními dotazy a zdrojovými záznamy.
Ailoot Ultra · Vektorové reprezentace POST /v1/embeddings thenlper/gte-base
thenlper/gte-baseÚvod
Alibaba DAMO Academy GTE-base vytváří embeddingy anglického textu ve 768rozměrných vektorech pro vyhledávání a posuzování sémantické podobnosti. Tento konkrétní model používá průměrové sdružování, podporuje sekvence až 512 tokenů a dokumentuje porovnání pomocí kosinové podobnosti s volitelnou normalizací.
- Přijímané vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metody
Ailoot Ultra · Vektorové reprezentace POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Výstupní formát
- json
| Pole | Typ | Požadavek | Hodnoty a limity | Výchozí |
|---|---|---|---|---|
Polemodel | Typstring | PožadavekPovinné | Hodnoty a limity thenlper/gte-base | Výchozí— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožadavekPovinné | Hodnoty a limity Minimální počet položek: 1 Podmínky: Neprázdná homogenní dávka. ID tokenů jsou nezáporná celá čísla. Rozpočet vstupu: Maximum: 512 · Jednotka textu: bajty UTF8 · Jednotka tokenů: prvky pole tokenů | Výchozí— |
Poleencoding_format | Typstring | PožadavekVolitelné | Hodnoty a limity float | Výchozífloat |
Poledimensions | Typinteger | PožadavekNepodporováno | Hodnoty a limity Minimum: 1 | Výchozí— |
Poleuser | Typjson_value | PožadavekVolitelné | Hodnoty a limity Podmínky: Zdroj povoluje toto pole metadat JSON; jeho přesný význam u poskytovatele závisí na konkrétním modelu. | Výchozí— |
Polesession_id | Typjson_value | PožadavekVolitelné | Hodnoty a limity Podmínky: Zdroj povoluje toto pole metadat JSON; jeho přesný význam u poskytovatele závisí na konkrétním modelu. | Výchozí— |
Poletrace | Typjson_value | PožadavekVolitelné | Hodnoty a limity Podmínky: Zdroj povoluje toto pole metadat JSON; jeho přesný význam u poskytovatele závisí na konkrétním modelu. | Výchozí— |
Poleprovider | Typobject | PožadavekVolitelné | Hodnoty a limity Podmínky: Parametr provider.options byl odmítnut | Výchozí— |
Kombinace vstupních materiálů
text_to_embedding
Parametry a životní cyklus metody
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, input |
Parametrinput_shapes | Kontraktstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrencoding_format | Kontraktfloat |
Parametrdimensions_override | Kontraktfalse |
Parametrmax_input_budget_units | Kontrakt512 |
Parametrmultimodal_objects | Kontraktfalse |
Parametrmaterial_types | Kontrakttext, token_ids |
Životní cyklus: synchronous_json
Uchovejte index i rozměr každého vektoru.
Multimodální název modelu neznamená, že tato konkrétní cesta přijímá obrazové objekty.
Tarify
Údaje o tarifech nepřidávají možnosti požadavku. Podporované parametry jsou uvedeny u vybrané metody.
- Rychlý režim
- Neuvedeno Při výběru rychlého režimu
- Režim flex
- Neuvedeno Při výběru režimu flex
- Maximální intenzita uvažování
- Neuvedeno Když se při maximální intenzitě uvažování použije výchozí úprava (default)
Sazby Ailoot
Ceny podle konfigurace
| Konfigurace | Tabulka sazeb | Poplatek |
|---|---|---|
| KonfiguraceZákladní sazby za tokeny | Tabulka sazebZákladní sazba | Poplatek Vstup · Vstupní tokeny $0.00001 / 1K tokenů Výstup · Výstupní tokeny $0 / 1K tokenů Vstup · Čtení z mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. Jak funguje rezervace a vyúčtování →
Příklady požadavků
Ailoot Ultra · Vektorové reprezentace
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Přijímání a ukládání výsledků
Ailoot Ultra · Vektorové reprezentace
json
Uchovejte všechny dokončené výsledky
Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu.
Uchovejte každý vektor spolu s jeho indexem. Počet vektorů musí odpovídat počtu vstupů; jejich rozměr musí být jednotný.
Pokud je nutné ověřit původní odpověď
Samostatný endpoint úloh pro embeddingy se nezavádí.
Pole odpovědi
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a další kroky
| Odpověď | Podmínka | Další krok |
|---|---|---|
Odpověď400 · invalid_request_error | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. |
Aliasy
Aliasy modelu
Ailoot Ultra thenlper/gte-base
Aliasy cest metod
Použijte cesty metod uvedené výše.
Související ID modelů
FAQ · Thenlper: GTE-Base
- Jaké vstupy a výsledky jsou dostupné?
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- Jaká pole požadavek používá?
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- Jaké limity platí?
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(bajty UTF8);input.min_items:1