BAAI: bge-m3
BAAI BGE-M3 podporuje husté, riedke lexikálne aj viacvektorové vyhľadávanie vo viac než 100 jazykoch. Jeho hustý výstup má 1024 rozmerov a okno 8192 tokenov pojme vety aj dlhšie dokumenty bez povinného pokynu pre vyhľadávací dopyt.
O modeli
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
BGE-M3 je viacjazyčný vyhľadávací model od BAAI navrhnutý okolo troch druhov všestrannosti: viacerých vyhľadávacích funkcií, viacerých jazykov a rôznych dĺžok vstupu. Výrobca dokumentuje podporu viac ako sto jazykov a vstupov až do 8192 tokenov. Jeho jednotný model dokáže poskytovať husté vektory, riedke lexikálne váhy a viacvektorové reprezentácie, takže návrh vyhľadávania môže vybrať alebo kombinovať viacero druhov indícií.
Tri reprezentácie na vyhľadávanie
Hustý režim mapuje text na jeden 1024-rozmerný vektor. Podporuje porovnávanie významu reprezentovaného dopytom a pasážou. Riedky režim priraďuje váhy tokenom prítomným v texte na lexikálnu zhodu. Viacvektorový režim reprezentuje text niekoľkými vektormi a pomocou interakcie v štýle ColBERT porovnáva dopyt a dokument na jemnejšej úrovni.
Tieto výstupy majú vo vyhľadávacom indexe odlišné roly. Hustý vektor poskytuje jednu reprezentáciu pasáže; riedka mapa váh tokenov zachováva lexikálne signály; viacero vektorov poskytuje inú štruktúru porovnávania. Príklady výrobcu ukazujú vrátenie vybraných reprezentácií a výpočet skóre textových dvojíc. Zvolenú reprezentáciu a metódu skórovania považujte za vedomú súčasť vyhľadávacej úlohy.
Viacjazyčný text a príprava vstupu
BGE-M3 nevyžaduje pridávanie vyhľadávacej inštrukcie používanej v starších modeloch BGE. Pripravte priamo dopyt a skutočné zdrojové pasáže. Viacjazyčná znalostná kolekcia môže zachovať každú pasáž v pôvodnom jazyku s identifikátorom dokumentu a údajom o jazykovej lokalizácii. Pri overovaní výsledkov používajte skutočné otázky používateľov zo zamýšľanej zmesi jazykov.
Praktickou úlohou je vyhľadávať vysvetlenia pravidiel, produktovú pomoc alebo technickú dokumentáciu uloženú vo viacerých jazykoch. Zachovajte mená, čísla modelov a termíny dôležité pre otázku. Lexikálna reprezentácia môže pomôcť zachovať zhodu týchto termínov, zatiaľ čo hustá reprezentácia poskytuje sémantické indície. Vyhľadaná pasáž má obsahovať text a umiestnenie zdroja, ktoré si čitateľ môže overiť.
Dlhšie dokumenty a podrobnosť členenia
Vstupné okno 8192 tokenov umožňuje modelu reprezentovať materiál od krátkych viet po dlhšie dokumenty. Podrobnosť členenia voľte podľa odpovede, ktorú má vyhľadávanie vrátiť. Celá časť môže zachovať definíciu aj jej výnimky; menšia pasáž môže uľahčiť nájdenie konkrétneho pokynu. Dlhé okno tieto voľby umožňuje, ale vektor zostáva spojený s materiálom, ktorý bol skutočne zakódovaný.
Každú pasáž ponechajte prepojenú s nadradeným dokumentom a verziou. Pri rozsiahlom reporte zachovajte nadpis a okolité vysvetlenie príslušného číselného údaja alebo záveru. Nespoliehajte sa iba na názov nájdeného výsledku, keď sú dôkazy v jeho tele. Ak sa zdroj zmení, uchovajte dostatok metadát na aktualizáciu zodpovedajúcich vyhľadávacích reprezentácií.
Hybridné skóre a nadväzujúce použitie
Výrobca odporúča hybridné vyhľadávanie nasledované samostatnou fázou preusporiadania výsledkov. Jeho príklady počítajú husté, riedke a viacvektorové skóre a vytvárajú vážené kombinácie. Kombináciu vyberte podľa otázok a slovníka kolekcie; váha uvedená v príklade nie je univerzálnym nastavením pre každý korpus.
Užitočným výsledkom je súbor kandidátov, ktorých zdrojové pasáže zostávajú dostupné, so zaznamenanou reprezentáciou a metódou zoradenia. Samostatný model na preusporiadanie môže tento súbor spresniť a samostatná fáza generovania textu môže použiť obsah pasáží. Riedke a viacvektorové schopnosti BGE-M3 sú režimami modelu výrobcu; hustý embedding, lexikálny výstup a skóre dvojice sú odlišné artefakty, nie zameniteľné polia.
Ailoot Ultra · Embeddingy POST /v1/embeddings baai/bge-m3
baai/bge-m3Úvod
BAAI BGE-M3 podporuje husté, riedke lexikálne aj viacvektorové vyhľadávanie vo viac než 100 jazykoch. Jeho hustý výstup má 1024 rozmerov a okno 8192 tokenov pojme vety aj dlhšie dokumenty bez povinného pokynu pre vyhľadávací dopyt.
- Povolené vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metódy
Ailoot Ultra · Embeddingy POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Kontext
- 8 194 tokens
- Výstupný formát
- json
| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity baai/bge-m3 | Predvolené— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 Podmienky: Neprázdna homogénna dávka. ID tokenov sú nezáporné celé čísla. Vstupný rozpočet: Maximum: 8 194 · Textová jednotka: bajty UTF8 · Jednotka tokenov: prvky poľa tokenov | Predvolené— |
Poleencoding_format | Typstring | PožiadavkaVoliteľné | Hodnoty a limity float | Predvolenéfloat |
Poledimensions | Typinteger | PožiadavkaNepodporované | Hodnoty a limity Minimum: 1 | Predvolené— |
Poleuser | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Polesession_id | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poletrace | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa odmieta | Predvolené— |
Kombinácie vstupných podkladov
text_to_embedding
Parametre a životný cyklus metódy
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input |
Parameterinput_shapes | Špecifikáciastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Špecifikáciafloat |
Parameterdimensions_override | Špecifikáciafalse |
Parametermax_input_budget_units | Špecifikácia8194 |
Parametermultimodal_objects | Špecifikáciafalse |
Parametermaterial_types | Špecifikáciatext, token_ids |
Životný cyklus: synchronous_json
Uchovajte každý index a rozmer vektora.
Názov multimodálneho modelu neznamená, že na tejto konkrétnej trase možno použiť objekty obrázkov.
Cenník
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
- Rýchly režim
- Štandardná sadzba Keď je zvolený rýchly režim
- Režim Flex
- Štandardná sadzba Keď je zvolený režim flex
- Maximálna úroveň uvažovania
- Štandardná sadzba Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)
Sadzby Ailoot
Ceny podľa konfigurácie
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00004 / 1K tokenov Výstup · Výstupné tokeny $0 / 1K tokenov Vstup · Čítanie cache — / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
Príklady požiadaviek
Ailoot Ultra · Embeddingy
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "baai/bge-m3", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='baai/bge-m3',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prijať a uložiť výsledky
Ailoot Ultra · Embeddingy
json
Uchovať všetky dokončené výsledky
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Uchovajte každý vektor spolu s jeho indexom. Počet vektorov sa musí rovnať počtu vstupov; rozmery musia byť konzistentné.
Ak treba overiť pôvodnú odpoveď
Nezavádza sa žiadny koncový bod pre úlohy tvorby embeddingov.
Polia odpovede
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a ďalšie kroky
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Aliasy
Aliasy modelov
Ailoot Ultra baai/bge-m3
Aliasy ciest metód
Použite cesty metód uvedené vyššie.
Súvisiace ID na volanie
FAQ · BAAI: bge-m3
- Aké vstupy a výsledky sú dostupné?
POST /v1/embeddings·baai/bge-m3:text,token_ids→embedding- Aké polia používa požiadavka?
POST /v1/embeddings·baai/bge-m3:model,input,encoding_format,provider- Aké limity platia?
POST /v1/embeddings·baai/bge-m3:ctx:8194;input.budget.maximum:8194(bajty UTF8);input.min_items:1