BAAI: bge-m3
BAAI BGE-M3 palaiko tankiąją, retąją leksinę ir daugiavektorę paiešką daugiau nei 100 kalbų. Tankiosios išvesties matmenų skaičius yra 1024, o 8192 žetonų langas talpina tiek sakinius, tiek ilgesnius dokumentus, nereikalaudamas privalomos užklausos instrukcijos.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
BGE-M3 – BAAI daugiakalbis paieškos modelis, sukurtas remiantis trimis universalumo aspektais: keliomis paieškos funkcijomis, keliomis kalbomis ir skirtingais įvesties ilgiais. Gamintojas dokumentuoja daugiau kaip šimto kalbų ir iki 8192 žetonų įvesčių palaikymą. Jo bendras modelis gali pateikti tankiuosius vektorius, retuosius leksinius svorius ir kelių vektorių reprezentacijas, todėl paieškos projektas gali pasirinkti arba sujungti daugiau nei vienos rūšies požymius.
Trys paieškos reprezentacijos
Tankusis režimas paverčia tekstą į vieną 1024 matmenų vektorių. Jis leidžia palyginti užklausos ir ištraukos atvaizduojamą prasmę. Retasis režimas suteikia svorius tekste esantiems žetonams leksiniam atitikimui. Kelių vektorių režimas atvaizduoja tekstą keliais vektoriais ir naudoja ColBERT stiliaus sąveiką smulkesniam užklausos ir dokumento palyginimui.
Šios išvestys paieškos indekse atlieka skirtingus vaidmenis. Tankusis vektorius pateikia vieną ištraukos reprezentaciją; retasis žetonų svorių žemėlapis išsaugo leksinius signalus; keli vektoriai suteikia kitokią palyginimo struktūrą. Gamintojo pavyzdžiuose grąžinamos pasirinktos reprezentacijos ir skaičiuojami tekstų porų balai. Pasirinktą reprezentaciją ir balų skaičiavimo metodą laikykite sąmoninga paieškos užduoties dalimi.
Daugiakalbis tekstas ir įvesties paruošimas
BGE-M3 nereikalauja pridėti paieškos instrukcijos, naudotos ankstesniuose BGE modeliuose. Paruoškite užklausą ir tikrąsias šaltinio ištraukas tiesiogiai. Daugiakalbiame žinių rinkinyje kiekvieną ištrauką galima išsaugoti originalo kalba kartu su dokumento identifikatoriumi ir lokale. Tikrindami rezultatus naudokite tikrus naudotojų klausimus iš numatyto kalbų derinio.
Praktinė užduotis – ieškoti taisyklių paaiškinimų, produkto pagalbos ar techninės dokumentacijos, saugomų keliomis kalbomis. Išsaugokite klausimui svarbius pavadinimus, modelių numerius ir terminus. Leksinė reprezentacija gali padėti išlaikyti šių terminų atitikimą, o tankioji reprezentacija pateikia semantinius požymius. Rastoje ištraukoje turėtų būti tekstas ir šaltinio vieta, kuriuos skaitytojas gali patikrinti.
Ilgesni dokumentai ir detalumas
8192 žetonų įvesties langas leidžia modeliui atvaizduoti medžiagą nuo trumpų sakinių iki ilgesnių dokumentų. Detalumą parinkite pagal atsakymą, kurį paieška turėtų grąžinti. Visas skyrius gali išsaugoti apibrėžimą ir jo išimtis; mažesnė ištrauka gali padėti lengviau rasti konkrečią instrukciją. Ilgas langas leidžia tokius pasirinkimus, tačiau vektorius lieka susietas su iš tikrųjų užkoduota medžiaga.
Kiekvieną ištrauką išlaikykite susietą su pirminiu dokumentu ir versija. Ilgoje ataskaitoje išsaugokite antraštę ir su atitinkama iliustracija ar išvada susijusį aplinkinį paaiškinimą. Nesiremkite vien paieškos rezultato antrašte, kai faktinė medžiaga yra pagrindiniame tekste. Jei šaltinis pasikeičia, išsaugokite pakankamai metaduomenų atitinkamoms paieškos reprezentacijoms atnaujinti.
Hibridiniai balai ir tolesnis naudojimas
Gamintojas rekomenduoja hibridinę paiešką, po kurios atliekamas atskiras pakartotinio reitingavimo etapas. Jo pavyzdžiuose skaičiuojami tankieji, retieji ir kelių vektorių balai bei sudaromi svertiniai deriniai. Derinį rinkitės pagal rinkinio klausimus ir žodyną; pavyzdyje parodytas svoris nėra universalus nustatymas kiekvienam tekstynui.
Naudingas rezultatas – kandidatų rinkinys, kurio šaltinio ištraukos lieka prieinamos, su užfiksuota reprezentacija ir rikiavimo metodu. Atskiras pakartotinio reitingavimo modelis gali patikslinti šį rinkinį, o atskiras teksto generavimo etapas naudoti ištraukų turinį. BGE-M3 retųjų ir kelių vektorių galimybės yra gamintojo modelio režimai; tankusis įterpinys, leksinė išvestis ir poros balas yra atskiri rezultatai, o ne sukeičiami masyvai.
Ailoot Ultra · Įterpiniai POST /v1/embeddings baai/bge-m3
baai/bge-m3Pradžia
BAAI BGE-M3 palaiko tankiąją, retąją leksinę ir daugiavektorę paiešką daugiau nei 100 kalbų. Tankiosios išvesties matmenų skaičius yra 1024, o 8192 žetonų langas talpina tiek sakinius, tiek ilgesnius dokumentus, nereikalaudamas privalomos užklausos instrukcijos.
- Leidžiamos įvestys
- Tekstas · token_ids
- Rezultatai
- embedding
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Įterpiniai POST /v1/embeddings
- Įvestis
text,token_ids- Išvestis
embedding- Kontekstas
- 8 194 tokens
- Išvesties formatas
- json
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos baai/bge-m3 | Numatyta— |
Laukasinput | Tipasstring|string[]|integer[]|integer[][] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 Sąlygos: Netuščias vienalyčių įvesčių paketas. Žetonų ID yra neneigiami sveikieji skaičiai. Įvesties biudžetas: Didžiausia reikšmė: 8 194 · Teksto vienetas: UTF8 baitai · Tokenų vienetas: žetonų masyvo elementai | Numatyta— |
Laukasencoding_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos float | Numatytafloat |
Laukasdimensions | Tipasinteger | ReikalavimasNepalaikoma | Reikšmės ir ribos Mažiausia reikšmė: 1 | Numatyta— |
Laukasuser | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukassession_id | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukastrace | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options atmetamas | Numatyta— |
Įvesties medžiagos deriniai
text_to_embedding
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input |
Parametrasinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrasencoding_format | Specifikacijafloat |
Parametrasdimensions_override | Specifikacijafalse |
Parametrasmax_input_budget_units | Specifikacija8194 |
Parametrasmultimodal_objects | Specifikacijafalse |
Parametrasmaterial_types | Specifikacijatext, token_ids |
Gyvavimo ciklas: synchronous_json
Išsaugokite kiekvieną vektoriaus indeksą ir matmenį.
Tai, kad modelio pavadinimas nurodo multimodalumą, nereiškia, jog šiuo konkrečiu keliu priimami vaizdų objektai.
Planai
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Standartinis įkainis Pasirinkus spartųjį režimą
- Flex režimas
- Standartinis įkainis Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Standartinis įkainis Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Ailoot įkainiai
Kainos pagal konfigūraciją
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.00004 / 1K tokenų Išvestis · Išvesties tokenai $0 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Įterpiniai
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "baai/bge-m3", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='baai/bge-m3',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Įterpiniai
json
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną vektorių su jo indeksu. Vektorių skaičius turi sutapti su įvesčių skaičiumi; jų matmenų skaičius turi būti vienodas.
Jei reikia patikrinti pradinį atsakymą
Vektorių generavimo užduotims atskiras API galinis taškas neįvedamas.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukasobject | Tipasstring |
Laukasmodel | Tipasstring |
Laukasdata[].index | Tipasinteger |
Laukasdata[].embedding | Tipasfinite float[] |
Laukasusage | Tipasobject |
Klaidos ir tolesni veiksmai
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra baai/bge-m3
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · BAAI: bge-m3
- Kokios įvestys ir rezultatai prieinami?
POST /v1/embeddings·baai/bge-m3:text,token_ids→embedding- Kokius laukus naudoja užklausa?
POST /v1/embeddings·baai/bge-m3:model,input,encoding_format,provider- Kokie apribojimai taikomi?
POST /v1/embeddings·baai/bge-m3:ctx:8194;input.budget.maximum:8194(UTF8 baitai);input.min_items:1