VoyageAI by MongoDB: voyage-4-large
voyage-4-large je model textových embeddingov Voyage AI so zmesou expertov na všeobecné a viacjazyčné vyhľadávanie. Jeho vektory zdieľajú priestor rodiny Voyage 4, takže embeddingy korpusu z Large možno prehľadávať kompatibilnými embeddingmi dopytov z ostatných modelov rodiny.
O modeli
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
voyage-4-large je vlajkový model textových embeddingov Voyage AI v rodine Voyage 4. Zdrojové pasáže a dopyty reprezentuje ako číselné vektory na všeobecné a viacjazyčné vyhľadávanie. Jeho dvoma rozlišujúcimi vlastnosťami sú návrh modelu so zmesou expertov a spoločný priestor embeddingov používaný modelmi voyage-4-large, voyage-4, voyage-4-lite a voyage-4-nano.
Spoločný priestor: samostatné voľby pre korpus a dopyty
Výrobca opisuje asymetrické vyhľadávanie: embeddingy dokumentov možno vytvoriť pomocou voyage-4-large, zatiaľ čo vektory dopytov pripraví iný model rodiny Voyage 4. Napríklad korpus reprezentovaný pomocou Large možno prehľadávať dopytmi voyage-4. To umožňuje zvoliť odlišné modely pre obe strany vyhľadávania pri zachovaní zdokumentovaného kompatibilného priestoru.
Praktická kolekcia preto môže používať Large na prípravu stabilných pasáží dokumentov a nezávisle vybrať model na strane dopytov. Embeddingy dokumentov sa vytvárajú pri vzniku alebo aktualizácii korpusu, zatiaľ čo dopyty sa vektorizujú pri vyhľadávaní používateľov. Oznámenie rodiny opisuje zmenu modelu dopytov v kompatibilnej rodine bez opätovnej vektorizácie korpusu dokumentov iba kvôli tejto zmene. Porovnávané vektory udržujte v rovnakých rozmeroch a reprezentáciách, ktoré vyhľadávací systém dokáže interpretovať spoločne.
Návrh embeddingov so zmesou expertov
Hustá dopredná vrstva spracúva každý token celým súborom svojich parametrov. Prístup MoE opísaný pre voyage-4-large používa smerovač a dopredné siete expertov, pričom vyberá expertov spracúvajúcich každý token. Tým oddeľuje celkovú kapacitu modelu od parametrov aktívnych pre konkrétny token. Voyage pre návrh MoE tohto modelu uvádza pomer aktivácie 1/10 s použitím smerovania top-k.
Technické vysvetlenie výrobcu tiež opisuje dve vývojové voľby. Kapacita experta ovplyvňuje, či nadbytočné tokeny obídu vrstvu experta cez reziduálnu cestu; tím zvolil najväčší realizovateľný faktor kapacity, aby zabránil strate kvality vyhľadávania. V poslednej fáze trénovania sú parametre smerovača pred zlučovaním modelov zmrazené, aby interpolácia zdrojových modelov nemenila naučené smerovanie výberu expertov. Ide o vlastnosti prípravy modelu, odlišné od nastavení dĺžky textu či skracovania pri príprave vstupu.
Rozmery a výstupná reprezentácia
Oficiálna tabuľka modelov uvádza kontextové okno 32 000 tokenov a voliteľné embeddingy s 256, 512, 1024 a 2048 rozmermi, pričom predvolený rozmer je 1024. Rodina používa učenie Matryoshka pre vnorené veľkosti reprezentácií a podporuje možnosti kvantovania: 32-bitové čísla s pohyblivou rádovou čiarkou, 8-bitové celé čísla so znamienkom či bez znamienka a zbalený binárny výstup.
Pri binárnom výstupe je dĺžka vráteného zoznamu bajtov jednou osminou zvoleného rozmeru, pretože každý bajt obsahuje osem bitov embeddingu. Voľby rozmeru a dátového typu uchovajte s indexom a používajte porovnávaciu metódu podporujúcu danú reprezentáciu. Menší alebo komprimovaný vektor mení reprezentáciu používanú na vyhľadávanie; pred výberom pre kolekciu posúďte relevantné pasáže vrátené na skutočné otázky.
Pripravte vstupy dokumentov a dopytov
Voyage odporúča rolu document pre pasáže korpusu a rolu query pre znenie vyhľadávania. Voľba roly pred vytvorením embeddingu pridáva príslušnú vyhľadávaciu inštrukciu. Zachovajte užitočný nadpis pasáže, podmienky a umiestnenie zdroja a potom uložte vrátený vektor s pôvodným textom a stabilným identifikátorom.
Pri technickej znalostnej kolekcii má otázka o režime zlyhania viesť k pasáži, ktorá tento režim a jeho relevantné podmienky opisuje. Pri kolekcii dokumentov vo viacerých jazykoch zachovajte jazyk zdroja a vyhodnoťte otázky a terminológiu, ktoré používatelia budú vyhľadávať. Vydanie pokrýva vyhľadávací materiál vrátane technických dokumentov, konverzácií, dlhých dokumentov, kódu, práva, financií a webového textu. Embedding nájde kandidátsky materiál; neskorší model na preusporiadanie alebo fáza odpovede používa pôvodný text.
Kontext, dávky a limity skracovania
Aktuálna príručka výrobcu povoľuje v požiadavke voyage-4-large najviac 1000 reťazcov a spolu 120 000 vstupných tokenov. To sa líši od limitu dávky uvádzaného pre voyage-4, pričom oba modely majú okno 32 000 tokenov na text. Predvolené skracovanie skráti príliš dlhý vstup, aby sa zmestil; vypnutie skracovania pri príliš dlhom texte vráti chybu.
Hranice pasáží obsahujúcich odpoveď vyberajte zámerne, aby dlhý zdroj nestratil relevantné spresnenie v odrezanom konci. Pri vracaní výsledkov vyhľadávania zachovajte prepojenie na zdroj a preskúmajte skutočný kandidátsky text namiesto považovania blízkosti vektorov za overenie jeho obsahu. Kompatibilita spoločného priestoru platí pre zdokumentovanú textovú rodinu Voyage 4; kontextové spracovanie častí, embeddingy obrázkov či videa a neskoršie edície modelov zostávajú samostatnými postupmi špecifickými pre daný model.
Ailoot Ultra · Embeddingy POST /v1/embeddings voyageai/voyage-4-large
voyageai/voyage-4-largeÚvod
voyage-4-large je model textových embeddingov Voyage AI so zmesou expertov na všeobecné a viacjazyčné vyhľadávanie. Jeho vektory zdieľajú priestor rodiny Voyage 4, takže embeddingy korpusu z Large možno prehľadávať kompatibilnými embeddingmi dopytov z ostatných modelov rodiny.
- Povolené vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metódy
Ailoot Ultra · Embeddingy POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Kontext
- 32 000 tokens
- Výstupný formát
- json
| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity voyageai/voyage-4-large | Predvolené— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 Podmienky: Neprázdna homogénna dávka. ID tokenov sú nezáporné celé čísla. Vstupný rozpočet: Maximum: 32 000 · Textová jednotka: bajty UTF8 · Jednotka tokenov: prvky poľa tokenov | Predvolené— |
Poleencoding_format | Typstring | PožiadavkaVoliteľné | Hodnoty a limity float | Predvolenéfloat |
Poledimensions | Typinteger | PožiadavkaNepodporované | Hodnoty a limity Minimum: 1 | Predvolené— |
Poleuser | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Polesession_id | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poletrace | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa odmieta | Predvolené— |
Kombinácie vstupných podkladov
text_to_embedding
Parametre a životný cyklus metódy
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input |
Parameterinput_shapes | Špecifikáciastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Špecifikáciafloat |
Parameterdimensions_override | Špecifikáciafalse |
Parametermax_input_budget_units | Špecifikácia32000 |
Parametermultimodal_objects | Špecifikáciafalse |
Parametermaterial_types | Špecifikáciatext, token_ids |
Životný cyklus: synchronous_json
Uchovajte každý index a rozmer vektora.
Názov multimodálneho modelu neznamená, že na tejto konkrétnej trase možno použiť objekty obrázkov.
Cenník
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
- Rýchly režim
- Štandardná sadzba Keď je zvolený rýchly režim
- Režim Flex
- Štandardná sadzba Keď je zvolený režim flex
- Maximálna úroveň uvažovania
- Štandardná sadzba Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)
Sadzby Ailoot
Ceny podľa konfigurácie
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00024 / 1K tokenov Výstup · Výstupné tokeny $0 / 1K tokenov Vstup · Čítanie cache — / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
Príklady požiadaviek
Ailoot Ultra · Embeddingy
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-4-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-4-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prijať a uložiť výsledky
Ailoot Ultra · Embeddingy
json
Uchovať všetky dokončené výsledky
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Uchovajte každý vektor spolu s jeho indexom. Počet vektorov sa musí rovnať počtu vstupov; rozmery musia byť konzistentné.
Ak treba overiť pôvodnú odpoveď
Nezavádza sa žiadny koncový bod pre úlohy tvorby embeddingov.
Polia odpovede
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a ďalšie kroky
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Aliasy
Aliasy modelov
Ailoot Ultra voyageai/voyage-4-large
Aliasy ciest metód
Použite cesty metód uvedené vyššie.
Súvisiace ID na volanie
FAQ · VoyageAI by MongoDB: voyage-4-large
- Aké vstupy a výsledky sú dostupné?
POST /v1/embeddings·voyageai/voyage-4-large:text,token_ids→embedding- Aké polia používa požiadavka?
POST /v1/embeddings·voyageai/voyage-4-large:model,input,encoding_format,provider- Aké limity platia?
POST /v1/embeddings·voyageai/voyage-4-large:ctx:32000;input.budget.maximum:32000(bajty UTF8);input.min_items:1