VoyageAI by MongoDB: voyage-4
voyage-4 vytvára embeddingy textu na všeobecné a viacjazyčné vyhľadávanie v spoločnom vektorovom priestore rodiny Voyage 4. Podporuje vstupy s 32 000 tokenmi, voliteľné výstupy s 256–2048 rozmermi a roly query/document pre vyhľadávanie a RAG.
O modeli
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
voyage-4 je stredne veľký model textových embeddingov Voyage AI v rodine Voyage 4. Text dopytov a dokumentov premieňa na číselné vektory na všeobecné a viacjazyčné vyhľadávanie. Určujúcou schopnosťou rodiny je spoločný priestor embeddingov: voyage-4, voyage-4-large, voyage-4-lite a voyage-4-nano vytvárajú kompatibilné reprezentácie, takže strana dopytov a dokumentov vyhľadávacej úlohy môže používať rôzne modely tejto rodiny.
Spoločný priestor a asymetrické vyhľadávanie
Výrobca nazýva použitie odlišných modelov pre dopyty a korpus asymetrickým vyhľadávaním. Jedným zdokumentovaným postupom je pripraviť korpus pomocou voyage-4-large a prehľadávať ho embeddingmi dopytov voyage-4. Embeddingy korpusu sa vytvoria raz alebo pri zmene zdrojového materiálu, zatiaľ čo vektory dopytov vznikajú pri príchode vyhľadávaní. Spoločný priestor umožňuje meniť model na strane dopytov v rodine bez potreby opätovne vytvárať embeddingy korpusu iba kvôli tejto zmene.
Výstupný rozmer a reprezentáciu udržujte kompatibilné medzi porovnávanými vektormi. Tvrdenie o spoločnom priestore sa týka pomenovaných textových modelov Voyage 4; samotné polia rovnakej dĺžky z dvoch nesúvisiacich modelov ho nepreukazujú. Praktická úloha preto môže používať voyage-4 na oboch stranách vyhľadávania alebo jeho vektory dopytov s existujúcim dokumentovým indexom voyage-4-large, keď sa zhodujú nastavenia reprezentácie.
Roly dopytu a dokumentu
Pri vyhľadávaní Voyage odporúča označiť vstupný text ako dopyt alebo dokument. Voľba vstupnej roly pred vektorizáciou poskytne príslušnú vyhľadávaciu inštrukciu. Pasáže korpusu pripravte ako dokumenty a znenie vyhľadávania používateľa ako dopyt, pričom skutočný zdrojový text a identifikátory uchovajte vedľa každého uloženého vektora.
Napríklad znalostná vyhľadávacia kolekcia môže indexovať technické pokyny a vysvetlenia produktov. Dopyt o tom, čo sa stane po neúspešnom importe, má vrátiť zdrojovú pasáž opisujúcu toto správanie. Nadpisy, relevantné podmienky a umiestnenie zdroja zachovajte s pasážou, aby sa výsledný nález dal preskúmať alebo použiť v neskoršej fáze odpovede RAG. Embedding je číselná vyhľadávacia reprezentácia; pôvodná pasáž je dôkazom používaným v tejto neskoršej fáze.
Rozmery a výstupné dátové typy
Zdokumentované kontextové okno na text je 32 000 tokenov. Voliteľné rozmery sú 256, 512, 1024 a 2048 s predvolenými 1024. Učenie Matryoshka poskytuje tieto vnorené veľkosti reprezentácií. Výstup môže používať 32-bitové čísla s pohyblivou rádovou čiarkou, 8-bitové celé čísla so znamienkom či bez znamienka alebo zbalené binárne hodnoty, ktoré umožňuje príprava rodiny zohľadňujúca kvantovanie.
Pri zbalenom binárnom výstupe každý vrátený bajt uchováva osem bitov embeddingu, takže dĺžka zoznamu bajtov je jednou osminou zvoleného rozmeru. Počet bajtov a rozmer embeddingu majú odlišný význam. Vyberte reprezentáciu, ktorú vyhľadávací index dokáže interpretovať, a pred voľbou komprimovanej konfigurácie preskúmajte relevantnosť kandidátov na otázkach a jazykoch skutočne používaných kolekciou.
Dĺžka vstupu, dávky a skracovanie
Aktuálna príručka textových embeddingov výrobcu povoľuje v požiadavke voyage-4 najviac 1000 reťazcov a celkovo 320 000 tokenov. Limit dávky je oddelený od okna 32 000 tokenov pre každý vstup. Skracovanie je predvolene zapnuté: príliš dlhý text sa skráti, aby sa zmestil. Ak je skracovanie vypnuté, príliš dlhá položka namiesto toho vyvolá chybu.
Pri dlhom reporte alebo prepise zámerne pripravte pasáže obsahujúce odpoveď namiesto spoliehania sa na odrezanie na hranici vstupu. Každú pasáž ponechajte prepojenú s nadradeným dokumentom a verziou zdroja. Bežné vstupy embeddingov voyage-4 sú jednotlivé texty; kontextové spracovanie skupín častí patrí samostatne zdokumentovaným kontextovým modelom embeddingov.
Použite výsledok vyhľadávania
Vektory uložte s textom pasáže a stabilnými identifikátormi zdrojov, každý vektor dopytu porovnajte s kompatibilnými vektormi dokumentov a vráťte kandidátske pasáže. Vydanie rodiny hodnotí vyhľadávanie v materiáloch vrátane technických dokumentov, konverzácií, dlhých dokumentov, kódu, práva, financií a webového textu. Samostatný model na preusporiadanie môže spresniť kandidátov a neskoršia fáza odpovede použiť ich text. Vrátené pasáže vyhodnoťte vzhľadom na úlohu; kompatibilita spoločného priestoru umožňuje kombináciu modelov, zatiaľ čo užitočnosť výsledku stále závisí od zdrojového materiálu a otázky.
Ailoot Ultra · Embeddingy POST /v1/embeddings voyageai/voyage-4
voyageai/voyage-4Úvod
voyage-4 vytvára embeddingy textu na všeobecné a viacjazyčné vyhľadávanie v spoločnom vektorovom priestore rodiny Voyage 4. Podporuje vstupy s 32 000 tokenmi, voliteľné výstupy s 256–2048 rozmermi a roly query/document pre vyhľadávanie a RAG.
- Povolené vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metódy
Ailoot Ultra · Embeddingy POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Kontext
- 32 000 tokens
- Výstupný formát
- json
| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity voyageai/voyage-4 | Predvolené— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 Podmienky: Neprázdna homogénna dávka. ID tokenov sú nezáporné celé čísla. Vstupný rozpočet: Maximum: 32 000 · Textová jednotka: bajty UTF8 · Jednotka tokenov: prvky poľa tokenov | Predvolené— |
Poleencoding_format | Typstring | PožiadavkaVoliteľné | Hodnoty a limity float | Predvolenéfloat |
Poledimensions | Typinteger | PožiadavkaNepodporované | Hodnoty a limity Minimum: 1 | Predvolené— |
Poleuser | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Polesession_id | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poletrace | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa odmieta | Predvolené— |
Kombinácie vstupných podkladov
text_to_embedding
Parametre a životný cyklus metódy
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input |
Parameterinput_shapes | Špecifikáciastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Špecifikáciafloat |
Parameterdimensions_override | Špecifikáciafalse |
Parametermax_input_budget_units | Špecifikácia32000 |
Parametermultimodal_objects | Špecifikáciafalse |
Parametermaterial_types | Špecifikáciatext, token_ids |
Životný cyklus: synchronous_json
Uchovajte každý index a rozmer vektora.
Názov multimodálneho modelu neznamená, že na tejto konkrétnej trase možno použiť objekty obrázkov.
Cenník
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
- Rýchly režim
- Štandardná sadzba Keď je zvolený rýchly režim
- Režim Flex
- Štandardná sadzba Keď je zvolený režim flex
- Maximálna úroveň uvažovania
- Štandardná sadzba Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)
Sadzby Ailoot
Ceny podľa konfigurácie
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00012 / 1K tokenov Výstup · Výstupné tokeny $0 / 1K tokenov Vstup · Čítanie cache — / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
Príklady požiadaviek
Ailoot Ultra · Embeddingy
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-4", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-4',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prijať a uložiť výsledky
Ailoot Ultra · Embeddingy
json
Uchovať všetky dokončené výsledky
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Uchovajte každý vektor spolu s jeho indexom. Počet vektorov sa musí rovnať počtu vstupov; rozmery musia byť konzistentné.
Ak treba overiť pôvodnú odpoveď
Nezavádza sa žiadny koncový bod pre úlohy tvorby embeddingov.
Polia odpovede
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a ďalšie kroky
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Aliasy
Aliasy modelov
Ailoot Ultra voyageai/voyage-4
Aliasy ciest metód
Použite cesty metód uvedené vyššie.
Súvisiace ID na volanie
FAQ · VoyageAI by MongoDB: voyage-4
- Aké vstupy a výsledky sú dostupné?
POST /v1/embeddings·voyageai/voyage-4:text,token_ids→embedding- Aké polia používa požiadavka?
POST /v1/embeddings·voyageai/voyage-4:model,input,encoding_format,provider- Aké limity platia?
POST /v1/embeddings·voyageai/voyage-4:ctx:32000;input.budget.maximum:32000(bajty UTF8);input.min_items:1