VoyageAI by MongoDB: voyage-4-large
voyage-4-large je besedilni model vektorskih vložitev podjetja Voyage AI z arhitekturo mixture-of-experts za splošno in večjezično iskanje. Njegovi vektorji si delijo prostor družine Voyage 4, zato je po vložitvah korpusa iz Large mogoče iskati z združljivimi vložitvami poizvedb drugih modelov družine.
O modelu
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
voyage-4-large je vodilni besedilni model vektorskih vložitev v družini Voyage 4 podjetja Voyage AI. Izvorne odlomke in poizvedbe predstavi kot numerične vektorje za splošno in večjezično iskanje. Njegovi posebnosti sta zasnova mixture-of-experts in skupni prostor vektorskih vložitev, ki ga uporabljajo voyage-4-large, voyage-4, voyage-4-lite in voyage-4-nano.
Skupni prostor: ločena izbira za korpus in poizvedbe
Proizvajalec opisuje asimetrično iskanje: vektorske vložitve dokumentov lahko izdela voyage-4-large, vektorje poizvedb pa drug model družine Voyage 4. Po korpusu, ki ga predstavi Large, je na primer mogoče iskati s poizvedbami voyage-4. To omogoča različno izbiro modelov na obeh straneh iskanja ob ohranitvi dokumentiranega združljivega prostora.
Praktična zbirka lahko zato uporabi Large za pripravo stabilnih odlomkov dokumentov in neodvisno izbere model na strani poizvedb. Vložitve dokumentov nastanejo ob ustvarjanju ali posodobitvi korpusa, poizvedbe pa se vektorizirajo, ko uporabniki iščejo. Objava družine opisuje zamenjavo modela poizvedb znotraj združljive družine brez ponovne vektorizacije korpusa dokumentov zgolj zaradi te spremembe. Primerjani vektorji morajo imeti ujemajoče se dimenzije in predstavitve, ki jih lahko iskalni sistem skupaj interpretira.
Zasnova vektorskih vložitev mixture-of-experts
Gosta plast z neposrednim širjenjem vsak žeton obdela s svojim celotnim naborom parametrov. Pristop MoE, opisan za voyage-4-large, uporablja usmerjevalnik in ekspertne mreže z neposrednim širjenjem ter izbere eksperte, ki obdelajo posamezni žeton. S tem loči celotno zmogljivost modela od parametrov, aktivnih za določen žeton. Voyage za modelovo zasnovo MoE navaja delež aktivacije 1/10 z usmerjanjem top-k.
Proizvajalčeva tehnična razlaga opisuje tudi dve razvojni odločitvi. Zmogljivost eksperta vpliva na to, ali presežni žetoni obidejo ekspertno plast po rezidualni poti; ekipa je izbrala največji izvedljivi faktor zmogljivosti, da bi preprečila izgubo kakovosti iskanja. V zadnji učni stopnji se parametri usmerjevalnika zamrznejo pred združevanjem modelov, da interpolacija izvornih modelov ne spremeni naučenega usmerjanja pri izbiri ekspertov. To so značilnosti priprave modela, ločene od nastavitev dolžine besedila ali krajšanja pri pripravi vhoda.
Dimenzije in izhodna predstavitev
Uradna tabela modelov navaja kontekstno okno 32 000 žetonov ter izbiro 256-, 512-, 1024- in 2048-dimenzionalnih vektorskih vložitev s privzeto dimenzijo 1024. Družina za vgnezdene velikosti predstavitev uporablja učenje Matryoshka in podpira kvantizacijo: 32-bitna števila s plavajočo vejico, predznačena ali nepredznačena 8-bitna cela števila ter pakirani binarni izhod.
Pri binarnem izhodu je dolžina vrnjenega seznama bajtov ena osmina izbrane dimenzije, saj vsak bajt vsebuje osem bitov vektorske vložitve. Izbiro dimenzije in podatkovnega tipa ohranite z indeksom ter uporabite primerjalno metodo, ki podpira to predstavitev. Manjši ali stisnjen vektor spremeni predstavitev za iskanje; preden ga izberete za zbirko, ocenite ustrezne odlomke, vrnjene za dejanska vprašanja.
Pripravite vhode dokumentov in poizvedb
Voyage za odlomke korpusa priporoča vlogo document, za iskalno besedilo pa vlogo query. Možnost vloge pred izdelavo vložitve doda ustrezno iskalno navodilo. Ohranite uporaben naslov odlomka, pogoje in mesto v viru, nato vrnjeni vektor shranite z izvirnim besedilom in stabilnim identifikatorjem.
Pri zbirki tehničnega znanja mora vprašanje o načinu odpovedi voditi do odlomka, ki opisuje ta način in ustrezne pogoje. Pri zbirki dokumentov v različnih jezikih ohranite izvorni jezik ter ocenite vprašanja in terminologijo, s katerimi bodo uporabniki iskali. Izdaja zajema iskalno gradivo, kot so tehnični dokumenti, pogovori, dolgi dokumenti, koda, pravo, finance in spletno besedilo. Vektorska vložitev poišče kandidatno gradivo; poznejši model za ponovno razvrščanje ali stopnja odgovarjanja uporabi izvirno besedilo.
Omejitve konteksta, paketov in krajšanja
Proizvajalčev trenutni vodnik dovoljuje največ 1000 nizov in skupno 120 000 vhodnih žetonov v zahtevi voyage-4-large. To se razlikuje od paketne omejitve za voyage-4, oba pa imata okno 32 000 žetonov na besedilo. Privzeto krajšanje predolg vhod skrajša, da se prilega; izklop krajšanja za predolgo besedilo vrne napako.
Meje odlomkov, ki vsebujejo odgovor, izbirajte premišljeno, da dolg vir na odrezanem koncu ne izgubi pomembnega pojasnila. Pri vračanju rezultatov iskanja ohranite povezavo z virom in preverite dejansko besedilo kandidata, namesto da vektorsko bližino obravnavate kot preverjanje njegove vsebine. Združljivost skupnega prostora velja za dokumentirano besedilno družino Voyage 4; obdelava odsekov s kontekstom, slikovne/video vložitve in poznejše različice modelov ohranjajo svoje postopke, značilne za posamezni model.
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings voyageai/voyage-4-large
voyageai/voyage-4-largeZačetek
voyage-4-large je besedilni model vektorskih vložitev podjetja Voyage AI z arhitekturo mixture-of-experts za splošno in večjezično iskanje. Njegovi vektorji si delijo prostor družine Voyage 4, zato je po vložitvah korpusa iz Large mogoče iskati z združljivimi vložitvami poizvedb drugih modelov družine.
- Dovoljeni vhodi
- Besedilo · token_ids
- Rezultati
- embedding
Na voljo v Ailoot · vhodi in metode
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings
- Vhod
text,token_ids- Izhod
embedding- Kontekst
- 32.000 tokens
- Izhodni format
- json
| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve voyageai/voyage-4-large | Privzeto— |
Poljeinput | Vrstastring|string[]|integer[]|integer[][] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 Pogoji: Neprazen paket istovrstnih vhodnih podatkov. Identifikatorji žetonov so nenegativna cela števila. Vhodni proračun: Največ: 32.000 · Besedilna enota: bajti UTF8 · Enota žetonov: elementi polja žetonov | Privzeto— |
Poljeencoding_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve float | Privzetofloat |
Poljedimensions | Vrstainteger | ZahtevaNi podprto | Vrednosti in omejitve Najmanj: 1 | Privzeto— |
Poljeuser | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljesession_id | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljetrace | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je zavrnjen | Privzeto— |
Kombinacije vhodnih gradiv
text_to_embedding
Parametri in življenjski cikel metode
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, input |
Parameterinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Specifikacijafloat |
Parameterdimensions_override | Specifikacijafalse |
Parametermax_input_budget_units | Specifikacija32000 |
Parametermultimodal_objects | Specifikacijafalse |
Parametermaterial_types | Specifikacijatext, token_ids |
Življenjski cikel: synchronous_json
Shranite indeks in dimenzijo vsakega vektorja.
Ime multimodalnega modela ne pomeni, da so na tej točno določeni poti dovoljeni slikovni objekti.
Cenik
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
- Hitri način
- Standardna tarifa Ko je izbran hitri način
- Način flex
- Standardna tarifa Ko je izbran način flex
- Najvišja raven razmišljanja
- Standardna tarifa Ko najvišja raven razmišljanja uporablja privzeto prilagoditev (default)
Cene Ailoot
Cene po nastavitvah
| Nastavitev | Cenovna lestvica | Strošek |
|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Strošek Vhod · Vhodni žetoni $0.00024 / 1K žetonov Izhod · Izhodni žetoni $0 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
Primeri zahtev
Ailoot Ultra · Vektorske predstavitve
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-4-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-4-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prejmi in shrani rezultate
Ailoot Ultra · Vektorske predstavitve
json
Ohrani vse dokončane rezultate
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Shranite vsak vektor skupaj z njegovim indeksom. Število vektorjev mora biti enako številu vhodov; dimenzije morajo biti skladne.
Če je treba preveriti izvirni odgovor
Končna točka za opravila ustvarjanja vektorskih predstavitev se ne uvaja.
Polja odgovora
| Polje | Vrsta |
|---|---|
Poljeobject | Vrstastring |
Poljemodel | Vrstastring |
Poljedata[].index | Vrstainteger |
Poljedata[].embedding | Vrstafinite float[] |
Poljeusage | Vrstaobject |
Napake in naslednji koraki
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Druga imena
Druga imena modelov
Ailoot Ultra voyageai/voyage-4-large
Druga imena poti metod
Uporabite zgoraj navedene poti metod.
Povezani ID-ji za klic
FAQ · VoyageAI by MongoDB: voyage-4-large
- Kateri vhodi in rezultati so na voljo?
POST /v1/embeddings·voyageai/voyage-4-large:text,token_ids→embedding- Katera polja uporablja zahteva?
POST /v1/embeddings·voyageai/voyage-4-large:model,input,encoding_format,provider- Katere omejitve veljajo?
POST /v1/embeddings·voyageai/voyage-4-large:ctx:32000;input.budget.maximum:32000(bajti UTF8);input.min_items:1