VoyageAI by MongoDB: voyage-4
voyage-4 izdeluje vektorske vložitve besedila za splošno in večjezično iskanje v skupnem vektorskem prostoru družine Voyage 4. Podpira vhode do 32 000 žetonov, izbiro izhodov z 256–2048 dimenzijami ter vlogi query/document za iskanje in RAG.
O modelu
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
voyage-4 je srednje velik besedilni model vektorskih vložitev v družini Voyage 4 podjetja Voyage AI. Besedilo poizvedb in dokumentov pretvori v numerične vektorje za splošno in večjezično iskanje. Osrednja zmožnost družine je skupni prostor vložitev: voyage-4, voyage-4-large, voyage-4-lite in voyage-4-nano ustvarjajo združljive predstavitve, zato lahko strani poizvedb in dokumentov pri iskalni nalogi uporabljata različna modela te družine.
Skupni prostor in asimetrično iskanje
Proizvajalec uporabo različnih modelov za poizvedbe in korpus imenuje asimetrično iskanje. En dokumentirani vzorec je priprava korpusa z voyage-4-large in iskanje po njem z vložitvami poizvedb voyage-4. Vložitve korpusa se izdelajo enkrat ali ob spremembi izvornega gradiva, vektorji poizvedb pa nastajajo ob prihodu iskanj. Skupni prostor omogoča spremembo izbire modela na strani poizvedb znotraj družine, ne da bi bilo treba zgolj zaradi te zamenjave ponovno izdelati vložitve korpusa.
Ohranite združljivo izhodno dimenzijo in predstavitev primerjanih vektorjev. Navedba skupnega prostora se nanaša na poimensko določene besedilne modele Voyage 4; ne izhaja zgolj iz tega, da dva nepovezana modela vračata enako dolga polja. Praktična naloga lahko zato uporablja voyage-4 na obeh straneh iskanja ali njegove vektorje poizvedb z obstoječim indeksom dokumentov voyage-4-large, kadar se nastavitve predstavitve ujemajo.
Vlogi poizvedbe in dokumenta
Voyage za iskanje priporoča označitev vhodnega besedila kot poizvedbe ali dokumenta. Možnost vhodne vloge pred vektorizacijo doda ustrezno iskalno navodilo. Odlomke korpusa pripravite kot dokumente, uporabnikovo iskalno besedilo pa kot poizvedbo ter ob vsakem shranjenem vektorju ohranite dejansko izvorno besedilo in identifikatorje.
Zbirka za iskanje znanja lahko na primer indeksira tehnična navodila in razlage izdelkov. Poizvedba o dogajanju po neuspelem uvozu mora vrniti izvorni odlomek, ki to vedenje opisuje. Z odlomkom ohranite naslove, ustrezne pogoje in mesto v viru, da je najdeni zadetek mogoče pregledati ali uporabiti na poznejši stopnji odgovarjanja RAG. Vektorska vložitev je numerična predstavitev za iskanje; osnovni odlomek je dokazno gradivo, uporabljeno na tej poznejši stopnji.
Dimenzije in izhodni podatkovni tipi
Dokumentirano kontekstno okno na besedilo je 32 000 žetonov. Izbirne dimenzije so 256, 512, 1024 in 2048, privzeta pa je 1024. Učenje Matryoshka zagotavlja te vgnezdene velikosti predstavitev. Izhod lahko uporablja 32-bitna števila s plavajočo vejico, predznačena ali nepredznačena 8-bitna cela števila ali pakirane binarne vrednosti, kar omogoča priprava družine z upoštevanjem kvantizacije.
Pri pakiranem binarnem izhodu vsak vrnjeni bajt shrani osem bitov vložitve, zato je dolžina seznama bajtov ena osmina izbrane dimenzije. Število bajtov in dimenzija vložitve imata različen pomen. Izberite predstavitev, ki jo lahko vaš iskalni indeks interpretira, ter pred izbiro stisnjene konfiguracije preverite relevantnost kandidatov pri vprašanjih in jezikih, ki jih zbirka dejansko uporablja.
Dolžina vhoda, paketi in krajšanje
Proizvajalčev trenutni vodnik za besedilne vektorske vložitve dovoljuje do 1000 nizov in skupno 320 000 žetonov v zahtevi voyage-4. Paketna omejitev je ločena od okna 32 000 žetonov za posamezni vhod. Krajšanje je privzeto vključeno: predolgo besedilo se skrajša, da se prilega. Če je krajšanje izključeno, predolg element namesto tega povzroči napako.
Pri dolgem poročilu ali prepisu premišljeno pripravite odlomke, ki vsebujejo odgovor, namesto da se zanašate na rez na vhodni meji. Vsak odlomek povežite z nadrejenim dokumentom in različico vira. Običajni vhodi vložitev voyage-4 so posamezna besedila; obdelava skupin odsekov s kontekstom pripada ločeno dokumentiranim modelom kontekstualnih vložitev.
Uporabite rezultat iskanja
Vektorje shranite z besedilom odlomka in stabilnimi identifikatorji vira, vsak vektor poizvedbe primerjajte z združljivimi vektorji dokumentov ter vrnite kandidatne odlomke. Izdaja družine ocenjuje iskanje po gradivu, ki vključuje tehnične dokumente, pogovore, dolge dokumente, kodo, pravo, finance in spletno besedilo. Ločen model za ponovno razvrščanje lahko izboljša izbor kandidatov, poznejša stopnja odgovarjanja pa uporabi njihovo besedilo. Vrnjene odlomke ocenite glede na nalogo; združljivost skupnega prostora omogoča kombinacijo modelov, uporabnost rezultata pa je še vedno odvisna od izvornega gradiva in vprašanja.
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings voyageai/voyage-4
voyageai/voyage-4Začetek
voyage-4 izdeluje vektorske vložitve besedila za splošno in večjezično iskanje v skupnem vektorskem prostoru družine Voyage 4. Podpira vhode do 32 000 žetonov, izbiro izhodov z 256–2048 dimenzijami ter vlogi query/document za iskanje in RAG.
- Dovoljeni vhodi
- Besedilo · token_ids
- Rezultati
- embedding
Na voljo v Ailoot · vhodi in metode
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings
- Vhod
text,token_ids- Izhod
embedding- Kontekst
- 32.000 tokens
- Izhodni format
- json
| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve voyageai/voyage-4 | Privzeto— |
Poljeinput | Vrstastring|string[]|integer[]|integer[][] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 Pogoji: Neprazen paket istovrstnih vhodnih podatkov. Identifikatorji žetonov so nenegativna cela števila. Vhodni proračun: Največ: 32.000 · Besedilna enota: bajti UTF8 · Enota žetonov: elementi polja žetonov | Privzeto— |
Poljeencoding_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve float | Privzetofloat |
Poljedimensions | Vrstainteger | ZahtevaNi podprto | Vrednosti in omejitve Najmanj: 1 | Privzeto— |
Poljeuser | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljesession_id | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljetrace | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je zavrnjen | Privzeto— |
Kombinacije vhodnih gradiv
text_to_embedding
Parametri in življenjski cikel metode
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, input |
Parameterinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Specifikacijafloat |
Parameterdimensions_override | Specifikacijafalse |
Parametermax_input_budget_units | Specifikacija32000 |
Parametermultimodal_objects | Specifikacijafalse |
Parametermaterial_types | Specifikacijatext, token_ids |
Življenjski cikel: synchronous_json
Shranite indeks in dimenzijo vsakega vektorja.
Ime multimodalnega modela ne pomeni, da so na tej točno določeni poti dovoljeni slikovni objekti.
Cenik
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
- Hitri način
- Standardna tarifa Ko je izbran hitri način
- Način flex
- Standardna tarifa Ko je izbran način flex
- Najvišja raven razmišljanja
- Standardna tarifa Ko najvišja raven razmišljanja uporablja privzeto prilagoditev (default)
Cene Ailoot
Cene po nastavitvah
| Nastavitev | Cenovna lestvica | Strošek |
|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Strošek Vhod · Vhodni žetoni $0.00012 / 1K žetonov Izhod · Izhodni žetoni $0 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
Primeri zahtev
Ailoot Ultra · Vektorske predstavitve
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-4", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-4',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prejmi in shrani rezultate
Ailoot Ultra · Vektorske predstavitve
json
Ohrani vse dokončane rezultate
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Shranite vsak vektor skupaj z njegovim indeksom. Število vektorjev mora biti enako številu vhodov; dimenzije morajo biti skladne.
Če je treba preveriti izvirni odgovor
Končna točka za opravila ustvarjanja vektorskih predstavitev se ne uvaja.
Polja odgovora
| Polje | Vrsta |
|---|---|
Poljeobject | Vrstastring |
Poljemodel | Vrstastring |
Poljedata[].index | Vrstainteger |
Poljedata[].embedding | Vrstafinite float[] |
Poljeusage | Vrstaobject |
Napake in naslednji koraki
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Druga imena
Druga imena modelov
Ailoot Ultra voyageai/voyage-4
Druga imena poti metod
Uporabite zgoraj navedene poti metod.
Povezani ID-ji za klic
FAQ · VoyageAI by MongoDB: voyage-4
- Kateri vhodi in rezultati so na voljo?
POST /v1/embeddings·voyageai/voyage-4:text,token_ids→embedding- Katera polja uporablja zahteva?
POST /v1/embeddings·voyageai/voyage-4:model,input,encoding_format,provider- Katere omejitve veljajo?
POST /v1/embeddings·voyageai/voyage-4:ctx:32000;input.budget.maximum:32000(bajti UTF8);input.min_items:1