VoyageAI by MongoDB: voyage-4
voyage-4 upottaa tekstin yleiskäyttöiseen ja monikieliseen tiedonhakuun Voyage 4 -perheen yhteisessä vektoriavaruudessa. Se tukee 32 000 tokenin syötteitä, valittavia 256–2048-ulotteisia tuloksia ja query/document-rooleja hakuun sekä RAGiin.
Tietoa mallista
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
voyage-4 on Voyage AI:n Voyage 4 -perheen keskikokoinen tekstiupotusmalli. Se muuntaa kysely- ja asiakirjatekstin numeerisiksi vektoreiksi yleiskäyttöiseen ja monikieliseen tiedonhakuun. Perheen määrittävä kyky on yhteinen upotusavaruus: voyage-4, voyage-4-large, voyage-4-lite ja voyage-4-nano tuottavat yhteensopivat esitykset, joten hakutehtävän kysely- ja asiakirjapuoli voivat käyttää perheen eri malleja.
Yhteinen avaruus ja epäsymmetrinen tiedonhaku
Valmistaja kutsuu eri kysely- ja korpusmallien käyttöä epäsymmetriseksi tiedonhauksi. Yksi dokumentoitu malli on korpuksen valmistelu voyage-4-largella ja sen haku voyage-4:n kyselyupotuksilla. Korpus upotetaan kerran tai sen lähdemateriaalin muuttuessa, ja kyselyvektorit muodostetaan hakujen saapuessa. Yhteinen avaruus sallii kyselypuolen mallivalinnan muuttamisen perheen sisällä ilman korpuksen uudelleenupotusta pelkästään tämän vaihdon vuoksi.
Pidä tulosulottuvuus ja esitys yhteensopivina vertailtavissa vektoreissa. Yhteistä avaruutta koskeva lausuma koskee nimettyjä Voyage 4 -tekstimalleja; sitä eivät osoita pelkästään kahden toisiinsa liittymättömän mallin samanpituiset tulostaulukot. Käytännön tehtävä voi siis käyttää voyage-4:ää haun molemmilla puolilla tai sen kyselyvektoreita olemassa olevan voyage-4-large-asiakirjaindeksin kanssa, kun niiden esitysasetukset vastaavat toisiaan.
Query- ja document-roolit
Voyage suosittelee tiedonhaussa syötetekstin yksilöimistä query- tai document-tyyppiseksi. Syöteroolivalinta antaa vastaavan hakuohjeen ennen vektorisointia. Valmistele korpuskatkelmat asiakirjoiksi ja käyttäjän hakusanamuoto kyselyksi sekä säilytä todellinen lähdeteksti ja tunnisteet kunkin tallennetun vektorin rinnalla.
Esimerkiksi tietohakukokoelma voi indeksoida teknisiä ohjeita ja tuoteselityksiä. Epäonnistuneen tuonnin jälkeistä toimintaa koskevan kyselyn tulisi palauttaa sitä kuvaava lähdekatkelma. Säilytä otsikot, olennaiset ehdot ja lähdesijainti katkelman yhteydessä, jotta tuloksena syntyvä hakuosuma voidaan tutkia tai käyttää myöhemmässä RAG-vastausvaiheessa. Upotus on numeerinen hakuesitys; taustalla oleva katkelma on myöhemmän vaiheen evidenssi.
Ulottuvuudet ja tulosdatatyypit
Dokumentoitu tekstikohtainen konteksti-ikkuna on 32 000 tokenia. Valittavat ulottuvuudet ovat 256, 512, 1024 ja 2048, ja oletus on 1024. Matryoshka-oppiminen tuottaa nämä sisäkkäiset esityskoot. Tulos voi käyttää 32-bittisiä liukulukuja, etumerkillisiä tai etumerkittömiä 8-bittisiä kokonaislukuja tai pakattuja binääriarvoja perheen kvantisoinnin huomioivan valmistelun ansiosta.
Pakatussa binäärituloksessa jokainen palautettu tavu tallentaa kahdeksan upotusbittiä, joten tavuluettelon pituus on kahdeksasosa valitusta ulottuvuudesta. Tavumäärällä ja upotusulottuvuudella on eri merkitys. Valitse esitys, jonka hakuindeksisi voi tulkita, ja tutki ehdokkaiden relevanssia kokoelman todella käyttämillä kysymyksillä ja kielillä ennen pakatun kokoonpanon valintaa.
Syötepituus, eräkäsittely ja katkaisu
Valmistajan nykyinen tekstiupotusopas sallii voyage-4-pyynnössä enintään 1000 merkkijonoa ja yhteensä 320 000 tokenia. Eräbudjetti on erillään kunkin syötteen 32 000 tokenin ikkunasta. Katkaisu on oletusarvoisesti käytössä: liian pitkä teksti lyhennetään sopivaksi. Jos katkaisu poistetaan käytöstä, liian pitkä kohde tuottaa sen sijaan virheen.
Valmistele pitkästä raportista tai litteroinnista harkitusti vastauksen sisältäviä katkelmia sen sijaan, että luottaisit leikkaukseen syöterajalla. Pidä kukin katkelma liitettynä pääasiakirjaansa ja lähdeversioonsa. Tavalliset voyage-4-upotussyötteet ovat yksittäisiä tekstejä; kontekstualisoitu palaryhmien käsittely kuuluu erikseen dokumentoiduille kontekstuaalisille upotusmalleille.
Käytä hakutulosta
Tallenna vektorit katkelmatekstin ja vakaiden lähdetunnisteiden yhteyteen, vertaa kutakin kyselyvektoria yhteensopiviin asiakirjavektoreihin ja palauta ehdokaskatkelmat. Perheen julkaisussa arvioidaan tiedonhakua materiaalista, johon kuuluvat tekniset asiakirjat, keskustelut, pitkät asiakirjat, koodi, oikeudellinen ja taloudellinen aineisto sekä verkkoteksti. Erillinen uudelleenjärjestäjä voi tarkentaa ehdokkaita, ja myöhempi vastausvaihe voi käyttää niiden tekstiä. Arvioi palautetut katkelmat tehtävää vasten; yhteisen avaruuden yhteensopivuus mahdollistaa malliyhdistelmän, mutta tuloksen hyödyllisyys riippuu edelleen lähdemateriaalista ja kysymyksestä.
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings voyageai/voyage-4
voyageai/voyage-4Aloitus
voyage-4 upottaa tekstin yleiskäyttöiseen ja monikieliseen tiedonhakuun Voyage 4 -perheen yhteisessä vektoriavaruudessa. Se tukee 32 000 tokenin syötteitä, valittavia 256–2048-ulotteisia tuloksia ja query/document-rooleja hakuun sekä RAGiin.
- Hyväksytyt syötteet
- Teksti · token_ids
- Tulokset
- embedding
Saatavilla Ailootissa · syötteet & menetelmät
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings
- Syötetyypit
text,token_ids- Tulostyypit
embedding- Konteksti
- 32 000 tokens
- Tulosteen muoto
- json
| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat voyageai/voyage-4 | Oletus— |
Kenttäinput | Tyyppistring|string[]|integer[]|integer[][] | VaatimusPakollinen | Arvot & rajat Kohteiden vähimmäismäärä: 1 Ehdot: Ei-tyhjä, yhdenmukaisista alkioista koostuva erä. Tokenien ID:t ovat ei-negatiivisia kokonaislukuja. Syötebudjetti: Enimmäismäärä: 32 000 · Tekstiyksikkö: UTF8-tavut · Tokenyksikkö: Token-taulukon alkiot | Oletus— |
Kenttäencoding_format | Tyyppistring | VaatimusValinnainen | Arvot & rajat float | Oletusfloat |
Kenttädimensions | Tyyppiinteger | VaatimusEi tuettu | Arvot & rajat Vähimmäismäärä: 1 | Oletus— |
Kenttäuser | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäsession_id | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttätrace | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Ehdot: provider.options hylätty | Oletus— |
Syöteaineistojen yhdistelmät
text_to_embedding
Menetelmän parametrit ja elinkaari
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, input |
Parametriinput_shapes | Sopimusstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametriencoding_format | Sopimusfloat |
Parametridimensions_override | Sopimusfalse |
Parametrimax_input_budget_units | Sopimus32000 |
Parametrimultimodal_objects | Sopimusfalse |
Parametrimaterial_types | Sopimustext, token_ids |
Elinkaari: synchronous_json
Säilytä jokaisen vektorin indeksi ja ulottuvuus.
Mallin nimen multimodaalisuus ei tarkoita, että tämä nimenomainen reitti hyväksyisi kuvaolioita.
Hinnoittelu
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
- Nopea tila
- Vakiohinta Kun nopea tila on valittu
- Flex-tila
- Vakiohinta Kun flex-tila on valittu
- Päättelyn enimmäisteho
- Vakiohinta Kun päättelyn enimmäistehoon sovelletaan default-oletussäätöä
Ailoot-hinnat
Hinnat asetusten mukaan
| Asetukset | Hinnasto | Veloitus |
|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Veloitus Syöte · Syötetokenit $0.00012 / 1K tokenia Tuloste · Tulostokenit $0 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
Esimerkkipyynnöt
Ailoot Ultra · Vektoriesitykset
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-4", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-4',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Vastaanota ja tallenna tulokset
Ailoot Ultra · Vektoriesitykset
json
Säilytä kaikki valmistuneet tulokset
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä jokainen vektori indekseineen. Vektorien määrän on vastattava syötteiden määrää; ulottuvuuksien on oltava yhdenmukaiset.
Jos alkuperäinen vastaus on tarkistettava
Uutta upotustehtävien päätepistettä ei oteta käyttöön.
Vastauksen kentät
| Kenttä | Tyyppi |
|---|---|
Kenttäobject | Tyyppistring |
Kenttämodel | Tyyppistring |
Kenttädata[].index | Tyyppiinteger |
Kenttädata[].embedding | Tyyppifinite float[] |
Kenttäusage | Tyyppiobject |
Virheet ja seuraavat vaiheet
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Aliakset
Mallin aliakset
Ailoot Ultra voyageai/voyage-4
Menetelmäpolkujen aliakset
Käytä yllä näytettyjä menetelmäpolkuja.
Liittyvät kutsujan ID:t
FAQ · VoyageAI by MongoDB: voyage-4
- Mitä syötteitä ja tuloksia on saatavilla?
POST /v1/embeddings·voyageai/voyage-4:text,token_ids→embedding- Mitä kenttiä pyyntö käyttää?
POST /v1/embeddings·voyageai/voyage-4:model,input,encoding_format,provider- Mitä rajoja sovelletaan?
POST /v1/embeddings·voyageai/voyage-4:ctx:32000;input.budget.maximum:32000(UTF8-tavut);input.min_items:1