VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 upottaa tekstin, kuvat ja videoruudut yhteiseen hakuavaruuteen. Se käsittelee lomitettua sisältöä, kuten asiakirjakuvakaappauksia, taulukoita ja kohtauksia, 32 000 tokenin syötteillä ja oletusarvoisella 1024-ulotteisella esityksellä.
Tietoa mallista
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
voyage-multimodal-3.5 on Voyage AI:n upotusmalli tekstin, kuvien ja videon väliseen tiedonhakuun. Se käsittelee lomitettua tekstiä ja visuaalista sisältöä yhden transformer-kooderin kautta ja esittää kokonaisen multimodaalisen syötteen yhteisessä vektoriavaruudessa. 3.5-versio lisää nimenomaisen videoruututuen ja joustavat upotusulottuvuudet.
Säilytä tekstin ja visuaalisen sisällön yhteys
Valmistele asiakirjan sivu tai osio muodossa, joka säilyttää sen hyödyllisen visuaalisen tiedon. Kaavion ja lyhyen selityksen sisältävä dia voidaan esittää diakuvana ja siihen liittyvänä tekstinä samassa järjestetyssä syötteessä. PDF-pohjaisessa kokoelmassa dokumentoitu visuaalinen syöte on sivun kuvakaappaus tai muu asiakirjan kuvaesitys.
Säilytä raportin kaaviossa otsikko, akselien nimet ja selite kuvassa. Liitä selittävä teksti, kun se antaa visuaalisen sisällön tulkintaan tarvittavan kontekstin. Tallenna sivunumero ja lähdetunniste tulosvektorin rinnalle, jotta haettu ehdokas voi avata olennaisen sivun pelkän asiakirjan nimen palauttamisen sijaan.
Valmistajan syötemuoto tukee tekstin, kuvien ja videoiden sekvenssejä. Julkaistut kuvamuodot ovat PNG, JPEG, WebP ja GIF, ja videomuoto on MP4. Visuaalinen sisältö voidaan esittää URL-osoitteina tai Base64-datana dokumentoidussa menetelmässä; pidä esitystapa yhtenäisenä saman pyynnön sisällä.
Hae kohtaus kokonaisen pitkän videon sijaan
Malli esittää videon järjestettynä ruutusekvenssinä. Valmistaja suosittelee pitkän videon jakamista toisiinsa liittyviin kohtauksiin, kohtausten rajojen sovittamista saatavilla oleviin litteroinnin aikaleimoihin ja vastaavan litterointitekstin säilyttämistä. Pienempi resoluutio tai alhaisempi ruutunopeus voi auttaa semanttisesti yhtenäistä kohtausta mahtumaan kontekstibudjettiinsa.
Koulutusvideokokoelmassa kysely voi pyytää kohtausta, jossa näytetään tietyn säätimen säätämistä. Liitä jokaiseen indeksoituun kohtaukseen sen aikaväli. Palauta vastaava kohtaus ja tutki ruuduista tai alkuperäisestä leikkeestä todellinen toimenpide sen sijaan, että pitäisit haettua vektoria kirjallisena kuvauksena kaikesta tallenteessa olevasta.
Litterointiteksti voi osallistua esitykseen, kun se valmistellaan osaksi multimodaalista syötettä. Videoruutujen upottaminen ei itsessään tuota puheen litterointia.
Konteksti- ja valmistelurajat
Ilmoitettu kontekstipituus on 32 000 tokenia syötettä kohti. Voyage laskee julkaistussa laskentatavassaan jokaisen 560 kuvapikselin ryhmän ja jokaisen 1120 videopikselin ryhmän yhdeksi tokeniksi, joten visuaalinen sisältö jakaa budjetin tekstin kanssa. Dokumentoidut rajat sisältävät myös 16 miljoonaa pikseliä ja 20 MB kuvaa kohti sekä 20 MB videota kohti. Luettelo sisältää enintään 1000 syötettä ja yhteensä 320 000 tokenia.
Oletuskatkaisuasetus leikkaa liian pitkän syötteen; jos raja osuu kuvan sisään, koko kuva hylätään. Kokonaisten sivujen tai kohtausten valmistelu budjetin sisään säilyttää siis ennakoitavamman syötesisällön. Vaihtoehtoinen dokumentoitu asetus hylkää liian pitkät syötteet katkaisemisen sijaan.
Vektoriulottuvuudet ja hakuroolit
Oletustulosulottuvuus on 1024, ja tälle versiolle on dokumentoitu myös 256, 512 ja 2048 ulottuvuutta. Julkistus kuvaa Matryoshka-upotukset sekä liukuluku-, etumerkilliset tai etumerkittömät 8-bittiset ja binääriesitykset. Säilytä valittu ulottuvuus ja esitys indeksin yhteydessä.
Voyagen hakumenetelmä erottaa query- ja document-syötteet. Kysely voi olla tekstiä tai kuva, ja indeksoidut asiakirjat voivat yhdistää tekstiä ja visuaalista sisältöä. Yksi vektori esittää kutakin kokonaista syötesekvenssiä; tallenna sen yhteys lähdesivuun, kuvaan tai kohtaukseen, jotta järjestetty tulos pysyy tarkasteltavana.
Käytä palautettua visuaalista lähdettä
Hakuvaihe voi paikantaa kyselylle olennaisen raporttisivun, taulukon, dian tai kohtauksen. Vastauksenkirjoitus- tai analyysivaihe lukee sitten kyseisen lähdemateriaalin. Tutki taulukosta todelliset otsikot ja arvot ennen tuloksen käyttöä; tutki kohtauksesta olennaiset ruudut ja niihin liittyvä teksti.
Olennainen ero voyage-multimodal-3:een on 3.5-version nimenomainen videotuki ja esitystapojen lisävaihtoehdot. Nämä ovat upotuskykyjä lähdemateriaalin löytämiseen, ja tuloksena ovat numeeriset vektorit generoitujen kuvien, videon tai kerronnallisen vastauksen sijaan.
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Aloitus
Voyage AI voyage-multimodal-3.5 upottaa tekstin, kuvat ja videoruudut yhteiseen hakuavaruuteen. Se käsittelee lomitettua sisältöä, kuten asiakirjakuvakaappauksia, taulukoita ja kohtauksia, 32 000 tokenin syötteillä ja oletusarvoisella 1024-ulotteisella esityksellä.
- Hyväksytyt syötteet
- Teksti · token_ids
- Tulokset
- embedding
Saatavilla Ailootissa · syötteet & menetelmät
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings
- Syötetyypit
text,token_ids- Tulostyypit
embedding- Konteksti
- 32 000 tokens
- Tulosteen muoto
- json
| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat voyageai/voyage-multimodal-3.5 | Oletus— |
Kenttäinput | Tyyppistring|string[]|integer[]|integer[][] | VaatimusPakollinen | Arvot & rajat Kohteiden vähimmäismäärä: 1 Ehdot: Ei-tyhjä, yhdenmukaisista alkioista koostuva erä. Tokenien ID:t ovat ei-negatiivisia kokonaislukuja. Syötebudjetti: Enimmäismäärä: 32 000 · Tekstiyksikkö: UTF8-tavut · Tokenyksikkö: Token-taulukon alkiot | Oletus— |
Kenttäencoding_format | Tyyppistring | VaatimusValinnainen | Arvot & rajat float | Oletusfloat |
Kenttädimensions | Tyyppiinteger | VaatimusEi tuettu | Arvot & rajat Vähimmäismäärä: 1 | Oletus— |
Kenttäuser | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäsession_id | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttätrace | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Ehdot: provider.options hylätty | Oletus— |
Syöteaineistojen yhdistelmät
text_to_embedding
Menetelmän parametrit ja elinkaari
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, input |
Parametriinput_shapes | Sopimusstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametriencoding_format | Sopimusfloat |
Parametridimensions_override | Sopimusfalse |
Parametrimax_input_budget_units | Sopimus32000 |
Parametrimultimodal_objects | Sopimusfalse |
Parametrimaterial_types | Sopimustext, token_ids |
Elinkaari: synchronous_json
Säilytä jokaisen vektorin indeksi ja ulottuvuus.
Mallin nimen multimodaalisuus ei tarkoita, että tämä nimenomainen reitti hyväksyisi kuvaolioita.
Hinnoittelu
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
- Nopea tila
- Vakiohinta Kun nopea tila on valittu
- Flex-tila
- Vakiohinta Kun flex-tila on valittu
- Päättelyn enimmäisteho
- Vakiohinta Kun päättelyn enimmäistehoon sovelletaan default-oletussäätöä
Ailoot-hinnat
Hinnat asetusten mukaan
| Asetukset | Hinnasto | Veloitus |
|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Veloitus Syöte · Syötetokenit $0.00024 / 1K tokenia Tuloste · Tulostokenit $0 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
Esimerkkipyynnöt
Ailoot Ultra · Vektoriesitykset
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Vastaanota ja tallenna tulokset
Ailoot Ultra · Vektoriesitykset
json
Säilytä kaikki valmistuneet tulokset
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä jokainen vektori indekseineen. Vektorien määrän on vastattava syötteiden määrää; ulottuvuuksien on oltava yhdenmukaiset.
Jos alkuperäinen vastaus on tarkistettava
Uutta upotustehtävien päätepistettä ei oteta käyttöön.
Vastauksen kentät
| Kenttä | Tyyppi |
|---|---|
Kenttäobject | Tyyppistring |
Kenttämodel | Tyyppistring |
Kenttädata[].index | Tyyppiinteger |
Kenttädata[].embedding | Tyyppifinite float[] |
Kenttäusage | Tyyppiobject |
Virheet ja seuraavat vaiheet
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Aliakset
Mallin aliakset
Ailoot Ultra voyageai/voyage-multimodal-3.5
Menetelmäpolkujen aliakset
Käytä yllä näytettyjä menetelmäpolkuja.
Liittyvät kutsujan ID:t
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- Mitä syötteitä ja tuloksia on saatavilla?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- Mitä kenttiä pyyntö käyttää?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- Mitä rajoja sovelletaan?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(UTF8-tavut);input.min_items:1