VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 codifica testo, immagini e fotogrammi video in uno spazio di recupero condiviso. Gestisce contenuti intercalati come schermate di documenti, tabelle e scene, con input di 32.000 token e una rappresentazione predefinita a 1024 dimensioni.
Informazioni sul modello
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
voyage-multimodal-3.5 è il modello di embedding di Voyage AI per il recupero tra testo, immagini e video. Elabora testo e contenuti visivi intercalati tramite un unico encoder transformer, rappresentando un input multimodale completo in uno spazio vettoriale condiviso. L’edizione 3.5 aggiunge supporto esplicito ai fotogrammi video e dimensioni flessibili degli embedding.
Preservare il rapporto tra testo ed elementi visivi
Prepara una pagina o una sezione di documento nella forma che preserva le informazioni visive utili. Una diapositiva contenente un grafico e una breve spiegazione può essere rappresentata con l’immagine della diapositiva e il testo di accompagnamento nello stesso input ordinato. Per una raccolta basata su PDF, l’input visivo documentato è una schermata della pagina o un’altra rappresentazione del documento come immagine.
Per un grafico di un rapporto, conserva nell’immagine il titolo, le etichette degli assi e la legenda. Allega testo esplicativo quando fornisce il contesto necessario per interpretare l’elemento visivo. Memorizza il numero di pagina e l’identificatore della fonte insieme al vettore risultante, affinché un candidato recuperato possa aprire la pagina pertinente anziché restituire soltanto il nome di un documento.
Il formato di input del produttore supporta sequenze di testo, immagini e video. I formati di immagine pubblicati sono PNG, JPEG, WebP e GIF, con MP4 per il video. I contenuti visivi possono essere rappresentati tramite URL o dati Base64 nella ricetta documentata; mantieni uno stile di rappresentazione coerente all’interno della stessa richiesta.
Recuperare una scena anziché un intero video lungo
Il modello rappresenta il video come una sequenza ordinata di fotogrammi. Il produttore raccomanda di dividere un video lungo in scene correlate, allineando i confini delle scene ai timestamp disponibili della trascrizione e conservando il testo corrispondente della trascrizione. Una risoluzione inferiore o una frequenza di fotogrammi ridotta possono aiutare una scena semanticamente continua a rientrare nel budget di contesto.
Per una raccolta di video formativi, una query potrebbe chiedere la scena che mostra come regolare un particolare comando. Associa ogni scena indicizzata al suo intervallo temporale. Restituisci la scena corrispondente ed esamina i fotogrammi o la clip originale per verificare l’azione effettiva, anziché trattare il vettore recuperato come una descrizione scritta di tutto ciò che avviene nella registrazione.
Il testo della trascrizione può contribuire quando viene preparato come parte dell’input multimodale. L’embedding dei fotogrammi video non fornisce di per sé una trascrizione del parlato.
Contesto e limiti di preparazione
La lunghezza di contesto dichiarata è di 32.000 token per input. Nel calcolo pubblicato, Voyage conta ogni 560 pixel di immagine e ogni 1120 pixel video come un token, quindi il contenuto visivo condivide quel budget con il testo. I limiti documentati comprendono inoltre 16 milioni di pixel e 20 MB per immagine, e 20 MB per video. Un elenco contiene al massimo 1000 input e 320.000 token complessivi.
L’impostazione di troncamento predefinita taglia un input troppo lungo; se quel confine cade all’interno di un’immagine, l’immagine intera viene scartata. Preparare pagine o scene complete entro il budget preserva quindi un contenuto di input più prevedibile. L’impostazione alternativa documentata rifiuta gli input troppo lunghi anziché troncarli.
Dimensioni vettoriali e ruoli di recupero
La dimensione di output predefinita è 1024, con 256, 512 e 2048 dimensioni anch’esse documentate per questa edizione. L’annuncio descrive embedding Matryoshka e rappresentazioni a virgola mobile, a 8 bit con o senza segno, e binarie. Conserva la dimensione e la rappresentazione scelte insieme all’indice.
La ricetta di recupero di Voyage distingue input di query e documenti. Una query può essere testo o un’immagine e i documenti indicizzati possono combinare testo ed elementi visivi. Un vettore rappresenta ogni sequenza di input completa; memorizza il suo collegamento alla pagina di origine, all’immagine o alla scena, affinché il risultato ordinato rimanga ispezionabile.
Usare la fonte visiva restituita
Una fase di recupero può trovare una pagina di rapporto, una tabella, una diapositiva o una scena pertinente alla query. La fase di scrittura della risposta o di analisi legge poi quel materiale di origine. Per una tabella, esamina intestazioni e valori effettivi prima di usare un risultato; per una scena, esamina i fotogrammi pertinenti e il testo associato.
La differenza sostanziale rispetto a voyage-multimodal-3 è il supporto esplicito al video e le ulteriori scelte di rappresentazione dell’edizione 3.5. Sono capacità di embedding per trovare materiale di origine, con vettori numerici come output anziché immagini, video o una risposta narrativa generati.
Ailoot Ultra · Embedding POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Introduzione
Voyage AI voyage-multimodal-3.5 codifica testo, immagini e fotogrammi video in uno spazio di recupero condiviso. Gestisce contenuti intercalati come schermate di documenti, tabelle e scene, con input di 32.000 token e una rappresentazione predefinita a 1024 dimensioni.
- Input accettati
- Testo · token_ids
- Risultati
- embedding
Disponibile in Ailoot · input e metodi
Ailoot Ultra · Embedding POST /v1/embeddings
- Tipi di input
text,token_ids- Tipi di output
embedding- Contesto
- 32.000 tokens
- Formato di output
- json
| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti voyageai/voyage-multimodal-3.5 | Predefinito— |
Campoinput | Tipostring|string[]|integer[]|integer[][] | RequisitoObbligatorio | Valori e limiti Numero minimo di elementi: 1 Condizioni: Batch omogeneo non vuoto. Gli ID dei token sono numeri interi non negativi. Budget di input: Massimo: 32.000 · Unità di testo: byte UTF8 · Unità di token: elementi dell’array di token | Predefinito— |
Campoencoding_format | Tipostring | RequisitoFacoltativo | Valori e limiti float | Predefinitofloat |
Campodimensions | Tipointeger | RequisitoNon supportato | Valori e limiti Minimo: 1 | Predefinito— |
Campouser | Tipojson_value | RequisitoFacoltativo | Valori e limiti Condizioni: La fonte consente questo campo di metadati JSON; la semantica esatta del fornitore a monte dipende dal modello. | Predefinito— |
Camposession_id | Tipojson_value | RequisitoFacoltativo | Valori e limiti Condizioni: La fonte consente questo campo di metadati JSON; la semantica esatta del fornitore a monte dipende dal modello. | Predefinito— |
Campotrace | Tipojson_value | RequisitoFacoltativo | Valori e limiti Condizioni: La fonte consente questo campo di metadati JSON; la semantica esatta del fornitore a monte dipende dal modello. | Predefinito— |
Campoprovider | Tipoobject | RequisitoFacoltativo | Valori e limiti Condizioni: provider.options rifiutato | Predefinito— |
Combinazioni di materiali in input
text_to_embedding
Parametri e ciclo di vita del metodo
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, input |
Parametroinput_shapes | Contrattostring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametroencoding_format | Contrattofloat |
Parametrodimensions_override | Contrattofalse |
Parametromax_input_budget_units | Contratto32000 |
Parametromultimodal_objects | Contrattofalse |
Parametromaterial_types | Contrattotext, token_ids |
Ciclo di vita: synchronous_json
Conserva l'indice e la dimensione di ogni vettore.
Il nome del modello multimodale non consente oggetti immagine su questo percorso specifico.
Tariffe
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
- Modalità rapida
- Tariffa standard Quando è selezionata la modalità rapida
- Modalità flex
- Tariffa standard Quando è selezionata la modalità flex
- Sforzo massimo di ragionamento
- Tariffa standard Quando lo sforzo massimo di ragionamento usa l'adeguamento predefinito (default)
Tariffe Ailoot
Prezzi per configurazione
| Configurazione | Listino delle tariffe | Costo |
|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Costo Input · Token in input $0.00024 / 1K token Output · Token in output $0 / 1K token Input · Lettura dalla cache — / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
Esempi di richieste
Ailoot Ultra · Embedding
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Ricevi e salva i risultati
Ailoot Ultra · Embedding
json
Conserva tutti i risultati completati
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva ogni vettore con il suo indice. Il numero di vettori deve coincidere con il numero di input; le dimensioni devono essere coerenti.
Se occorre verificare la risposta originale
Non viene introdotto alcun endpoint per i job di embedding.
Campi della risposta
| Campo | Tipo |
|---|---|
Campoobject | Tipostring |
Campomodel | Tipostring |
Campodata[].index | Tipointeger |
Campodata[].embedding | Tipofinite float[] |
Campousage | Tipoobject |
Errori e passaggi successivi
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Alias
Alias del modello
Ailoot Ultra voyageai/voyage-multimodal-3.5
Alias dei percorsi dei metodi
Usa i percorsi dei metodi indicati sopra.
ID di chiamata correlati
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- Quali input e risultati sono disponibili?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- Quali campi usa la richiesta?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- Quali limiti si applicano?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(byte UTF8);input.min_items:1