voyage-multimodal-3.5 è il modello di embedding di Voyage AI per il recupero tra testo, immagini e video. Elabora testo e contenuti visivi intercalati tramite un unico encoder transformer, rappresentando un input multimodale completo in uno spazio vettoriale condiviso. L’edizione 3.5 aggiunge supporto esplicito ai fotogrammi video e dimensioni flessibili degli embedding.
Prepara una pagina o una sezione di documento nella forma che preserva le informazioni visive utili. Una diapositiva contenente un grafico e una breve spiegazione può essere rappresentata con l’immagine della diapositiva e il testo di accompagnamento nello stesso input ordinato. Per una raccolta basata su PDF, l’input visivo documentato è una schermata della pagina o un’altra rappresentazione del documento come immagine.
Per un grafico di un rapporto, conserva nell’immagine il titolo, le etichette degli assi e la legenda. Allega testo esplicativo quando fornisce il contesto necessario per interpretare l’elemento visivo. Memorizza il numero di pagina e l’identificatore della fonte insieme al vettore risultante, affinché un candidato recuperato possa aprire la pagina pertinente anziché restituire soltanto il nome di un documento.
Il formato di input del produttore supporta sequenze di testo, immagini e video. I formati di immagine pubblicati sono PNG, JPEG, WebP e GIF, con MP4 per il video. I contenuti visivi possono essere rappresentati tramite URL o dati Base64 nella ricetta documentata; mantieni uno stile di rappresentazione coerente all’interno della stessa richiesta.
Il modello rappresenta il video come una sequenza ordinata di fotogrammi. Il produttore raccomanda di dividere un video lungo in scene correlate, allineando i confini delle scene ai timestamp disponibili della trascrizione e conservando il testo corrispondente della trascrizione. Una risoluzione inferiore o una frequenza di fotogrammi ridotta possono aiutare una scena semanticamente continua a rientrare nel budget di contesto.
Per una raccolta di video formativi, una query potrebbe chiedere la scena che mostra come regolare un particolare comando. Associa ogni scena indicizzata al suo intervallo temporale. Restituisci la scena corrispondente ed esamina i fotogrammi o la clip originale per verificare l’azione effettiva, anziché trattare il vettore recuperato come una descrizione scritta di tutto ciò che avviene nella registrazione.
Il testo della trascrizione può contribuire quando viene preparato come parte dell’input multimodale. L’embedding dei fotogrammi video non fornisce di per sé una trascrizione del parlato.
La lunghezza di contesto dichiarata è di 32.000 token per input. Nel calcolo pubblicato, Voyage conta ogni 560 pixel di immagine e ogni 1120 pixel video come un token, quindi il contenuto visivo condivide quel budget con il testo. I limiti documentati comprendono inoltre 16 milioni di pixel e 20 MB per immagine, e 20 MB per video. Un elenco contiene al massimo 1000 input e 320.000 token complessivi.
L’impostazione di troncamento predefinita taglia un input troppo lungo; se quel confine cade all’interno di un’immagine, l’immagine intera viene scartata. Preparare pagine o scene complete entro il budget preserva quindi un contenuto di input più prevedibile. L’impostazione alternativa documentata rifiuta gli input troppo lunghi anziché troncarli.
La dimensione di output predefinita è 1024, con 256, 512 e 2048 dimensioni anch’esse documentate per questa edizione. L’annuncio descrive embedding Matryoshka e rappresentazioni a virgola mobile, a 8 bit con o senza segno, e binarie. Conserva la dimensione e la rappresentazione scelte insieme all’indice.
La ricetta di recupero di Voyage distingue input di query e documenti. Una query può essere testo o un’immagine e i documenti indicizzati possono combinare testo ed elementi visivi. Un vettore rappresenta ogni sequenza di input completa; memorizza il suo collegamento alla pagina di origine, all’immagine o alla scena, affinché il risultato ordinato rimanga ispezionabile.
Una fase di recupero può trovare una pagina di rapporto, una tabella, una diapositiva o una scena pertinente alla query. La fase di scrittura della risposta o di analisi legge poi quel materiale di origine. Per una tabella, esamina intestazioni e valori effettivi prima di usare un risultato; per una scena, esamina i fotogrammi pertinenti e il testo associato.
La differenza sostanziale rispetto a voyage-multimodal-3 è il supporto esplicito al video e le ulteriori scelte di rappresentazione dell’edizione 3.5. Sono capacità di embedding per trovare materiale di origine, con vettori numerici come output anziché immagini, video o una risposta narrativa generati.
", "aboutText": "voyage-multimodal-3.5 è il modello di embedding di Voyage AI per il recupero tra testo, immagini e video. Elabora testo e contenuti visivi intercalati tramite un unico encoder transformer, rappresentando un input multimodale completo in uno spazio vettoriale condiviso. L’edizione 3.5 aggiunge supporto esplicito ai fotogrammi video e dimensioni flessibili degli embedding.\n\n### Preservare il rapporto tra testo ed elementi visivi\n\nPrepara una pagina o una sezione di documento nella forma che preserva le informazioni visive utili. Una diapositiva contenente un grafico e una breve spiegazione può essere rappresentata con l’immagine della diapositiva e il testo di accompagnamento nello stesso input ordinato. Per una raccolta basata su PDF, l’input visivo documentato è una schermata della pagina o un’altra rappresentazione del documento come immagine.\n\nPer un grafico di un rapporto, conserva nell’immagine il titolo, le etichette degli assi e la legenda. Allega testo esplicativo quando fornisce il contesto necessario per interpretare l’elemento visivo. Memorizza il numero di pagina e l’identificatore della fonte insieme al vettore risultante, affinché un candidato recuperato possa aprire la pagina pertinente anziché restituire soltanto il nome di un documento.\n\nIl formato di input del produttore supporta sequenze di testo, immagini e video. I formati di immagine pubblicati sono PNG, JPEG, WebP e GIF, con MP4 per il video. I contenuti visivi possono essere rappresentati tramite URL o dati Base64 nella ricetta documentata; mantieni uno stile di rappresentazione coerente all’interno della stessa richiesta.\n\n### Recuperare una scena anziché un intero video lungo\n\nIl modello rappresenta il video come una sequenza ordinata di fotogrammi. Il produttore raccomanda di dividere un video lungo in scene correlate, allineando i confini delle scene ai timestamp disponibili della trascrizione e conservando il testo corrispondente della trascrizione. Una risoluzione inferiore o una frequenza di fotogrammi ridotta possono aiutare una scena semanticamente continua a rientrare nel budget di contesto.\n\nPer una raccolta di video formativi, una query potrebbe chiedere la scena che mostra come regolare un particolare comando. Associa ogni scena indicizzata al suo intervallo temporale. Restituisci la scena corrispondente ed esamina i fotogrammi o la clip originale per verificare l’azione effettiva, anziché trattare il vettore recuperato come una descrizione scritta di tutto ciò che avviene nella registrazione.\n\nIl testo della trascrizione può contribuire quando viene preparato come parte dell’input multimodale. L’embedding dei fotogrammi video non fornisce di per sé una trascrizione del parlato.\n\n### Contesto e limiti di preparazione\n\nLa lunghezza di contesto dichiarata è di 32.000 token per input. Nel calcolo pubblicato, Voyage conta ogni 560 pixel di immagine e ogni 1120 pixel video come un token, quindi il contenuto visivo condivide quel budget con il testo. I limiti documentati comprendono inoltre 16 milioni di pixel e 20 MB per immagine, e 20 MB per video. Un elenco contiene al massimo 1000 input e 320.000 token complessivi.\n\nL’impostazione di troncamento predefinita taglia un input troppo lungo; se quel confine cade all’interno di un’immagine, l’immagine intera viene scartata. Preparare pagine o scene complete entro il budget preserva quindi un contenuto di input più prevedibile. L’impostazione alternativa documentata rifiuta gli input troppo lunghi anziché troncarli.\n\n### Dimensioni vettoriali e ruoli di recupero\n\nLa dimensione di output predefinita è 1024, con 256, 512 e 2048 dimensioni anch’esse documentate per questa edizione. L’annuncio descrive embedding Matryoshka e rappresentazioni a virgola mobile, a 8 bit con o senza segno, e binarie. Conserva la dimensione e la rappresentazione scelte insieme all’indice.\n\nLa ricetta di recupero di Voyage distingue input di query e documenti. Una query può essere testo o un’immagine e i documenti indicizzati possono combinare testo ed elementi visivi. Un vettore rappresenta ogni sequenza di input completa; memorizza il suo collegamento alla pagina di origine, all’immagine o alla scena, affinché il risultato ordinato rimanga ispezionabile.\n\n### Usare la fonte visiva restituita\n\nUna fase di recupero può trovare una pagina di rapporto, una tabella, una diapositiva o una scena pertinente alla query. La fase di scrittura della risposta o di analisi legge poi quel materiale di origine. Per una tabella, esamina intestazioni e valori effettivi prima di usare un risultato; per una scena, esamina i fotogrammi pertinenti e il testo associato.\n\nLa differenza sostanziale rispetto a voyage-multimodal-3 è il supporto esplicito al video e le ulteriori scelte di rappresentazione dell’edizione 3.5. Sono capacità di embedding per trovare materiale di origine, con vettori numerici come output anziché immagini, video o una risposta narrativa generati.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "d1febecf578fa696fd77af6ecd79b27937f72529963882d069a29b4fc6b21d89", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "it", "methods": [ { "html": "voyageai/voyage-multimodal-3.5Voyage AI voyage-multimodal-3.5 codifica testo, immagini e fotogrammi video in uno spazio di recupero condiviso. Gestisce contenuti intercalati come schermate di documenti, tabelle e scene, con input di 32.000 token e una rappresentazione predefinita a 1024 dimensioni.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
voyage-multimodal-3.5 è il modello di embedding di Voyage AI per il recupero tra testo, immagini e video. Elabora testo e contenuti visivi intercalati tramite un unico encoder transformer, rappresentando un input multimodale completo in uno spazio vettoriale condiviso. L’edizione 3.5 aggiunge supporto esplicito ai fotogrammi video e dimensioni flessibili degli embedding.
Prepara una pagina o una sezione di documento nella forma che preserva le informazioni visive utili. Una diapositiva contenente un grafico e una breve spiegazione può essere rappresentata con l’immagine della diapositiva e il testo di accompagnamento nello stesso input ordinato. Per una raccolta basata su PDF, l’input visivo documentato è una schermata della pagina o un’altra rappresentazione del documento come immagine.
Per un grafico di un rapporto, conserva nell’immagine il titolo, le etichette degli assi e la legenda. Allega testo esplicativo quando fornisce il contesto necessario per interpretare l’elemento visivo. Memorizza il numero di pagina e l’identificatore della fonte insieme al vettore risultante, affinché un candidato recuperato possa aprire la pagina pertinente anziché restituire soltanto il nome di un documento.
Il formato di input del produttore supporta sequenze di testo, immagini e video. I formati di immagine pubblicati sono PNG, JPEG, WebP e GIF, con MP4 per il video. I contenuti visivi possono essere rappresentati tramite URL o dati Base64 nella ricetta documentata; mantieni uno stile di rappresentazione coerente all’interno della stessa richiesta.
Il modello rappresenta il video come una sequenza ordinata di fotogrammi. Il produttore raccomanda di dividere un video lungo in scene correlate, allineando i confini delle scene ai timestamp disponibili della trascrizione e conservando il testo corrispondente della trascrizione. Una risoluzione inferiore o una frequenza di fotogrammi ridotta possono aiutare una scena semanticamente continua a rientrare nel budget di contesto.
Per una raccolta di video formativi, una query potrebbe chiedere la scena che mostra come regolare un particolare comando. Associa ogni scena indicizzata al suo intervallo temporale. Restituisci la scena corrispondente ed esamina i fotogrammi o la clip originale per verificare l’azione effettiva, anziché trattare il vettore recuperato come una descrizione scritta di tutto ciò che avviene nella registrazione.
Il testo della trascrizione può contribuire quando viene preparato come parte dell’input multimodale. L’embedding dei fotogrammi video non fornisce di per sé una trascrizione del parlato.
La lunghezza di contesto dichiarata è di 32.000 token per input. Nel calcolo pubblicato, Voyage conta ogni 560 pixel di immagine e ogni 1120 pixel video come un token, quindi il contenuto visivo condivide quel budget con il testo. I limiti documentati comprendono inoltre 16 milioni di pixel e 20 MB per immagine, e 20 MB per video. Un elenco contiene al massimo 1000 input e 320.000 token complessivi.
L’impostazione di troncamento predefinita taglia un input troppo lungo; se quel confine cade all’interno di un’immagine, l’immagine intera viene scartata. Preparare pagine o scene complete entro il budget preserva quindi un contenuto di input più prevedibile. L’impostazione alternativa documentata rifiuta gli input troppo lunghi anziché troncarli.
La dimensione di output predefinita è 1024, con 256, 512 e 2048 dimensioni anch’esse documentate per questa edizione. L’annuncio descrive embedding Matryoshka e rappresentazioni a virgola mobile, a 8 bit con o senza segno, e binarie. Conserva la dimensione e la rappresentazione scelte insieme all’indice.
La ricetta di recupero di Voyage distingue input di query e documenti. Una query può essere testo o un’immagine e i documenti indicizzati possono combinare testo ed elementi visivi. Un vettore rappresenta ogni sequenza di input completa; memorizza il suo collegamento alla pagina di origine, all’immagine o alla scena, affinché il risultato ordinato rimanga ispezionabile.
Una fase di recupero può trovare una pagina di rapporto, una tabella, una diapositiva o una scena pertinente alla query. La fase di scrittura della risposta o di analisi legge poi quel materiale di origine. Per una tabella, esamina intestazioni e valori effettivi prima di usare un risultato; per una scena, esamina i fotogrammi pertinenti e il testo associato.
La differenza sostanziale rispetto a voyage-multimodal-3 è il supporto esplicito al video e le ulteriori scelte di rappresentazione dell’edizione 3.5. Sono capacità di embedding per trovare materiale di origine, con vettori numerici come output anziché immagini, video o una risposta narrativa generati.
POST /v1/embeddingstext, token_idsembedding| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti voyageai/voyage-multimodal-3.5 | Predefinito— |
Campoinput | Tipostring|string[]|integer[]|integer[][] | RequisitoObbligatorio | Valori e limiti Numero minimo di elementi: 1 Condizioni: Batch omogeneo non vuoto. Gli ID dei token sono numeri interi non negativi. Budget di input: Massimo: 32.000 · Unità di testo: byte UTF8 · Unità di token: elementi dell’array di token | Predefinito— |
Campoencoding_format | Tipostring | RequisitoFacoltativo | Valori e limiti float | Predefinitofloat |
Campodimensions | Tipointeger | RequisitoNon supportato | Valori e limiti Minimo: 1 | Predefinito— |
Campouser | Tipojson_value | RequisitoFacoltativo | Valori e limiti Condizioni: La fonte consente questo campo di metadati JSON; la semantica esatta del fornitore a monte dipende dal modello. | Predefinito— |
Camposession_id | Tipojson_value | RequisitoFacoltativo | Valori e limiti Condizioni: La fonte consente questo campo di metadati JSON; la semantica esatta del fornitore a monte dipende dal modello. | Predefinito— |
Campotrace | Tipojson_value | RequisitoFacoltativo | Valori e limiti Condizioni: La fonte consente questo campo di metadati JSON; la semantica esatta del fornitore a monte dipende dal modello. | Predefinito— |
Campoprovider | Tipoobject | RequisitoFacoltativo | Valori e limiti Condizioni: provider.options rifiutato | Predefinito— |
text_to_embedding
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, input |
Parametroinput_shapes | Contrattostring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametroencoding_format | Contrattofloat |
Parametrodimensions_override | Contrattofalse |
Parametromax_input_budget_units | Contratto32000 |
Parametromultimodal_objects | Contrattofalse |
Parametromaterial_types | Contrattotext, token_ids |
Ciclo di vita: synchronous_json
Conserva l'indice e la dimensione di ogni vettore.
Il nome del modello multimodale non consente oggetti immagine su questo percorso specifico.
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
| Configurazione | Listino delle tariffe | Costo |
|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Costo Input · Token in input $0.00024 / 1K token Output · Token in output $0 / 1K token Input · Lettura dalla cache — / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])\nprint(result)\nfor item in result.data:print(item.index,item.embedding)\njson
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva ogni vettore con il suo indice. Il numero di vettori deve coincidere con il numero di input; le dimensioni devono essere coerenti.
Non viene introdotto alcun endpoint per i job di embedding.
| Campo | Tipo |
|---|---|
Campoobject | Tipostring |
Campomodel | Tipostring |
Campodata[].index | Tipointeger |
Campodata[].embedding | Tipofinite float[] |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra voyageai/voyage-multimodal-3.5
Usa i percorsi dei metodi indicati sopra.