voyage-multimodal-3.5 es el modelo de embeddings de Voyage AI para recuperación entre texto, imágenes y video. Procesa texto y contenido visual intercalados mediante un único codificador transformer, representando una entrada multimodal completa en un espacio vectorial compartido. La edición 3.5 añade compatibilidad explícita con fotogramas de video y dimensiones flexibles de embeddings.
Prepara una página o sección documental en el formato que conserve su información visual útil. Una diapositiva con un gráfico y una explicación corta puede representarse con la imagen de la diapositiva y el texto que la acompaña en la misma entrada ordenada. Para una colección basada en PDF, la entrada visual documentada es una captura de página u otra representación del documento como imagen.
Para un gráfico de un informe, conserva el título, las etiquetas de ejes y la leyenda en la imagen. Adjunta texto explicativo cuando aporte el contexto necesario para interpretar el elemento visual. Guarda el número de página y el identificador de origen junto al vector resultante, para que un candidato recuperado pueda abrir la página pertinente, en lugar de devolver únicamente un nombre de documento.
El formato de entrada del fabricante admite secuencias de texto, imágenes y videos. Sus formatos de imagen publicados son PNG, JPEG, WebP y GIF, con MP4 para video. El contenido visual puede representarse mediante URL o datos Base64 en la receta documentada; mantén un estilo de representación coherente dentro de una solicitud.
El modelo representa video como una secuencia ordenada de fotogramas. El fabricante recomienda dividir un video largo en escenas relacionadas, alineando los límites de escena con las marcas de tiempo disponibles de la transcripción y conservando el texto de transcripción correspondiente. Una resolución menor o una tasa de fotogramas reducida pueden ayudar a que una escena semánticamente continua quepa en su presupuesto de contexto.
Para una colección de videos de formación, una consulta podría pedir la escena que demuestra cómo ajustar un control particular. Asocia cada escena indexada con su intervalo temporal. Devuelve la escena coincidente y examina los fotogramas o el clip original para comprobar la acción real, en lugar de tratar el vector recuperado como una descripción escrita de todo lo que aparece en la grabación.
El texto de transcripción puede contribuir cuando se prepara como parte de la entrada multimodal. El embedding de fotogramas de video por sí mismo no proporciona una transcripción de voz.
La longitud de contexto indicada es de 32,000 tokens por entrada. Voyage cuenta cada 560 píxeles de imagen y cada 1120 píxeles de video como un token en su cálculo publicado, por lo que el contenido visual comparte ese presupuesto con el texto. Los límites documentados también incluyen 16 millones de píxeles y 20 MB por imagen, y 20 MB por video. Una lista contiene como máximo 1000 entradas y 320,000 tokens combinados.
El ajuste predeterminado de truncamiento recorta una entrada demasiado larga; si ese límite cae dentro de una imagen, se descarta la imagen entera. Por tanto, preparar páginas o escenas completas dentro del presupuesto conserva un contenido de entrada más predecible. El ajuste alternativo documentado rechaza las entradas demasiado largas en lugar de truncarlas.
La dimensión de salida predeterminada es 1024, con dimensiones de 256, 512 y 2048 también documentadas para esta edición. El anuncio describe embeddings Matryoshka y representaciones de punto flotante, de 8 bits con o sin signo y binarias. Conserva la dimensión y la representación elegidas junto con el índice.
La receta de recuperación de Voyage distingue entradas de consulta y documento. Una consulta puede ser texto o una imagen, y los documentos indexados pueden combinar texto y elementos visuales. Un vector representa cada secuencia completa de entrada; guarda su asociación con la página, imagen o escena de origen para que el resultado ordenado siga pudiendo examinarse.
Una etapa de recuperación puede localizar una página de informe, tabla, diapositiva o escena pertinente para la consulta. La etapa de redacción de respuestas o análisis lee después ese material de origen. Para una tabla, examina los encabezados y valores reales antes de utilizar un resultado; para una escena, examina los fotogramas pertinentes y el texto asociado.
La diferencia sustantiva respecto a voyage-multimodal-3 es la compatibilidad explícita con video de la edición 3.5 y sus opciones adicionales de representación. Son capacidades de embeddings para localizar material de origen, con vectores numéricos como salida, en lugar de imágenes, video o una respuesta narrativa generados.
", "aboutText": "voyage-multimodal-3.5 es el modelo de embeddings de Voyage AI para recuperación entre texto, imágenes y video. Procesa texto y contenido visual intercalados mediante un único codificador transformer, representando una entrada multimodal completa en un espacio vectorial compartido. La edición 3.5 añade compatibilidad explícita con fotogramas de video y dimensiones flexibles de embeddings.\n\n### Conserva la relación entre texto y elementos visuales\n\nPrepara una página o sección documental en el formato que conserve su información visual útil. Una diapositiva con un gráfico y una explicación corta puede representarse con la imagen de la diapositiva y el texto que la acompaña en la misma entrada ordenada. Para una colección basada en PDF, la entrada visual documentada es una captura de página u otra representación del documento como imagen.\n\nPara un gráfico de un informe, conserva el título, las etiquetas de ejes y la leyenda en la imagen. Adjunta texto explicativo cuando aporte el contexto necesario para interpretar el elemento visual. Guarda el número de página y el identificador de origen junto al vector resultante, para que un candidato recuperado pueda abrir la página pertinente, en lugar de devolver únicamente un nombre de documento.\n\nEl formato de entrada del fabricante admite secuencias de texto, imágenes y videos. Sus formatos de imagen publicados son PNG, JPEG, WebP y GIF, con MP4 para video. El contenido visual puede representarse mediante URL o datos Base64 en la receta documentada; mantén un estilo de representación coherente dentro de una solicitud.\n\n### Recupera una escena en lugar de un video largo entero\n\nEl modelo representa video como una secuencia ordenada de fotogramas. El fabricante recomienda dividir un video largo en escenas relacionadas, alineando los límites de escena con las marcas de tiempo disponibles de la transcripción y conservando el texto de transcripción correspondiente. Una resolución menor o una tasa de fotogramas reducida pueden ayudar a que una escena semánticamente continua quepa en su presupuesto de contexto.\n\nPara una colección de videos de formación, una consulta podría pedir la escena que demuestra cómo ajustar un control particular. Asocia cada escena indexada con su intervalo temporal. Devuelve la escena coincidente y examina los fotogramas o el clip original para comprobar la acción real, en lugar de tratar el vector recuperado como una descripción escrita de todo lo que aparece en la grabación.\n\nEl texto de transcripción puede contribuir cuando se prepara como parte de la entrada multimodal. El embedding de fotogramas de video por sí mismo no proporciona una transcripción de voz.\n\n### Contexto y límites de preparación\n\nLa longitud de contexto indicada es de 32,000 tokens por entrada. Voyage cuenta cada 560 píxeles de imagen y cada 1120 píxeles de video como un token en su cálculo publicado, por lo que el contenido visual comparte ese presupuesto con el texto. Los límites documentados también incluyen 16 millones de píxeles y 20 MB por imagen, y 20 MB por video. Una lista contiene como máximo 1000 entradas y 320,000 tokens combinados.\n\nEl ajuste predeterminado de truncamiento recorta una entrada demasiado larga; si ese límite cae dentro de una imagen, se descarta la imagen entera. Por tanto, preparar páginas o escenas completas dentro del presupuesto conserva un contenido de entrada más predecible. El ajuste alternativo documentado rechaza las entradas demasiado largas en lugar de truncarlas.\n\n### Dimensiones de vectores y roles de recuperación\n\nLa dimensión de salida predeterminada es 1024, con dimensiones de 256, 512 y 2048 también documentadas para esta edición. El anuncio describe embeddings Matryoshka y representaciones de punto flotante, de 8 bits con o sin signo y binarias. Conserva la dimensión y la representación elegidas junto con el índice.\n\nLa receta de recuperación de Voyage distingue entradas de consulta y documento. Una consulta puede ser texto o una imagen, y los documentos indexados pueden combinar texto y elementos visuales. Un vector representa cada secuencia completa de entrada; guarda su asociación con la página, imagen o escena de origen para que el resultado ordenado siga pudiendo examinarse.\n\n### Utiliza la fuente visual devuelta\n\nUna etapa de recuperación puede localizar una página de informe, tabla, diapositiva o escena pertinente para la consulta. La etapa de redacción de respuestas o análisis lee después ese material de origen. Para una tabla, examina los encabezados y valores reales antes de utilizar un resultado; para una escena, examina los fotogramas pertinentes y el texto asociado.\n\nLa diferencia sustantiva respecto a voyage-multimodal-3 es la compatibilidad explícita con video de la edición 3.5 y sus opciones adicionales de representación. Son capacidades de embeddings para localizar material de origen, con vectores numéricos como salida, en lugar de imágenes, video o una respuesta narrativa generados.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "83259ef2fd8b27486823035cdf4d27810a9aad83451181da7c731098a7aa7139", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "es-mx", "methods": [ { "html": "voyageai/voyage-multimodal-3.5Voyage AI voyage-multimodal-3.5 genera embeddings de texto, imágenes y fotogramas de video en un espacio compartido de recuperación. Procesa contenido intercalado, como capturas de páginas documentales, tablas y escenas, con entradas de 32,000 tokens y una representación predeterminada de 1024 dimensiones.
Esta descripción cubre las capacidades del modelo. Las entradas, salidas y opciones disponibles en Ailoot se indican a continuación para el método seleccionado.
voyage-multimodal-3.5 es el modelo de embeddings de Voyage AI para recuperación entre texto, imágenes y video. Procesa texto y contenido visual intercalados mediante un único codificador transformer, representando una entrada multimodal completa en un espacio vectorial compartido. La edición 3.5 añade compatibilidad explícita con fotogramas de video y dimensiones flexibles de embeddings.
Prepara una página o sección documental en el formato que conserve su información visual útil. Una diapositiva con un gráfico y una explicación corta puede representarse con la imagen de la diapositiva y el texto que la acompaña en la misma entrada ordenada. Para una colección basada en PDF, la entrada visual documentada es una captura de página u otra representación del documento como imagen.
Para un gráfico de un informe, conserva el título, las etiquetas de ejes y la leyenda en la imagen. Adjunta texto explicativo cuando aporte el contexto necesario para interpretar el elemento visual. Guarda el número de página y el identificador de origen junto al vector resultante, para que un candidato recuperado pueda abrir la página pertinente, en lugar de devolver únicamente un nombre de documento.
El formato de entrada del fabricante admite secuencias de texto, imágenes y videos. Sus formatos de imagen publicados son PNG, JPEG, WebP y GIF, con MP4 para video. El contenido visual puede representarse mediante URL o datos Base64 en la receta documentada; mantén un estilo de representación coherente dentro de una solicitud.
El modelo representa video como una secuencia ordenada de fotogramas. El fabricante recomienda dividir un video largo en escenas relacionadas, alineando los límites de escena con las marcas de tiempo disponibles de la transcripción y conservando el texto de transcripción correspondiente. Una resolución menor o una tasa de fotogramas reducida pueden ayudar a que una escena semánticamente continua quepa en su presupuesto de contexto.
Para una colección de videos de formación, una consulta podría pedir la escena que demuestra cómo ajustar un control particular. Asocia cada escena indexada con su intervalo temporal. Devuelve la escena coincidente y examina los fotogramas o el clip original para comprobar la acción real, en lugar de tratar el vector recuperado como una descripción escrita de todo lo que aparece en la grabación.
El texto de transcripción puede contribuir cuando se prepara como parte de la entrada multimodal. El embedding de fotogramas de video por sí mismo no proporciona una transcripción de voz.
La longitud de contexto indicada es de 32,000 tokens por entrada. Voyage cuenta cada 560 píxeles de imagen y cada 1120 píxeles de video como un token en su cálculo publicado, por lo que el contenido visual comparte ese presupuesto con el texto. Los límites documentados también incluyen 16 millones de píxeles y 20 MB por imagen, y 20 MB por video. Una lista contiene como máximo 1000 entradas y 320,000 tokens combinados.
El ajuste predeterminado de truncamiento recorta una entrada demasiado larga; si ese límite cae dentro de una imagen, se descarta la imagen entera. Por tanto, preparar páginas o escenas completas dentro del presupuesto conserva un contenido de entrada más predecible. El ajuste alternativo documentado rechaza las entradas demasiado largas en lugar de truncarlas.
La dimensión de salida predeterminada es 1024, con dimensiones de 256, 512 y 2048 también documentadas para esta edición. El anuncio describe embeddings Matryoshka y representaciones de punto flotante, de 8 bits con o sin signo y binarias. Conserva la dimensión y la representación elegidas junto con el índice.
La receta de recuperación de Voyage distingue entradas de consulta y documento. Una consulta puede ser texto o una imagen, y los documentos indexados pueden combinar texto y elementos visuales. Un vector representa cada secuencia completa de entrada; guarda su asociación con la página, imagen o escena de origen para que el resultado ordenado siga pudiendo examinarse.
Una etapa de recuperación puede localizar una página de informe, tabla, diapositiva o escena pertinente para la consulta. La etapa de redacción de respuestas o análisis lee después ese material de origen. Para una tabla, examina los encabezados y valores reales antes de utilizar un resultado; para una escena, examina los fotogramas pertinentes y el texto asociado.
La diferencia sustantiva respecto a voyage-multimodal-3 es la compatibilidad explícita con video de la edición 3.5 y sus opciones adicionales de representación. Son capacidades de embeddings para localizar material de origen, con vectores numéricos como salida, en lugar de imágenes, video o una respuesta narrativa generados.
POST /v1/embeddingstext, token_idsembedding| Campo | Tipo | Requisito | Valores y límites | Predeterminado |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObligatorio | Valores y límites voyageai/voyage-multimodal-3.5 | Predeterminado— |
Campoinput | Tipostring|string[]|integer[]|integer[][] | RequisitoObligatorio | Valores y límites Número mínimo de elementos: 1 Condiciones: Lote homogéneo no vacío. Los ID de tokens son números enteros no negativos. Presupuesto de entrada: Máximo: 32,000 · Unidad de texto: bytes UTF8 · Unidad de tokens: elementos de un arreglo de tokens | Predeterminado— |
Campoencoding_format | Tipostring | RequisitoOpcional | Valores y límites float | Predeterminadofloat |
Campodimensions | Tipointeger | RequisitoNo compatible | Valores y límites Mínimo: 1 | Predeterminado— |
Campouser | Tipojson_value | RequisitoOpcional | Valores y límites Condiciones: La fuente permite este campo metadata de JSON; la semántica exacta en el sistema de origen depende del modelo. | Predeterminado— |
Camposession_id | Tipojson_value | RequisitoOpcional | Valores y límites Condiciones: La fuente permite este campo metadata de JSON; la semántica exacta en el sistema de origen depende del modelo. | Predeterminado— |
Campotrace | Tipojson_value | RequisitoOpcional | Valores y límites Condiciones: La fuente permite este campo metadata de JSON; la semántica exacta en el sistema de origen depende del modelo. | Predeterminado— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores y límites Condiciones: provider.options rechazado | Predeterminado— |
text_to_embedding
| Parámetro | Contrato |
|---|---|
Parámetrocontent_type | Contratoapplication/json |
Parámetrorequired | Contratomodel, input |
Parámetroinput_shapes | Contratostring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parámetroencoding_format | Contratofloat |
Parámetrodimensions_override | Contratofalse |
Parámetromax_input_budget_units | Contrato32000 |
Parámetromultimodal_objects | Contratofalse |
Parámetromaterial_types | Contratotext, token_ids |
Ciclo de vida: synchronous_json
Conserva todos los índices y dimensiones de los vectores.
El nombre de un modelo multimodal no habilita objetos de imagen en esta ruta exacta.
Las referencias tarifarias no añaden opciones a la solicitud. Los parámetros admitidos se indican en el método seleccionado.
| Configuración | Tabla de tarifas | Cargo |
|---|---|---|
| ConfiguraciónTarifas base por token | Tabla de tarifasTarifa base | Cargo Entrada · Tokens de entrada $0.00024 / 1K tokens Salida · Tokens de salida $0 / 1K tokens Entrada · Lectura de caché — / 1K tokens Entrada · Escritura en caché — / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
Ailoot reserva un monto estimado antes de la solicitud. Tras obtener el resultado, liquida el cargo definitivo según el uso medido. En las respuestas en flujo, la liquidación usa el registro de uso final. Cómo funcionan la reserva y la liquidación →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])\nprint(result)\nfor item in result.data:print(item.index,item.embedding)\njson
Conserva todas las respuestas, archivos y partes de contenido completos recibidos.
Conserva cada vector con su índice. La cantidad de vectores debe ser igual a la cantidad de entradas; las dimensiones deben ser consistentes.
No se incorpora ningún endpoint de tareas de embeddings.
| Campo | Tipo |
|---|---|
Campoobject | Tipostring |
Campomodel | Tipostring |
Campodata[].index | Tipointeger |
Campodata[].embedding | Tipofinite float[] |
Campousage | Tipoobject |
| Respuesta | Condición | Siguiente paso |
|---|---|---|
Respuesta400 · invalid_request_error | CondiciónCampos obligatorios, representación del material o valor del parámetro no válidos | Siguiente pasoCorrige los campos indicados antes de una nueva solicitud de creación. |
Ailoot Ultra voyageai/voyage-multimodal-3.5
Usa las rutas de método indicadas arriba.