VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 genera embeddings de texto, imágenes y fotogramas de vídeo en un espacio compartido de recuperación. Procesa contenido intercalado, como capturas de páginas documentales, tablas y escenas, con entradas de 32.000 tokens y una representación predeterminada de 1024 dimensiones.
Sobre el modelo
Esta descripción cubre las capacidades del modelo. Las entradas, salidas y opciones disponibles en Ailoot se indican a continuación para el método seleccionado.
voyage-multimodal-3.5 es el modelo de embeddings de Voyage AI para recuperación entre texto, imágenes y vídeo. Procesa texto y contenido visual intercalados mediante un único codificador transformer, representando una entrada multimodal completa en un espacio vectorial compartido. La edición 3.5 añade compatibilidad explícita con fotogramas de vídeo y dimensiones flexibles de embeddings.
Conserva la relación entre texto y elementos visuales
Prepara una página o sección documental en el formato que conserve su información visual útil. Una diapositiva con un gráfico y una explicación corta puede representarse con la imagen de la diapositiva y el texto que la acompaña en la misma entrada ordenada. Para una colección basada en PDF, la entrada visual documentada es una captura de página u otra representación del documento como imagen.
Para un gráfico de un informe, conserva el título, las etiquetas de ejes y la leyenda en la imagen. Adjunta texto explicativo cuando aporte el contexto necesario para interpretar el elemento visual. Guarda el número de página y el identificador de origen junto al vector resultante, para que un candidato recuperado pueda abrir la página pertinente, en lugar de devolver únicamente un nombre de documento.
El formato de entrada del fabricante admite secuencias de texto, imágenes y vídeos. Sus formatos de imagen publicados son PNG, JPEG, WebP y GIF, con MP4 para vídeo. El contenido visual puede representarse mediante URL o datos Base64 en la receta documentada; mantén un estilo de representación coherente dentro de una solicitud.
Recupera una escena en lugar de un vídeo largo entero
El modelo representa vídeo como una secuencia ordenada de fotogramas. El fabricante recomienda dividir un vídeo largo en escenas relacionadas, alineando los límites de escena con las marcas de tiempo disponibles de la transcripción y conservando el texto de transcripción correspondiente. Una resolución menor o una tasa de fotogramas reducida pueden ayudar a que una escena semánticamente continua quepa en su presupuesto de contexto.
Para una colección de vídeos de formación, una consulta podría pedir la escena que demuestra cómo ajustar un control particular. Asocia cada escena indexada con su intervalo temporal. Devuelve la escena coincidente y examina los fotogramas o el clip original para comprobar la acción real, en lugar de tratar el vector recuperado como una descripción escrita de todo lo que aparece en la grabación.
El texto de transcripción puede contribuir cuando se prepara como parte de la entrada multimodal. El embedding de fotogramas de vídeo por sí mismo no proporciona una transcripción de voz.
Contexto y límites de preparación
La longitud de contexto indicada es de 32.000 tokens por entrada. Voyage cuenta cada 560 píxeles de imagen y cada 1120 píxeles de vídeo como un token en su cálculo publicado, por lo que el contenido visual comparte ese presupuesto con el texto. Los límites documentados también incluyen 16 millones de píxeles y 20 MB por imagen, y 20 MB por vídeo. Una lista contiene como máximo 1000 entradas y 320.000 tokens combinados.
El ajuste predeterminado de truncamiento recorta una entrada demasiado larga; si ese límite cae dentro de una imagen, se descarta la imagen entera. Por tanto, preparar páginas o escenas completas dentro del presupuesto conserva un contenido de entrada más predecible. El ajuste alternativo documentado rechaza las entradas demasiado largas en lugar de truncarlas.
Dimensiones de vectores y roles de recuperación
La dimensión de salida predeterminada es 1024, con dimensiones de 256, 512 y 2048 también documentadas para esta edición. El anuncio describe embeddings Matryoshka y representaciones de coma flotante, de 8 bits con o sin signo y binarias. Conserva la dimensión y la representación elegidas junto con el índice.
La receta de recuperación de Voyage distingue entradas de consulta y documento. Una consulta puede ser texto o una imagen, y los documentos indexados pueden combinar texto y elementos visuales. Un vector representa cada secuencia completa de entrada; guarda su asociación con la página, imagen o escena de origen para que el resultado ordenado siga pudiendo examinarse.
Utiliza la fuente visual devuelta
Una etapa de recuperación puede localizar una página de informe, tabla, diapositiva o escena pertinente para la consulta. La etapa de redacción de respuestas o análisis lee después ese material de origen. Para una tabla, examina los encabezados y valores reales antes de utilizar un resultado; para una escena, examina los fotogramas pertinentes y el texto asociado.
La diferencia sustantiva respecto a voyage-multimodal-3 es la compatibilidad explícita con vídeo de la edición 3.5 y sus opciones adicionales de representación. Son capacidades de embeddings para localizar material de origen, con vectores numéricos como salida, en lugar de imágenes, vídeo o una respuesta narrativa generados.
Ailoot Ultra · Representaciones vectoriales POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Primeros pasos
Voyage AI voyage-multimodal-3.5 genera embeddings de texto, imágenes y fotogramas de vídeo en un espacio compartido de recuperación. Procesa contenido intercalado, como capturas de páginas documentales, tablas y escenas, con entradas de 32.000 tokens y una representación predeterminada de 1024 dimensiones.
- Entradas aceptadas
- Texto · token_ids
- Resultados
- embedding
Disponible en Ailoot · entradas y métodos
Ailoot Ultra · Representaciones vectoriales POST /v1/embeddings
- Tipos de entrada
text,token_ids- Tipos de salida
embedding- Contexto
- 32.000 tokens
- Formato de salida
- json
| Campo | Tipo | Requisito | Valores y límites | Predeterminado |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObligatorio | Valores y límites voyageai/voyage-multimodal-3.5 | Predeterminado— |
Campoinput | Tipostring|string[]|integer[]|integer[][] | RequisitoObligatorio | Valores y límites Número mínimo de elementos: 1 Condiciones: Lote homogéneo no vacío. Los ID de tokens son números enteros no negativos. Presupuesto de entrada: Máximo: 32.000 · Unidad de texto: bytes UTF8 · Unidad de tokens: elementos de un array de tokens | Predeterminado— |
Campoencoding_format | Tipostring | RequisitoOpcional | Valores y límites float | Predeterminadofloat |
Campodimensions | Tipointeger | RequisitoNo compatible | Valores y límites Mínimo: 1 | Predeterminado— |
Campouser | Tipojson_value | RequisitoOpcional | Valores y límites Condiciones: Source permite este campo de metadatos JSON; su semántica exacta en el proveedor depende de cada modelo. | Predeterminado— |
Camposession_id | Tipojson_value | RequisitoOpcional | Valores y límites Condiciones: Source permite este campo de metadatos JSON; su semántica exacta en el proveedor depende de cada modelo. | Predeterminado— |
Campotrace | Tipojson_value | RequisitoOpcional | Valores y límites Condiciones: Source permite este campo de metadatos JSON; su semántica exacta en el proveedor depende de cada modelo. | Predeterminado— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores y límites Condiciones: provider.options se rechaza | Predeterminado— |
Combinaciones de materiales de entrada
text_to_embedding
Parámetros del método y ciclo de vida
| Parámetro | Contrato |
|---|---|
Parámetrocontent_type | Contratoapplication/json |
Parámetrorequired | Contratomodel, input |
Parámetroinput_shapes | Contratostring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parámetroencoding_format | Contratofloat |
Parámetrodimensions_override | Contratofalse |
Parámetromax_input_budget_units | Contrato32000 |
Parámetromultimodal_objects | Contratofalse |
Parámetromaterial_types | Contratotext, token_ids |
Ciclo de vida: synchronous_json
Conserva todos los índices y dimensiones de los vectores.
Que el modelo tenga un nombre multimodal no permite enviar objetos de imagen por esta ruta concreta.
Planes
Las referencias tarifarias no añaden opciones a la solicitud. Los parámetros admitidos se indican en el método seleccionado.
- Modo rápido
- Tarifa estándar Cuando se selecciona el modo rápido
- Modo flex
- Tarifa estándar Cuando se selecciona el modo flex
- Esfuerzo máximo de razonamiento
- Tarifa estándar Cuando el esfuerzo máximo de razonamiento utiliza el ajuste predeterminado (default)
Tarifas de Ailoot
Precios por configuración
| Configuración | Tabla de tarifas | Cargo |
|---|---|---|
| ConfiguraciónTarifas base por token | Tabla de tarifasTarifa base | Cargo Entrada · Tokens de entrada $0.00024 / 1K tokens Salida · Tokens de salida $0 / 1K tokens Entrada · Lectura de caché — / 1K tokens Entrada · Escritura en caché — / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
Ailoot reserva un importe estimado antes de la solicitud. Tras obtener el resultado, liquida el cargo definitivo según el uso medido. En las respuestas en flujo, la liquidación usa el registro de uso final. Cómo funcionan la reserva y la liquidación →
Solicitudes de ejemplo
Ailoot Ultra · Representaciones vectoriales
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Recibir y guardar resultados
Ailoot Ultra · Representaciones vectoriales
json
Conserva todos los resultados completados
Conserva todas las respuestas, archivos y partes de contenido completos recibidos.
Conserva cada vector con su índice. El número de vectores debe coincidir con el número de entradas; las dimensiones deben ser coherentes.
Si es necesario revisar la respuesta original
No se introduce ningún endpoint de trabajos de embeddings.
Campos de respuesta
| Campo | Tipo |
|---|---|
Campoobject | Tipostring |
Campomodel | Tipostring |
Campodata[].index | Tipointeger |
Campodata[].embedding | Tipofinite float[] |
Campousage | Tipoobject |
Errores y siguientes pasos
| Respuesta | Condición | Siguiente paso |
|---|---|---|
Respuesta400 · invalid_request_error | CondiciónCampos obligatorios, representación del material o valor del parámetro no válidos | Siguiente pasoCorrige los campos indicados antes de una nueva solicitud de creación. |
Alias
Alias del modelo
Ailoot Ultra voyageai/voyage-multimodal-3.5
Alias de rutas de métodos
Usa las rutas de método indicadas arriba.
ID de modelo relacionados
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- ¿Qué entradas y resultados están disponibles?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- ¿Qué campos utiliza la solicitud?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- ¿Qué límites se aplican?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(bytes UTF8);input.min_items:1