VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 genera embeddings de texto, imágenes y fotogramas de video en un espacio compartido de recuperación. Procesa contenido intercalado, como capturas de páginas documentales, tablas y escenas, con entradas de 32,000 tokens y una representación predeterminada de 1024 dimensiones.
Sobre el modelo
Esta descripción cubre las capacidades del modelo. Las entradas, salidas y opciones disponibles en Ailoot se indican a continuación para el método seleccionado.
voyage-multimodal-3.5 es el modelo de embeddings de Voyage AI para recuperación entre texto, imágenes y video. Procesa texto y contenido visual intercalados mediante un único codificador transformer, representando una entrada multimodal completa en un espacio vectorial compartido. La edición 3.5 añade compatibilidad explícita con fotogramas de video y dimensiones flexibles de embeddings.
Conserva la relación entre texto y elementos visuales
Prepara una página o sección documental en el formato que conserve su información visual útil. Una diapositiva con un gráfico y una explicación corta puede representarse con la imagen de la diapositiva y el texto que la acompaña en la misma entrada ordenada. Para una colección basada en PDF, la entrada visual documentada es una captura de página u otra representación del documento como imagen.
Para un gráfico de un informe, conserva el título, las etiquetas de ejes y la leyenda en la imagen. Adjunta texto explicativo cuando aporte el contexto necesario para interpretar el elemento visual. Guarda el número de página y el identificador de origen junto al vector resultante, para que un candidato recuperado pueda abrir la página pertinente, en lugar de devolver únicamente un nombre de documento.
El formato de entrada del fabricante admite secuencias de texto, imágenes y videos. Sus formatos de imagen publicados son PNG, JPEG, WebP y GIF, con MP4 para video. El contenido visual puede representarse mediante URL o datos Base64 en la receta documentada; mantén un estilo de representación coherente dentro de una solicitud.
Recupera una escena en lugar de un video largo entero
El modelo representa video como una secuencia ordenada de fotogramas. El fabricante recomienda dividir un video largo en escenas relacionadas, alineando los límites de escena con las marcas de tiempo disponibles de la transcripción y conservando el texto de transcripción correspondiente. Una resolución menor o una tasa de fotogramas reducida pueden ayudar a que una escena semánticamente continua quepa en su presupuesto de contexto.
Para una colección de videos de formación, una consulta podría pedir la escena que demuestra cómo ajustar un control particular. Asocia cada escena indexada con su intervalo temporal. Devuelve la escena coincidente y examina los fotogramas o el clip original para comprobar la acción real, en lugar de tratar el vector recuperado como una descripción escrita de todo lo que aparece en la grabación.
El texto de transcripción puede contribuir cuando se prepara como parte de la entrada multimodal. El embedding de fotogramas de video por sí mismo no proporciona una transcripción de voz.
Contexto y límites de preparación
La longitud de contexto indicada es de 32,000 tokens por entrada. Voyage cuenta cada 560 píxeles de imagen y cada 1120 píxeles de video como un token en su cálculo publicado, por lo que el contenido visual comparte ese presupuesto con el texto. Los límites documentados también incluyen 16 millones de píxeles y 20 MB por imagen, y 20 MB por video. Una lista contiene como máximo 1000 entradas y 320,000 tokens combinados.
El ajuste predeterminado de truncamiento recorta una entrada demasiado larga; si ese límite cae dentro de una imagen, se descarta la imagen entera. Por tanto, preparar páginas o escenas completas dentro del presupuesto conserva un contenido de entrada más predecible. El ajuste alternativo documentado rechaza las entradas demasiado largas en lugar de truncarlas.
Dimensiones de vectores y roles de recuperación
La dimensión de salida predeterminada es 1024, con dimensiones de 256, 512 y 2048 también documentadas para esta edición. El anuncio describe embeddings Matryoshka y representaciones de punto flotante, de 8 bits con o sin signo y binarias. Conserva la dimensión y la representación elegidas junto con el índice.
La receta de recuperación de Voyage distingue entradas de consulta y documento. Una consulta puede ser texto o una imagen, y los documentos indexados pueden combinar texto y elementos visuales. Un vector representa cada secuencia completa de entrada; guarda su asociación con la página, imagen o escena de origen para que el resultado ordenado siga pudiendo examinarse.
Utiliza la fuente visual devuelta
Una etapa de recuperación puede localizar una página de informe, tabla, diapositiva o escena pertinente para la consulta. La etapa de redacción de respuestas o análisis lee después ese material de origen. Para una tabla, examina los encabezados y valores reales antes de utilizar un resultado; para una escena, examina los fotogramas pertinentes y el texto asociado.
La diferencia sustantiva respecto a voyage-multimodal-3 es la compatibilidad explícita con video de la edición 3.5 y sus opciones adicionales de representación. Son capacidades de embeddings para localizar material de origen, con vectores numéricos como salida, en lugar de imágenes, video o una respuesta narrativa generados.
Ailoot Ultra · Representaciones vectoriales POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Inicio
Voyage AI voyage-multimodal-3.5 genera embeddings de texto, imágenes y fotogramas de video en un espacio compartido de recuperación. Procesa contenido intercalado, como capturas de páginas documentales, tablas y escenas, con entradas de 32,000 tokens y una representación predeterminada de 1024 dimensiones.
- Entradas aceptadas
- Texto · token_ids
- Resultados
- embedding
Disponible en Ailoot · entradas y métodos
Ailoot Ultra · Representaciones vectoriales POST /v1/embeddings
- Entrada
text,token_ids- Salida
embedding- Contexto
- 32,000 tokens
- Formato de salida
- json
| Campo | Tipo | Requisito | Valores y límites | Predeterminado |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObligatorio | Valores y límites voyageai/voyage-multimodal-3.5 | Predeterminado— |
Campoinput | Tipostring|string[]|integer[]|integer[][] | RequisitoObligatorio | Valores y límites Número mínimo de elementos: 1 Condiciones: Lote homogéneo no vacío. Los ID de tokens son números enteros no negativos. Presupuesto de entrada: Máximo: 32,000 · Unidad de texto: bytes UTF8 · Unidad de tokens: elementos de un arreglo de tokens | Predeterminado— |
Campoencoding_format | Tipostring | RequisitoOpcional | Valores y límites float | Predeterminadofloat |
Campodimensions | Tipointeger | RequisitoNo compatible | Valores y límites Mínimo: 1 | Predeterminado— |
Campouser | Tipojson_value | RequisitoOpcional | Valores y límites Condiciones: La fuente permite este campo metadata de JSON; la semántica exacta en el sistema de origen depende del modelo. | Predeterminado— |
Camposession_id | Tipojson_value | RequisitoOpcional | Valores y límites Condiciones: La fuente permite este campo metadata de JSON; la semántica exacta en el sistema de origen depende del modelo. | Predeterminado— |
Campotrace | Tipojson_value | RequisitoOpcional | Valores y límites Condiciones: La fuente permite este campo metadata de JSON; la semántica exacta en el sistema de origen depende del modelo. | Predeterminado— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores y límites Condiciones: provider.options rechazado | Predeterminado— |
Combinaciones de materiales de entrada
text_to_embedding
Parámetros del método y ciclo de vida
| Parámetro | Contrato |
|---|---|
Parámetrocontent_type | Contratoapplication/json |
Parámetrorequired | Contratomodel, input |
Parámetroinput_shapes | Contratostring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parámetroencoding_format | Contratofloat |
Parámetrodimensions_override | Contratofalse |
Parámetromax_input_budget_units | Contrato32000 |
Parámetromultimodal_objects | Contratofalse |
Parámetromaterial_types | Contratotext, token_ids |
Ciclo de vida: synchronous_json
Conserva todos los índices y dimensiones de los vectores.
El nombre de un modelo multimodal no habilita objetos de imagen en esta ruta exacta.
Tarifas
Las referencias tarifarias no añaden opciones a la solicitud. Los parámetros admitidos se indican en el método seleccionado.
- Modo fast
- Tarifa estándar Cuando se selecciona el modo fast
- Modo flex
- Tarifa estándar Cuando se selecciona el modo flex
- Esfuerzo máximo de razonamiento
- Tarifa estándar Cuando el esfuerzo máximo de razonamiento usa el ajuste default
Tarifas de Ailoot
Precios por configuración
| Configuración | Tabla de tarifas | Cargo |
|---|---|---|
| ConfiguraciónTarifas base por token | Tabla de tarifasTarifa base | Cargo Entrada · Tokens de entrada $0.00024 / 1K tokens Salida · Tokens de salida $0 / 1K tokens Entrada · Lectura de caché — / 1K tokens Entrada · Escritura en caché — / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
Ailoot reserva un monto estimado antes de la solicitud. Tras obtener el resultado, liquida el cargo definitivo según el uso medido. En las respuestas en flujo, la liquidación usa el registro de uso final. Cómo funcionan la reserva y la liquidación →
Solicitudes de ejemplo
Ailoot Ultra · Representaciones vectoriales
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Recibir y guardar resultados
Ailoot Ultra · Representaciones vectoriales
json
Conserva todos los resultados completados
Conserva todas las respuestas, archivos y partes de contenido completos recibidos.
Conserva cada vector con su índice. La cantidad de vectores debe ser igual a la cantidad de entradas; las dimensiones deben ser consistentes.
Si es necesario revisar la respuesta original
No se incorpora ningún endpoint de tareas de embeddings.
Campos de respuesta
| Campo | Tipo |
|---|---|
Campoobject | Tipostring |
Campomodel | Tipostring |
Campodata[].index | Tipointeger |
Campodata[].embedding | Tipofinite float[] |
Campousage | Tipoobject |
Errores y siguientes pasos
| Respuesta | Condición | Siguiente paso |
|---|---|---|
Respuesta400 · invalid_request_error | CondiciónCampos obligatorios, representación del material o valor del parámetro no válidos | Siguiente pasoCorrige los campos indicados antes de una nueva solicitud de creación. |
Alias
Alias del modelo
Ailoot Ultra voyageai/voyage-multimodal-3.5
Alias de rutas de métodos
Usa las rutas de método indicadas arriba.
ID de modelo relacionados
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- ¿Qué entradas y resultados están disponibles?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- ¿Qué campos utiliza la solicitud?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- ¿Qué límites se aplican?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(bytes UTF8);input.min_items:1