VoyageAI by MongoDB: voyage-multimodal-3.5

Voyage AI voyage-multimodal-3.5 преобразует текст, изображения и видеокадры в эмбеддинги в общем пространстве поиска. Модель обрабатывает чередующийся контент, включая снимки страниц документов, таблицы и сцены, со входом до 32 000 токенов и представлением размерности 1024 по умолчанию.

Ailoot Ultra · Эмбеддинги POST /v1/embeddings voyageai/voyage-multimodal-3.5

О модели

Описание раскрывает возможности модели. Доступные в Ailoot входные данные, результаты и параметры выбранного метода перечислены ниже.

voyage-multimodal-3.5 — модель эмбеддингов от Voyage AI для поиска по тексту, изображениям и видео. Она обрабатывает чередующиеся текстовые и визуальные материалы с помощью единого трансформерного энкодера, представляя весь мультимодальный вход в общем векторном пространстве. Версия 3.5 добавляет явно заявленную поддержку видеокадров и гибкую размерность эмбеддингов.

Сохраняйте связь между текстом и визуальными материалами

Подготовьте страницу или раздел документа в форме, сохраняющей полезную визуальную информацию. Слайд с графиком и коротким пояснением можно представить изображением слайда и сопутствующим текстом в одном упорядоченном входе. Для коллекции на основе PDF документированный визуальный вход — снимок страницы или другое изображение документа.

Для графика из отчёта сохраните на изображении заголовок, подписи осей и легенду. Приложите поясняющий текст, если он даёт контекст, необходимый для понимания изображения. Рядом с полученным вектором храните номер страницы и идентификатор источника, чтобы найденный кандидат позволял открыть нужную страницу, а не просто возвращал название документа.

Формат входа производителя поддерживает последовательности текста, изображений и видео. Заявленные форматы изображений — PNG, JPEG, WebP и GIF, формат видео — MP4. В описанном примере визуальные материалы можно передавать через URL или данные Base64; в пределах одного запроса последовательно используйте один способ представления.

Находите сцену вместо целого длинного видео

Модель представляет видео как упорядоченную последовательность кадров. Производитель рекомендует разбивать длинное видео на связанные сцены, согласовывать их границы с доступными временными метками расшифровки и сохранять соответствующий текст расшифровки. Снижение разрешения или частоты кадров может помочь вместить семантически непрерывную сцену в отведённый контекст.

Для коллекции обучающих видео запрос может искать сцену, демонстрирующую настройку определённого элемента управления. Свяжите каждую индексированную сцену с её временным диапазоном. Верните найденную сцену и проверьте кадры или исходный фрагмент на наличие нужного действия, вместо того чтобы считать найденный вектор письменным описанием всего происходящего в записи.

Текст расшифровки может быть полезен, если подготовлен как часть мультимодального входа. Само создание эмбеддингов видеокадров не даёт расшифровку речи.

Контекст и ограничения подготовки

Заявленная длина контекста — 32 000 токенов на вход. В опубликованном расчёте Voyage каждые 560 пикселей изображения и каждые 1120 пикселей видео считаются одним токеном, поэтому визуальные материалы делят этот лимит с текстом. Документированные ограничения также включают 16 миллионов пикселей и 20 МБ на изображение, а также 20 МБ на видео. Список содержит не более 1000 входов и суммарно 320 000 токенов.

Настройка усечения по умолчанию обрезает слишком длинный вход; если граница обрезки проходит внутри изображения, изображение отбрасывается целиком. Поэтому подготовка полных страниц или сцен в пределах лимита сохраняет более предсказуемое содержимое входа. Альтернативная документированная настройка отклоняет слишком длинные входы вместо усечения.

Размерность векторов и роли при поиске

Размерность выхода по умолчанию — 1024; для этой версии также документированы 256, 512 и 2048. В анонсе описаны эмбеддинги Matryoshka и представления с плавающей точкой, знаковые или беззнаковые 8-битные и бинарные представления. Сохраняйте выбранную размерность и представление вместе с индексом.

В поисковом примере Voyage различаются входы запросов и документов. Запросом может быть текст или изображение, а индексируемые документы могут сочетать текст и визуальные материалы. Один вектор представляет всю входную последовательность; сохраняйте его связь с исходной страницей, изображением или сценой, чтобы результат ранжирования оставался доступным для проверки.

Используйте возвращённый визуальный источник

Этап поиска может найти страницу отчёта, таблицу, слайд или сцену, относящиеся к запросу. Затем этап написания ответа или анализа читает этот исходный материал. Для таблицы проверьте реальные заголовки и значения, прежде чем использовать результат; для сцены проверьте нужные кадры и связанный текст.

Существенное отличие от voyage-multimodal-3 — явно заявленная поддержка видео и дополнительные варианты представления в версии 3.5. Это возможности эмбеддингов для нахождения исходных материалов: выходом служат числовые векторы, а не сгенерированные изображения, видео или повествовательный ответ.

Ailoot Ultra · Эмбеддинги POST /v1/embeddings voyageai/voyage-multimodal-3.5

voyageai/voyage-multimodal-3.5

VoyageAI by MongoDB /voyageai/voyage-multimodal-3.5

Начало

Допустимые входные данные: Текст · token_ids
Результаты: embedding

Доступно в Ailoot · входные данные и методы

Ailoot Ultra · Эмбеддинги POST /v1/embeddings

Входные данные: text, token_ids
Результат: embedding
Контекст: 32 000 tokens
Выходной формат: json

Поле	Тип	Требование	Значения и ограничения	По умолчанию
Поле`model`	Тип`string`	ТребованиеОбязательно	Значения и ограничения voyageai/voyage-multimodal-3.5	По умолчанию—
Поле`input`	Тип`string\|string[]\|integer[]\|integer[][]`	ТребованиеОбязательно	Значения и ограничения Минимум элементов: 1 Условия: Непустой однородный пакет. ID токенов — неотрицательные целые числа. Входной бюджет: Максимум: 32 000 · Текстовая единица: байты UTF8 · Единица токенов: элементы массива токенов	По умолчанию—
Поле`encoding_format`	Тип`string`	ТребованиеНеобязательно	Значения и ограничения float	По умолчаниюfloat
Поле`dimensions`	Тип`integer`	ТребованиеНе поддерживается	Значения и ограничения Минимум: 1	По умолчанию—
Поле`user`	Тип`json_value`	ТребованиеНеобязательно	Значения и ограничения Условия: Source допускает это поле метаданных JSON; точная семантика у исходного поставщика зависит от модели.	По умолчанию—
Поле`session_id`	Тип`json_value`	ТребованиеНеобязательно	Значения и ограничения Условия: Source допускает это поле метаданных JSON; точная семантика у исходного поставщика зависит от модели.	По умолчанию—
Поле`trace`	Тип`json_value`	ТребованиеНеобязательно	Значения и ограничения Условия: Source допускает это поле метаданных JSON; точная семантика у исходного поставщика зависит от модели.	По умолчанию—
Поле`provider`	Тип`object`	ТребованиеНеобязательно	Значения и ограничения Условия: provider.options отклоняется	По умолчанию—

Сочетания входных материалов

text_to_embedding

Параметры и жизненный цикл метода

Параметр	Контракт
Параметр`content_type`	Контрактapplication/json
Параметр`required`	Контрактmodel, input
Параметр`input_shapes`	Контрактstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[]
Параметр`encoding_format`	Контрактfloat
Параметр`dimensions_override`	Контрактfalse
Параметр`max_input_budget_units`	Контракт32000
Параметр`multimodal_objects`	Контрактfalse
Параметр`material_types`	Контрактtext, token_ids

Жизненный цикл: synchronous_json

Сохраняйте индекс и размерность каждого вектора.

Название мультимодальной модели не означает допуск объектов изображений на этом конкретном маршруте.

Тарифы

Тарифная справка не добавляет режимы запроса. Поддерживаемые параметры указаны для выбранного метода.

Быстрый режим: Стандартный тариф При выборе быстрого режима
Режим flex: Стандартный тариф При выборе режима flex
Максимальная интенсивность рассуждений: Стандартный тариф При максимальной интенсивности рассуждений с корректировкой по умолчанию (default)

Ставки Ailoot

Цены по конфигурациям

Конфигурация	Шкала ставок	Плата
КонфигурацияБазовые ставки за токены	Шкала ставокБазовая ставка	Плата Вход · Входные токены $0.00024 / 1K токенов Выход · Выходные токены $0 / 1K токенов Вход · Чтение кэша — / 1K токенов Вход · Запись в кэш — / 1K токенов Вход · Запись в кэш, 1 час — / 1K токенов

Ailoot резервирует расчётную сумму перед запросом. После получения результата списывает итоговую плату по измеренному расходу. Для окончательного списания за потоковый ответ используется итоговая запись расхода. Как работают резервирование и расчёт →

Примеры запросов

Ailoot Ultra · Эмбеддинги

curlPython SDK

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')

Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT

from openai import OpenAI
import os

client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)

Получить и сохранить результаты

Ailoot Ultra · Эмбеддинги

json

Сохраняйте все готовые результаты

Сохраняйте каждый полностью полученный ответ, файл и элемент содержимого.

Сохраняйте каждый вектор с его индексом. Число векторов должно совпадать с числом входных элементов; размерности должны быть согласованы.

Если нужно проверить исходный ответ

Отдельный эндпоинт заданий эмбеддингов не вводится.

Поля ответа

Поле	Тип
Поле`object`	Типstring
Поле`model`	Типstring
Поле`data[].index`	Типinteger
Поле`data[].embedding`	Типfinite float[]
Поле`usage`	Типobject

Ошибки и дальнейшие шаги

Ответ	Условие	Следующий шаг
Ответ400 · `invalid_request_error`	УсловиеНеверные обязательные поля, представление материалов или значение параметра	Следующий шагИсправьте указанные поля перед новым запросом на создание.

Псевдонимы

Псевдонимы моделей

Ailoot Ultra voyageai/voyage-multimodal-3.5

Псевдонимы путей метода

Используйте пути методов, указанные выше.

Связанные ID для вызова

voyageai/voyage-multimodal-3.5

FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5

Какие входные данные и результаты доступны?: POST /v1/embeddings · voyageai/voyage-multimodal-3.5: text, token_ids → embedding
Какие поля использует запрос?: POST /v1/embeddings · voyageai/voyage-multimodal-3.5: model, input, encoding_format, provider
Какие ограничения действуют?: POST /v1/embeddings · voyageai/voyage-multimodal-3.5: ctx: 32000; input.budget.maximum: 32000 (байты UTF8); input.min_items: 1

VoyageAI by MongoDB: voyage-multimodal-3.5