VoyageAI by MongoDB: voyage-multimodal-3.5

Voyage AI voyage-multimodal-3.5 мәтінді, суреттерді және бейнекадрларды ортақ іздеу кеңістігіндегі эмбеддингтерге айналдырады. Құжат скриншоттары, кестелер мен көріністер сияқты кезектескен мазмұнды өңдейді; кіріс көлемі 32 000 токен, әдепкі көрсетілім өлшемі — 1024.

Ailoot Ultra · Эмбеддингтер POST /v1/embeddings voyageai/voyage-multimodal-3.5

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

voyage-multimodal-3.5 — Voyage AI-дың мәтін, сурет және бейне бойынша іздеуге арналған эмбеддинг моделі. Ол кезектескен мәтіндік және көрнекі мазмұнды бір трансформерлік энкодер арқылы өңдеп, толық мультимодальді кірісті ортақ векторлық кеңістікте көрсетеді. 3.5 нұсқасында бейнекадрларға нақты мәлімделген қолдау және эмбеддинг өлшемін икемді таңдау қосылған.

Мәтін мен көрнекі материалдың байланысын сақтаңыз

Құжат бетін немесе бөлімін пайдалы көрнекі ақпаратын сақтайтын түрде дайындаңыз. Графигі және қысқа түсіндірмесі бар слайдты слайд суреті мен ілеспе мәтінді бір реттелген кіріске қосу арқылы көрсетуге болады. PDF негізіндегі жинақ үшін құжатталған көрнекі кіріс — бет скриншоты немесе құжаттың басқа суреттік көрсетілімі.

Есептегі график үшін суретте тақырыпты, ось белгілерін және шартты белгілер түсіндірмесін сақтаңыз. Көрнекі материалды түсінуге қажет контекст беретін жағдайда түсіндірме мәтін қосыңыз. Табылған кандидат тек құжат атауын қайтармай, тиісті бетті ашуға мүмкіндік беруі үшін алынған вектормен бірге бет нөмірі мен дереккөз идентификаторын сақтаңыз.

Өндірушінің кіріс пішімі мәтіндер, суреттер және бейнелер тізбегін қолдайды. Жарияланған сурет пішімдері — PNG, JPEG, WebP және GIF, ал бейне үшін — MP4. Құжатталған үлгіде көрнекі мазмұн URL немесе Base64 деректері арқылы берілуі мүмкін; бір сұрау ішінде бір көрсетілім тәсілін дәйекті қолданыңыз.

Ұзын бейненің бәрін емес, қажетті көріністі табыңыз

Модель бейнені реттелген кадрлар тізбегі ретінде көрсетеді. Өндіруші ұзын бейнені өзара байланысты көріністерге бөліп, көрініс шекараларын қолжетімді транскрипттің уақыт белгілерімен сәйкестендіруді және тиісті транскрипт мәтінін сақтауды ұсынады. Ажыратымдылықты немесе кадр жиілігін төмендету мағыналық тұрғыдан тұтас көріністі бөлінген контекст көлеміне сыйғызуға көмектесуі мүмкін.

Оқу бейнелері жинағында сұрау белгілі бір басқару элементін баптауды көрсететін көріністі іздеуі мүмкін. Әр индекстелген көріністі оның уақыт аралығымен байланыстырыңыз. Сәйкес көріністі қайтарып, нақты әрекетті кадрлардан немесе бастапқы үзіндіден тексеріңіз; табылған векторды жазбадағының бәрін сипаттайтын мәтін деп қабылдамаңыз.

Транскрипт мәтіні мультимодальді кірістің бөлігі ретінде дайындалса, үлес қоса алады. Бейнекадрлардың эмбеддингін жасау өздігінен сөйлеу транскриптін бермейді.

Контекст және дайындау шектеулері

Мәлімделген контекст ұзындығы — әр кіріске 32 000 токен. Voyage жарияланған есептеуінде суреттің әр 560 пикселін және бейненің әр 1120 пикселін бір токен деп санайды, сондықтан көрнекі мазмұн осы көлемді мәтінмен бөліседі. Құжатталған шектеулерге әр суретке 16 миллион пиксель және 20 МБ, сондай-ақ әр бейнеге 20 МБ кіреді. Бір тізімде ең көбі 1000 кіріс және жиынтық 320 000 токен болады.

Әдепкі қысқарту параметрі шектен ұзын кірісті қиып тастайды; егер шекара суреттің ішіне түссе, сурет толығымен алынып тасталады. Сондықтан толық беттерді немесе көріністерді шекке сай дайындау кіріс мазмұнын анағұрлым болжамды сақтайды. Құжатталған балама параметр шектен ұзын кірісті қысқартудың орнына қабылдамайды.

Вектор өлшемдері және іздеу рөлдері

Әдепкі шығыс өлшемі — 1024; бұл нұсқа үшін 256, 512 және 2048 өлшемдері де құжатталған. Хабарландыру Matryoshka эмбеддингтерін және жылжымалы нүктелі, таңбалы немесе таңбасыз 8 биттік, сондай-ақ бинарлық көрсетілімдерді сипаттайды. Таңдалған өлшем мен көрсетілімді индекспен бірге сақтаңыз.

Voyage іздеу үлгісі сұрау мен құжат кірістерін ажыратады. Сұрау мәтін немесе сурет болуы мүмкін, ал индекстелетін құжаттар мәтін мен көрнекі материалды біріктіре алады. Бір вектор толық кіріс тізбегін көрсетеді; реттелген нәтижені тексеру мүмкін болуы үшін оның бастапқы бетпен, суретпен немесе көрініспен байланысын сақтаңыз.

Қайтарылған көрнекі дереккөзді пайдаланыңыз

Іздеу кезеңі сұрауға қатысты есеп бетін, кестені, слайдты немесе көріністі таба алады. Одан кейін жауап жазу немесе талдау кезеңі сол бастапқы материалды оқиды. Кесте үшін нәтижені пайдаланбас бұрын нақты тақырыптар мен мәндерді тексеріңіз; көрініс үшін тиісті кадрлар мен байланысты мәтінді тексеріңіз.

voyage-multimodal-3 моделінен елеулі айырмашылығы — 3.5 нұсқасындағы бейнеге нақты мәлімделген қолдау және қосымша көрсетілім таңдаулары. Бұлар бастапқы материалды табуға арналған эмбеддинг мүмкіндіктері; шығысы генерацияланған сурет, бейне немесе баяндау түріндегі жауап емес, сандық векторлар болады.

Ailoot Ultra · Эмбеддингтер POST /v1/embeddings voyageai/voyage-multimodal-3.5

voyageai/voyage-multimodal-3.5

VoyageAI by MongoDB /voyageai/voyage-multimodal-3.5

Бастау

Қабылданатын кіріс деректері: Мәтін · token_ids
Нәтижелер: embedding

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot Ultra · Эмбеддингтер POST /v1/embeddings

Кіріс: text, token_ids
Шығыс: embedding
Контекст: 32 000 tokens
Шығыс пішімі: json

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер voyageai/voyage-multimodal-3.5	Әдепкі—
Өріс`input`	Түрі`string\|string[]\|integer[]\|integer[][]`	ТалапМіндетті	Мәндер мен шектеулер Элементтердің ең аз саны: 1 Шарттар: Бос емес, біртекті пакет. Токендердің ID мәндері — теріс емес бүтін сандар. Кіріс бюджеті: Ең көбі: 32 000 · Мәтін бірлігі: UTF8 байттары · Токен бірлігі: токендер массивінің элементтері	Әдепкі—
Өріс`encoding_format`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер float	Әдепкіfloat
Өріс`dimensions`	Түрі`integer`	ТалапҚолдау көрсетілмейді	Мәндер мен шектеулер Ең азы: 1	Әдепкі—
Өріс`user`	Түрі`json_value`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты.	Әдепкі—
Өріс`session_id`	Түрі`json_value`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты.	Әдепкі—
Өріс`trace`	Түрі`json_value`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты.	Әдепкі—
Өріс`provider`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: provider.options қабылданбайды	Әдепкі—

Кіріс материалдарының үйлесімдері

text_to_embedding

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`content_type`	Параметр талаптарыapplication/json
Параметр`required`	Параметр талаптарыmodel, input
Параметр`input_shapes`	Параметр талаптарыstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[]
Параметр`encoding_format`	Параметр талаптарыfloat
Параметр`dimensions_override`	Параметр талаптарыfalse
Параметр`max_input_budget_units`	Параметр талаптары32000
Параметр`multimodal_objects`	Параметр талаптарыfalse
Параметр`material_types`	Параметр талаптарыtext, token_ids

Өмірлік цикл: synchronous_json

Әрбір вектордың индексін және өлшемін сақтаңыз.

Модель атауының мультимодаль болуы осы нақты жолда кескін объектілерін қабылдауға рұқсат бермейді.

Тарифтер

Тариф анықтамасы сұрау мүмкіндіктерін қоспайды. Қолдау көрсетілетін параметрлер таңдалған әдісте берілген.

Жылдам режим: Стандартты тариф Жылдам режим таңдалғанда
Икемді режим: Стандартты тариф flex режимі таңдалғанда
Ой қорытудың ең жоғары деңгейі: Стандартты тариф Ой қорыту деңгейі ең жоғары болып, default түзетуі қолданылғанда

Ailoot мөлшерлемелері

Баптаулар бойынша бағалар

Баптау	Мөлшерлемелер кестесі	Төлем
БаптауТокендердің базалық тарифтері	Мөлшерлемелер кестесіНегізгі мөлшерлеме	Төлем Кіріс · Кіріс токендері $0.00024 / 1K токен Шығыс · Шығыс токендері $0 / 1K токен Кіріс · Кэшті оқу — / 1K токен Кіріс · Кэшке жазу — / 1K токен Кіріс · Кэшке жазу, 1 сағ — / 1K токен

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Сұрау мысалдары

Ailoot Ultra · Эмбеддингтер

curlPython SDK

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')

Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT

from openai import OpenAI
import os

client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)

Нәтижелерді алу және сақтау

Ailoot Ultra · Эмбеддингтер

json

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Әрбір векторды индексімен бірге сақтаңыз. Векторлар саны кіріс элементтерінің санына тең болуы керек; өлшемдері бірдей болуы керек.

Бастапқы жауапты тексеру қажет болса

Эмбеддинг тапсырмасы үшін жаңа эндпоинт енгізілмейді.

Жауап өрістері

Өріс	Түрі
Өріс`object`	Түріstring
Өріс`model`	Түріstring
Өріс`data[].index`	Түріinteger
Өріс`data[].embedding`	Түріfinite float[]
Өріс`usage`	Түріobject

Қателер және келесі қадамдар

Жауап	Шарт	Келесі қадам
Жауап400 · `invalid_request_error`	ШартМіндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате	Келесі қадамЖаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.

Балама атаулар

Модельдердің балама атаулары

Ailoot Ultra voyageai/voyage-multimodal-3.5

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

voyageai/voyage-multimodal-3.5

FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5

Қандай кіріс деректері мен нәтижелер қолжетімді?: POST /v1/embeddings · voyageai/voyage-multimodal-3.5: text, token_ids → embedding
Сұрау қандай өрістерді пайдаланады?: POST /v1/embeddings · voyageai/voyage-multimodal-3.5: model, input, encoding_format, provider
Қандай шектеулер қолданылады?: POST /v1/embeddings · voyageai/voyage-multimodal-3.5: ctx: 32000; input.budget.maximum: 32000 (UTF8 байттары); input.min_items: 1

VoyageAI by MongoDB: voyage-multimodal-3.5