VoyageAI by MongoDB: voyage-multimodal-3.5

voyage-multimodal-3.5は、テキスト、画像、動画を横断して検索するためのVoyage AIの埋め込みモデルです。混在するテキストと視覚コンテンツを単一のTransformerエンコーダーで処理し、マルチモーダル入力全体を共通のベクトル空間で表現します。3.5エディションでは、動画フレームへの明示的な対応と、柔軟な埋め込み次元が追加されています。

テキストと視覚情報の関係を保つ

文書のページや節は、有用な視覚情報を保持する形式で準備してください。グラフと短い説明を含むスライドなら、スライド画像と添付テキストを同じ順序付き入力に入れて表現できます。PDFベースのコレクションについて文書化されている視覚入力は、ページのスクリーンショットなど、文書を画像として表現したものです。

報告書のグラフでは、タイトル、軸ラベル、凡例を画像に残してください。視覚情報の解釈に必要な文脈を提供する場合は、説明文も添付します。検索候補から文書名だけを返すのではなく該当ページを開けるよう、得られたベクトルとともにページ番号と出典識別子を保存してください。

メーカーの入力形式は、テキスト、画像、動画のシーケンスに対応しています。公開されている画像形式はPNG、JPEG、WebP、GIFで、動画にはMP4を使用します。文書化された手順では、視覚コンテンツをURLまたはBase64データで表現できます。1つのリクエスト内では、表現方式を一貫させてください。

長い動画全体ではなくシーンを検索する

モデルは動画を、順序付きのフレーム列として表現します。メーカーは、長い動画を関連するシーンに分け、利用できる文字起こしのタイムスタンプにシーン境界を合わせ、対応する文字起こしテキストを残すことを推奨しています。解像度やフレームレートを下げると、意味的に連続したシーンをコンテキスト上限内に収めやすくなります。

研修動画のコレクションでは、特定の操作部を調整する実演シーンを探すクエリが考えられます。インデックス化した各シーンに時間範囲を対応付けてください。一致するシーンを返し、実際の操作はフレームや元のクリップで確認します。検索されたベクトルを、録画内のすべてを文章で説明したものとして扱わないでください。

文字起こしテキストは、マルチモーダル入力の一部として準備すれば検索に寄与できます。動画フレームの埋め込み自体が発話の文字起こしを提供するわけではありません。

コンテキストと準備の制限

記載されたコンテキスト長は、入力あたり32,000トークンです。Voyageの公開計算方式では、画像560ピクセルごと、動画1120ピクセルごとに1トークンを数えるため、視覚コンテンツはテキストと上限を共有します。文書化された制限には、画像あたり1,600万ピクセルと20 MB、動画あたり20 MBも含まれます。リストは最大1000入力、合計320,000トークンです。

既定の切り詰め設定では、長すぎる入力を切り詰めます。境界が画像の途中にある場合、その画像全体を破棄します。そのため、ページやシーン全体が上限内に入るよう準備すれば、入力内容をより予測可能に保てます。文書化された別の設定では、長すぎる入力を切り詰めずに拒否します。

ベクトル次元と検索の役割

既定の出力次元は1024で、このエディションには256、512、2048次元も記載されています。発表では、Matryoshka埋め込みと、浮動小数点、符号付きまたは符号なし8ビット、バイナリの各表現を説明しています。選択した次元と表現をインデックスとともに残してください。

Voyageの検索手順は、queryとdocumentの入力を区別します。クエリはテキストまたは画像を使用でき、インデックス化する文書ではテキストと視覚情報を組み合わせられます。完全な入力シーケンスごとに1つのベクトルが対応します。順位付きの結果を点検可能なままにするため、出典ページ、画像、シーンとの対応関係を保存してください。

返された視覚資料を使う

検索段階では、クエリに関連する報告書のページ、表、スライド、シーンを見つけられます。その後、回答作成や分析の段階が、その出典資料を読みます。表なら結果を使用する前に実際の見出しと値を確認し、シーンなら関連するフレームと対応テキストを確認してください。

voyage-multimodal-3との実質的な違いは、3.5エディションで明示的な動画対応と、追加の表現の選択肢が加わったことです。これらは出典資料を見つけるための埋め込み機能です。出力は数値ベクトルであり、生成された画像、動画、物語形式の回答ではありません。