Voyage AI: Voyage 3 Large

Voyage 3 Largeは、文書の集合から関連する情報を見つけるためのテキスト埋め込みモデルです。提供されたテキストを数値ベクトルで表し、検索の質問と、表現が異なっていても意味が関連する文章をアプリケーションが比較できるようにします。Voyage AIは、この版を汎用・多言語検索向けに位置付け、技術文書、会話、長い文書などを対象としています。

検索対象の集合は、人が実際に取り戻す必要がある情報から作ってください。製品のナレッジベースでは、機能の説明を前提条件や関連する例外とまとめて保持します。会議の記録では、話者ラベルと、話題を理解するのに十分な周囲の議論を残します。大きな原資料は意味のある境界で分割し、各ベクトルに、原資料のタイトル、文書ID、文章の位置を添えて保持してください。

検索する質問をクエリ、索引に登録する資料をドキュメントとして用意します。開発元のテキスト埋め込みワークフローでは、入力タイプが、テキストの検索上の役割をモデルに伝えます。例えば「セキュリティキーを紛失したメンバーは、どうすればアクセスを回復できますか？」というクエリを、表現が違っていても、回復手順を説明するサポートの文章と比較できます。検索結果で一致の根拠を示せるよう、元の文章を参照できる状態にしてください。

モデルのコンテキストウィンドウは32,000トークンです。長い入力なら節全体を保持できますが、文書全体が常に最も有用な検索単位とは限りません。広い内容のベクトルは、正しいファイルを示しても、正確な回答を探す作業を読者に残す場合があります。表示したい結果に沿って文章の境界を選び、見出し、適用条件、定義を、それらが説明する内容とともに保持してください。

Voyage 3 Largeは、2,048、1,024、512、256次元のベクトルに対応します。開発元は、浮動小数点、符号付きまたは符号なしの8ビット、バイナリーの表現も文書化しています。これらの選択肢により、ベクトルの詳細度、索引のサイズ、検索動作を比較できます。目的のベクトルストアがサポートする形式を選び、本番の索引設定を決める前に、実際のコーパスと代表的な質問で評価してください。

多言語検索では、利用者が使う言語のテスト質問を含め、取得した原資料の文章を元の言語で確認します。共通の検索インターフェースで複数の言語の集合を扱いつつ、文書のメタデータで原資料の言語と版を識別できます。埋め込み前に一般的な要約へ置き換えず、抽出時には意味のある名前、略語、専門用語を保持してください。

検索ページ、知識アシスタント、文書選択の工程で、候補の文章を取得するためにベクトルを使います。索引の集合とそのクエリには、同じモデルとベクトル設定を使ってください。埋め込みモデルを置き換えたり、ベクトル次元数を変えたりするときは、対象の索引を意図して作り直し、比較します。ベクトルの長さだけでは、どのように作られたかは識別できません。

検索の有用性で結果を評価してください。正しい文章が現れるか、似ていても誤解を招く文章が上位になるか、表示する抜粋に回答が含まれるかを確かめます。曖昧な表現やほぼ重複した文書を含め、実際の質問と期待する原資料の小さな集合を保持してください。埋め込みは検索可能な表現を提供し、アプリケーションが、一致を使える結果にするための原文、権限、リンクを保持します。