Voyage AI: Voyage Context 3

Voyage Context 3は、文書検索のために、文脈を取り込んだチャンクの埋め込みを生成します。各チャンクに固有のベクトルを与えつつ、同じ文書から渡された他のチャンクも考慮します。これにより、検索システムは、局所的な文章と、原資料の別の場所で導入された対象や話題などの文書全体の文脈を合わせた表現を得られます。

各文書を、読みやすいテキストチャンクの順序付きの並びとして用意します。同じ文書のチャンクをまとめ、元の順序を保ってください。開発元の文脈付き埋め込みワークフローでは、それぞれの内部グループに一つの原資料のチャンクが入り、別のグループは別の原資料を表します。このグループ分けは入力の意味の一部であり、表現対象の文書に属する周辺のテキストがどれかをモデルに伝えます。

例えば、冒頭で会社を特定し、後の段落でその成長を説明する報告書に役立ちます。その会社の成長を探すには、特定の段落と、どの文書かを示す情報の両方が必要です。結果に文章を表示し、完全な原資料にリンクできるよう、元のチャンクのテキストと親文書のメタデータを、生成されたベクトルとともに保持してください。

開発元のリファレンスは、リクエスト全体で最大120,000トークン、入力グループ数は最大1,000、チャンク数は合計で最大16,000と文書化しています。モデルガイドには、これとは別に、チャンクごとに32,000トークンのウィンドウが記載されています。資料を用意するときは、これらの範囲を区別してください。一つのチャンクの上限とリクエスト全体の上限は、異なる入力サイズを表します。同じリクエストの各チャンクをすべて最大まで埋められると考えず、原資料を分割した後で合計を確認します。

文書検索では、グループ化した文章をドキュメント入力として指定します。各検索質問は、それぞれ独立したクエリグループとして用意してください。開発元は、文書チャンクを重複させずに渡すことを推奨しています。文脈を取り込んだ表現が周辺の情報を保持するため、各文章に同じテキストを繰り返す必要がありません。索引に書き込む際は、文書グループ、チャンク位置、返されたベクトルの対応を保持します。

Voyage Context 3は、2,048、1,024、512、256次元と、浮動小数点、8ビット整数、バイナリーの出力形式に対応します。索引用の表現を選び、同じ原資料の文書と質問で評価してください。クエリの表現と保存したベクトルが一貫するよう、選んだ次元数とデータ型を索引とともに保持します。

生成されたベクトルは、文章検索、文書の発見、報告書、研究論文、契約書、技術マニュアルを扱うアシスタントの検索段階に利用できます。結果は特定の文章を示し、原資料のリンクからは、その文書の他の箇所にある定義や留保条件を参照できます。ベクトルとともに、文書の版と権限をアプリケーションのメタデータとして保持してください。

局所的な詳細と文書全体の文脈の両方が必要な質問を試します。異なる原資料の似た文章、冒頭でのみ紹介される固有の対象、根拠が複数の節にまたがる質問を含めてください。期待するチャンクが取得されるか、それを解釈するための周辺のテキストをアプリケーションが十分に示すかを確認します。原資料が変わったときは、文脈付きのチャンクが一つの整合した版に対応するよう、影響を受ける文書グループを意図して再生成してください。