VoyageAI by MongoDB: rerank-3

Voyage rerank-3 は、取得した根拠の品質を高めるために設計されたテキストリランカーです。クエリと候補文書の一覧を渡すと、各組を一緒に調べ、関連性の順に候補を返します。まず埋め込み検索やキーワード検索で大きな資料群を扱いやすい候補一覧に絞り、その一覧に rerank-3 がより詳しい関連性評価を適用します。出力は、アプリケーションが表示したり、別の回答生成段階へ渡したりする、採点済みの検索根拠です。

品質重視の Rerank 3 開発元は、rerank-3 を精度重視版、rerank-3-lite を遅延に敏感な検索向けの版と位置付けています。第 3 世代は基盤と学習データの混合を更新し、対応する 2.5 世代の前モデルに比べて、特に長文とソースコードの検索を改善しています。開発元は、技術文書、コード、多言語資料、その他の文書分野で評価しています。その結果は検索用途を裏付けるものです。自分の資料群で重要な質問と候補文書を使って、版を選んでください。

十分な文脈を持つ長い文書 長い候補には、冒頭の段落よりはるか後ろに有用な文脈がある場合があります。モデルが実際の質問と内容の関係を評価できるよう、まとまりのある節や文書を、タイトルと関連する周辺資料とともに渡してください。製品の方針を検索する場合は、対象文章の周囲にある見出しと例外を残します。同じ出典から複数の節を取得した場合は、文書と節の識別子を保持し、アプリケーションが選ばれた根拠の出所を示せるようにしてください。

コンテキストウィンドウは、クエリと各候補が共有します。開発元の現在のガイドは、各組を 32,000 トークン、そのうちクエリを最大 8,000 トークンとしています。したがって、3,000 トークンのクエリでは、各文書に残るのは最大 29,000 トークンです。特に長い前置きや繰り返しの定型文が容量を消費する場合は、重要な内容が収まるよう入力を用意してください。文書化された切り詰めオプションはデフォルトで有効で、長すぎるクエリや文書のテキストを採点前に短縮する場合があります。文章の位置が重要なら、何が残るかを確認します。

コードと技術情報の検索 コーディング支援の検索段階では、候補に関数実装、API 文書、技術的な説明をテキストとして含められます。似た候補を区別するために必要なシンボル、シグネチャ、文脈を含めてください。「末尾の区切り文字を維持しながらパスを正規化する関数を見つけてください」といったクエリは、照合する具体的な挙動を示します。関連する言語、プラットフォーム、バージョンの制約も添えます。順位付けの後、コンテキストに使う前に、選ばれたコードと依存関係を調べてください。関連性スコアは、実装がすべての要件を満たす証明ではありません。

指示で関連性を定める モデルは、Rerank 2.5 で導入された指示追従型の再順位付け能力を維持しています。利用者の意図を明確にする必要がある場合は、クエリの前後に簡潔な指示を添えてください。調査文書の検索では、タイトル、特定の手法、応用分野のいずれを重視するかを説明します。社内カタログでは、依頼がインストール、トラブルシューティング、互換性のいずれに関するものかを指定してください。指示を質問に合わせます。主な依頼と食い違う追加の希望は、ランキングが最適化しようとする対象を変える場合があります。

候補文書と予算を用意する 入力は、テキスト文字列の一覧です。原文書から使えるテキストを抽出し、意味のある節の境界を保ち、一覧とともに順序付きの記録対応を保持してください。開発元は、1 回のリクエストに最大 1,000 文書を認めています。また、入力全体の上限を 600,000 トークンとし、クエリのトークン数に文書数を掛け、すべての文書のトークン数の合計を加えます。これは組ごとのコンテキスト上限とは異なります。クエリの重複テキストを減らすと、組の容量とリクエスト全体の予算の両方を保てます。

語数や文字数がトークン数であると仮定せず、該当モデルでトークンを数えてください。大きな候補では、まとまりのある文章を選ぶか、有用な見出しで資料を分割し、親出典の情報を残します。再順位付けは、最初の検索が有望な候補をすでに見つけている場合に最も役立ちます。一覧に入らなかった出典を順位付けすることはできません。

順位付きの結果と後続での利用 結果には、元の入力文書を指す関連性スコアとインデックスが含まれ、関連性の高い順に並びます。top_k オプションは返す順位付き結果数を制限し、指定しなければすべての入力候補を返します。開発元の REST インターフェースでは、文書テキストも含められます。元の各インデックスから、タイトル、出典識別子、アプリケーションに必要なメタデータを取得し、選んだ項目を表示するか、関連テキストを回答の根拠用コンテキストにまとめてください。

上位結果を質問と照合し、出典の識別情報を見える形に保ちます。相対的な順位が高くても、文書の事実の正確さは検証されません。また、質の低い候補しかない一覧でも、先頭の項目は存在します。関連性による選択と、選んだ根拠で利用者に答えるのに十分かという判断を分けてください。

版の移行 開発元は、rerank-3 を、API の意味が同じで、対応する前モデルの分布にスコアを校正した、rerank-2.5 のそのまま置き換え可能な後継と説明しています。この互換性により、既存の検索段階と記録対応を維持できます。移行に頼る前に、現在の資料群で意味のある結果順序とスコア閾値を比較してください。rerank-3 と rerank-3-lite は別の選択肢として保ちます。上限と指示追従が共通でも、品質と遅延の優先度まで同じになるわけではありません。