VoyageAI by MongoDB: rerank-2.5-lite

rerank-2.5-lite は、Voyage AI の 2.5 リランカーリリースの軽量モデルです。開発元は、自然言語の指示追従と多言語対応を備え、遅延と関連性の品質のバランスを取る汎用モデルと説明しています。入力はクエリと候補テキストで、出力は関連性スコアを伴う、調整された候補の順序です。

軽量な第 2 段階の関連性判断

Lite モデルは、クロスエンコーダーとして各クエリ・文書の組を一緒に処理します。第 1 段階の埋め込み検索や語彙検索の後に使い、その段階で選ばれた文章を絞り込めます。これは、再利用可能な埋め込みインデックスの準備とは異なります。リランカーは、今回の関連性判断のために、送信されたクエリと文書テキストを一緒に調べます。

対話的なヘルプ検索では、利用者の質問に答えられそうな説明を候補として渡してください。各文章には、挙動とその条件が伝わるだけの内容を残し、入力インデックスと出典項目の対応を維持します。焦点を絞った候補群は、再順位付けの作業を明確にしつつ、取得した根拠を表示や後の回答に使える状態に保ちます。

指示で利用者が優先したいものを表す

rerank-2.5 と同様、Lite はクエリの前後に自然言語の指示を受け取れます。開発元の例では、文書の構成要素を強調し、望ましい出典の種類を選び、あいまいな語に文脈を加えています。アプリケーションで常設の関連性の希望を与えたり、現在の質問により具体的な希望を含めたりできます。

サポートのクエリ例では、どの文章がエラーを説明するかを問い、一般的な製品説明よりトラブルシューティングの手順を優先するよう指示できます。文書検索では、方針の議論ではなく、元の方針の文言を求められます。求める根拠を説明し、指示は簡潔にしてください。指示は関連性スコアに影響します。関連性の希望を保証されたフィルターとみなさず、厳密なバージョン、日付、権限の制限は候補選択時に適用します。

順位を読み、元の文章を返す

出力は、関連性の高い順に並びます。各結果には、元の文書インデックスと浮動小数点スコアが含まれ、任意の return-documents 設定を使うと、対応する入力テキストも返されます。top-k オプションは返す上位結果数を決め、省略すると送信した全候補の順位を返します。

これらのインデックスを使い、元の文章と識別子を取得してください。再順位付けした候補は、検索結果や次の RAG 段階の根拠にできますが、出力は提供テキストの順序であり、書き直した回答ではありません。資料群に実際に含まれる言語や文書の種類も含め、上位文章が質問と関連性の指示の両方を満たすかを評価してください。

上限と実用的な候補予算

2.5 Lite 版の文書化された上限は、クエリが 8,000 トークン、クエリと各文書の合計が 32,000 トークンです。以前の rerank-2-lite モデルや、その小さいコンテキストとは異なります。送信できる文書は最大 1,000 件で、総入力は、クエリのトークン数に候補数を掛け、候補文書のトークン数の合計を加えた式で、600,000 トークンに制限されます。

遅延に敏感な用途では、開発元の FAQ は、rerank-2.5-lite の 1 リクエストの総量を 200,000 トークン以下にするよう推奨しています。これは公表上限より低い実用的な指針であり、別の文書単位のウィンドウではありません。長いクエリや指示は候補の各組で 1 回ずつ数えるため、候補数とクエリ長の両方が総量に影響します。

切り詰めはデフォルトで有効で、上限を超えるクエリや文書の入力を収まる長さに短縮します。無効にすると、長すぎるクエリや組でエラーが返ります。有用な根拠が切り詰め境界の外に残らないよう、短く、答えを含む候補を意識して用意してください。top-k で出力結果を減らしても、他の送信候補がトークン計算から除外されるわけではありません。返された元の文章を確認し、検索画面が実際に答える必要のある質問に合わせて入力準備を改善します。