jina-reranker-v2-base-multilingual

Jina Reranker v2 Base Multilingualは、情報検索の第2段階に使うテキスト順位付けモデルです。クエリと候補文書や文章を渡すと、各クエリ・文書の組を評価して関連度スコアを返します。検索や検索拡張ワークフローで、候補集合をより適切な順に並べることが有用な結果です。質問への回答の執筆や、文書の埋め込み作成は行いません。

クエリと候補文章を用意する

必要な情報が分かるクエリを書き、前段の検索が見つけたテキストを渡します。関連度スコアを元の文書、節、レコードに結び付けられるよう、各候補に安定した識別子を添えます。

サポート検索では、実際の質問と関連手順を含む候補抜粋を使います。特定の機器のリセットについてのクエリなら、機器名、バージョン、リセット条件を残した文章を組み合わせます。機器に言及するだけの文章より、求める操作を説明する文章が役立つ場合があります。文書名だけでなく、比較に必要な内容を渡してください。

意味のまとまった文章を使います。表の見出し、定義、例外は、段落とクエリの関係を変えるため、候補の長さを揃えるだけの目的で取り除かないでください。再ランキングは渡された候補を評価する処理であり、前段の検索が漏らした関連文書は取り戻せません。

クエリと文書の採点

これはクロスエンコーダーで、クエリと候補テキストを一緒に処理します。直接の採点インターフェースは、対応する各組に浮動小数点の関連度スコアを返します。その比較では、高いスコアほど関連性が高いことを示します。スコアは順位付けの手掛かりであり、生成した説明や文書の真実性の証明ではありません。

メーカーは、スコア付きの並び替え済み文書を返す再ランキング用ヘルパーも提供しています。上位件数の制御で残す候補数を選びます。次の段階に渡す際は、識別子とテキストを保持します。質問応答では、次のモデルにもクエリと選択した証拠が必要です。順位リスト自体は質問の回答ではありません。

検索方法の変更を比較する場合は、クエリと評価基準を固定します。上位に上がった文章が、本当に必要な情報を含むか確認します。関連度スコアを回答の正しさの普遍的な尺度とせず、自分の資料集合の例から絞り込みのしきい値を決めてください。

モデル枠と長い文書

モデルは最大1,024トークンのコンテキストに対応します。記載されたrerank()ヘルパーはスライディングウィンドウで長い文書を扱い、各部分を別々に採点し、文書単位の結果にまとめます。分割はそのヘルパーの動作であり、1回のモデル入力が無制限のコンテキストを持つことと混同してはいけません。

ヘルパーは、クエリ長、チャンク長、重複範囲の設定を公開しています。記載された重複範囲の既定は80です。公開の使用例は最大クエリ長512、チャンク長1,024を指定しています。これらはヘルパーの設定例であり、すべての呼び出し元や経路が使うという約束とは区別します。

長いマニュアルでは、手順と条件が一緒に入るだけの周辺テキストを残します。結果の評価では、高順位の文書のすべての節が同じように答えると想定せず、関連部分を調べてください。

多言語と専門的なテキスト検索

v2は多言語モデルです。メーカーの例では、英語のクエリに対し、英語、ドイツ語、スペイン語、中国語、日本語の文章を順位付けしています。候補をすべてクエリの言語に翻訳せずに、複数言語で書かれた関連資料を扱えます。

記載された用途には、コード検索、関数やSQLに関連するテキスト表現の順位付けもあります。いずれも、渡されたテキストの関連度を評価するタスクです。そのような候補が集合に含まれるだけで、関数実行、SQL実行、ツール結果の生成を行うわけではありません。

版と実用上の制限

このv2 Base Multilingual版は、以前の英語専用Jina Reranker、Jina Reranker v3、マルチモーダルの再ランキング版と分けます。タスクと入力特性が異なる別モデルです。この版の入力はクエリとテキストの組であり、画像や動画には適切な別の表現やモデルが必要です。

メーカーの参照実装は、直接のスコアと文書順位付けヘルパーに対応し、高速化アテンションを任意で使えます。これらの実装上の選択は入力の準備と処理に影響しますが、すべての連携が同じ制御を公開するとは限りません。

順位付けの出力は、多言語検索、サポート知識ベース、文書検索、生成前の証拠選択に使います。上位の文章を確認し、元の候補との対応を保ち、関連性と事実の妥当性を分けます。有用な検索結果は、渡された適切な証拠を前に出し、回答、要約、判断という次のタスクを適切なワークフローへ引き継ぎます。