bge-reranker-v2-m3

BGE Reranker v2 M3 は、BGE-M3 を基に構築された多言語の関連度モデルです。クエリと候補の文章を一緒に受け取り、その関係を表すスコアを返します。BAAI はこのエディションを、中国語や英語の検索を含む効率的な多言語リランカーとして位置付けています。検索アプリケーションで、既存の候補一覧を絞り込む場合に使います。

クエリと文章のペアから関連度を求める

クロスエンコーダーは両方のテキストを共同で処理し、内容を相互に作用させてから関連度スコアを生成します。各テキストを独立して符号化し、再利用可能なベクトル比較を行う埋め込みモデルとは異なります。リランカーの出力は、特定のペアに対するスカラーのスコアであり、文書ベクトルや文章による回答ではありません。

最初の検索で適切そうな文章が選ばれた後に使います。質問を各候補と組み合わせ、得られたスコアで候補を並べ替えます。これにより、大規模なコレクション内のすべての文章をクロスエンコーダーに調べさせる代わりに、管理可能な候補の短い一覧へ詳細な比較を集中できます。

v2 M3 エディション

メーカーは、BGE-M3 をベースモデルとして示し、多言語対応を主要な特長として挙げています。v2 リランカーファミリーの中で、M3 は効率的な多言語向けの選択肢です。Gemma ベースのモデルやレイヤー選択型のバリアントは、実装上の選択が異なる別モデルです。ここでの M3 という名前は、元の埋め込みモデルが持つ密、疎、マルチベクトルの埋め込みを、このリランカーが返すという意味ではありません。

この違いは、アプリケーションで必要な結果を選ぶ際に重要です。文書コレクションを表現して検索するには埋め込みモデルを選びます。すでに候補の文章があり、現在のクエリに最も関連する文章を判断するには、このリランカーを選びます。

有用に順位付けできる候補を用意する

実際の質問と、解釈に必要な候補の全文を提供します。文章の意味を決める見出しや近くの定義は保持してください。公開されている Transformers の例では、クエリと文章を一緒にトークン化し、切り詰めと max_length=512 を使っています。これは例の設定であり、モデル全体の上限ではありません。質問と必要な根拠を、選んだペアの枠内に収め、切り詰めで何が削除されるか確認します。クエリと同じ製品に言及する結果でも、別の操作や条件を扱っていれば無関係なことがあります。検索品質を評価するときは、これらを区別できる例を用意してください。

文書アシスタントでは、候補の識別子を文章と一緒に保持し、質問と文章のペアを採点して、選んだ原文を回答工程に渡します。回答モデルには、出典のない関連度スコアではなく、根拠そのものが渡されます。これは検索ワークフローの例です。リランカー自体は、外部コレクションの検索も、回答の執筆も行いません。

スコアの読み方と正規化

メーカーは、生の関連度スコアを返します。値が高いほど一致度が高いことを示します。文書化された任意の正規化では、シグモイド関数を適用し、スコアを 0〜1 に収めます。正規化されたスコアは扱いやすい範囲になりますが、この変換だけで、候補が正しいという較正済みの確率になるわけではありません。

順位付けやフィルタリングの閾値は、実際のワークロードを代表するクエリと文章のペアを使って選びます。同じキーワードを含みながら別の質問に答える文章と、異なる表現で関連する文章の両方を含めてください。これにより、選んだ閾値が検索対象のコレクションにとって意味を持ちます。

Ailoot API のプロジェクトでは、最終コンテキストに含めるべき内容と、効率的に調べられる候補数を定義します。有用な結果は、次のアプリケーション工程に向けて、より良い順序に並んだ根拠の集合です。このエディションの関連度出力を、文書埋め込み、生成文章、他のリランカーに文書化されたレイヤー選択の制御機能と区別して扱います。