Intfloat: Multilingual-E5-Large

Multilingual-E5-Large は intfloat の多言語密テキスト埋め込みモデルで、24層構成、出力は1024次元です。XLM-RoBERTa Large を初期値とし、多言語データでさらに学習されています。モデルカードでは、XLM-R の100言語の対応範囲をサポートすると説明する一方、低リソース言語では性能が弱くなる点にも触れています。そのベクトルは、検索、意味比較、数値特徴量のタスク向けにテキストを表現します。

すべての言語で入力のロールを保つ

学習時のプレフィックスは「query:」と「passage:」で、英語以外のテキストでも同じです。検索クエリとそのコーパスのパッセージには、それぞれ対応するロールを付けます。プレフィックスは英語の文字列のまま使い、原文の文言は元の言語のまま保ちます。対称的な意味類似度、言い換え検索、対訳マイニング、特徴量としての利用では、開発元は「query:」を推奨しています。

実用的なコレクションには、対応する複数の言語のドキュメントを収めることができます。各パッセージの言語、原文、出典の位置をベクトルとともに保持します。英語での1回のテストがコレクション全体を代表すると考えるのではなく、実際の利用者による検索質問を用意します。出力では実際のパッセージとその文脈を返し、読み手が内容を判断できるようにします。

多言語のマッチングタスクでは、比較の目的を明確にしておきます。翻訳の候補ペアと、根拠となるパッセージを探すクエリとでは、準備の仕方が異なります。モデルのロールプレフィックスに関するガイダンスは、こうしたタスクに具体的な規約を与えます。プレフィックスを省略すると学習時の入力パターンが変わるため、ドキュメントに記載された同等の扱いにはなりません。

プーリングとベクトルの比較

開発元の例では、アテンションマスクでパディングを除外しながらトークン表現を平均し、その後ベクトルを正規化します。正規化したベクトルの内積がコサイン類似度になります。1024次元の配列は、準備済みの1つのテキストを表します。保存したベクトルには正確なモデルと準備方法を紐づけておき、後のクエリでも対応する表現を使えるようにします。

これらのベクトルは、候補のランキングや、後段のクラスタリング・分類ステージ向けの特徴量を提供できます。原文を翻訳したり回答を作成したりするものではありません。検索結果を読み手や後段の RAG 生成ステージの裏付けとして使う場合は、元のパッセージのテキストを返します。

学習と言語カバレッジ

モデルカードには、弱教師ありの対照事前学習と、それに続く教師ありファインチューニングが記載されています。多言語の準備段階にはタイトルとパッセージのペア、会話ペア、翻訳ペアなどの素材が含まれ、後段ではラベル付きの検索データと言語理解データが用いられます。これは想定されたテキスト表現タスクを説明するものであり、すべての言語で同等の性能を保証するものではありません。

開発元は、低リソース言語での性能低下を制約として明示しています。略語、固有名詞、専門用語を含め、コレクション内の実際の言語と表現を確認します。「多言語」というラベルは対応範囲の説明として役立ちますが、返されたテキストの関連性は、利用者とタスクに照らして確認する必要があります。

長さと有用な結果

長い入力は最大512トークンに切り詰められます。長い文書は、ロールプレフィックスと関連する見出しを含めた、まとまりのあるパッセージとして準備します。定義や限定条件は、それが影響する記述のそばに残し、親文書の識別子と出典のバージョンはベクトルの外で保持します。

開発元は、絶対値を普遍的な確信度の尺度として扱うのではなく、コサインスコアの相対的な順位に注目することを推奨しています。有用な結果とは、候補パッセージの集合、比較可能なテキスト表現、または元のレコードに紐づいた特徴量です。このモデルは、別のモデルが同じく1024個の値を返す場合でも、英語専用の E5 v2 チェックポイントや、指示チューニング済みの E5 バリアントとは別のモデルです。