Intfloat: E5-Base-v2

E5-Base-v2 は intfloat の12層の英語埋め込みモデルで、768次元の表現を出力します。準備したテキストを1つの数値ベクトルに変換し、検索、意味比較、または別のタスクの特徴量として利用できます。Base v2 チェックポイントは、24層・1024次元の Large v2 エディションや、別途学習された多言語 E5 モデルとは異なります。

学習済みのロールプレフィックスを使う

E5 は入力の先頭にロールが付いていることを前提としています。パッセージ検索では、質問の先頭に「query:」を、答えを含み得る出典の先頭に「passage:」を付けます。意味類似度や言い換え検索のような対称的なタスクでは、開発元は両側に「query:」を付けることを推奨しています。ベクトルをクラスタリングや分類の特徴量として使う場合も、同じプレフィックスが推奨されています。

たとえば、フィードバックのコレクションには、同じ改善を求める言い回しの異なる要望が複数含まれることがあります。それらのレコードを推奨される対称的な準備方法でエンコードし、得られたベクトルを比較またはクラスタリングします。各表現に原文とレコード識別子を保持しておけば、クラスタを説明のない数値の集まりではなく、実際の顧客メッセージとして確認できます。

検索用のコレクションでは、質問と出典パッセージをそれぞれ対応するロールで準備します。有用なクエリの例は「query: Which setting changes the notification frequency?」（通知頻度を変更する設定はどれか）です。コーパスのパッセージには、説明とそれに関連する条件を残します。プレフィックスはモデルの学習時の準備方法の一部であり、省略すると性能が低下すると開発元は述べています。

表現をプーリングして比較する

公式の例では、アテンションマスクを考慮してパディングを除外したトークン表現の平均を計算し、得られたベクトルを正規化します。正規化した埋め込み同士の内積がコサイン類似度になります。出力される768個の値は1つのテキストを表すものであり、回答、クラスラベル、ペア単位のリランカースコアではありません。

クラスタリングのワークフローでは、別のステージがこれらのベクトルからグループを形成します。分類のワークフローでは、別のステージがそれらを入力特徴量として使います。この区別を保つと結果を解釈しやすくなります。埋め込みはレコードを表し、グループやラベルは後段のタスクが決定します。比較する表現には、1つのモデルと1つの準備規約を一貫して使います。

英語と512トークンの範囲で扱う

モデルカードによると、このエディションは英語のみに対応し、長いテキストは最大512トークンに切り詰められます。必要なロールプレフィックスを含め、その範囲内でまとまりのあるパッセージを準備します。長いレビュー、レポート、マニュアルは、末尾が失われる大きすぎる入力として埋め込むのではなく、意味のあるセクションごとに分割します。

見出しはそれが導入する文と一緒に保ち、ルールの意味を変える条件や例外も残します。フィードバックのような短いレコードは、収まる場合はメッセージ全体を保持します。ベクトルの横に出典の識別子とバージョンを保持しておけば、後でコレクションを更新する際に正しいレコードを置き換えられます。

タスクに応じて類似度を解釈する

開発元は、コサインスコアの絶対値よりも相対的な順位のほうが重要だと説明しています。絞り込みのしきい値はコレクション自身の事例で評価すべきであり、ベクトルの類似度は、ラベルの一致や正しい回答の確率として較正されたものではありません。ベクトルの使い方を決める際は、近傍のレコードや既知の不一致例を確認します。

有用な成果物は、英語の検索インデックス、意味比較のセット、または出典レコードと対になったテキストの数値特徴量です。この Base v2 プロファイルは独自の次元数、プーリング、ロールの準備方法を持っています。他の E5 エディションのベクトル形状や言語カバレッジが、互換性のある表現を保証するわけではありません。