Sentence Transformers: all-MiniLM-L6-v2

all-MiniLM-L6-v2は、文や短い段落を対象とするSentence Transformersのエンコーダーです。検索、クラスタリング、文の類似度比較のために、各テキストを384次元の密なベクトルへ変換します。MiniLM-L6-H384-uncasedバックボーンを、10億組の文ペアからなるコレクションで対照学習により微調整したモデルです。

簡潔で意味のあるレコードを準備する

検索結果に表示するべき文や段落を選んでください。FAQのコレクションでは、質問と、その話題を区別する短い説明を残します。忘れたパスワードのリセットに関する文章なら、「アカウント」のような単語だけに縮めず、リセットの手順を保持してください。

長い記事は、意味的につながった短い節としてインデックス化し、出典の位置を残します。クエリのベクトルを保存済みの表現と比較して候補の節を検索し、元の文章を表示して、読者が実際の指示を確認できるようにしてください。

文の表現を取得する

メーカーの直接エンコードの手順は、アテンションマスクでパディング位置を平均から除外し、トークン表現を平均します。その後、L2正規化を適用します。これらの手順によって比較に使う文の埋め込みが得られます。基になるTransformerの個々のトークン表現は、異なる役割を持ちます。

各出力には384個の成分があります。コレクションを構築するときと、その後のクエリをエンコードするときは、同じチェックポイント、プーリング、正規化を使用してください。得られたベクトルはコサイン類似度で比較できます。類似度の値は、その設定下で候補に順位を付けるのに役立ちますが、候補が質問に答えているかを決めるのは元のテキストです。

長さとエディションの境界

公開されている既定設定では、256ワードピースを超える入力を切り詰めます。このトークナイザーの単位は、通常の単語や文字に直接対応するものではありません。重要な条件はインデックス化する単位の中に残し、長い手順はエンコードする前に意味のある境界で分割してください。

学習シーケンスは128トークンに制限されていました。その学習設定は、エンコードに使う既定値256ワードピースとは別です。特に長い文章や専門的な文章では、入力の境界内に収まることで、すべての詳細が等しく扱われると想定せず、代表的なクエリと文章の例を使って検索動作を評価してください。

この正確なL6-v2エディションは、英語の埋め込みプロファイルです。L12-v2やparaphrase-MiniLMの各エディションには、別のモデルIDと設定があります。MiniLMという共通名や384次元の出力だけでは、ベクトルを互換で使えるとはいえません。

検索、類似度比較、グループ分け

重複する質問の確認では、レコードを統合する前に、似た質問を検索して実際の表現を比較してください。「自分のパスワードをリセットできますか」と「管理者は別のユーザーのパスワードをリセットできますか」は、関連する話題ですが権限が異なります。この違いをエンコード対象のテキストと確認段階の両方で維持してください。

クラスタリングでは、埋め込みをグループ分け処理の数値入力として使い、グループに名前を付ける前に代表的なレコードを点検します。このモデルが提供するのはベクトルであり、文章のクラスタラベルや生成されたFAQの回答ではありません。有用な結果は、元のレコードとのつながりを保った短い原文のコンパクトな表現です。