Sentence Transformers: all-MiniLM-L12-v2

all-MiniLM-L12-v2は、文や短い段落を対象とするSentence Transformersのエンコーダーです。意味検索、情報検索、クラスタリング、文の類似度比較のために、テキストごとに384次元の密なベクトルを1つ生成します。MiniLM-L12-H384-uncasedバックボーンを使い、10億組の文ペアからなるコレクションで対照学習により微調整したモデルです。

検索したい単位をエンコードする

有用な考えを1つ表す文や短い段落を使用してください。商品説明のコレクションでは、その商品を区別する機能と条件を残します。「このアダプターは有線ヘッドセットをUSB-Cポートに接続します」は、「オーディオアクセサリー」より情報量の多い説明です。レコードの識別子と元の説明を、ベクトルとともに保存してください。

検索クエリは、エンコードされた説明と比較できます。最終的な選択を提示する前に、コネクターの種類や機器の互換性など、正確な要件について返された候補を点検してください。ベクトルはテキストの意味を表現し、その周囲の検索アプリケーションが対応するレコードを取得します。

平均プーリングと正規化ベクトル

公開されたエンコード例では、アテンションマスクを使ってトークン表現を平均し、パディング位置が平均に寄与しないようにしています。その後、L2正規化を適用します。これらは文ベクトルを取得する参照手順の一部であり、基になるTransformerから任意のトークンを取り出す指示ではありません。

インデックス化するテキストと新しいクエリの間で、モデル、プーリング、正規化の設定を一致させてください。得られた384成分の表現は、コサイン類似度で比較できます。その設定の記録をコレクションとともに残してください。別の384次元エンコーダーが、ベクトル長が同じというだけで互換になるわけではありません。

既定の入力長と学習範囲

メーカーは、256ワードピースを超えると既定で切り詰めると指定しています。これはトークナイザーの上限であり、通常の単語数や文字数ではありません。長いレコードは、意味的につながった短い節を選び、それぞれを解釈するために必要な見出しや識別上の詳細を残してください。

モデルの学習手順では、最大128トークンのシーケンスを使用しました。この学習設定は、公開されているエンコード時の既定値256ワードピースとは別です。既定の範囲に収まる文章でも、学習時の短い文の資料とは大きく異なることがあるため、長い説明や専門的な説明は代表的な例で評価してください。

類似度比較とクラスタリングのワークフロー

一連のサポートメッセージでは、埋め込みをグループ分け段階の数値入力にできます。人が読めるラベルを付ける前に、提案された各グループの複数のメッセージと、その境界付近のメッセージを確認してください。重複コンテンツの確認では、似たレコードを検索して実際の表現を比較します。2つの文章が同じ話題を扱いながら異なる指示を示している場合もあります。

この正確なL12-v2エディションは、英語の文埋め込みプロファイルです。all-MiniLM-L6-v2やparaphrase-MiniLMの各チェックポイントとは異なります。ファミリー名が共通でも、シーケンス設定やプーリング手順を引き継ぐわけではありません。類似度の値を検証済みの回答や最終的な編集判断として扱うのではなく、コンパクトな密なベクトルを原本レコードやタスクに即した評価とともに使用してください。