Sentence Transformers: paraphrase-MiniLM-L6-v2

paraphrase-MiniLM-L6-v2は、文や短い段落を対象とするSentence Transformersの埋め込みモデルです。各テキストを384次元の密なベクトル空間へ変換し、メーカーは用途として意味検索やクラスタリングなどを挙げています。公開されたアーキテクチャはTransformerと平均プーリングを組み合わせており、設定されたシーケンス長は128トークンです。

比較したい文章を表現する

実際の文または短い段落を準備し、主題と重要な条件を保ってください。実用的なコレクションには、表現の異なる質問や、関連する話題の短い説明を含められます。各レコードを埋め込みに変換し、元の表現と識別子を保持して、後の比較でテキスト自体を返せるようにします。

たとえば、複数のヘルプ質問が異なる用語で同じ問題を説明している場合があります。類似度を調べる段階で、それらの候補を集めた後、実際の問題について表現を点検できます。埋め込みは、その比較に使う数値表現です。モデル単体で言い換え文を書いたり、最終的なクラスタのラベルを付けたりするわけではありません。

平均プーリングとベクトルの利用

メーカーの直接エンコードの例では、トークン表現を平均する際にアテンションマスクを考慮し、パディング位置を除外しています。アーキテクチャは平均プーリングを明示的に選択しており、CLSプーリングや最大値プーリングは選択していません。比較可能なベクトルを準備する際は、このプーリング方法をモデルと一緒に管理してください。

返される各表現には384個の成分があります。インデックスやクラスタリングの段階では、選択した類似度設定でそれらのベクトルを扱い、基になる原本レコードは確認できるように残します。比較する項目では、同じモデル、入力準備、比較設定を維持してください。別のモデルが384個の値を返しても、その形だけで同じ埋め込み空間とはいえません。

公開設定における短い入力

参照用のSentence Transformer設定では、最大シーケンス長は128トークンです。長い資料は大きすぎる1段落としてではなく、意味的につながった短い単位に分けて準備してください。ルールを述べる文には、次の文の例外が必要な場合があります。収まる場合は、その小さな単位をまとめて保ってください。単語数や文字数だけでは、トークン長は直接分かりません。

短い説明の集合では、比較に重要な名前や識別上の特徴を残してください。曖昧なカテゴリだけを含むレコードは、同じ種類のほかのレコードと区別しにくいことがあります。返された候補を元の資料と照合できるよう、出典との対応関係をベクトルの外に保存してください。

検索とクラスタリングの結果

意味検索では、同じモデルでクエリとコーパスの資料を表現し、候補レコードを元のテキストとともに返します。クラスタリングでは、別の段階がベクトルからグループを作ります。グループ分けを製品上の判断や自動ラベルとして使う前に、クラスタの境界付近にあるレコードを点検してください。

有用な出力は、元のレコードに結び付けられた短いテキストのコンパクトな表現です。この正確なparaphrase-MiniLM-L6-v2チェックポイントには、固有のプーリング設定とシーケンス設定があります。all-MiniLMや多言語paraphraseの各変種は別のモデルプロファイルです。MiniLMという共通の名前だけでは、それらの学習内容、言語範囲、入力設定は分かりません。