Thenlper: GTE-Large

GTE-largeは、Alibaba DAMO Academyが学習した大型のGeneral Text Embeddingsモデルです。主にBERTフレームワークを基にした英語テキストエンコーダーで、入力ごとに1024次元の密な表現を生成します。メーカーは、複数の分野にまたがる関連性を持つテキストのペアでGTEファミリーを学習し、検索、テキストの意味的類似度比較、テキストのリランキングを後続の用途として挙げています。

節の内容を表現する

検索クエリと比較する英語の文章を準備してください。技術報告書のコレクションなら、短い節の主題、観測、関連条件を残します。特定の負荷でのみ振動が起きると説明する報告書では、振動についての一般的な記述だけを残さず、その条件を維持するべきです。

保存するベクトルに、出典識別子、文書タイトル、節の位置を結び付けてください。クエリで候補の節を検索しながら、機器、条件、結論を確認できるよう、元の報告書を参照可能なままにします。埋め込みは、文章の内容の数値表現を提供します。

プーリング、正規化、ベクトルの利用

公開された手順は、アテンションマスクでパディングを平均から除外し、トークン表現に対して平均プーリングを行います。任意のL2正規化と、その後の正規化ベクトルの内積比較も示されています。Sentence Transformersの例は、コサイン類似度を使用します。

コレクション側とクエリ側で、同じ準備、プーリング、比較設定を維持してください。各表現は1024個の成分を含みます。成分数が多いことはエディションの詳細であり、GTE-largeのベクトルを768次元のGTE-base表現や別の1024次元エンコーダーと混在させられる証明ではありません。

リランキングのワークフローでは、クエリの埋め込みを検索済みの候補埋め込み集合と比較し、そのレコードを並べ替えられます。そのベクトル比較と、クエリと文章のペアを一緒に評価する別のモデルとの違いを維持してください。

入力長と英語の制限

モデルカードは、この正確なモデルを英語テキストに明示的に限定し、長い入力を最大512トークンに切り詰めます。長い技術報告書は意味的につながった節に分割し、各節が単独で理解できるだけの局所文脈を残してください。文が前の条件説明に依存する場合は、収まる範囲で、その条件を同じインデックス単位に含めます。

トークン境界は、見た目の単語数とは異なります。準備した節の長さを確認し、意図した検索に必要な詳細が、切り詰め後に保持される部分の外に置かれていないことを確かめてください。

検索された証拠を点検する

報告書検索のアプリケーションでは、候補の節を出典の位置とともに提示し、実際の内容を点検します。似た観測でも、原因や推奨事項が異なる場合があります。ベクトルスコアは、選択した比較設定の下で候補に順位を付けるために役立ちますが、報告書の結論が新しい状況に当てはまる証明ではありません。

RAGでは、選択した節を回答作成段階の出典文脈として使用し、文書との対応関係を保持してください。この正確なGTE-largeプロファイルは、1024次元と512トークンの入力境界を持つ英語の密な埋め込みを提供します。後のGTE多言語エディションやコンテキスト拡張エディションは別のモデルIDを持つため、それらの言語範囲や入力設定を、このチェックポイントのファミリー名から推測することはできません。