Google: Gemini Embedding 2

Gemini Embedding 2は、テキスト、画像、動画、音声、PDFを数値で表現するためのGoogleのマルチモーダル埋め込みモデルです。異なるメディア型を共通の空間へ写像し、アプリケーションがそれらを横断して意味を比較できるようにします。結果は、意味検索、文書検索、推薦、分類、クラスタリングに有用な数値ベクトルであり、文章の回答や生成されたメディアファイルではありません。Googleは、100を超える言語にまたがる意味の表現を文書化しています。

ナレッジベースでは、原本の文章にベクトルを作成し、ユーザーのクエリを比較して関連資料を検索します。その後、別のテキストモデルがそれらの出典を使って回答を作成できます。メディアコレクションでは、文章の説明で関連する画像や動画を検索でき、画像もクエリに使用できます。検索結果を元の文脈で点検して表示できるよう、ページやクリップの参照を含め、各ベクトルと原本コンテンツのつながりを維持してください。

全体の入力上限は8,192トークンです。安定版のガイドは、最大6枚のPNGまたはJPEG画像、最大180秒のMP3またはWAV音声、最大120秒のMP4またはMOV動画を許可しています。文書化された動画コーデックはH264、H265、AV1、VP9です。動画処理は最大32フレームを使用します。32秒までのクリップは毎秒1フレームでサンプリングし、より長いクリップは32フレームに均等サンプリングします。その動画入力では音声トラックを処理しません。検索に音が重要な場合は、音声を別に埋め込んでください。

PDF入力は、最大6ページの1ファイルを受け付けます。Googleは最高品質のために、PDFごとに1ページを推奨しています。大きな原本は意味のあるページや節に分割し、元の文書との関係を残してください。上限に収まるという理由だけで無関係な資料を組み合わせず、検索対象を表す抜粋を選びます。混合メディアのリクエストにも共通のトークン境界が適用されます。各PDFページは、抽出されたテキストのトークンに加え、258視覚トークンを消費します。Googleの文書化されたワークフローでは、共通の8,192トークン上限を超えるコンテンツは、エラーなしで切り詰められます。

出力次元は128〜3,072で柔軟に設定でき、既定は3,072、推奨サイズは768、1,536、3,072です。モデルはMatryoshka Representation Learningを使用するため、より小さい次元でもベクトルの先頭部分が有用なままです。ガイドには、既定のベクトルと短縮ベクトルの両方について、自動正規化が記載されています。アプリケーションが比較するレコードとクエリの次元を統一してください。指定サイズが変えるのは数値表現であり、原本コンテンツ自体ではありません。

テキストのみのタスクでは、古いtask_typeフィールドを使わず、目的をテキストに含めます。Googleは非対称検索と対称比較を区別しています。検索クエリには“task: search result | query: {content}”、原本文書には“title: {title} | text: {content}”を使用し、タイトルがなければ“title: none”を使います。質問応答、ファクトチェック、コード検索には、それぞれ固有のクエリ接頭辞があります。分類、クラスタリング、文の類似度比較では、両側に同じタスク形式を一貫して使ってください。ガイドは一般に、統合したマルチモーダル表現のテキスト部分にタスク接頭辞を追加しないよう勧めています。

入力構造によって、結果が1つの統合対象を表すか、別々の項目を表すかが決まります。複数のパートをまとめて入力すると集約された埋め込みになり、Contentオブジェクトを分けると項目ごとに別の埋め込みになります。テキストと画像を含む投稿では、統合表現で両者の関係を捉えられます。独立して検索するレコードは分けてください。この選択は検索の粒度に影響します。投稿全体に1つのベクトルを持たせることと、各文章や画像に1つずつ持たせることは異なります。

ガイドは、Gemini Embedding 001とGemini Embedding 2のベクトルが互換性のない空間を占め、直接比較できないと述べています。古いモデルから移行したコレクションは、新しい空間向けに再度埋め込みを作成する必要があります。比較するベクトル間でモデルの選択と次元を一致させ、原文とメディアは数値インデックスと別に残してください。埋め込みの類似度は検索信号であり、文書がユーザーの質問に答える理由を事実として説明するものではありません。

実用的なカタログでは、写真と承認済みの説明を1つの対象として検索したい場合、商品の写真と説明を一緒に埋め込んでください。文書コレクションでは、焦点を絞った文章を埋め込み、目的に沿う形式のクエリと比較し、検索結果とともに原文を提示します。音声や動画では、検索対象の事象を説明する区間を選び、元の時間範囲を保持してください。有用な成果物は、アプリケーションの次の検索や分析の段階に使う、出典の証拠と結び付いた数値表現です。