Google: Gemini Embedding 2 Preview

Gemini Embedding 2 Previewは、Googleのネイティブなマルチモーダル埋め込みファミリーに属する、Previewという名前のエディションです。テキスト、画像、動画、音声、PDFを共通の数値空間へ写像し、100を超える言語の意味的な意図を表現します。出力は埋め込み、つまり関連する資料を比較して検索するためのベクトルです。このPreviewのモデルIDは、安定版Gemini Embedding 2とは別であり、ウェイトの互換性や同一のベクトル空間を意味しません。

当初の発表は、後続の用途としてクロスモーダル検索、分類、クラスタリング、感情分析、検索拡張生成を説明しています。テキストのクエリで関連する視覚資料を探せる一方、画像やクリップを検索の起点にもできます。アプリケーションは表現を保存して比較し、対応するレコードを返します。別の言語モデルが検索された出典資料を使って回答を起草できます。埋め込み自体に、自然言語の説明や文字起こしが含まれるわけではありません。

このエディション独自のモデルページには、8,192トークンの入力上限と128〜3,072の出力次元が記載され、768、1,536、3,072が推奨サイズです。Previewの発表は既定値を3,072とし、表現の短い先頭部分にも有用な情報を保持するMatryoshka Representation Learningを説明しています。比較する必要があるベクトルには選択した次元を統一し、コレクションとともにモデルエディションを記録してください。長さが一致するだけで表現を統合しないでください。

Previewの発表には、リクエストあたり最大6枚のPNGまたはJPEG画像、最大120秒のMP4またはMOV動画、最大6ページのPDF文書が記載されています。途中でテキストに文字起こしせず、音声を直接埋め込むことも記載されています。これらの仕様は、後の安定版ガイドではなく、Preview自身の発表に基づきます。その発表だけでは、この正確なPreviewプロファイルの現在の音声時間、コーデック、フレームサンプリングのすべての制限は確定しません。

混在したマルチモーダル入力により、画像とキャプションなど、メディア間の関係を表現に反映できます。商品カタログでは、1つの検索対象を説明する写真と承認済みの説明を一緒に入力してください。文書コレクションでは、原本を焦点の定まった文章やページに分け、タイトルと位置を残します。メディアライブラリーでは、ユーザーが見つけるべき事象に対応するクリップを選び、保存レコードとともに元の時間範囲を保持してください。

有用な検索タスクでは、意図する関係を明確にします。説明を求める質問、見た目が似た項目の検索、話題によるクラスタリングは、同じ原本コレクションを使っていても異なるタスクです。コンテンツを一貫して準備し、エディションと次元を記録し、すべてのベクトルを出典に結び付けてください。類似度は、アプリケーションが点検する候補を提供します。2つのレコードが同じ事実を述べていることや、検索された出典が質問に完全に答えることの証明ではありません。

実用的なメディア検索では、選択した画像や動画の抜粋を表現し、求めるコンテンツの説明と比較します。ユーザーが確認できるよう、一致した出典をキャプションや時間範囲とともに提示してください。知識アシスタントでは、文章の回答を生成する前に、関連するページや文章を検索します。Previewモデルの役割は、それらの選択段階を支えるマルチモーダルな数値表現です。保存、順位付けのルール、最終回答は、周囲のワークフローの部分として残ります。