Google: Gemini Embedding 2

Gemini Embedding 2 je multimodální embeddingový model společnosti Google pro číselnou reprezentaci textu, obrázků, videa, zvuku a PDF. Mapuje různé typy médií do společného prostoru, aby aplikace mohla porovnávat význam napříč nimi. Výsledkem je vektor čísel užitečný pro sémantické vyhledávání, vyhledávání dokumentů, doporučování, klasifikaci nebo shlukování; nejde o písemnou odpověď ani vygenerovaný mediální soubor. Google dokumentuje sémantické pokrytí více než 100 jazyků.

U znalostní báze vytvořte vektory zdrojových pasáží, porovnejte s nimi dotaz uživatele a vyhledejte příslušný materiál. Samostatný textový model pak může z těchto zdrojů sestavit odpověď. U kolekce médií může textový popis hledat související obrázky nebo video; dotazem může být také obrázek. Zachovejte propojení každého vektoru s původním obsahem včetně odkazu na stránku nebo klip, aby nalezený výsledek mohl být zkontrolován a zobrazen v původním kontextu.

Celkový vstupní limit je 8192 tokenů. Průvodce stabilním modelem umožňuje až šest obrázků PNG nebo JPEG, až 180 sekund zvuku MP3 nebo WAV a až 120 sekund videa MP4 nebo MOV. Dokumentované video kodeky jsou H264, H265, AV1 a VP9. Zpracování videa používá nejvýše 32 snímků: klipy do 32 sekund se vzorkují rychlostí jednoho snímku za sekundu, zatímco delší klipy se rovnoměrně vzorkují na 32 snímků. Zvuková stopa videa se v tomto video vstupu nezpracovává; vytvořte embedding zvuku samostatně, pokud je důležitý pro vyhledávání.

Vstup PDF přijímá jeden soubor s nejvýše šesti stránkami. Google pro nejlepší kvalitu doporučuje jednu stránku na PDF. Větší zdroj rozdělte na smysluplné stránky nebo oddíly a zachovejte jejich vztah k původnímu dokumentu. Zvolte úryvek reprezentující to, co má být vyhledatelné, místo kombinování nesouvisejících materiálů pouze proto, že se vejdou do limitu. Společná tokenová hranice stále platí i pro požadavek s různými médii. Každá stránka PDF spotřebuje 258 vizuálních tokenů navíc k tokenům extrahovaného textu. V dokumentovaném postupu Google se obsah přesahující společný limit 8192 tokenů ořízne bez chyby.

Rozměr výstupu je flexibilní od 128 do 3072 s výchozí hodnotou 3072 a doporučenými velikostmi 768, 1536 a 3072. Model používá Matryoshka Representation Learning, takže počáteční části vektoru zůstávají užitečné i při menších rozměrech. Jeho průvodce dokumentuje automatickou normalizaci výchozích i zkrácených vektorů. Pro záznamy a dotazy, které aplikace porovnává, zvolte konzistentní rozměr; požadovaná velikost mění číselnou reprezentaci, nikoli samotný zdrojový obsah.

U čistě textových úloh zahrňte účel přímo do textu místo použití staršího pole task_type. Google rozlišuje asymetrické vyhledávání a symetrické porovnávání. Vyhledávací dotaz používá „task: search result | query: {content}“, zatímco zdrojový dokument používá „title: {title} | text: {content}“; pokud nemá název, použijte „title: none“. Úlohy odpovídání na otázky, ověřování faktů a vyhledávání kódu mají vlastní prefixy dotazů. Pro klasifikaci, shlukování nebo posuzování podobnosti vět používejte na obou stranách konzistentně stejný formát úkolu. Průvodce obecně nedoporučuje přidávat prefix úkolu k textové části kombinované multimodální reprezentace.

Struktura vstupu určuje, zda výsledek reprezentuje jeden kombinovaný objekt nebo samostatné položky. Více částí dodaných společně vytváří agregovaný embedding; samostatné objekty Content vytvářejí oddělené embeddingy pro každou položku. U příspěvku obsahujícího text a obrázek může kombinovaná reprezentace zachytit jejich vztah. Nezávisle prohledávatelné záznamy ponechte oddělené. Tato volba ovlivňuje podrobnost vyhledávání: jeden vektor pro celý příspěvek je jiný než jeden pro každou pasáž nebo obrázek.

Průvodce uvádí, že vektory Gemini Embedding 001 a Gemini Embedding 2 patří do nekompatibilních prostorů a nelze je přímo porovnávat. Kolekce migrovaná ze staršího modelu potřebuje nové embeddingy pro nový prostor. U porovnávaných vektorů zachovávejte konzistentní volbu modelu a rozměrů a původní text i média uchovávejte odděleně od číselného indexu. Podobnost embeddingu je signálem pro vyhledávání, nikoli věcným vysvětlením toho, proč dokument odpovídá na otázku uživatele.

V praktickém katalogu vytvářejte embedding fotografie produktu spolu se schváleným popisem, pokud se mají vyhledávat jako jeden objekt. U kolekce dokumentů vytvářejte embeddingy tematicky zaměřených pasáží, porovnávejte je s dotazem formátovaným podle účelu a poté zdrojové pasáže předložte vedle výsledku vyhledávání. U zvuku nebo videa vyberte úsek popisující vyhledatelnou událost a zachovejte původní časový rozsah. Užitečným výstupem je číselná reprezentace propojená se zdrojovými důkazními podklady pro další krok vyhledávání nebo analýzy v aplikaci.