Google: Gemini Embedding 2

Gemini Embedding 2 je multimodálny model embeddingov od Google na číselnú reprezentáciu textu, obrázkov, videa, zvuku a PDF. Rôzne typy médií mapuje do spoločného priestoru, aby aplikácia mohla porovnávať ich význam. Výsledkom je vektor čísel užitočný na sémantické vyhľadávanie, získavanie dokumentov, odporúčanie, klasifikáciu či zhlukovanie; nejde o písomnú odpoveď ani generovaný mediálny súbor. Google dokumentuje sémantické pokrytie viac ako 100 jazykov.

Pri znalostnej báze vytvorte vektory zdrojových pasáží, porovnajte s nimi dopyt používateľa a vyhľadajte relevantný materiál. Samostatný textový model potom môže zostaviť odpoveď s využitím týchto zdrojov. Pri mediálnej kolekcii môže textový opis hľadať súvisiace obrázky či video; dopytom môže byť aj obrázok. Zachovajte spojenie každého vektora s pôvodným obsahom vrátane odkazu na stranu alebo klip, aby sa vyhľadaný výsledok dal preskúmať a ukázať v pôvodnom kontexte.

Celkový vstupný limit je 8192 tokenov. Príručka stabilného modelu povoľuje najviac šesť obrázkov PNG alebo JPEG, najviac 180 sekúnd zvuku MP3 alebo WAV a najviac 120 sekúnd videa MP4 alebo MOV. Zdokumentované videokodeky sú H264, H265, AV1 a VP9. Spracovanie videa používa najviac 32 snímok: klipy do 32 sekúnd sa vzorkujú jednou snímkou za sekundu, dlhšie klipy rovnomerne na 32 snímok. Zvuková stopa videa sa v tomto videovstupe nespracúva; keď je dôležitá pre vyhľadávanie, vytvorte jej embedding samostatne.

Vstup PDF prijíma jeden súbor najviac so šiestimi stranami. Google pre najlepšiu kvalitu odporúča jednu stranu na PDF. Väčší zdroj rozdeľte na zmysluplné strany alebo časti a uchovajte ich vzťah k pôvodnému dokumentu. Vyberte výňatok predstavujúci to, čo má byť vyhľadateľné, namiesto spájania nesúvisiaceho materiálu iba preto, že sa zmestí do limitu. Spoločná tokenová hranica stále platí pre požiadavku s kombinovanými médiami. Každá strana PDF spotrebuje 258 vizuálnych tokenov navyše k tokenom extrahovaného textu. V zdokumentovanom postupe Google sa obsah prekračujúci spoločný limit 8192 tokenov skráti bez chyby.

Výstupná rozmernosť je flexibilná od 128 do 3072 s predvolenými 3072 a odporúčanými veľkosťami 768, 1536 a 3072. Model používa Matryoshka Representation Learning, takže prefixy vektora zostávajú užitočné pri menších rozmeroch. Príručka dokumentuje automatickú normalizáciu predvolených aj skrátených vektorov. Pre záznamy a dopyty porovnávané aplikáciou vyberte jednotný rozmer; požadovaná veľkosť mení číselnú reprezentáciu, nie samotný zdrojový obsah.

Pri výlučne textových úlohách zahrňte účel do textu namiesto použitia staršieho poľa task_type. Google rozlišuje asymetrické vyhľadávanie od symetrického porovnávania. Vyhľadávací dopyt používa “task: search result | query: {content}”, zdrojový dokument “title: {title} | text: {content}”; ak nemá názov, použite “title: none”. Úlohy otázok a odpovedí, overovania faktov a vyhľadávania kódu majú vlastné prefixy dopytov. Pri klasifikácii, zhlukovaní či podobnosti viet používajte rovnaký formát úlohy konzistentne na oboch stranách. Príručka všeobecne odporúča nepridávať prefix úlohy do textovej časti kombinovanej multimodálnej reprezentácie.

Štruktúra vstupu určuje, či výsledok reprezentuje jeden kombinovaný objekt alebo samostatné položky. Viacero častí poskytnutých spolu vytvára agregovaný embedding; samostatné objekty Content vytvárajú samostatné embeddingy pre každú položku. Pri príspevku s textom a obrázkom môže kombinovaná reprezentácia zachytiť ich vzťah. Nezávisle vyhľadateľné záznamy ponechajte oddelené. Táto voľba ovplyvňuje podrobnosť vyhľadávania: jeden vektor pre celý príspevok sa líši od jedného pre každú pasáž či obrázok.

Príručka uvádza, že vektory Gemini Embedding 001 a Gemini Embedding 2 zaberajú nekompatibilné priestory a nemožno ich priamo porovnávať. Kolekcia migrovaná zo staršieho modelu potrebuje nové embeddingy pre nový priestor. Výber modelu a rozmery udržujte konzistentné s porovnávanými vektormi a pôvodný text a médiá uchovajte samostatne od číselného indexu. Podobnosť embeddingov je vyhľadávací signál, nie faktické vysvetlenie, prečo dokument odpovedá na otázku používateľa.

Pri praktickom katalógu vytvorte embedding produktovej fotografie spolu so schváleným opisom, keď sa dvojica má vyhľadávať ako jeden objekt. Pri kolekcii dokumentov vytvorte embeddingy zameraných pasáží, porovnajte ich s dopytom formátovaným podľa účelu a potom zobrazte zdrojové pasáže vedľa výsledku vyhľadávania. Pri zvuku alebo videu vyberte úsek opisujúci vyhľadateľnú udalosť a zachovajte jeho pôvodný časový rozsah. Užitočným výstupom je číselná reprezentácia prepojená so zdrojovými dôkazmi pre ďalší vyhľadávací alebo analytický krok aplikácie.