Google: Gemini Embedding 2

A Gemini Embedding 2 a Google multimodális beágyazási modellje szöveg, kép, videó, hang és PDF numerikus reprezentációjához. A különböző médiatípusokat közös térbe képezi le, hogy egy alkalmazás összehasonlíthassa a jelentésüket. Az eredmény egy számvektor, amely szemantikai kereséshez, dokumentumkereséshez, ajánláshoz, osztályozáshoz vagy klaszterezéshez használható; nem írott válasz vagy generált médiafájl. A Google több mint 100 nyelvre kiterjedő szemantikai lefedettséget dokumentál.

Tudásbázisnál készítsen vektorokat a forrásszövegrészletekhez, hasonlítsa össze velük a felhasználó lekérdezését, és keresse meg a releváns anyagot. Egy külön szövegmodell ezután e források felhasználásával állíthat össze választ. Médiagyűjteménynél egy szöveges leírás kapcsolódó képeket vagy videókat kereshet; a lekérdezést kép is adhatja. Őrizze meg minden vektor kapcsolatát az eredeti tartalommal, beleértve az oldal- vagy videórészlet-hivatkozást, hogy a megtalált eredmény megvizsgálható és eredeti kontextusában megjeleníthető legyen.

A teljes bemeneti korlát 8192 token. A stabil modell útmutatója legfeljebb hat PNG- vagy JPEG-képet, legfeljebb 180 másodpercnyi MP3- vagy WAV-hangot, valamint legfeljebb 120 másodpercnyi MP4- vagy MOV-videót enged meg. A dokumentált videokodekek a H264, H265, AV1 és VP9. A videófeldolgozás legfeljebb 32 képkockát használ: a legfeljebb 32 másodperces részletekből másodpercenként egy képkockát mintavételez, a hosszabbakból pedig egyenletesen 32 képkockát. A videó hangsávját nem dolgozza fel e videóbemenet részeként; külön ágyazza be a hangját, ha az fontos a kereséshez.

A PDF-bemenet egyetlen, legfeljebb hatoldalas fájlt fogad el. A legjobb minőséghez a Google PDF-enként egy oldalt javasol. A nagyobb forrást ossza értelmes oldalakra vagy szakaszokra, és őrizze meg a kapcsolatukat az eredeti dokumentummal. Olyan részletet válasszon, amely a kereshetővé tenni kívánt tartalmat reprezentálja, ahelyett, hogy egymással össze nem függő anyagokat egyesítene pusztán azért, mert beleférnek a korlátba. A közös tokenhatár a vegyes médiát tartalmazó kérésre is vonatkozik. Minden PDF-oldal 258 vizuális tokent fogyaszt a kinyert szöveg tokenjein felül. A Google dokumentált munkafolyamatában a közös 8192 tokenes korlátot túllépő tartalom hiba nélkül csonkolódik.

A kimeneti dimenzió rugalmasan 128 és 3072 között választható, 3072 alapértelmezéssel és 768, 1536, illetve 3072 ajánlott mérettel. A modell Matryoshka Representation Learning módszert használ, így a vektor kezdőrészei kisebb dimenziónál is hasznosak maradnak. Útmutatója az alapértelmezett és a rövidített vektorok automatikus normalizálását is dokumentálja. Válasszon egységes dimenziót az alkalmazás által összehasonlított rekordokhoz és lekérdezésekhez; a kért méret a numerikus reprezentációt változtatja meg, nem magát a forrástartalmat.

Kizárólag szöveges feladatoknál a célt a szövegbe foglalja bele a régebbi task_type mező használata helyett. A Google megkülönbözteti az aszimmetrikus keresést a szimmetrikus összehasonlítástól. Egy keresőkérdés a “task: search result | query: {content}” formát, egy forrásdokumentum pedig a “title: {title} | text: {content}” formát használja; ha nincs címe, használja a “title: none” értéket. A kérdés–válasz, a tényellenőrzési és a kódkeresési feladatoknak saját lekérdezési előtagjaik vannak. Osztályozásnál, klaszterezésnél vagy mondathasonlóságnál következetesen ugyanazt a feladatformátumot használja mindkét oldalon. Az útmutató általában nem javasolja feladatelőtag hozzáadását egy kombinált multimodális reprezentáció szöveges részéhez.

A bemenet szerkezete határozza meg, hogy az eredmény egyetlen kombinált objektumot vagy különálló elemeket reprezentál-e. Több együtt megadott rész összesített beágyazást hoz létre; a külön Content objektumok minden bejegyzéshez külön beágyazást hoznak létre. Szöveget és képet tartalmazó bejegyzésnél a kombinált reprezentáció megragadhatja a kapcsolatukat. Az önállóan kereshető rekordokat tartsa külön. Ez a választás befolyásolja a keresés részletességét: egy egész bejegyzéshez tartozó egyetlen vektor más, mint a szövegrészletenként vagy képenként létrehozott vektor.

Az útmutató szerint a Gemini Embedding 001 és a Gemini Embedding 2 vektorai nem kompatibilis terekben helyezkednek el, és közvetlenül nem hasonlíthatók össze. A régebbi modellről átállított gyűjteményt újra be kell ágyazni az új térhez. Az összehasonlítandó vektoroknál tartsa következetesen a modellválasztást és a dimenziókat, az eredeti szöveget és médiát pedig a numerikus indextől külön őrizze meg. A beágyazások hasonlósága keresési jelzés, nem pedig tényszerű magyarázat arra, hogy egy dokumentum miért válaszolja meg a felhasználó kérdését.

Gyakorlati katalógusnál együtt ágyazza be a termékfotót és a hozzá tartozó jóváhagyott leírást, ha a párt egyetlen objektumként kell megtalálni. Dokumentumgyűjteménynél körülhatárolt szövegrészleteket ágyazzon be, és hasonlítsa össze őket egy célhoz formázott lekérdezéssel, majd a találat mellett jelenítse meg a forrásszövegrészleteket. Hangnál vagy videónál válassza azt az epizódot, amely a kereshető eseményt írja le, és őrizze meg az eredeti időtartományát. A hasznos eredmény egy forrásbizonyítékhoz kapcsolt numerikus reprezentáció az alkalmazás következő keresési vagy elemzési lépéséhez.