Google: Gemini Embedding 2

Gemini Embedding 2 är Googles multimodala inbäddningsmodell för numerisk representation av text, bilder, video, ljud och PDF. Den avbildar de olika medietyperna i ett gemensamt rum så att en applikation kan jämföra betydelse mellan dem. Resultatet är en vektor av tal som kan användas för semantisk sökning, dokumenthämtning, rekommendationer, klassificering eller klustring; det är inget skriftligt svar eller någon genererad mediefil. Google dokumenterar semantisk täckning på fler än 100 språk.

För en kunskapsbas skapas vektorer för källtextstyckena, användarens fråga jämförs med dem och det relevanta materialet hämtas. En separat textmodell kan därefter formulera ett svar med dessa källor som stöd. I en mediesamling kan en textbeskrivning söka efter relaterade bilder eller videor; även en bild kan utgöra frågan. Bevara varje vektors koppling till originalinnehållet, inklusive en sid- eller klippreferens, så att det hämtade resultatet kan granskas och visas i sitt ursprungliga sammanhang.

Den totala indatagränsen är 8 192 token. Guiden för den stabila modellen tillåter upp till sex PNG- eller JPEG-bilder, upp till 180 sekunders MP3- eller WAV-ljud och upp till 120 sekunders MP4- eller MOV-video. Dokumenterade videokodekar är H264, H265, AV1 och VP9. Videobearbetningen använder högst 32 bildrutor: från klipp på upp till 32 sekunder tas en bildruta per sekund, medan 32 bildrutor tas jämnt fördelade från längre klipp. Videons ljudspår bearbetas inte som en del av videoinmatningen; bädda in ljudet separat när det är relevant för sökningen.

PDF-indata accepterar en fil med högst sex sidor. Google rekommenderar en sida per PDF för bästa kvalitet. Dela upp en större källa i meningsfulla sidor eller avsnitt och bevara deras koppling till originaldokumentet. Välj ett utdrag som representerar det som ska kunna hittas, i stället för att kombinera orelaterat material enbart för att det ryms inom gränsen. Den gemensamma tokengränsen gäller även för en begäran med blandade medier. Varje PDF-sida förbrukar 258 visuella token utöver token från den extraherade texten. I Googles dokumenterade arbetsflöde trunkeras innehåll som överskrider den gemensamma gränsen på 8 192 token utan fel.

Utdatadimensionen kan väljas från 128 till 3 072, med 3 072 som standard och 768, 1 536 och 3 072 som rekommenderade storlekar. Modellen använder Matryoshka Representation Learning, så att vektorns inledande delar förblir användbara vid mindre dimensioner. Guiden dokumenterar automatisk normalisering för både standardvektorer och förkortade vektorer. Välj samma dimension för de poster och frågor som applikationen jämför; den begärda storleken ändrar den numeriska representationen, inte själva källinnehållet.

För uppgifter med enbart text anges syftet i texten i stället för i det äldre task_type-fältet. Google skiljer mellan asymmetrisk sökning och symmetrisk jämförelse. En sökfråga använder “task: search result | query: {content}”, medan ett källdokument använder “title: {title} | text: {content}”; använd “title: none” om det saknar titel. Fråga–svar-, faktakontroll- och kodsökningsuppgifter har egna frågeprefix. Vid klassificering, klustring eller meningslikhet används samma uppgiftsformat konsekvent på båda sidor. Guiden avråder generellt från att lägga till ett uppgiftsprefix i textdelen av en kombinerad multimodal representation.

Indatastrukturen avgör om resultatet representerar ett kombinerat objekt eller separata objekt. Flera delar som anges tillsammans skapar en sammanlagd inbäddning; separata Content-objekt skapar separata inbäddningar för varje post. För ett inlägg med text och bild kan en kombinerad representation fånga relationen mellan dem. Håll poster som ska kunna sökas fram var för sig separata. Detta val påverkar sökningens detaljnivå: en vektor för ett helt inlägg skiljer sig från en för varje textstycke eller bild.

Guiden anger att vektorer från Gemini Embedding 001 och Gemini Embedding 2 ligger i inkompatibla rum och inte kan jämföras direkt. En samling som migreras från den äldre modellen behöver bäddas in på nytt för det nya rummet. Håll modellval och dimensioner konsekventa för de vektorer som jämförs, och lagra originaltext och medier separat från det numeriska indexet. Likhet mellan inbäddningar är en söksignal snarare än en faktabaserad förklaring till varför ett dokument besvarar användarens fråga.

För en praktisk katalog bäddas ett produktfoto in tillsammans med dess godkända beskrivning när paret ska kunna hittas som ett objekt. För en dokumentsamling bäddas avgränsade textstycken in och jämförs med en fråga formaterad efter syftet; visa sedan källtextstyckena tillsammans med sökresultatet. För ljud eller video väljs den episod som beskriver den sökbara händelsen, och dess ursprungliga tidsintervall bevaras. Den användbara leveransen är en numerisk representation kopplad till källbelägg för applikationens nästa sök- eller analyssteg.