Google: Gemini Embedding 2 Preview

Gemini Embedding 2 Preview är Googles namngivna förhandsversion av dess familj av inbäddningsmodeller som är multimodala från grunden. Den avbildar text, bilder, video, ljud och PDF i ett gemensamt numeriskt rum, där semantisk avsikt representeras på fler än 100 språk. Utdata är inbäddningar: vektorer som används för att jämföra och hämta relaterat material. Denna förhandsversion har en separat identitet från den stabila utgåvan Gemini Embedding 2 och innebär inte utbytbara vikter eller ett identiskt vektorrum.

Det ursprungliga tillkännagivandet beskriver sökning mellan modaliteter, klassificering, klustring, sentimentanalys och generering med stöd av informationssökning som efterföljande användningsområden. En textfråga kan hitta ett relaterat visuellt objekt, och även en bild eller ett klipp kan fungera som sökunderlag. En applikation lagrar representationerna, jämför dem och returnerar motsvarande poster; en separat språkmodell kan använda det hämtade källmaterialet för att formulera ett svar. Själva inbäddningen innehåller ingen förklaring på naturligt språk eller transkription.

Modellens egen sida dokumenterar en indatagräns på 8 192 token och utdatadimensioner från 128 till 3 072, med 768, 1 536 och 3 072 som rekommenderade storlekar. Förhandsversionens tillkännagivande anger 3 072 som standard och beskriver Matryoshka Representation Learning, som bevarar användbar information i kortare inledande delar av representationen. Använd en vald dimension för vektorer som ska jämföras och behåll uppgiften om modellutgåvan tillsammans med samlingen, i stället för att blanda representationer enbart för att deras längder är lika.

Förhandsversionens tillkännagivande dokumenterar upp till sex PNG- eller JPEG-bilder per begäran, upp till 120 sekunders MP4- eller MOV-video och PDF-dokument på upp till sex sidor. Det dokumenterar också direkt ljudinbäddning utan mellanliggande transkribering till text. Dessa specifikationer kommer från förhandsversionens eget tillkännagivande och inte från den senare guiden för den stabila utgåvan. Tillkännagivandet fastställer inte alla aktuella gränser för ljudlängd, kodekar eller urval av videobildrutor för just denna förhandsprofil.

Sammanflätade multimodala indata låter representationen återspegla relationer mellan medier, exempelvis en bild och dess bildtext. För en produktkatalog anges fotografiet och den godkända beskrivningen tillsammans när de beskriver ett sökbart objekt. För en dokumentsamling delas källan upp i avgränsade textstycken eller sidor, och dess titel och position bevaras. För ett mediebibliotek väljs ett klipp som motsvarar händelsen användarna ska hitta, och dess ursprungliga tidsintervall sparas med den lagrade posten.

En användbar sökuppgift gör den avsedda relationen tydlig. En fråga som söker en förklaring, en sökning efter visuellt liknande objekt och klustring efter ämne är olika uppgifter även när de använder samma källsamling. Förbered innehållet konsekvent, registrera utgåva och dimension och behåll varje vektors koppling till källan. Likhet ger kandidater för applikationen att granska; den bevisar inte att två poster anger samma faktum eller att en hämtad källa besvarar en fråga fullständigt.

Vid praktisk mediesökning representeras den valda bilden eller det valda videoutdraget och jämförs med beskrivningen av det önskade innehållet. Visa den matchande källan tillsammans med dess bildtext eller tidsintervall så att användaren kan granska den. För en kunskapsassistent hämtas den relevanta sidan eller det relevanta textstycket innan det skriftliga svaret genereras. Preview-modellens roll är den multimodala numeriska representation som stöder dessa urvalssteg, medan lagring, rangordningsregler och det slutliga svaret hör till det omgivande arbetsflödet.