Google: Gemini Embedding 2 Preview

Gemini Embedding 2 Preview er Googles navngivne preview-udgave af virksomhedens oprindeligt multimodale embeddingfamilie. Den afbilder tekst, billeder, video, lyd og PDF i et fælles numerisk rum, hvor semantisk hensigt repræsenteres på mere end 100 sprog. Outputtet er embeddings: vektorer, der bruges til at sammenligne og finde beslægtet materiale. Denne preview-identitet er adskilt fra den stabile Gemini Embedding 2-udgave og indebærer ikke udskiftelige vægte eller et identisk vektorrum.

Den oprindelige annoncering beskriver søgning på tværs af modaliteter, klassifikation, klyngedannelse, sentimentanalyse og generering suppleret med hentede kilder som efterfølgende anvendelser. En tekstforespørgsel kan finde et relevant visuelt element, mens et billede eller et klip også kan fungere som søgegrundlag. En applikation lagrer repræsentationerne, sammenligner dem og returnerer de tilhørende poster; en separat sprogmodel kan bruge det hentede kildemateriale til at udforme et svar. Selve embeddingvektoren indeholder hverken en forklaring på naturligt sprog eller en transskription.

Modellens egen side dokumenterer en inputgrænse på 8.192 tokens og outputdimensioner fra 128 til 3.072 med 768, 1.536 og 3.072 som anbefalede størrelser. Preview-annonceringen angiver 3.072 som standard og beskriver Matryoshka Representation Learning, der bevarer nyttig information i kortere præfikser af repræsentationen. Brug én valgt dimension til vektorer, der skal sammenlignes, og registrer modeludgaven sammen med samlingen, frem for at sammenblande repræsentationer, blot fordi deres længder er ens.

Preview-annonceringen dokumenterer op til seks PNG- eller JPEG-billeder pr. forespørgsel, op til 120 sekunders MP4- eller MOV-video og PDF-dokumenter på op til seks sider. Den dokumenterer også direkte lydembeddings uden en mellemliggende teksttransskription. Disse specifikationer kommer fra preview-udgavens egen annoncering, ikke fra den senere stabile vejledning. Annonceringen fastslår ikke alle aktuelle grænser for lydvarighed, codecs eller udvælgelse af videoframes for netop denne preview-profil.

Indflettet multimodalt input lader repræsentationen afspejle sammenhænge mellem medier, eksempelvis et billede og dets billedtekst. Til et produktkatalog skal fotografiet og den godkendte beskrivelse leveres sammen, når de beskriver ét objekt, som skal kunne findes. Til en dokumentsamling opdeles kilden i afgrænsede tekstpassager eller sider, og titel og placering bevares. Til et mediebibliotek vælges et klip, der svarer til den hændelse, brugerne skal finde, og dets oprindelige tidsinterval gemmes sammen med posten.

En nyttig søgeopgave gør den tilsigtede sammenhæng tydelig. Et spørgsmål, der søger en forklaring, en søgning efter visuelt lignende elementer og klyngedannelse efter emne er forskellige opgaver, selv når de bruger den samme kildesamling. Forbered indholdet konsekvent, registrer udgave og dimension, og hold hver vektor knyttet til sin kilde. Lighed giver kandidater, som applikationen kan undersøge; den beviser ikke, at to poster angiver den samme kendsgerning, eller at en fundet kilde besvarer et spørgsmål fuldt ud.

Til praktisk mediesøgning repræsenteres det valgte billede eller videoudsnit og sammenlignes med beskrivelsen af det ønskede indhold. Vis den matchende kilde sammen med dens billedtekst eller tidsinterval, så brugeren kan gennemgå den. Til en vidensassistent hentes den relevante side eller passage, før det skriftlige svar genereres. Preview-modellens rolle er den multimodale numeriske repræsentation, der understøtter disse udvælgelsestrin, mens lagring, rangeringsregler og det endelige svar hører til det omgivende arbejdsforløb.