Google: Gemini Embedding 2 Preview

Gemini Embedding 2 Preview er Googles navngitte forhåndsversjon av familien av embeddingmodeller som er multimodale fra grunnen av. Den plasserer tekst, bilder, video, lyd og PDF i et felles numerisk rom, med semantisk hensikt representert på mer enn 100 språk. Resultatet er embeddingvektorer: vektorer som brukes til å sammenligne og hente relatert materiale. Denne forhåndsversjonen har en egen identitet, atskilt fra den stabile Gemini Embedding 2-utgaven, og innebærer ikke utskiftbare modellvekter eller et identisk vektorrom.

Den opprinnelige kunngjøringen beskriver søk på tvers av modaliteter, klassifisering, klyngedannelse, sentimentanalyse og generering støttet av informasjonsgjenfinning som etterfølgende bruksområder. En tekstforespørsel kan finne et relatert visuelt element, mens et bilde eller et klipp også kan være utgangspunkt for søket. En applikasjon lagrer representasjonene, sammenligner dem og returnerer de tilhørende postene; en separat språkmodell kan bruke det hentede kildematerialet til å utforme et svar. Selve embeddingvektoren inneholder ingen forklaring på naturlig språk eller transkripsjon.

Modellens egen side dokumenterer en inndatagrense på 8 192 tokener og utdatadimensjoner fra 128 til 3 072, med 768, 1 536 og 3 072 som anbefalte størrelser. Kunngjøringen for forhåndsversjonen oppgir 3 072 som standard og beskriver Matryoshka Representation Learning, som bevarer nyttig informasjon i kortere innledende deler av representasjonen. Bruk én valgt dimensjon for vektorer som skal sammenlignes, og registrer modellutgaven sammen med samlingen, fremfor å slå sammen representasjoner bare fordi lengdene er like.

Kunngjøringen for forhåndsversjonen dokumenterer opptil seks PNG- eller JPEG-bilder per forespørsel, opptil 120 sekunder MP4- eller MOV-video og PDF-dokumenter på opptil seks sider. Den dokumenterer også direkte embedding av lyd uten en mellomliggende teksttranskripsjon. Disse spesifikasjonene kommer fra forhåndsversjonens egen kunngjøring, ikke fra den senere veiledningen for den stabile utgaven. Kunngjøringen fastslår ikke alle gjeldende grenser for lydvarighet, kodeker eller utvalg av videobilder for akkurat denne profilen.

Flettede multimodale inndata lar representasjonen gjenspeile forhold mellom medier, som et bilde og bildeteksten. Til en produktkatalog leveres fotografiet og den godkjente beskrivelsen sammen når de beskriver ett søkbart objekt. Til en dokumentsamling deles kilden i avgrensede tekstpassasjer eller sider, og tittel og plassering bevares. Til et mediebibliotek velges et klipp som svarer til hendelsen brukerne skal finne, og det opprinnelige tidsintervallet lagres sammen med posten.

En nyttig gjenfinningsoppgave gjør den tilsiktede sammenhengen tydelig. Et spørsmål som søker en forklaring, et søk etter visuelt lignende elementer og gruppering etter tema er ulike oppgaver selv når de bruker samme kildesamling. Klargjør innholdet konsekvent, registrer utgave og dimensjon, og behold hver vektors kobling til kilden. Likhet gir kandidater som applikasjonen kan undersøke; den beviser ikke at to poster uttrykker samme faktum, eller at en hentet kilde besvarer et spørsmål fullt ut.

Til praktisk mediesøk representeres det valgte bildet eller videoutdraget og sammenlignes med beskrivelsen av ønsket innhold. Vis den samsvarende kilden sammen med bildeteksten eller tidsintervallet slik at en bruker kan gjennomgå den. Til en kunnskapsassistent hentes den relevante siden eller passasjen før det skriftlige svaret genereres. Preview-modellens rolle er den multimodale numeriske representasjonen som støtter disse utvalgstrinnene, mens lagring, rangeringsregler og det endelige svaret er deler av arbeidsflyten rundt modellen.