Google: Gemini Embedding 2

Gemini Embedding 2 er Googles multimodale embeddingmodel til numerisk repræsentation af tekst, billeder, video, lyd og PDF. Den afbilder de forskellige medietyper i et fælles rum, så en applikation kan sammenligne betydning på tværs af dem. Resultatet er en vektor af tal, der er nyttig til semantisk søgning, dokumenthentning, anbefalinger, klassifikation eller klyngedannelse; det er hverken et skriftligt svar eller en genereret mediefil. Google dokumenterer semantisk dækning på mere end 100 sprog.

Til en vidensbase oprettes vektorer for kildepassagerne, brugerens forespørgsel sammenlignes med dem, og det relevante materiale hentes. En separat tekstmodel kan derefter sammensætte et svar ud fra disse kilder. Til en mediesamling kan en tekstbeskrivelse søge efter relevante billeder eller videoer; et billede kan også bruges som forespørgsel. Bevar hver vektors forbindelse til originalindholdet, herunder en side- eller klipreference, så det fundne resultat kan undersøges og vises i sin oprindelige sammenhæng.

Den samlede inputgrænse er 8.192 tokens. Den stabile models vejledning tillader op til seks PNG- eller JPEG-billeder, op til 180 sekunders MP3- eller WAV-lyd og op til 120 sekunders MP4- eller MOV-video. De dokumenterede videocodecs er H264, H265, AV1 og VP9. Videobehandlingen bruger højst 32 frames: klip på op til 32 sekunder udtages med én frame pr. sekund, mens der fra længere klip udtages 32 frames jævnt fordelt over klippet. En videos lydspor behandles ikke som en del af dette videoinput; opret en separat embedding af lyden, når den er relevant for søgningen.

PDF-input accepterer én fil på højst seks sider. Google anbefaler én side pr. PDF for den bedste kvalitet. Opdel en større kilde i meningsfulde sider eller afsnit, og bevar deres forbindelse til originaldokumentet. Vælg et udsnit, der repræsenterer det, som skal kunne findes, frem for at kombinere uvedkommende materialer, blot fordi de kan være inden for grænsen. Den fælles tokengrænse gælder stadig for en forespørgsel med blandede medier. Hver PDF-side bruger 258 visuelle tokens ud over tokens fra den udtrukne tekst. I Googles dokumenterede arbejdsforløb afkortes indhold, der overskrider den fælles grænse på 8.192 tokens, uden en fejl.

Outputdimensionen kan vælges fra 128 til 3.072, med 3.072 som standard og 768, 1.536 og 3.072 som anbefalede størrelser. Modellen bruger Matryoshka Representation Learning, så vektorens præfikser fortsat er nyttige ved mindre dimensioner. Vejledningen dokumenterer automatisk normalisering af både standardvektorer og forkortede vektorer. Vælg en ensartet dimension til de poster og forespørgsler, som applikationen sammenligner; den ønskede størrelse ændrer den numeriske repræsentation, ikke selve kildeindholdet.

Til opgaver udelukkende med tekst angives formålet i teksten frem for i det ældre task_type-felt. Google skelner mellem asymmetrisk søgning og symmetrisk sammenligning. En søgeforespørgsel bruger “task: search result | query: {content}”, mens et kildedokument bruger “title: {title} | text: {content}”; brug “title: none”, hvis det ikke har en titel. Spørgsmål og svar, faktatjek og kodesøgning har deres egne forespørgselspræfikser. Til klassifikation, klyngedannelse eller sætningslighed bruges det samme opgaveformat konsekvent på begge sider. Vejledningen fraråder generelt at tilføje et opgavepræfiks til tekstdelen af en kombineret multimodal repræsentation.

Inputstrukturen afgør, om resultatet repræsenterer ét samlet objekt eller separate elementer. Flere dele, der leveres sammen, skaber en samlet embedding; separate Content-objekter skaber separate embeddings for hver post. Til et opslag med tekst og billede kan en kombineret repræsentation indfange deres sammenhæng. Poster, der skal kunne findes hver for sig, holdes adskilt. Dette valg påvirker søgningens detaljeringsgrad: én vektor for et helt opslag er forskellig fra én for hver passage eller hvert billede.

Vejledningen angiver, at vektorer fra Gemini Embedding 001 og Gemini Embedding 2 ligger i inkompatible rum og ikke kan sammenlignes direkte. En samling, der migreres fra den ældre model, skal have oprettet embeddings på ny til det nye rum. Hold modelvalg og dimensioner ensartede for de vektorer, der sammenlignes, og opbevar originaltekst og medier adskilt fra det numeriske indeks. Lighed mellem embeddings er et søgesignal frem for en faktuel forklaring på, hvorfor et dokument besvarer brugerens spørgsmål.

Til et praktisk katalog oprettes en embedding af et produktfotografi sammen med dets godkendte beskrivelse, når parret skal kunne findes som ét objekt. Til en dokumentsamling oprettes embeddings af afgrænsede passager, som sammenlignes med en forespørgsel formateret efter formålet; vis derefter kildepassagerne sammen med søgeresultatet. Til lyd eller video vælges den episode, der beskriver den hændelse, som skal kunne findes, og dens oprindelige tidsinterval bevares. Det nyttige resultat er en numerisk repræsentation knyttet til kildebelæg for applikationens næste søge- eller analysetrin.