Google: Gemini Embedding 2

Gemini Embedding 2 is het multimodale embeddingmodel van Google voor de numerieke representatie van tekst, afbeeldingen, video, audio en PDF. Het zet verschillende mediatypen om in een gedeelde ruimte, zodat een toepassing de betekenis over die typen heen kan vergelijken. Het resultaat is een vector van getallen, bruikbaar voor semantisch zoeken, documentopvraging, aanbevelingen, classificatie of clustering; het is geen geschreven antwoord of gegenereerd mediabestand. Google documenteert semantische dekking over meer dan 100 talen.

Maak voor een kennisbasis vectoren voor de bronpassages, vergelijk een gebruikersvraag ermee en haal het relevante materiaal op. Een afzonderlijk tekstmodel kan dan met die bronnen een antwoord opstellen. Voor een mediaverzameling kan een tekstbeschrijving naar verwante afbeeldingen of video zoeken; een afbeelding kan ook de zoekvraag leveren. Behoud de koppeling van elke vector aan de oorspronkelijke inhoud, inclusief een pagina- of clipverwijzing, zodat het opgehaalde resultaat kan worden onderzocht en in de oorspronkelijke context getoond.

De totale invoerlimiet is 8.192 tokens. De gids van het stabiele model staat maximaal zes PNG- of JPEG-afbeeldingen, maximaal 180 seconden MP3- of WAV-audio en maximaal 120 seconden MP4- of MOV-video toe. Gedocumenteerde videocodecs zijn H264, H265, AV1 en VP9. Videoverwerking gebruikt maximaal 32 frames: clips tot 32 seconden worden met één frame per seconde bemonsterd, terwijl langere clips gelijkmatig tot 32 frames worden bemonsterd. Het audiospoor van een video wordt niet verwerkt in die video-invoer; embed het geluid afzonderlijk wanneer het voor informatieopvraging belangrijk is.

PDF-invoer accepteert één bestand met maximaal zes pagina's. Google beveelt één pagina per PDF aan voor de beste kwaliteit. Verdeel een grotere bron in betekenisvolle pagina's of secties en behoud hun relatie tot het oorspronkelijke document. Kies een fragment dat representeert wat opvraagbaar moet zijn in plaats van niet-gerelateerd materiaal alleen te combineren omdat het binnen de limiet past. De gedeelde tokengrens blijft van toepassing op een aanvraag met gemengde media. Elke PDF-pagina verbruikt 258 visuele tokens naast de tokens van de geëxtraheerde tekst. In de gedocumenteerde Google-workflow wordt inhoud die de gedeelde limiet van 8.192 tokens overschrijdt zonder fout afgekapt.

De uitvoerdimensionaliteit is flexibel van 128 tot 3.072, met 3.072 als standaard en 768, 1.536 en 3.072 als aanbevolen groottes. Het model gebruikt Matryoshka Representation Learning, zodat prefixen van de vector bij kleinere dimensies bruikbaar blijven. De gids documenteert automatische normalisatie voor zowel de standaardvectoren als verkorte vectoren. Kies een consistente dimensie voor de records en zoekvragen die uw toepassing vergelijkt; de gevraagde grootte verandert de numerieke representatie, niet de broninhoud zelf.

Neem voor uitsluitend tekstuele taken het doel in de tekst op in plaats van het oudere veld task_type te gebruiken. Google onderscheidt asymmetrische informatieopvraging van symmetrische vergelijking. Een zoekvraag gebruikt “task: search result | query: {content}”, terwijl een brondocument “title: {title} | text: {content}” gebruikt; gebruik “title: none” als het geen titel heeft. Vraag-antwoord-, feitencontrole- en codezoekopdrachten hebben hun eigen zoekvraagprefixen. Gebruik voor classificatie, clustering of zinsgelijkenis consequent hetzelfde taakformaat aan beide kanten. De gids raadt doorgaans af een taakprefix aan het tekstdeel van een gecombineerde multimodale representatie toe te voegen.

De invoerstructuur bepaalt of het resultaat één gecombineerd object of afzonderlijke items representeert. Meerdere samen aangeleverde delen maken een geaggregeerde embedding; afzonderlijke Content-objecten maken afzonderlijke embeddings voor elk item. Voor een bericht met tekst en een afbeelding kan een gecombineerde representatie hun relatie vastleggen. Houd onafhankelijk doorzoekbare records gescheiden. Die keuze beïnvloedt de zoekgranulariteit: één vector voor een volledig bericht verschilt van één vector voor elke passage of afbeelding.

De gids stelt dat vectoren van Gemini Embedding 001 en Gemini Embedding 2 in incompatibele ruimtes liggen en niet rechtstreeks kunnen worden vergeleken. Een verzameling die van het oudere model wordt gemigreerd moet voor de nieuwe ruimte opnieuw worden ingebed. Houd modelkeuze en dimensies consistent met de vergeleken vectoren en bewaar oorspronkelijke tekst en media afzonderlijk van de numerieke index. Gelijkenis van een embedding is een zoeksignaal, geen feitelijke uitleg waarom een document de gebruikersvraag beantwoordt.

Embed voor een praktische catalogus een productfoto samen met de goedgekeurde beschrijving wanneer het paar als één object moet worden opgehaald. Embed voor een documentverzameling gerichte passages en vergelijk die met een voor het doel geformatteerde zoekvraag, en presenteer daarna de bronpassages naast het zoekresultaat. Kies voor audio of video het fragment dat de doorzoekbare gebeurtenis beschrijft en behoud het oorspronkelijke tijdsbereik. Het bruikbare resultaat is een numerieke representatie gekoppeld aan brononderbouwing voor de volgende zoek- of analysestap van de toepassing.