Google: Gemini Embedding 2

Gemini Embedding 2 è il modello di embedding multimodale di Google per rappresentare numericamente testo, immagini, video, audio e PDF. Trasforma i diversi tipi di media in uno spazio condiviso, affinché un’applicazione possa confrontarne il significato tra modalità. Il risultato è un vettore di numeri, utile per ricerca semantica, recupero di documenti, raccomandazione, classificazione o clustering; non è una risposta scritta né un file multimediale generato. Google documenta una copertura semantica in oltre 100 lingue.

Per una base di conoscenze, crea vettori per i passaggi di origine, confronta con essi la query di un utente e recupera il materiale pertinente. Un modello testuale separato può poi comporre una risposta usando quelle fonti. Per una raccolta multimediale, una descrizione testuale può cercare immagini o video correlati; anche un’immagine può fornire la query. Preserva il collegamento di ogni vettore al contenuto originale, compreso un riferimento di pagina o clip, affinché il risultato recuperato possa essere esaminato e mostrato nel suo contesto originale.

Il limite complessivo di input è di 8192 token. La guida del modello stabile permette fino a sei immagini PNG o JPEG, fino a 180 secondi di audio MP3 o WAV e fino a 120 secondi di video MP4 o MOV. I codec video documentati sono H264, H265, AV1 e VP9. L’elaborazione video usa al massimo 32 fotogrammi: clip fino a 32 secondi vengono campionate a un fotogramma al secondo, mentre clip più lunghe vengono campionate uniformemente in 32 fotogrammi. La traccia audio di un video non viene elaborata in quell’input video; codifica separatamente il suono quando conta per il recupero.

L’input PDF accetta un file con al massimo sei pagine. Google raccomanda una pagina per PDF per la qualità migliore. Dividi una fonte più grande in pagine o sezioni significative e conserva il rapporto con il documento originale. Scegli un estratto che rappresenti ciò che deve essere recuperabile anziché combinare materiale non correlato soltanto perché rientra nel limite. Il confine condiviso in token si applica comunque a una richiesta con media misti. Ogni pagina PDF consuma 258 token visivi oltre ai token del testo estratto. Nel flusso documentato di Google, il contenuto che supera il limite condiviso di 8192 token viene troncato senza errore.

La dimensionalità dell’output è flessibile da 128 a 3072, con 3072 come valore predefinito e 768, 1536 e 3072 come dimensioni raccomandate. Il modello usa Matryoshka Representation Learning, quindi i prefissi del vettore rimangono utili a dimensioni inferiori. La guida documenta la normalizzazione automatica sia dei vettori predefiniti sia di quelli accorciati. Scegli una dimensione coerente per record e query confrontati dall’applicazione; la dimensione richiesta cambia la rappresentazione numerica, non il contenuto di origine stesso.

Per le attività solo testuali, includi lo scopo nel testo anziché usare il vecchio campo task_type. Google distingue il recupero asimmetrico dal confronto simmetrico. Una query di ricerca usa «task: search result | query: {content}», mentre un documento di origine usa «title: {title} | text: {content}»; usa «title: none» se non ha titolo. Le attività di domanda-risposta, verifica dei fatti e recupero di codice hanno propri prefissi di query. Per classificazione, clustering o similarità tra frasi, usa coerentemente lo stesso formato di attività su entrambi i lati. La guida generalmente sconsiglia di aggiungere un prefisso di attività alla porzione testuale di una rappresentazione multimodale combinata.

La struttura di input determina se il risultato rappresenta un oggetto combinato o elementi separati. Più parti fornite insieme creano un embedding aggregato; oggetti Content separati creano embedding distinti per ogni voce. Per un post contenente testo e un’immagine, una rappresentazione combinata può catturarne il rapporto. Per record ricercabili indipendentemente, mantienili separati. Questa scelta influisce sulla granularità del recupero: un vettore per un post intero è diverso da uno per ogni passaggio o immagine.

La guida afferma che i vettori di Gemini Embedding 001 e Gemini Embedding 2 occupano spazi incompatibili e non possono essere confrontati direttamente. Una raccolta migrata dal modello precedente deve essere ricodificata nel nuovo spazio. Mantieni coerenti la scelta del modello e le dimensioni con i vettori confrontati e conserva testo e media originali separatamente dall’indice numerico. La similarità di un embedding è un segnale di recupero, anziché una spiegazione fattuale del motivo per cui un documento risponde alla domanda dell’utente.

Per un catalogo concreto, codifica una fotografia di prodotto insieme alla descrizione approvata quando la coppia deve essere recuperata come un solo oggetto. Per una raccolta documentale, codifica passaggi mirati e confrontali con una query formattata per lo scopo, quindi presenta i passaggi di origine insieme al risultato di ricerca. Per audio o video, scegli la sequenza che descrive l’evento ricercabile e conserva il suo intervallo temporale originale. Il risultato utile è una rappresentazione numerica collegata a elementi di origine per il successivo passaggio di ricerca o analisi dell’applicazione.