Google: Gemini Embedding 2

Gemini Embedding 2 é o modelo de embeddings multimodais da Google para representação numérica de texto, imagens, vídeo, áudio e PDF. Converte os diferentes tipos de conteúdos multimédia num espaço partilhado, para que uma aplicação possa comparar o significado entre eles. O resultado é um vetor de números, útil para pesquisa semântica, recuperação documental, recomendação, classificação ou agrupamento; não é uma resposta escrita nem um ficheiro multimédia gerado. A Google documenta cobertura semântica em mais de 100 línguas.

Numa base de conhecimento, crie vetores para as passagens de origem, compare uma consulta do utilizador com eles e recupere o material relevante. Um modelo textual separado pode depois compor uma resposta utilizando essas fontes. Numa coleção multimédia, uma descrição textual pode pesquisar imagens ou vídeos relacionados; uma imagem também pode fornecer a consulta. Preserve a ligação de cada vetor ao conteúdo original, incluindo uma referência de página ou excerto, para que o resultado recuperado possa ser examinado e mostrado no seu contexto original.

O limite global de entrada é de 8192 tokens. O guia do modelo estável permite até seis imagens PNG ou JPEG, até 180 segundos de áudio MP3 ou WAV e até 120 segundos de vídeo MP4 ou MOV. Os codecs de vídeo documentados são H264, H265, AV1 e VP9. O processamento de vídeo utiliza no máximo 32 fotogramas: excertos de até 32 segundos são amostrados a um fotograma por segundo, enquanto excertos mais longos são amostrados uniformemente até 32 fotogramas. A faixa de áudio de um vídeo não é processada nessa entrada de vídeo; gere o embedding do som separadamente quando importar para a recuperação.

A entrada PDF aceita um ficheiro com no máximo seis páginas. A Google recomenda uma página por PDF para obter a melhor qualidade. Divida uma fonte maior em páginas ou secções significativas e conserve a sua relação com o documento original. Escolha um excerto que represente o que deve ser recuperável, em vez de combinar materiais sem relação apenas porque cabem no limite. O limite partilhado de tokens continua a aplicar-se a um pedido com conteúdos multimédia mistos. Cada página PDF consome 258 tokens visuais, além dos tokens do seu texto extraído. No fluxo documentado da Google, o conteúdo que excede o limite partilhado de 8192 tokens é truncado sem erro.

A dimensionalidade de saída é flexível de 128 a 3072, com 3072 como predefinição e 768, 1536 e 3072 como tamanhos recomendados. O modelo utiliza Matryoshka Representation Learning, pelo que os prefixos do vetor continuam úteis em dimensões menores. O seu guia documenta normalização automática tanto para os vetores predefinidos como para os encurtados. Escolha uma dimensão consistente para os registos e consultas que a sua aplicação compara; o tamanho pedido altera a representação numérica, não o próprio conteúdo de origem.

Para tarefas apenas textuais, inclua o propósito no texto em vez de utilizar o campo mais antigo task_type. A Google distingue recuperação assimétrica de comparação simétrica. Uma consulta de pesquisa utiliza «task: search result | query: {content}», enquanto um documento de origem utiliza «title: {title} | text: {content}»; utilize «title: none» se não tiver título. As tarefas de pergunta-resposta, verificação de factos e recuperação de código têm os seus próprios prefixos de consulta. Para classificação, agrupamento ou similaridade entre frases, utilize o mesmo formato de tarefa de forma consistente nos dois lados. O guia geralmente desaconselha acrescentar um prefixo de tarefa à parte textual de uma representação multimodal combinada.

A estrutura da entrada determina se o resultado representa um objeto combinado ou elementos separados. Várias partes fornecidas em conjunto criam um embedding agregado; objetos Content separados criam embeddings separados para cada entrada. Numa publicação com texto e imagem, uma representação combinada pode captar a sua relação. Para registos pesquisáveis de forma independente, mantenha-os separados. Esta escolha afeta a granularidade de recuperação: um vetor para uma publicação inteira é diferente de um para cada passagem ou imagem.

O guia indica que os vetores de Gemini Embedding 001 e Gemini Embedding 2 ocupam espaços incompatíveis e não podem ser comparados diretamente. Uma coleção migrada do modelo anterior precisa de novos embeddings para o novo espaço. Mantenha a escolha de modelo e as dimensões consistentes com os vetores comparados e conserve o texto e os conteúdos multimédia originais separadamente do índice numérico. A similaridade de um embedding é um sinal de recuperação, em vez de uma explicação factual de por que razão um documento responde à pergunta do utilizador.

Num catálogo prático, gere um embedding combinado da fotografia de um produto e da sua descrição aprovada quando o par deve ser recuperado como um objeto. Numa coleção documental, gere embeddings de passagens focadas e compare-os com uma consulta formatada segundo o propósito; depois apresente as passagens de origem juntamente com o resultado de pesquisa. Para áudio ou vídeo, escolha o episódio que descreve o evento pesquisável e conserve o seu intervalo temporal original. O entregável útil é uma representação numérica ligada a evidência de origem para a próxima etapa de pesquisa ou análise da aplicação.