Google: Gemini Embedding 2

Gemini Embedding 2 ist Googles multimodales Embedding-Modell zur numerischen Repräsentation von Text, Bildern, Video, Audio und PDF. Es bildet die verschiedenen Medienarten auf einen gemeinsamen Raum ab, sodass eine Anwendung ihre Bedeutung über die Medien hinweg vergleichen kann. Das Ergebnis ist ein Zahlenvektor, nützlich für semantische Suche, Dokumentabruf, Empfehlungen, Klassifikation oder Clustering; es ist keine schriftliche Antwort und keine generierte Mediendatei. Google dokumentiert semantische Abdeckung über mehr als 100 Sprachen.

Erstellen Sie für eine Wissensbasis Vektoren der Quellpassagen, vergleichen Sie eine Nutzeranfrage damit und rufen Sie das relevante Material ab. Ein separates Textmodell kann anschließend mithilfe dieser Quellen eine Antwort verfassen. Bei einer Mediensammlung kann eine Textbeschreibung nach verwandten Bildern oder Videos suchen; auch ein Bild kann die Anfrage liefern. Bewahren Sie die Verbindung jedes Vektors zum Originalinhalt, einschließlich eines Seiten- oder Clipverweises, damit das abgerufene Ergebnis geprüft und im ursprünglichen Kontext gezeigt werden kann.

Die gesamte Eingabegrenze beträgt 8.192 Tokens. Der Leitfaden des stabilen Modells erlaubt bis zu sechs PNG- oder JPEG-Bilder, bis zu 180 Sekunden MP3- oder WAV-Audio und bis zu 120 Sekunden MP4- oder MOV-Video. Dokumentierte Videocodecs sind H264, H265, AV1 und VP9. Die Videoverarbeitung verwendet höchstens 32 Einzelbilder: Clips bis zu 32 Sekunden werden mit einem Bild pro Sekunde abgetastet, längere Clips gleichmäßig auf 32 Einzelbilder verteilt. Die Audiospur eines Videos wird in dieser Videoeingabe nicht verarbeitet; betten Sie den Ton separat ein, wenn er für die Informationssuche wichtig ist.

PDF-Eingabe akzeptiert eine Datei mit höchstens sechs Seiten. Google empfiehlt für beste Qualität eine Seite pro PDF. Teilen Sie eine größere Quelle in sinnvolle Seiten oder Abschnitte auf und bewahren Sie deren Beziehung zum Originaldokument. Wählen Sie einen Ausschnitt, der das abrufbare Material repräsentiert, statt sachfremde Materialien nur deshalb zu kombinieren, weil sie in die Grenze passen. Die gemeinsame Tokengrenze gilt weiterhin für Anfragen mit mehreren Medienarten. Jede PDF-Seite verbraucht 258 visuelle Tokens zusätzlich zu ihren extrahierten Texttokens. Im dokumentierten Google-Ablauf werden Inhalte jenseits der gemeinsamen Grenze von 8.192 Tokens ohne Fehlermeldung gekürzt.

Die Ausgabedimensionalität ist von 128 bis 3.072 flexibel, mit 3.072 als Standard und 768, 1.536 sowie 3.072 als empfohlenen Größen. Das Modell verwendet Matryoshka Representation Learning, sodass Vektorpräfixe bei kleineren Dimensionen nützlich bleiben. Sein Leitfaden dokumentiert automatische Normalisierung sowohl für Standardvektoren als auch für verkürzte Vektoren. Wählen Sie eine einheitliche Dimension für die Datensätze und Anfragen, die Ihre Anwendung vergleicht; die angeforderte Größe verändert die numerische Repräsentation, nicht den Quellinhalt selbst.

Geben Sie für reine Textaufgaben den Zweck im Text an, statt das ältere Feld task_type zu verwenden. Google unterscheidet asymmetrische Informationssuche von symmetrischem Vergleich. Eine Suchanfrage verwendet „task: search result | query: {content}“, während ein Quelldokument „title: {title} | text: {content}“ verwendet; nutzen Sie „title: none“, wenn es keinen Titel hat. Frage-Antwort-, Faktenprüfungs- und Codesuchaufgaben haben eigene Anfragepräfixe. Verwenden Sie für Klassifikation, Clustering oder Satzähnlichkeit dasselbe Aufgabenformat durchgehend auf beiden Seiten. Der Leitfaden rät generell davon ab, dem Textteil einer kombinierten multimodalen Repräsentation ein Aufgabenpräfix hinzuzufügen.

Die Eingabestruktur bestimmt, ob das Ergebnis ein kombiniertes Objekt oder separate Elemente repräsentiert. Mehrere gemeinsam bereitgestellte Teile erzeugen ein aggregiertes Embedding; separate Content-Objekte erzeugen separate Embeddings für jeden Eintrag. Bei einem Beitrag mit Text und Bild kann eine kombinierte Repräsentation deren Beziehung erfassen. Halten Sie unabhängig durchsuchbare Datensätze getrennt. Diese Wahl beeinflusst die Suchgranularität: Ein Vektor für einen ganzen Beitrag unterscheidet sich von einem Vektor für jede Passage oder jedes Bild.

Der Leitfaden erklärt, dass Vektoren von Gemini Embedding 001 und Gemini Embedding 2 inkompatible Räume belegen und nicht direkt verglichen werden können. Eine aus dem älteren Modell migrierte Sammlung muss für den neuen Raum erneut eingebettet werden. Halten Sie Modellwahl und Dimensionen mit den verglichenen Vektoren konsistent und bewahren Sie Originaltext und Medien separat vom numerischen Index. Die Ähnlichkeit eines Embeddings ist ein Suchsignal und keine sachliche Erklärung, warum ein Dokument die Nutzerfrage beantwortet.

Betten Sie für einen praktischen Katalog ein Produktfoto zusammen mit seiner freigegebenen Beschreibung ein, wenn das Paar als ein Objekt abgerufen werden soll. Betten Sie für eine Dokumentensammlung fokussierte Passagen ein, vergleichen Sie sie mit einer zweckformatierten Anfrage und präsentieren Sie anschließend die Quellpassagen neben dem Suchergebnis. Wählen Sie für Audio oder Video den Abschnitt, der das durchsuchbare Ereignis beschreibt, und bewahren Sie dessen ursprünglichen Zeitbereich. Das nützliche Ergebnis ist eine mit Quellbelegen verknüpfte numerische Repräsentation für den nächsten Such- oder Analyseschritt der Anwendung.