Google: Gemini Embedding 2

Gemini Embedding 2 to multimodalny model osadzeń Google do liczbowej reprezentacji tekstu, obrazów, wideo, dźwięku i PDF. Odwzorowuje różne typy mediów we wspólnej przestrzeni, dzięki czemu aplikacja może porównywać ich znaczenie. Wynikiem jest wektor liczb przydatny do wyszukiwania semantycznego, wyszukiwania dokumentów, rekomendacji, klasyfikacji lub grupowania w klastry; nie jest to pisemna odpowiedź ani wygenerowany plik multimedialny. Google dokumentuje pokrycie semantyczne ponad 100 języków.

Dla bazy wiedzy utwórz wektory fragmentów źródłowych, porównaj z nimi zapytanie użytkownika i znajdź odpowiedni materiał. Osobny model tekstowy może następnie ułożyć odpowiedź z wykorzystaniem tych źródeł. W kolekcji mediów opis tekstowy może wyszukiwać powiązane obrazy lub wideo; obraz także może stanowić zapytanie. Zachowaj powiązanie każdego wektora z oryginalną treścią, w tym odwołanie do strony lub klipu, aby znaleziony wynik można było sprawdzić i pokazać w pierwotnym kontekście.

Łączny limit wejścia wynosi 8192 tokeny. Przewodnik po stabilnym modelu dopuszcza do sześciu obrazów PNG lub JPEG, do 180 sekund dźwięku MP3 lub WAV oraz do 120 sekund wideo MP4 lub MOV. Udokumentowane kodeki wideo to H264, H265, AV1 i VP9. Przetwarzanie wideo wykorzystuje najwyżej 32 klatki: klipy do 32 sekund są próbkowane z częstotliwością jednej klatki na sekundę, a dłuższe klipy są próbkowane równomiernie do 32 klatek. Ścieżka dźwiękowa filmu nie jest przetwarzana w tym wejściu wideo; utwórz osadzenie dźwięku osobno, gdy ma on znaczenie dla wyszukiwania.

Wejście PDF przyjmuje jeden plik o najwyżej sześciu stronach. Google zaleca jedną stronę na plik PDF dla najlepszej jakości. Dziel większe źródło na znaczące strony lub sekcje i zachowuj ich relację z oryginalnym dokumentem. Wybierz fragment reprezentujący to, co powinno dać się znaleźć, zamiast łączyć niepowiązane materiały tylko dlatego, że mieszczą się w limicie. Wspólna granica tokenów nadal dotyczy żądania z różnymi mediami. Każda strona PDF zużywa 258 tokenów wizualnych oprócz tokenów wyodrębnionego tekstu. W udokumentowanym procesie Google treść przekraczająca wspólny limit 8192 tokenów jest obcinana bez błędu.

Liczba wymiarów wyjścia jest elastyczna, od 128 do 3072, przy domyślnej wartości 3072 i zalecanych rozmiarach 768, 1536 i 3072. Model używa Matryoshka Representation Learning, więc początkowe części wektora pozostają użyteczne przy mniejszej liczbie wymiarów. Przewodnik dokumentuje automatyczną normalizację zarówno domyślnych, jak i skróconych wektorów. Wybierz spójną liczbę wymiarów dla rekordów i zapytań porównywanych przez aplikację; żądany rozmiar zmienia reprezentację liczbową, a nie samą treść źródłową.

W zadaniach wyłącznie tekstowych uwzględniaj cel w tekście, zamiast używać starszego pola task_type. Google rozróżnia wyszukiwanie asymetryczne i porównywanie symetryczne. Zapytanie wyszukiwania używa „task: search result | query: {content}”, a dokument źródłowy – „title: {title} | text: {content}”; użyj „title: none”, jeśli nie ma tytułu. Zadania odpowiadania na pytania, sprawdzania faktów i wyszukiwania kodu mają własne prefiksy zapytań. Dla klasyfikacji, grupowania w klastry lub oceny podobieństwa zdań stosuj konsekwentnie ten sam format zadania po obu stronach. Przewodnik zasadniczo odradza dodawanie prefiksu zadania do części tekstowej łącznej reprezentacji multimodalnej.

Struktura wejścia decyduje, czy wynik reprezentuje jeden połączony obiekt, czy osobne elementy. Wiele części podanych razem tworzy zagregowane osadzenie; osobne obiekty Content tworzą osobne osadzenia dla każdego wpisu. W poście zawierającym tekst i obraz łączna reprezentacja może uchwycić ich relację. Rekordy przeznaczone do niezależnego wyszukiwania zachowaj osobno. Ten wybór wpływa na szczegółowość wyszukiwania: jeden wektor całego posta różni się od jednego wektora dla każdego fragmentu lub obrazu.

Przewodnik podaje, że wektory z Gemini Embedding 001 i Gemini Embedding 2 zajmują niezgodne przestrzenie i nie można ich bezpośrednio porównywać. Kolekcja migrowana ze starszego modelu wymaga ponownego utworzenia osadzeń w nowej przestrzeni. Utrzymuj spójny wybór modelu i liczby wymiarów dla porównywanych wektorów oraz przechowuj oryginalny tekst i media osobno od indeksu liczbowego. Podobieństwo osadzeń jest sygnałem do wyszukiwania, a nie rzeczowym wyjaśnieniem, dlaczego dokument odpowiada na pytanie użytkownika.

W praktycznym katalogu twórz osadzenie fotografii produktu wraz z zatwierdzonym opisem, gdy para ma być wyszukiwana jako jeden obiekt. W kolekcji dokumentów twórz osadzenia fragmentów dotyczących konkretnych zagadnień i porównuj je z zapytaniem sformatowanym według celu, a następnie prezentuj fragmenty źródłowe obok wyniku wyszukiwania. Dla dźwięku lub wideo wybierz fragment opisujący wyszukiwane zdarzenie i zachowaj jego pierwotny przedział czasowy. Użytecznym rezultatem jest reprezentacja liczbowa powiązana z materiałem źródłowym, wspierająca kolejny krok wyszukiwania lub analizy w aplikacji.