Google: Gemini Embedding 2 Preview

Gemini Embedding 2 Preview to nazwana wersja poglądowa natywnej rodziny multimodalnych osadzeń Google. Odwzorowuje tekst, obrazy, wideo, dźwięk i PDF we wspólnej przestrzeni liczbowej, reprezentując intencję semantyczną w ponad 100 językach. Wynikiem są osadzenia: wektory używane do porównywania i wyszukiwania powiązanych materiałów. Tożsamość tej wersji Preview pozostaje odrębna od stabilnej wersji Gemini Embedding 2 i nie oznacza wymiennych wag ani identycznej przestrzeni wektorowej.

Pierwotne ogłoszenie opisuje wyszukiwanie między modalnościami, klasyfikację, grupowanie w klastry, analizę sentymentu i generowanie wspomagane wyszukiwaniem jako dalsze zastosowania. Zapytanie tekstowe może odnaleźć powiązany element wizualny, a obraz lub klip także może stanowić punkt wyjścia do wyszukiwania. Aplikacja przechowuje reprezentacje, porównuje je i zwraca odpowiednie rekordy; osobny model językowy może wykorzystać znaleziony materiał źródłowy do napisania odpowiedzi. Samo osadzenie nie zawiera objaśnienia w języku naturalnym ani transkrypcji.

Własna strona modelu dokumentuje limit wejścia wynoszący 8192 tokeny i liczbę wymiarów wyjścia od 128 do 3072, z zalecanymi rozmiarami 768, 1536 i 3072. Ogłoszenie wersji Preview podaje domyślną wartość 3072 i opisuje Matryoshka Representation Learning, które zachowuje przydatne informacje w krótszych początkowych częściach reprezentacji. Utrzymuj jedną wybraną liczbę wymiarów dla wektorów, które mają być porównywane, i zachowaj wersję modelu wraz z kolekcją, zamiast łączyć reprezentacje tylko dlatego, że mają tę samą długość.

Ogłoszenie wersji Preview dokumentuje do sześciu obrazów PNG lub JPEG na żądanie, do 120 sekund wideo MP4 lub MOV i dokumenty PDF do sześciu stron. Dokumentuje także bezpośrednie osadzanie dźwięku bez pośredniej transkrypcji tekstowej. Te specyfikacje pochodzą z własnego ogłoszenia wersji Preview, a nie z późniejszego przewodnika po wersji stabilnej. Ogłoszenie nie ustala wszystkich obecnych limitów czasu trwania dźwięku, kodeków ani próbkowania klatek dla tego konkretnego profilu Preview.

Przeplatane wejście multimodalne pozwala reprezentacji odzwierciedlać relacje między mediami, takimi jak obraz i jego podpis. W katalogu produktów podawaj fotografię i zatwierdzony opis razem, gdy opisują jeden obiekt do wyszukania. W kolekcji dokumentów dziel źródło na fragmenty dotyczące konkretnych zagadnień lub strony i zachowuj jego tytuł oraz położenie. W bibliotece mediów wybierz klip odpowiadający zdarzeniu, które użytkownicy powinni znajdować, i zachowaj jego oryginalny przedział czasowy wraz z zapisanym rekordem.

Użyteczne zadanie wyszukiwania jasno określa zamierzoną relację. Pytanie wymagające wyjaśnienia, wyszukiwanie wizualnie podobnych elementów i grupowanie według tematu to różne zadania, nawet jeśli korzystają z tej samej kolekcji źródeł. Przygotowuj treść konsekwentnie, zapisuj wersję i liczbę wymiarów oraz zachowuj powiązanie każdego wektora z jego źródłem. Podobieństwo dostarcza kandydatów do sprawdzenia przez aplikację; nie dowodzi, że dwa rekordy stwierdzają ten sam fakt ani że znalezione źródło w pełni odpowiada na pytanie.

W praktycznym wyszukiwaniu mediów reprezentuj wybrany obraz lub fragment wideo i porównuj go z opisem pożądanej treści. Prezentuj pasujące źródło obok jego podpisu lub przedziału czasowego, aby użytkownik mógł je sprawdzić. W przypadku asystenta wiedzy znajdź odpowiednią stronę lub fragment przed wygenerowaniem pisemnej odpowiedzi. Rolą modelu Preview jest multimodalna reprezentacja liczbowa wspierająca te etapy wyboru, a przechowywanie, reguły rankingu i ostateczna odpowiedź pozostają częściami procesu, w którym model jest używany.