Google: Gemini Embedding 2 Preview

A Gemini Embedding 2 Preview a Google eleve multimodális beágyazási modellcsaládjának név szerint megjelölt előzetes kiadása. Szöveget, képet, videót, hangot és PDF-et képez le közös numerikus térbe, a szemantikai szándékot több mint 100 nyelven reprezentálva. Kimenete beágyazásokból áll: olyan vektorokból, amelyek kapcsolódó anyagok összehasonlítására és keresésére szolgálnak. Ez az előzetes kiadás külön identitású a stabil Gemini Embedding 2 kiadáshoz képest, és nem jelent felcserélhető modellparamétereket vagy azonos vektorteret.

Az eredeti bejelentés a modalitások közötti keresést, az osztályozást, a klaszterezést, az érzelemelemzést és a visszakereséssel kiegészített generálást nevezi meg további alkalmazásként. Egy szöveges lekérdezés kapcsolódó vizuális elemet találhat meg, de egy kép vagy videórészlet is szolgálhat a keresés kiindulópontjául. Az alkalmazás tárolja a reprezentációkat, összehasonlítja őket, és visszaadja a megfelelő rekordokat; egy külön nyelvi modell a megtalált forrásanyagból választervezetet készíthet. Maga a beágyazás nem tartalmaz természetes nyelvű magyarázatot vagy átiratot.

A modell saját oldala 8192 tokenes bemeneti korlátot és 128–3072 közötti kimeneti dimenziókat dokumentál, 768, 1536 és 3072 ajánlott mérettel. Az előzetes kiadás bejelentése 3072-t ad meg alapértelmezésként, és ismerteti a Matryoshka Representation Learning módszert, amely a reprezentáció rövidebb kezdőrészeiben is megőrzi a hasznos információt. Az összehasonlítandó vektorokhoz egy kiválasztott dimenziót használjon, és a gyűjtemény mellett őrizze meg a modellkiadás adatait, ahelyett, hogy pusztán azonos hosszuk miatt egyesítene reprezentációkat.

Az előzetes kiadás bejelentése kérésenként legfeljebb hat PNG- vagy JPEG-képet, legfeljebb 120 másodpercnyi MP4- vagy MOV-videót, valamint legfeljebb hatoldalas PDF-dokumentumokat dokumentál. Közvetlen hangbeágyazást is dokumentál köztes szöveges átírás nélkül. Ezek a specifikációk az előzetes kiadás saját bejelentéséből származnak, nem a későbbi stabil útmutatóból. A bejelentés nem rögzíti a hanghosszra, kodekekre vagy képkocka-mintavételezésre vonatkozó összes aktuális korlátot ennél a konkrét előzetes profilnál.

Az egymással váltakozó multimodális bemenet lehetővé teszi, hogy a reprezentáció tükrözze a médiák közötti kapcsolatokat, például egy kép és a képaláírása kapcsolatát. Termékkatalógusnál együtt adja meg a fényképet és a jóváhagyott leírást, ha egyetlen kereshető objektumot írnak le. Dokumentumgyűjteménynél ossza a forrást körülhatárolt szövegrészletekre vagy oldalakra, és őrizze meg a címét és a helyét. Médiatárnál válasszon olyan részletet, amely a felhasználók által keresendő eseménynek felel meg, és az eredeti időtartományát tartsa meg a tárolt rekord mellett.

Egy hasznos keresési feladat egyértelművé teszi a kívánt kapcsolatot. A magyarázatot kérő kérdés, a vizuálisan hasonló elemek keresése és a témánkénti klaszterezés különböző feladatok, még akkor is, ha ugyanazt a forrásgyűjteményt használják. Következetesen készítse elő a tartalmat, rögzítse a kiadást és a dimenziót, és minden vektort tartson a forrásához kapcsolva. A hasonlóság jelölteket ad az alkalmazásnak vizsgálatra; nem bizonyítja, hogy két rekord ugyanazt a tényt állítja, vagy hogy egy megtalált forrás teljes mértékben megválaszol egy kérdést.

Gyakorlati médiakeresésnél reprezentálja a kiválasztott képet vagy videórészletet, és hasonlítsa össze a kívánt tartalom leírásával. A megfelelő forrást a képaláírással vagy időtartománnyal együtt jelenítse meg, hogy a felhasználó megvizsgálhassa. Tudásasszisztensnél az írott válasz generálása előtt keresse meg a releváns oldalt vagy szövegrészletet. A Preview-modell szerepe az ezeket a kiválasztási lépéseket támogató multimodális numerikus reprezentáció, míg a tárolás, a rangsorolási szabályok és a végső válasz az azt körülvevő munkafolyamat részei maradnak.