Google: Gemini Embedding 2 Preview

Gemini Embedding 2 Preview yra įvardyta Google peržiūros versija jos iš prigimties multimodalinių įterpinių šeimoje. Ji tekstą, vaizdus, vaizdo įrašus, garsą ir PDF atvaizduoja bendroje skaitinėje erdvėje, reprezentuodama semantinį ketinimą daugiau nei 100 kalbų. Išvestis yra įterpiniai: vektoriai, naudojami susijusiai medžiagai palyginti ir rasti. Šios peržiūros versijos tapatybė lieka atskira nuo stabilios Gemini Embedding 2 versijos ir nereiškia tarpusavyje pakeičiamų svorių ar tapačios vektorių erdvės.

Pradiniame pranešime kaip tolesni taikymai aprašomi paieška tarp modalumų, klasifikavimas, grupavimas į klasterius, nuotaikų analizė ir paieška papildytas generavimas. Tekstinė užklausa gali rasti susijusią vaizdinę poziciją, o vaizdas ar klipas taip pat gali tapti paieškos atspirties tašku. Programa saugo reprezentacijas, jas palygina ir grąžina atitinkamus įrašus; atskiras kalbos modelis gali panaudoti rastą šaltinio medžiagą atsakymui parengti. Pats įterpinys neturi paaiškinimo natūraliąja kalba ar transkripcijos.

Jo paties modelio puslapyje dokumentuota 8192 žetonų įvesties riba ir išvesties matmenų skaičius nuo 128 iki 3072, rekomenduojami dydžiai – 768, 1536 ir 3072. Peržiūros versijos pranešime nurodytas numatytasis 3072 dydis ir aprašomas Matryoshka Representation Learning, išsaugantis naudingą informaciją trumpesnėse pradinėse reprezentacijos dalyse. Vektoriams, kuriuos reikia palyginti, išlaikykite vieną pasirinktą matmenų skaičių ir modelio versiją saugokite kartu su kolekcija, užuot jungę reprezentacijas vien dėl sutampančio jų ilgio.

Peržiūros versijos pranešime nurodoma, kad vienoje užklausoje galima pateikti iki šešių PNG ar JPEG vaizdų, iki 120 sekundžių MP4 ar MOV vaizdo įrašą ir iki šešių puslapių PDF dokumentus. Jame taip pat dokumentuotas tiesioginis garso įterpinių kūrimas be tarpinės tekstinės transkripcijos. Šios specifikacijos yra iš pačios peržiūros versijos pranešimo, o ne iš vėlesnio stabilios versijos vadovo. Pranešimas nenustato visų dabartinių garso trukmės, kodekų ar kadrų atrankos ribų šiam konkrečiam peržiūros profiliui.

Persipinanti multimodalinė įvestis leidžia reprezentacijai atspindėti ryšius tarp medijų, pavyzdžiui, vaizdo ir jo antraštės. Produktų kataloge pateikite nuotrauką ir patvirtintą aprašymą kartu, kai jie apibūdina vieną randamą objektą. Dokumentų kolekcijoje šaltinį padalykite į konkrečiai temai skirtas ištraukas ar puslapius ir išsaugokite jo pavadinimą bei vietą. Medijų bibliotekoje pasirinkite klipą, atitinkantį įvykį, kurį naudotojai turėtų rasti, ir su saugomu įrašu išsaugokite originalų laiko intervalą.

Naudinga paieškos užduotis aiškiai nusako numatytą ryšį. Klausimas, kuriuo prašoma paaiškinimo, vizualiai panašių pozicijų paieška ir grupavimas pagal temą yra skirtingos užduotys, net jei naudoja tą pačią šaltinių kolekciją. Turinį ruoškite nuosekliai, užregistruokite versiją ir matmenų skaičių bei išlaikykite kiekvieno vektoriaus ryšį su jo šaltiniu. Panašumas pateikia kandidatus programai patikrinti; jis neįrodo, kad du įrašai teigia tą patį faktą ar rastas šaltinis visiškai atsako į klausimą.

Praktinei medijų paieškai atvaizduokite pasirinktą vaizdą ar vaizdo įrašo ištrauką ir palyginkite su norimo turinio aprašymu. Atitinkantį šaltinį pateikite su jo antrašte ar laiko intervalu, kad naudotojas galėtų peržiūrėti. Žinių asistentui prieš generuojant rašytinį atsakymą raskite aktualų puslapį ar ištrauką. Preview modelio vaidmuo yra multimodalinė skaitinė reprezentacija, palaikanti šiuos atrankos veiksmus, o saugojimas, rikiavimo taisyklės ir galutinis atsakymas lieka jį naudojančio proceso dalimis.