Google: Gemini Embedding 2

Gemini Embedding 2 yra Google multimodalinis įterpinių modelis teksto, vaizdų, vaizdo įrašų, garso ir PDF skaitiniam atvaizdavimui. Skirtingus medijų tipus jis atvaizduoja bendroje erdvėje, kad programa galėtų palyginti jų reikšmę. Rezultatas yra skaičių vektorius, naudingas semantinei paieškai, dokumentų paieškai, rekomendacijoms, klasifikavimui ar grupavimui į klasterius; tai nėra rašytinis atsakymas ar sugeneruotas medijos failas. Google dokumentuoja semantinę daugiau nei 100 kalbų aprėptį.

Žinių bazei sukurkite šaltinio ištraukų vektorius, palyginkite su jais naudotojo užklausą ir raskite aktualią medžiagą. Atskiras teksto modelis tada gali parengti atsakymą pagal šiuos šaltinius. Medijų kolekcijoje tekstinis aprašymas gali ieškoti susijusių vaizdų ar vaizdo įrašų; vaizdas taip pat gali pateikti užklausą. Išsaugokite kiekvieno vektoriaus ryšį su originaliu turiniu, įskaitant puslapio ar klipo nuorodą, kad rastą rezultatą būtų galima patikrinti ir parodyti jo originaliame kontekste.

Bendra įvesties riba yra 8192 žetonai. Stabilaus modelio vadovas leidžia iki šešių PNG ar JPEG vaizdų, iki 180 sekundžių MP3 ar WAV garso ir iki 120 sekundžių MP4 ar MOV vaizdo įrašo. Dokumentuoti vaizdo kodekai yra H264, H265, AV1 ir VP9. Vaizdo įrašo apdorojimas naudoja daugiausia 32 kadrus: iki 32 sekundžių klipuose imamas vienas kadras per sekundę, o ilgesniuose klipuose tolygiai atrenkami 32 kadrai. Šioje vaizdo įvestyje garso takelis neapdorojamas; jo garso įterpinį kurkite atskirai, kai jis svarbus paieškai.

PDF įvestis priima vieną failą, turintį daugiausia šešis puslapius. Geriausiai kokybei Google rekomenduoja vieną puslapį viename PDF. Didesnį šaltinį padalykite į prasmingus puslapius ar skyrius ir išsaugokite jų ryšį su originaliu dokumentu. Rinkitės ištrauką, kuri atvaizduoja tai, kas turėtų būti randama, užuot jungę nesusijusias medžiagas vien todėl, kad jos telpa į ribą. Bendra žetonų riba vis tiek taikoma mišrių medijų užklausai. Kiekvienas PDF puslapis sunaudoja 258 vaizdinius žetonus papildomai prie jo išgauto teksto žetonų. Google dokumentuotame procese turinys, viršijantis bendrą 8192 žetonų ribą, nukerpamas be klaidos.

Išvesties matmenų skaičius yra lankstus nuo 128 iki 3072, numatytasis – 3072, o rekomenduojami dydžiai – 768, 1536 ir 3072. Modelis naudoja Matryoshka Representation Learning, todėl pradinės vektoriaus dalys lieka naudingos mažesniuose matmenyse. Jo vadove dokumentuotas automatinis tiek numatytųjų, tiek sutrumpintų vektorių normalizavimas. Programos lyginamiems įrašams ir užklausoms pasirinkite vienodą matmenų skaičių; prašomas dydis keičia skaitinę reprezentaciją, o ne patį šaltinio turinį.

Tik tekstinėms užduotims paskirtį įtraukite į tekstą, užuot naudoję senesnį task_type lauką. Google skiria asimetrinę paiešką nuo simetrinio palyginimo. Paieškos užklausa naudoja „task: search result | query: {content}“, o šaltinio dokumentas – „title: {title} | text: {content}“; jei pavadinimo nėra, naudokite „title: none“. Atsakymo į klausimus, faktų tikrinimo ir kodo paieškos užduotys turi savus užklausų priešdėlius. Klasifikavimui, grupavimui į klasterius ar sakinių panašumo vertinimui abiejose pusėse nuosekliai naudokite tą patį užduoties formatą. Vadovas paprastai nerekomenduoja pridėti užduoties priešdėlio prie teksto dalies jungtinėje multimodalinėje reprezentacijoje.

Įvesties struktūra lemia, ar rezultatas atvaizduoja vieną jungtinį objektą, ar atskiras pozicijas. Kelios kartu pateiktos dalys sukuria agreguotą įterpinį; atskiri Content objektai sukuria atskirus įterpinius kiekvienam įrašui. Įrašui su tekstu ir paveikslu jungtinis atvaizdas gali užfiksuoti jų ryšį. Nepriklausomai ieškomus įrašus palikite atskirus. Šis pasirinkimas veikia paieškos detalumą: vienas viso įrašo vektorius skiriasi nuo atskiro vektoriaus kiekvienai ištraukai ar vaizdui.

Vadove nurodyta, kad Gemini Embedding 001 ir Gemini Embedding 2 vektoriai priklauso nesuderinamoms erdvėms ir negali būti tiesiogiai lyginami. Kolekcijai, perkeltai iš senesnio modelio, reikia iš naujo sukurti įterpinius naujajai erdvei. Lyginamuose vektoriuose išlaikykite nuoseklų modelio pasirinkimą ir matmenis, o originalų tekstą bei medijas saugokite atskirai nuo skaitinio indekso. Įterpinio panašumas yra paieškos signalas, o ne faktinis paaiškinimas, kodėl dokumentas atsako į naudotojo klausimą.

Praktiniam katalogui produkto nuotraukos įterpinį kurkite kartu su patvirtintu aprašymu, kai pora turėtų būti randama kaip vienas objektas. Dokumentų kolekcijoje kurkite konkrečiai temai skirtų ištraukų įterpinius, palyginkite su pagal paskirtį suformuota užklausa ir šaltinio ištraukas pateikite šalia paieškos rezultato. Garso ar vaizdo įraše pasirinkite epizodą, aprašantį ieškomą įvykį, ir išsaugokite jo originalų laiko intervalą. Naudingas rezultatas yra skaitinis atvaizdas, susietas su šaltinio pagrindimu kitam programos paieškos ar analizės veiksmui.