Google: Veo 3.1 Lite

Veo 3.1 Lite je variant Lite v rade modelov Veo 3 na generovanie videa od spoločnosti Google. Syntetizuje video so zvukom z opisu v prirodzenom jazyku alebo vstupného obrázka. Výstupom je vygenerovaný klip, nie textová analýza existujúcej nahrávky. Karta modelu Lite výrobcu odkazuje na Veo 3 pri základnej architektúre, tréningovom materiáli a známych obmedzeniach, zatiaľ čo dokumentácia špecifická pre Lite definuje jeho vlastné funkcie a limity generovania.

Odkazovaná architektúra používa latentnú difúziu nad časovými reprezentáciami zvuku a časopriestorovými reprezentáciami videa. Základný model bol trénovaný na zvuku, videu a obrázkoch s opismi rôznej úrovne podrobnosti, pričom tréningový materiál bol filtrovaný a deduplikovaný. To vysvetľuje účel spojeného generovania obrazu a zvuku. Neodhaľuje to počet parametrov špecifický pre Lite ani nepotvrdzuje, že každý generovaný pohyb zodpovedá fyzickej realite. Pri praktickej scéne rozhodujte o viditeľnej akcii a zodpovedajúcom zvuku spoločne.

Presná dokumentácia Lite uvádza limit textového vstupu 1 024 tokenov a jedno výstupné video. Stĺpec Lite v návode generovania uvádza dĺžky 4, 6 a 8 sekúnd s predvoleným 720p, pričom 1080p vyžaduje klip s dĺžkou 8 sekúnd. Predvolený pomer strán je 16:9 na šírku a uvedený je aj 9:16 na výšku; výstup je dokumentovaný pri 24 snímkach za sekundu. Natívny zvuk je v tomto postupe vždy zapnutý. Tieto hodnoty patria k pomenovanému postupu Lite výrobcu, nie k nesúvisiacej edícii Veo ani samostatne nameranej odpovedi aplikácie.

Lite nepodporuje výstup 4K ani predĺženie videa. Tabuľka parametrov tiež označuje funkciu viacerých referencií referenceImages a vstup videa na predĺženie ako nedostupné v stĺpci Lite. Úvodný obrázok môže určiť počiatočnú snímku; tabuľka uvádza obrázok lastFrame spolu s týmto úvodným obrázkom pre prechod. Túto cestu ovládania snímok odlíšte od miešania viacerých referencií štýlu či subjektu. Nastavenia generovania ľudí výrobcu sú špecifické pre režim: tabuľka Lite uvádza allow_all pre text-to-video a allow_adult pre image-to-video a interpoláciu, pričom regionálne pravidlá môžu dokumentovaný profil ďalej obmedziť. Úvodný obrázok vyberte tak, aby zodpovedal prvej scéne, ktorú skutočne chcete, so subjektom, rámovaním a viditeľnými detailmi pripravenými pred požiadavkou na pohyb.

Pri text-to-video opíšte subjekt, jeho akciu, prostredie a zamýšľaný štýl. Pridajte polohu a pohyb kamery, rámovanie, zaostrenie a svetlo, keď na nich záleží. Pôvodná produktová scéna môže držať predmet v strede, zatiaľ čo sa kamera približuje k jednému detailu materiálu a okolité svetlo sa jemne mení. Určte úvodný stav, hlavnú akciu a záverečný okamih, aby krátky klip uzavrel jednu súdržnú myšlienku. Dlhá zbierka nesúvisiacich akcií je inou úlohou než sústredený záber.

Pri image-to-video dodajte jasnú úvodnú snímku a vysvetlite, čo sa má pohybovať a čo má zostať stabilné. Pohyb subjektu a každý pohyb kamery určte samostatne. Ak používate obmedzenie záverečnou snímkou, pripravte zlučiteľnú koncovú kompozíciu a opíšte prechod medzi nimi. Výsledok skontrolujte namiesto predpokladu, že požadovaná identita, poloha alebo tvar zostávajú počas celého klipu identické. Odkazovaná karta modelu označuje úplnú konzistentnosť v zložitých scénach a zložitý pohyb za pretrvávajúcu výzvu.

Návod na zadania podporuje explicitné pokyny pre dialóg, zvukové efekty a atmosféru. Presnú reč dajte do úvodzoviek, určte hovoriaceho a zvuky opisujte vo vzťahu k viditeľnej akcii. Zvukový efekt ani atmosféra na pozadí sa nemajú zamieňať za hovorenú repliku. Angličtina je dokumentovaná ako plne podporovaná pre zadania, zatiaľ čo ostatné jazyky neboli v tomto návode vyhodnotené. Počuteľné slová, časovanie a kvalitu zvuku posudzujte ako súčasť rovnakého výstupu ako video namiesto považovania zvuku za zaručený verný prepis zadania.

Postup výrobcu je asynchrónny: požiadavka generovania vracia operáciu a dokončený výsledok sa získa po tom, čo jej stav oznámi dokončenie. Identitu operácie uchovajte a skontrolujte vrátený klip. Návod opisuje dvojdňové uchovávanie u výrobcu a označenie SynthID, preto uchovaný výstup má obsahovať stiahnutý výsledok, zadanie, zdrojové obrázky a zvolené nastavenia. Seed môže zlepšiť opakovateľnosť, ale nezaručuje determinizmus. Pred použitím klipu v strihu overte kontinuitu subjektu, akciu, rámovanie, zvuk a zamýšľaný koncový bod scény; samotné dokončenie spracovania nedokazuje splnenie tvorivých požiadaviek.