ByteDance: Seedance 2.0

Seedance 2.0 generuoja vaizdo įrašą pagal rašytinę sceną arba vaizdų, vaizdo ir garso atskaitos medžiagos derinį. Tikslus identifikatorius doubao-seedance-2-0-260128 žymi standartinį 2.0 profilį. Dokumentuotos darbo eigos apima naujo vaizdo generavimą, esamos filmuotos medžiagos redagavimą ir pratęsimą. Atskaitos medžiaga perteikite išvaizdą, judėjimą, kameros kalbą ir garsą, tada nurodykite, kurias scenos dalis ji turi valdyti.

Tekstą galima pateikti vieną. Dokumentuoti multimodaliniai deriniai taip pat leidžia vaizdus arba vaizdo įrašą su neprivalomu tekstu, vaizdus su garsu, vaizdo įrašą su garsu ir vaizdus, vaizdo įrašą bei garsą kartu. Taigi šiuose išvardytuose deriniuose garsas papildo vaizdinę medžiagą; atskira vaizdo generavimo vien iš garso užklausa neaprašoma. Net kai tekstas neprivalomas, aiškiai aprašykite norimą rezultatą, kad kiekvieno atskaitos pavyzdžio vaidmuo būtų nurodytas, o ne išvedamas iš nesusijusių failų.

Masyve content atskiriami text, image_url, video_url ir audio_url elementai. Multimodalinė atskaitos medžiaga naudoja tokius vaidmenis kaip reference_image, reference_video ir reference_audio. Vaizdas gali nustatyti asmenį, objektą, vietą ar išvaizdą. Vaizdo įrašas gali parodyti atlikimą, judėjimą ar kameros vaizdą, o garsas – nustatyti takelį ar laiką. Apraše nurodykite paskirtį: išlaikyti objektą iš vaizdo, sekti vaizdo įrašo kameros vaizdą ir naudoti garsą kaip foną. Neprašykite, kad kiekvienas atskaitos pavyzdys vienu metu nustatytų visas savybes.

Dokumentuotas reklamos pavyzdys sujungia du gaminio vaizdus su vaizdo ir garso atskaitos įrašu. Jame aprašomas pradinis vaizdas, veiksmų seka, stambiu planu rodoma gaminio detalė ir baigiamoji kompozicija, išlaikant nuoseklų foninį balsą. Ta pati struktūra gali padėti sukurti trumpą pristatymą: parodyti objektą, pademonstruoti vieną veiksmą ir užbaigti atpažįstama jo savybe. Redaguodami nurodykite pradinę filmuotą medžiagą ir keistiną elementą; pratęsdami paaiškinkite veiksmą, kuris tęsiasi už esamos scenos ribų, išlaikant objektą ir judėjimo kryptį.

2.0 profilyje dokumentuota trukmė sveikomis sekundėmis nuo keturių iki penkiolikos arba -1, kad trukmė šiame intervale būtų parinkta automatiškai. Numatytoji trukmė – penkios sekundės. Raiškos parinktys – 480p ir 720p; numatytoji – 720p, o 1080p 2.0 profiliui neleidžiama. Fiksuoti kraštinių santykiai apima 16:9, 4:3, 1:1, 3:4, 9:16 ir 21:9. Prisitaikantis santykis gali parinkti kadravimą pagal užklausos tekstą ar atskaitos pavyzdį: darbas pagal pirmąjį kadrą seka pradinį vaizdą, o multimodalinis darbas naudoja numatytą sceną arba pirmą tinkamą mediją, teikdamas vaizdo įrašui pirmenybę prieš vaizdus. Užduoties rezultate patikrinkite faktinį santykį ir trukmę.

Generuojamas garsas valdomas atskirai nuo atskaitos medijos. generate_audio=true prašo sinchronizuotų balsų, efektų ir foninės muzikos pagal tekstą ir vaizdinį turinį; false prašo vaizdo įrašo be garso. Dokumentuota numatytoji reikšmė – true, o kalbai rekomenduojamas kabutėse pateiktas dialogas. Nurodykite, kas kalba ir kaip garsas siejasi su matomu veiksmu, tada patikrinkite tikrus žodžius, balsų priskyrimą ir laiką. Garso atskaitos įrašo pateikimas ir generuojamo garso įjungimas yra atskiri užklausos pasirinkimai.

2.0 vadove neleidžiami senesni frames ir camera_fixed valdikliai, taip pat nepalaikomas flex offline apdorojimas. Naudokite duration lauką, o kameros judėjimą aprašykite pačioje scenoje. Seed ir vandenženklis išlieka dokumentuotais valdikliais; vadove teigiama, kad ta pati užklausa ir seed gali duoti panašius rezultatus, tačiau visiškas sutapimas negarantuojamas. Nelaikykite seed atkuriamumo įrodymu, o pakartotinės užklausos – jau peržiūrėtu klipu.

Vaizdo žetonų naudojimas apskaičiuojamas taip: (įvesties vaizdo įrašo trukmė + išvesties vaizdo įrašo trukmė) × išvesties plotis × išvesties aukštis × išvesties kadrų dažnis / 1024. Užklausos su įvesties vaizdo įrašu ir užklausos be jo turi atskiras apmokestinimo kategorijas. Užduoties užklausa pateikia usage.completion_tokens ir usage.total_tokens; išsaugokite šiuos pateiktus kiekius kartu su užbaigtu klipu.

Darbo eiga yra asinchroninė: pateikus užklausą grąžinamas užduoties identifikatorius, o užbaigta užduotis pateikia content.video_url kartu su nurodyta trukme, raiška, santykiu, kadrų dažniu ir žetonų naudojimu. Išsaugokite identifikatorių ir užbaigtą vaizdo įrašą kartu su pradine atskaitos medžiaga bei užklausos tekstu. Galiojimo lauko numatytoji reikšmė – 172 800 sekundžių, leidžiamos reikšmės – 3 600–259 200 sekundžių nuo užduoties sukūrimo; intervalą viršijusi užduotis įgyja būseną expired. Peržiūrėkite visą išvestį, įskaitant redagavimo ar pratęsimo jungtį: veikėjų išvaizdą, objektų detales, erdvinius ryšius, kameros tęstinumą ir garso bei vaizdo laikų suderinimą.