ByteDance: Seedance 2.5

A Seedance 2.5 írott jelenet és multimodális referenciák felhasználásával készít videót. A konkrét doubao-seedance-2-5-260628 azonosítóhoz saját dokumentált művelet és példa tartozik. Ez a művelet videógenerálást, videószerkesztést és videómeghosszabbítást ír le, képeket, videót, hangot és szöveget használva bemeneti médiaként. A referenciákkal adja meg a téma megjelenését, a cselekvést, a kameramozgást, a stílust és a hangot, majd magyarázza el, milyen eredményt szeretne létrehozni belőlük.

A bemeneti kombinációk között szerepel az önálló szöveg, képek vagy videó opcionális szöveggel, képek hanggal, videó hanggal, valamint képek, videó és hang együtt. A felsorolt kombinációk a hangot vizuális médiához csatolják, nem csak hangot tartalmazó kérést írnak le. Minden elemet a szerepe szerint rendezzen: egy kép témát vagy megjelenést rögzít, egy videó mozgást vagy meglévő jelenetet szemléltet, a hang pedig hangreferenciát ad. Mondja meg, melyik szerep fontos a kért plánhoz, hogy egy háttérreferenciát ne tévesszenek össze a főszereplővel.

A konkrét 2.5 példa egy termékreklám eseménysora. Egy képet és több videóreferenciát ad meg, majd nyitó fókuszpontot, rendezett termékelrendezéseket, részletplánokat, lassított cselekvést és záró márkakompozíciót ír le. A kérés reference_image és reference_video szerepeket rendel hozzá, és külön referenciákat használ a kompozícióhoz, a mozgáshoz, a kamerakezeléshez és a hatáshoz. Ez gyakorlati felépítést ad egy kampánykoncepcióhoz: tervezze meg a látható mozzanatokat, azonosítsa minden mozzanat referenciáját, és határozza meg a végső elrendezést.

Az írott eseménysor megkülönböztetheti, mi történik és hogyan filmezik le. Először azt írja le, mi történik a termékkel, majd a plánméretet, a kamera útvonalát, a tempót és a következő nézetre történő átmenetet. Ha egy referencia a terméket határozza meg, egy másik pedig kameramozgást mutat be, nevezze meg ezeket a külön szerepeket. Több tárgyat tartalmazó jelenetnél magyarázza el a helyzetüket és a kölcsönhatások sorrendjét. A generált eredményen a termék tényleges alakját, elrendezését és mozgását ellenőrizze, ne feltételezze, hogy a referenciák minden részlete változatlanul jelenik meg.

Szerkesztéshez nevezze meg a meglévő videót és a módosítandó elemet, például a környezetet, egy cselekvést vagy a vizuális stílust, közben adja meg a megőrzendő folytonosságot. Meghosszabbításhoz írja le, hogyan folytatódjon a jelenet a mellékelt felvételből. A csatlakozást az új szakasszal együtt ellenőrizze: a téma megjelenése, a mozgás iránya, a kamera helyzete és a hang időzítése mind befolyásolja, hogy az eredmény egyetlen jelenetnek hat-e. Az eredeti videót és az elkészült módosítást együtt őrizze meg, hogy a változtatást a tervezett folytonossághoz lehessen mérni.

A 2.5 dokumentált multimodális példája generate_audio=true értéket állít be, és tizenöt másodperces eseménysort kér 16:9 képkivágással. Ezek az értékek azt a példát írják le, nem általános időtartam-plafont vagy referenciafájl-korlátot. A kért jelenetnek adjon világos hangzásbeli elképzelést, a zene, az effektek és a látható cselekvés kapcsolatát is beleértve, majd a tényleges audiovizuális kimenetet értékelje. A hangreferenciát és a generált hangsávot együtt kell ellenőrizni a kívánt tempó és előadásmód szempontjából.

Az időtartamot, a képkivágást és a felbontást az ehhez a konkrét profilhoz kínált beállításokból válassza ki. A kért konfigurációt őrizze meg az utasítással együtt, és hasonlítsa össze a ténylegesen visszaadott feladatmezőkkel. Az elkészült klip célhelyre való előkészítésekor a visszaadott időtartamot, felbontást és képarányt használja. A módosítások nyilvántartásában őrizze meg a pontos profilazonosítót, hogy egy későbbi összehasonlítás ugyanazt a kiválasztott kiadást használja.

A videótoken-használat képlete: (bemeneti videó időtartama + kimeneti videó időtartama) × kimeneti szélesség × kimeneti magasság × kimeneti képkockasebesség / 1024. A bemeneti videót tartalmazó és az azt nem tartalmazó kérések külön számlázási kategóriába tartoznak. A feladat lekérdezése usage.completion_tokens és usage.total_tokens értéket jelent; ezeket a jelentett mennyiségeket őrizze meg az elkészült klippel együtt.

A generálás aszinkron. A beküldés azonosítót ad vissza, a beállított feladatfolyamat pedig állapotot, majd siker után content.video_url értéket biztosít. Az elkészült klipet mentse el a forrásmédiával és az eseménysor leírásával együtt. A teljes eredményen ellenőrizze az összes tervezett mozzanatot, a tárgyak kölcsönhatásait, a szereplők megjelenését, a képkivágást és a hang illeszkedését. Módosításkor azonosítsa a konkrét elhibázott részletet, és őrizze meg a jelenet sikeres részeit, ne cserélje le az egész leírást egymáshoz nem kapcsolódó utasításokra.