Alibaba: Wan 2.7

Alibaba Wan 2.7 to rodzina modeli generowania wideo z nazwanymi profilami tworzenia z tekstu, z obrazu i z referencjami. Producent dokumentuje sceny ze zsynchronizowanym dźwiękiem i opowieści z wieloma ujęciami, a proces obrazowy dodaje generowanie z pierwszej i ostatniej klatki oraz kontynuację początkowego filmu. Użytecznym rezultatem jest krótki klip z dźwiękiem, na przykład przejście z produktem, zwięzła historia lub kontynuacja pasująca do istniejącego ujęcia. Wybierz tryb według materiału źródłowego i potrzebnej kontroli nad początkiem lub zakończeniem.

Przy generowaniu z tekstu opisz temat, otoczenie, akcję, kamerę, styl i dźwięk. Storyboard może wskazywać każde ujęcie i przedział czasu, a opis pojedynczego ujęcia powinien zaznaczać ciągłość akcji. Przewodnik promptów Wan 2.7 pozwala modelowi interpretować strukturę ujęć z opisu, zamiast używać sterowania shot_type z wersji 2.6. Obecne tekstowe API przyjmuje prompty po chińsku lub angielsku do 5000 znaków oraz osobny prompt negatywny do 500 znaków; nadmiar tekstu jest obcinany. W tym limicie jasno określ najważniejszą akcję i ograniczenia.

Generowanie z obrazu pierwszej klatki animuje dostarczony obraz początkowy. Generowanie z pierwszej i ostatniej klatki określa także punkt końcowy i łączący je ruch. Przewodnik obrazowy 2.7 obsługuje sterujące źródło dźwięku obok tych kombinacji klatek. Przygotuj oba punkty przedstawiające tę samą scenę i zamierzony obiekt lub postać oraz opisz przejście, zamiast prosić model o ponowną interpretację obu obrazów jako niepowiązanych referencji stylu. Wynik przybliża proporcje pierwszego obrazu; przewodnik traktuje rozdzielczość jako poziom liczby pikseli i odpowiednio zaokrągla zakodowane wymiary.

Kontynuacja wideo zaczyna się od klipu źródłowego i może również wykorzystywać obraz końcowy. Żądany czas trwania oznacza cały zwracany film, wraz z oryginalnym segmentem. Przykład z przewodnika łączy dwusekundowe źródło z dziesięcioma sekundami nowej treści w dwunastosekundowy wynik. Przygotuj końcową akcję źródła i opisz dalszy przebieg, aby kamera i obiekt lub postać kontynuowały ruch w spójnym kierunku. Oceń połączenie pod kątem wyglądu, ruchu, światła i dźwięku, zamiast sprawdzać wyłącznie nowo wygenerowane zakończenie.

Obecny osobny profil referencyjny producenta wykorzystuje obrazy lub wideo do kierowania wyglądem postaci, przedmiotów lub sceny. Jego przewodnik dopuszcza łącznie maksymalnie pięć referencyjnych obrazów i filmów oraz używa etykiet właściwych dla typu, takich jak Image 1 i Video 1. Opisz rolę każdego materiału i zamierzoną interakcję. W scenie opartej na referencjach pokaż postać z jednej referencji niosącą przedmiot z drugiej przez określone miejsce. Kadrowanie referencyjne różni się od generowania z pierwszej klatki: opis może ustanowić nową kompozycję, zamiast wymagać rozpoczęcia filmu od jednego dostarczonego obrazu.

Dla własnego dźwięku w generowaniu z tekstu udokumentowane formaty to WAV i MP3, czas trwania od dwóch do trzydziestu sekund i maksymalny rozmiar 15 MB. Wybrana długość filmu określa użyty fragment: dłuższy dźwięk jest do niej przycinany, a krótszy pozostawia ciszę w pozostałej części filmu. Przygotuj dokładny fragment audio należący do ujęcia i pozostaw przestrzeń na zamierzoną akcję wizualną. Bez dostarczonego pliku audio producent opisuje generowanie muzyki w tle lub efektów pasujących do sceny; sprawdź rzeczywisty dźwięk i żądaną mowę wraz z obrazem.

Obecna tabela modeli podaje MP4 w 720p lub 1080p przy 30 kl./s oraz wyniki tekstowe i obrazowe o długości od dwóch do piętnastu sekund. Osobny profil referencyjny jest ograniczony do dwóch–dziesięciu sekund. Generowanie z tekstu oferuje proporcje 16:9, 9:16, 1:1, 4:3 i 3:4. Zadania warunkowane obrazem korzystają z własnych reguł przybliżania proporcji źródła, dlatego przygotuj kadr wejściowy do zamierzonego zastosowania. Reguł czasu trwania ani proporcji z profilu referencyjnego nie należy podstawiać w miejsce procesu klatkowego lub kontynuacji.

Udokumentowany proces producenta jest asynchroniczny: identyfikator zadania śledzi przetwarzanie, a pomyślny wynik zawiera adres filmu. Dokumentacja podaje dwudziestoczterogodzinną ważność odnośników do wyników, dlatego zachowaj sam klip i materiały twórcze do oceny montażowej. Opcje przepisywania promptu, znaku wodnego i ziarna losowości należą do wybranego interfejsu. Producent podaje, że stałe ziarno może zwiększyć powtarzalność, ale nie gwarantuje identycznego wyniku. Porównaj zwrócony materiał z opisem, zamiast zakładać, że same ustawienia zachowują każdy szczegół.

W porównaniu z Wan 2.6 przewodnik obrazowy 2.7 dodaje wprost sterowanie pierwszą i ostatnią klatką oraz kontynuację wideo przez multimodalne media wejściowe. Wan 3.0 wprowadza inną wszechstronną strukturę i dłuższy limit generowania. Profil 2.7 zachowuje własne elementy sterowania i limity dla poszczególnych zadań. Oceń całą scenę pod kątem ciągłości postaci lub obiektu, zakotwiczenia klatek, tożsamości referencji, dialogu, ruchu i połączeń, a kolejną poprawkę dopasuj do rzeczywiście wykrytego problemu.