Alibaba: Wan 3.0

Alibaba Wan 3.0 to wszechstronny profil tworzenia wideo, który przekształca opis i materiały pomocnicze w scenę z dźwiękiem. Producent oznacza model standardowy jako wan3.0-video. Generowanie wyłącznie z tekstu, klatki początkowe i końcowe, referencje multimodalne, edycja oraz kontynuacja korzystają w tym profilu z różnych układów danych wejściowych. Przydatne rezultaty obejmują krótką opowieść, prezentację produktu, przejście oparte na obrazach lub zmodyfikowany klip źródłowy, którego zmiany realizują określony kierunek twórczy.

Do sceny wyłącznie tekstowej przygotuj temat, lokalizację, akcję, pracę kamery, styl wizualny i dźwięk. Producent obsługuje pojedyncze ujęcia i storyboardy z wieloma ujęciami, zalecając strukturę z około czterema do sześciu sekund na ujęcie oraz opcjonalnymi przedziałami czasu. W krótkiej historii przedstaw małego mechanicznego ptaka na stole warsztatowym, pokaż jego pierwszy ruch i zakończ utrzymanym zbliżeniem, gdy nadal słychać odgłosy pomieszczenia. Opisz wizualną zależność między tymi etapami, aby trzydziestosekundowy limit służył jednej spójnej historii, a nie liście niepowiązanych działań.

Generowanie z pierwszej klatki animuje dostarczony nieruchomy obraz. Obraz określa kompozycję początkową, a prompt wyjaśnia ruch i pracę kamery. Generowanie z pierwszej i ostatniej klatki zakotwicza również zakończenie i opisuje przejście między dwoma obrazami. Przygotuj oba punkty ze zgodną sceną i zamierzonym kadrem. Przewodnik zaleca w tych trybach adaptacyjny wybór proporcji. Dane klatkowe są oddzielone od układów z obrazami, filmami i dźwiękiem referencyjnym, plikami oraz odnośnikami internetowymi, dlatego wybierz tryb materiału odpowiadający planowanemu ujęciu.

Tryb referencyjny łączy maksymalnie dziesięć obrazów, pięć klipów wideo i pięć klipów audio, w ramach łącznego limitu dwudziestu materiałów. Obrazy referencyjne mogą wskazywać postać, przedmiot, otoczenie lub styl; wideo może kierować ruchem lub pracą kamery, a audio — sposobem wykonania lub rytmem. Etykiety właściwe dla typu, takie jak Image 1, Video 1 i Audio 1, niezależnie odzwierciedlają kolejność danych wejściowych. Nadaj każdej referencji rolę i opisz, jak ma współdziałać z pozostałymi. Poprawnie wyglądająca postać w niewłaściwym otoczeniu jest innym błędem niż kamera, która pomija zamierzony ruch.

Udokumentowane limity plików referencyjnych wynoszą 20 MB na obraz, 100 MB na film i 15 MB na klip audio. Filmy referencyjne są łącznie ograniczone do piętnastu sekund, a referencje dźwiękowe mają osobny łączny limit piętnastu sekund. Materiałom referencyjnym może towarzyszyć jeden dokument lub jedna publiczna strona internetowa; dokument i odnośnik wzajemnie się wykluczają. Źródło musi być publicznie dostępne bez logowania. Przygotuj źródło skupione na zadaniu i określ, które treści mają wpłynąć na klip, szczególnie gdy dokument zawiera więcej informacji, niż scena może wykorzystać.

Natywne audio łączy dialog, muzykę w tle, odgłosy otoczenia i efekty dźwiękowe z generowanym obrazem. Podaj wypowiadane słowa, mówcę i sposób wypowiedzi, ważne efekty oraz informację, czy ma występować muzyka w tle. W przewodniku producenta dźwięk jest domyślnie włączony i można go wyłączyć. W scenie demonstracyjnej krótka kwestia wprowadzająca może poprzedzać szczegół produktu, a cichy mechaniczny dźwięk zaznaczać ruch. Odsłuchaj gotowy klip, sprawdzając rzeczywiste słowa, przypisanie głosu i synchronizację, zamiast oceniać dźwięk wyłącznie na podstawie opisu.

Przy edycji opisz zmianę i treść do zachowania. Przewodnik obejmuje dodawanie lub usuwanie elementów, podmianę cech, zmianę stylu wizualnego lub oświetlenia oraz modyfikowanie dialogu. Przy kontynuacji opisz, co ma wydarzyć się przed istniejącym klipem, po nim lub wokół niego. Adaptacyjne kadrowanie i inteligentny czas trwania pomagają procesowi opartemu na filmie źródłowym zachować zamierzony kształt i rytm. Gdy dostarczone jest wideo wejściowe, udokumentowana łączna długość wejściowego i wyjściowego filmu nie może przekraczać 30 sekund. Zachowaj oryginalne źródło i sprawdź zmieniony obszar oraz ciągłość całego klipu.

Wynikiem jest MP4 przy 30 kl./s, w rozdzielczości 480p, 720p lub 1080p. Nowo generowane filmy trwają od dwóch do trzydziestu sekund, a ustawienie inteligentnego czasu trwania może pozwolić modelowi wybrać długość. Udokumentowano formaty poziome, kwadratowe i pionowe oraz adaptacyjne kadrowanie dostosowane do dostarczonych materiałów. Producent przetwarza żądanie jako zadanie i zwraca adres gotowego filmu ważny przez dwadzieścia cztery godziny. Zachowaj sam wynik, opis i referencje jako dokumentację produkcyjną oraz sprawdź zwrócony czas trwania i kadr przed połączeniem go z innymi klipami.

Standardowy Wan 3.0 i wariant Prime współdzielą udokumentowane wszechstronne tryby; Prime kładzie nacisk na szybkość generowania. Wan 2.7 i 2.6 mają odrębne reguły czasu trwania i referencji właściwe dla konkretnych zadań, dlatego ich interfejsów nie należy traktować jako konfiguracji tej wersji. Oceń gotową scenę pod kątem tożsamości postaci i produktu, ciągłości przestrzennej, mowy, efektów, szczegółów przeniesionych ze źródła oraz zamierzonego początku i końca. Konkretna kolejna poprawka zachowuje udany kierunek, rozwiązując rzeczywistą wadę znalezioną w klipie.