Alibaba: HappyHorse 1.0

Alibaba HappyHorse 1.0 to wersja do tworzenia wideo z nazwanymi profilami generowania z tekstu, z obrazu pierwszej klatki i z materiałów referencyjnych. Producent wskazuje fizycznie przekonujący ruch, rozumienie semantyczne i synchronizację obrazu z dźwiękiem jako główne cele twórcze. Profil referencyjny może korzystać z maksymalnie dziewięciu obrazów, które ukierunkowują wygląd obiektów i scen. Użytecznym rezultatem jest krótki klip z dźwiękiem: nowa scena, animacja przygotowanego obrazu początkowego albo ujęcie postaci lub produktu oparte na referencjach.

W scenie opisanej tekstem określ temat, otoczenie, akcję i pracę kamery wraz z zamierzonym dźwiękiem. W scenie na stole pokaż mały model żaglówki płynący po płytkiej tacy z wodą, podczas gdy kamera podąża za nim na wysokości blatu. Przy ocenie można wtedy sprawdzić kształt łódki, skalę sceny, ruch wody oraz związek ruchu z dźwiękiem. Jedno skupione działanie łatwiej ocenić niż gęstą sekwencję, której kluczowy moment nie został jasno określony.

Przy generowaniu z pierwszej klatki użyj obrazu, którego temat i kompozycja już odpowiadają zamierzonemu początkowi. Opisz dalszy ruch oraz tor kamery. Konkretny profil obrazowy producenta w wersji 1.0 przyjmuje tekst i obraz, a tabela trybów generowania określa go jako generowanie wideo z obrazu pierwszej klatki. Przygotuj kadr oraz widoczne szczegóły produktu lub postaci przed wygenerowaniem ujęcia. Sprawdź, czy szczegóły pozostają rozpoznawalne w ruchu, zamiast oceniać wyłącznie pierwszą klatkę.

Generowanie z referencji łączy osoby, produkty, styl lub otoczenie pokazane w źródłach wizualnych w nowo opisanej scenie. Strona konkretnego modelu referencyjnego 1.0 dokumentuje maksymalnie dziewięć obrazów. Przypisz im role w opisie i określ, jak obiekt lub postać ma zachowywać się w scenie. W prezentacji produktu można odróżnić referencję samego przedmiotu od referencji otoczenia lub stylu wizualnego. Podkreślana przez producenta stabilność stanowi cel oceny: przez cały klip porównuj obiekt, oznaczenia i położenie z rzeczywistymi referencjami.

Rodzina 1.0 obejmuje również osobno nazwany profil edycji wideo do zmian stylu oraz miejscowych lub szerszych modyfikacji istniejącego materiału. Przyjmuje on dokładnie jeden film źródłowy i od zera do pięciu obrazów referencyjnych, zamiast układu z dziewięcioma obrazami używanego do generowania z referencji. Określ, co ma się zmienić, a co pozostać, na przykład zmianę ubrania przy zachowaniu osoby, ruchu i tła. Wynik edycji trzeba porównać z całym klipem źródłowym, a nie tylko z klatką pokazującą zamierzoną podmianę.

Konkretny przewodnik edycji 1.0 przyjmuje materiały źródłowe MP4 lub MOV, zaleca H.264 i dopuszcza czas trwania od trzech do sześćdziesięciu sekund. Podaje limit 100 MB, krótszy bok o długości co najmniej 360 pikseli, dłuższy bok nie większy niż 4096 pikseli, proporcje od 1:2.5 do 2.5:1 oraz wejściową liczbę klatek od ośmiu do sześćdziesięciu na sekundę. Wyniki edycji mają od trzech do piętnastu sekund: źródła trwające nie więcej niż piętnaście sekund zachowują długość, a z dłuższych wykorzystywane jest tylko pierwsze piętnaście sekund. Jeśli ważna akcja pojawia się później w źródle, przytnij odpowiedni fragment przed przygotowaniem edycji.

Opcjonalne obrazy referencyjne profilu edycji mają własny limit 20 MB i wymagają formatu JPEG/JPG, PNG lub WEBP, obu wymiarów o długości co najmniej 300 pikseli oraz tego samego udokumentowanego zakresu proporcji. Przewodnik rozróżnia też automatyczne przetwarzanie dźwięku i zachowanie oryginalnej ścieżki. Przygotuj referencję wskazującą zamierzoną zmianę i wybierz, jak dźwięk źródłowy ma się do niej odnosić. Są to elementy sterowania właściwe dla profilu edycji 1.0, odrębne od trybów generowania nowych scen.

Dla trybów generowania 1.0 konkretna tabela producenta podaje 720p lub 1080p, od trzech do piętnastu sekund, MP4 przy 24 kl./s oraz dźwięk. Profil edycji również zwraca 720p lub 1080p w granicach piętnastu sekund. Udokumentowany przebieg zadania najpierw zwraca identyfikator przetwarzania, a po sukcesie adres gotowego filmu; adresy wyników są ważne przez dwadzieścia cztery godziny. Przy przygotowywaniu edycji produkcyjnej zachowaj sam klip, prompt i referencje oraz sprawdź łącznie zwrócony kadr, czas trwania i dźwięk.

HappyHorse 1.1 dodaje opcję generowania w 480p oraz wskazane ulepszenia szczegółów obrazu, ruchu i spójności między klipami. Te deklaracje dotyczące późniejszej wersji nie gwarantują takich samych właściwości konkretnej rewizji profilu 1.0. Przydatne przygotowanie do pracy z 1.0 odpowiada wybranemu trybowi i rzeczywistym materiałom źródłowym. Sprawdź tożsamość, kontakt między obiektami, ich geometrię, tekst i dźwięk, a następnie sformułuj konkretną poprawkę. W edytowanym klipie sprawdź także, czy ważne oryginalne szczegóły poza obszarem żądanej zmiany nadal pasują do zamierzonej sceny.