Alibaba: HappyHorse 1.1

Alibaba HappyHorse 1.1 to wersja generowania wideo z osobno nazwanymi profilami tworzenia z tekstu, z obrazu pierwszej klatki i z referencji. Producent podkreśla ulepszone szczegóły wizualne, ruch, tożsamość postaci między klipami, stabilność tekstu i synchronizację obrazu z dźwiękiem. Rezultatem jest krótki film z dźwiękiem, przydatny jako ujęcie produktu, animacja portretu lub mała scena z postacią. Wybierz tryb wejściowy zgodnie z tym, co ma określać scenę: opisana koncepcja, dokładny obraz początkowy lub kilka referencji wizualnych.

Przy generowaniu z tekstu opisz temat, lokalizację, akcję, kadr, ruch kamery i zamierzony dźwięk. W krótkiej scenie akcji pokaż rowerzystę zatrzymującego się obok nadrzecznej kawiarni, gdy kamera delikatnie zbliża się do zaparkowanego roweru. Dopasuj akcję do krótkiego klipu i opisz ostatni moment. Obecny przewodnik tekstowy producenta dopuszcza do 5000 znaków innych niż chińskie lub 2500 znaków chińskich i obcina nadmiar tekstu. Uporządkuj opis tak, aby jego najważniejszy temat i akcja były wyraźne, zamiast ginąć w powtarzających się przymiotnikach.

Generowanie z obrazu pierwszej klatki używa dokładnie jednego obrazu jako początku. Przygotuj na nim temat, kompozycję i zamierzony kadr, a następnie opisz, co ma się poruszać lub jak ma zmienić się kamera. Udokumentowane formaty obrazu to JPEG/JPG, PNG i WEBP, do 20 MB, z oboma wymiarami co najmniej 300 pikseli i proporcjami od 1:2.5 do 2.5:1. Wynik przybliża wybrany poziom rozdzielczości, zachowując proporcje obrazu źródłowego. Wynik pionowy zaczyna się więc od odpowiedniej pionowej kompozycji, a nie niepowiązanej instrukcji proporcji.

Generowanie z referencji przyjmuje od jednego do dziewięciu obrazów. Prompt używa [Image 1], [Image 2] i kolejnych pozycji do wskazania ich w kolejności wejściowej. Określ rolę każdej referencji i nazwij odpowiedni przedmiot lub osobę, aby obraz sceny nie został pomylony ze źródłem wyglądu postaci. Przewodnik referencyjny przyjmuje JPEG/JPG, PNG lub WEBP do 20 MB, wymaga najkrótszego boku co najmniej 400 pikseli i zaleca czytelne referencje w 720p lub wyższej rozdzielczości. Unikaj mocno skompresowanej referencji, w której brakuje już szczegółów pozwalających rozpoznać temat.

W scenie z kilkoma referencjami umieść osobę z jednego obrazu w pokoju z drugiego, zachowując płaszcz lub produkt dostarczony przez trzeci. Opisz interakcję i kamerę w tym samym tekście. Profil referencyjny 1.1 podkreśla stabilność obiektów i postaci, stylu sceny i filmowego ruchu; sprawdź rzeczywisty wynik pod kątem zamierzonej tożsamości, oznaczeń produktu i położenia w przestrzeni. Kilka obrazów daje opisowi więcej informacji, ale ocena nadal musi ustalić, które cechy przeniosły się do filmu.

Producent podaje dla trybów generowania 1.1 rozdzielczości 480p, 720p i 1080p, czas trwania w pełnych sekundach od trzech do piętnastu oraz MP4 przy 24 kl./s. Odpowiedź API opisuje kodowanie H.264. Generowanie tekstowe i referencyjne oferuje między innymi proporcje 16:9, 9:16, 1:1, 4:3, 3:4, 4:5, 5:4, 9:21 i 21:9; generowanie z pierwszej klatki podąża za obrazem wejściowym. Wybierz format odpowiedni do miejsca użycia i pozostaw przestrzeń na późniejsze napisy lub elementy układu. Sprawdź rzeczywisty kadr zwróconego filmu w docelowym rozmiarze wyświetlania.

Wyniki rodziny modeli zawierają dźwięk. Nadaj wykonaniu lub atmosferze jasną rolę w opisie i oceń dialog, efekty lub podkład wraz z obrazem. Utrzymuj treść mówioną na tyle krótką, aby pozostawało miejsce na akcję i pauzy, zamiast wciskać długi scenariusz w jedno krótkie ujęcie. Gdy występuje mowa, sprawdź ruch ust, przypisanie mówcy i rzeczywiste słowa. Akceptacja języka promptu sama w sobie nie określa gwarantowanej wymowy ani osobnego wejścia referencji głosu.

Udokumentowany proces producenta jest asynchroniczny: identyfikator zadania śledzi przetwarzanie, a pomyślny wynik zawiera adres filmu. Odnośnik do wyniku i zapytania o zadanie mają według dokumentacji dwudziestoczterogodzinny okres ważności. Zachowaj gotowy klip, referencje i prompt jako dokumentację poprawek. Przewodniki dokumentują także sterowanie ziarnem losowości i znakiem wodnym. Stałe ziarno może pomagać w porównaniu, ale producent wyraźnie podaje, że nie gwarantuje identycznych wyników, dlatego oceniaj zwrócony materiał, zamiast zakładać, że jedno ustawienie ustala każdą klatkę.

HappyHorse 1.0 i 1.1 są odrębnymi wersjami. Tabela wyników 1.1 dodaje 480p do opcji 720p i 1080p z 1.0, a strony modelu 1.1 opisują ulepszenia szczegółów, ruchu i spójności. Osobno nazwany profil edycji wideo HappyHorse 1.0 ma własne dane wejściowe i limity; nie jest trybem edycji, który można po cichu przypisać do 1.1. Oceń cały klip 1.1 pod kątem tożsamości, ruchu, kadru, tekstu i dźwięku, a następnie wprowadź konkretną poprawkę, zachowując udane części opisu.