Kling: Video O1

Kling VIDEO O1 to zunifikowany, prowadzony referencjami model wideo Kuaishou. Łączy opis tekstowy z obrazami, przygotowanymi elementami podmiotów lub źródłowym filmem, prowadząc nowe sceny i ukierunkowane zmiany istniejącego materiału. Jego podstawowym interfejsem jest brief wizualny: wskaż materiał referencyjny, opisz jego rolę i określ wygląd, akcję lub przekształcenie oczekiwane w wynikowym wideo.

Nowe ujęcie może zacząć się od tekstu, obrazu otwierającego lub zestawu referencji wizualnych. Użyj obrazu do ustanowienia postaci lub obiektu i opisz słowami scenerię, akcję oraz punkt widzenia. Gdy kilka referencji wnosi różne cechy, jawnie przypisz ich role. Oryginalny brief produktu może przejąć obiekt z jednego obrazu, a otoczenie z drugiego, po czym opisać ruch obiektu w tej scenerii.

Prompt O1 może nazywać obrazy, elementy i wideo konkretnymi znacznikami referencyjnymi, takimi jak <<<image_1>>> lub <<<video_1>>>. Zachowuj powiązanie znaczników z rzeczywiście dostarczonym materiałem i wyjaśniaj, co z niego przejąć. Limit promptu producenta wynosi 2500 znaków. Zwięzła instrukcja wskazująca podmiot i zmianę jest użyteczniejsza niż zbiór niepowiązanych określeń stylu.

Dla referencji obrazowych bez wejścia wideo udokumentowany łączny budżet wynosi do siedmiu obrazów referencyjnych i elementów wieloobrazowych. Przy filmie referencyjnym budżet obrazów i elementów wynosi cztery. Limity te dotyczą elementów opartych na obrazach; inne typy elementów mają osobne reguły zgodności. Wybieraj materiał dostarczający kluczowego wyglądu lub informacji o scenie, zamiast wypełniać budżet redundantnymi widokami.

Wejścia obrazowe używają JPG, JPEG lub PNG, dostarczanych jako dostępny URL lub dane obrazu, z plikami do 10 MB, wymiarami co najmniej 300 pikseli i proporcjami od 1:2.5 do 2.5:1. Przygotuj wyraźne podmioty i zachowaj ważne szczegóły w przycięciu. Jeśli zadanie wymaga rozpoznawalności postaci lub produktu, określ cechy do zachowania i kontroluj je w całym ukończonym klipie.

Klatki początkowa i końcowa warunkują przejście między granicami wizualnymi. Udokumentowany proces klatek granicznych O1 wymaga pierwszej klatki, gdy dostarczono ostatnią, i nie obsługuje sterowania początkiem i końcem przy więcej niż dwóch obrazach w tablicy. Gdy używa się obu klatek granicznych, dodatkowe elementy podmiotów nie należą do tej konfiguracji O1. Oddziel zadanie sterowane klatkami od edycji dostarczonego wideo bazowego.

Film źródłowy może mieć dwie odrębne role. Jako klip bazowy jest materiałem do edycji: kieruj konkretnym dodaniem, usunięciem, opracowaniem stylu lub zmianą kompozycji, wskazując elementy do zachowania. Edycja podąża za długością wejściowego klipu i nie łączy zadania wideo bazowego ze sterowaniem klatkami granicznymi lub generacją wielu ujęć. Jako referencja cech film dostarcza treść, styl lub informacje kamery do nowego ujęcia.

Promptowanie filmem referencyjnym może też żądać ujęcia poprzedzającego lub następującego. Wskaż klip źródłowy i opisz nowe widoczne zdarzenie, takie jak kontynuacja działania podmiotu lub odsłonięcie otaczającego środowiska. Wykorzystuje to referencję do przekazania informacji wizualnej; przed złożeniem nowego segmentu z oryginalnym materiałem oceń połączenie i ciągłość podmiotu.

Profil wejścia wideo producenta przyjmuje jedno źródło MP4 lub MOV, do 200 MB, z minimalną długością trzech sekund. Szczegółowy profil wejścia określa wymiary od 720 do 2160 pikseli i liczbę klatek od 24 do 60 fps, z proporcjami wejściowymi od 1:2.5 do 2.5:1. Ten udokumentowany proces wideo źródłowego zwraca film 24 fps. Dokładna dozwolona długość klipu zależy też od wybranego profilu modelu. Zakres nowej generacji O1 wynosi od trzech do dziesięciu sekund i różni się od późniejszego zakresu 3.0 Omni.

Tryby O1 producenta zapewniają wyjście 720p Standard lub 1080p Pro. Kadrowanie nowych ujęć obsługuje udokumentowane wybory poziome, pionowe i kwadratowe tam, gdzie wybrany proces używa tego parametru; edycja bazowego wideo podąża za kadrowaniem źródła. Audio źródłowego wideo można zachować lub odrzucić. Proces referencji i edycji O1 powinien pozostawać odrębny od późniejszego profilu natywnego audio i własnego storyboardu 3.0 Omni.

Generacja tworzy zadanie, którego ukończony wynik zawiera materiał wideo i rzeczywistą długość. Dokumentacja wyników producenta mówi, że generowane filmy są usuwane po 30 dniach, więc niezwłocznie zapisz ukończony klip. Zachowaj z nim materiały źródłowe i brief, a następnie oceń żądaną zmianę, użycie referencji i ciągłość. W edycji porównuj zmieniany obszar i części do zachowania. W nowym ujęciu prowadzonym referencjami sprawdź, czy każdy materiał dostarczył zamierzoną informację wizualną. Zachowaj ukończony klip do późniejszego montażu lub sekwencji produkcyjnej.