Alibaba: HappyHorse 1.0

Alibaba HappyHorse 1.0 er en videoproduktionsudgave med navngivne profiler til tekst-til-video, billede-til-video med første billede og reference-til-video. Producenten beskriver fysisk overbevisende bevægelse, semantisk forståelse og audiovisuel synkronisering som dens kreative fokus. Referenceprofilen kan bruge op til ni billeder til at styre motiver og scener. Det nyttige artefakt er et kort klip med lyd: en ny scene, en animation fra et forberedt åbningsstillbillede eller en referencestyret figur- eller produktindstilling.

Til en tekstscene skal du definere motiv, omgivelser, handling og kamera med den ønskede lyd. Til en bordscene kan du vise en lille modelsejlbåd, der bevæger sig gennem en lav vandbakke, mens kameraet følger den i bordhøjde. Gennemgangen kan derefter kontrollere bådens form, scenens skala, vandbevægelse og forholdet mellem bevægelse og lyd. En fokuseret handling er lettere at vurdere end en tæt sekvens, hvis væsentlige øjeblik ikke er tydeligt angivet.

Til generering med første billede skal du bruge et stillbillede, hvis motiv og komposition allerede passer til den ønskede begyndelse. Beskriv den efterfølgende bevægelse og kameraets bane. Producentens præcise 1.0-billedprofil accepterer tekst- og billedinput, mens genereringsmatricen identificerer dette som billede-til-video med første billede. Forbered beskæring og synlige produkt- eller figurdetaljer, før indstillingen genereres. Kontrollér, om detaljerne forbliver genkendelige gennem bevægelsen, frem for kun at vurdere åbningsbilledet.

Reference-til-video kombinerer personer, produkter, stil eller miljø vist i visuelle kilder til en nybeskrevet scene. Den præcise 1.0-referencemodelside dokumenterer op til ni billeder. Tildel deres roller i briefen, og beskriv, hvordan motivet skal handle i scenen. En produktpræsentation kan skelne mellem genstandsreferencen og det omgivende sted eller den visuelle stil. Producentens fokus på stabilitet er et mål for gennemgang: sammenlign motiv, markeringer og placering med de faktiske referencer gennem hele klippet.

1.0-familien har også en særskilt navngivet videoredigeringsprofil til stilændringer og lokale eller bredere revisioner af eksisterende optagelser. Profilen tager præcis én kildevideo og nul til fem referencebilleder frem for referencegenereringens opsætning med ni billeder. Angiv, hvad der skal ændres, og hvad der skal blive, som ændring af en beklædningsgenstand, mens person, bevægelse og baggrund bevares. Redigeringsresultatet skal sammenlignes med hele kildeklippet, ikke kun et billede, der viser den ønskede erstatning.

Den præcise 1.0-redigeringsvejledning accepterer MP4- eller MOV-kildeoptagelser, anbefaler H.264 og tillader kildevarighed fra tre til tres sekunder. Den angiver højst 100 MB, en kortere side på mindst 360 pixels, en længere side på højst 4.096 pixels, proportioner mellem 1:2.5 og 2.5:1 og inputbilledhastighed fra otte til tres fps. Outputredigeringer er begrænset til tre til femten sekunder: kilder på femten sekunder eller mindre beholder deres varighed, mens længere kilder kun bruger de første femten sekunder. Trim den ønskede passage, før redigeringen forberedes, når en vigtig handling sker senere i kilden.

Redigeringsprofilens valgfrie referencebilleder har deres egen grænse på tyve MB og formatkrav om JPEG/JPG, PNG eller WEBP med begge dimensioner på mindst 300 pixels og samme dokumenterede proportionsinterval. Vejledningen skelner også mellem automatisk lydbehandling og bevarelse af originallyden. Forbered den reference, der identificerer den ønskede ændring, og vælg, hvordan kildelyden skal forholde sig til den. Det er specifikke kontroller til 1.0-redigeringsprofilen, adskilt fra tilstandene til generering af nye scener.

Til 1.0-genereringstilstandene angiver producentens præcise matrix 720p eller 1080p, tre til femten sekunder, MP4 ved 24 fps og lyd. Redigeringsprofilen leverer også 720p eller 1080p inden for sin grænse på femten sekunder. Den dokumenterede opgavearbejdsgang returnerer først en behandlingsidentifikator og efter succes placeringen af den færdige video; resultatplaceringer er gyldige i fireogtyve timer. Gem selve klippet, prompten og referencerne, når en produktionsredigering forberedes, og undersøg returneret indramning, varighed og lyd sammen.

HappyHorse 1.1 tilføjer en 480p-genereringsmulighed og navngivne forbedringer af visuelle detaljer, bevægelse og ensartethed mellem klip. Disse senere genereringsudsagn er ikke en garanti for bestemte rettelser i 1.0-profilen. Nyttig 1.0-forberedelse følger den valgte tilstand og dens faktiske kildematerialer. Gennemgå identitet, kontakt, objektgeometri, tekst og lyd, og gør derefter næste rettelse konkret. Til et redigeret klip skal du også kontrollere, at vigtige originaldetaljer uden for den ønskede ændring fortsat passer til den tilsigtede scene.