Alibaba: HappyHorse 1.0

Alibaba HappyHorse 1.0 er en utgave for videoskaping med navngitte profiler for tekst-til-video, bilde-til-video fra første bilde og referanse-til-video. Produsenten fremhever fysisk overbevisende bevegelser, semantisk forståelse og synkronisering av lyd og bilde som sine kreative satsingsområder. Referanseprofilen kan bruke opptil ni bilder til å styre motiver og scener. Det nyttige resultatet er et kort klipp med lyd: en ny scene, en animasjon fra et ferdig åpningsbilde eller et karakter- eller produktopptak styrt av referanser.

For en scene fra tekst angir du motiv, omgivelser, handling og kamera, sammen med ønsket lyd. I en bordscene kan du vise en liten modellseilbåt som beveger seg gjennom et grunt vannkar, mens kameraet følger den i bordhøyde. Ved gjennomgang kan du kontrollere båtens form, scenens målestokk, vannbevegelsen og sammenhengen mellom bevegelse og lyd. En avgrenset handling er lettere å vurdere enn en tettpakket sekvens der det avgjørende øyeblikket ikke er tydelig beskrevet.

Ved generering fra første bilde bruker du et stillbilde der motivet og komposisjonen allerede passer til den ønskede åpningen. Beskriv bevegelsen som følger, og kamerabanen. Den spesifikke bildeprofilen for 1.0 tar imot tekst og bilde, mens produsentens genereringsmatrise omtaler dette som bilde-til-video fra første bilde. Klargjør utsnittet og synlige produkt- eller karakterdetaljer før opptaket genereres. Kontroller om detaljene forblir gjenkjennelige gjennom bevegelsen, i stedet for å vurdere bare åpningsbildet.

Referanse-til-video kombinerer personene, produktene, stilen eller omgivelsene i visuelle kilder til en ny scene du beskriver. Modellsiden for den spesifikke 1.0-referansemodellen dokumenterer opptil ni bilder. Gi dem tydelige roller i beskrivelsen, og forklar hvordan motivet skal opptre i scenen. En produktpresentasjon kan skille mellom referansen for selve varen og referanser for omgivelsene eller den visuelle stilen. Produsentens vektlegging av stabilitet gir et mål for gjennomgangen: sammenlign motivet, merkingene og plasseringen med de faktiske referansene gjennom hele klippet.

1.0-familien har også en egen navngitt video-edit-profil for stilendringer og lokale eller mer omfattende bearbeidinger av eksisterende opptak. Denne profilen tar nøyaktig én kildevideo og null til fem referansebilder, i motsetning til oppsettet med ni bilder for referansebasert generering. Angi hva som skal endres og hva som skal beholdes, for eksempel å bytte et plagg mens personen, bevegelsen og bakgrunnen bevares. Redigeringsresultatet må sammenlignes med hele kildeklippet, ikke bare et bilde som viser den ønskede erstatningen.

Den spesifikke redigeringsveiledningen for 1.0 godtar kildeopptak i MP4 eller MOV, anbefaler H.264 og tillater en kildelengde fra tre til seksti sekunder. Den angir maksimalt 100 MB, en kortside på minst 360 piksler, en langside på høyst 4 096 piksler, sideforhold mellom 1:2.5 og 2.5:1 og en bildefrekvens fra åtte til seksti bilder per sekund for inndata. Redigerte resultater er begrenset til tre til femten sekunder: kilder på femten sekunder eller mindre beholder lengden, mens lengre kilder bare bruker de første femten sekundene. Klipp til den ønskede sekvensen før redigeringen klargjøres hvis en viktig handling skjer senere i kilden.

Redigeringsprofilens valgfrie referansebilder har en egen grense på tjue MB og må være i JPEG/JPG-, PNG- eller WEBP-format, med begge dimensjoner på minst 300 piksler og det samme dokumenterte intervallet for sideforhold. Veiledningen skiller også mellom automatisk lydbehandling og bevaring av originallyden. Klargjør referansen som viser den ønskede endringen, og velg hvordan kildelyden skal forholde seg til den. Dette er kontroller som gjelder spesifikt for redigeringsprofilen i 1.0, atskilt fra modusene for å generere nye scener.

For genereringsmodusene i 1.0 oppgir produsentens spesifikke matrise 720p eller 1080p, tre til femten sekunder, MP4 ved 24 bilder per sekund og lyd. Redigeringsprofilen leverer også 720p eller 1080p innenfor grensen på femten sekunder. Den dokumenterte oppgaveflyten returnerer først en behandlingsidentifikator og deretter plasseringen til den ferdige videoen når oppgaven lykkes; resultatadressene er gyldige i tjuefire timer. Behold selve klippet, prompten og referansene når du klargjør en produksjonsredigering, og vurder det returnerte utsnittet, lengden og lyden samlet.

HappyHorse 1.1 legger til et genereringsvalg på 480p og navngitte forbedringer i visuelle detaljer, bevegelse og konsistens mellom klipp. Disse påstandene om senere generering er ingen garanti for den fastlagte 1.0-revisjonen. Nyttig klargjøring for 1.0 følger den valgte modusen og det faktiske kildematerialet. Vurder identitet, kontakt, objektgeometri, tekst og lyd, og gjør deretter neste korrigering konkret. For et redigert klipp kontrollerer du også at viktige originaldetaljer utenfor den ønskede endringen fortsatt passer til den tiltenkte scenen.