ByteDance: Seedance 2.0 Fast

Το Seedance 2.0 Fast είναι η έκδοση της οικογένειας Seedance 2.0 της ByteDance Seed που προσανατολίζεται στην ταχύτητα. Υποστηρίζει κοινή παραγωγή βίντεο και ήχου και πολυτροπικές οδηγίες από κείμενο, εικόνες, βίντεο και ήχο. Οι δημιουργικές δυνατότητές του περιλαμβάνουν νέες σκηνές βάσει αναφορών, επεξεργασίες υπάρχοντος υλικού και επεκτάσεις σκηνής, ενώ τα τεκμηριωμένα επίπεδα εξόδου του είναι 480p και 720p.

Πολυτροπικές αναφορές: ανάθεση ρόλων στο υλικό

Μια εικόνα μπορεί να παρέχει χαρακτήρα, προϊόν, σύνθεση ή οπτική απόδοση. Ένα βίντεο αναφοράς μπορεί να παρέχει δράση, κίνηση κάμερας ή εφέ. Ο ήχος αναφοράς μπορεί να παρέχει χροιά φωνής, μουσική μελωδία ή περιεχόμενο διαλόγου. Εξηγήστε ποιο μέρος κάθε πηγής θέλετε να μεταφέρετε στη νέα σκηνή· μια αναφορά είναι χρησιμότερη όταν έχει συγκεκριμένο δημιουργικό ρόλο.

Για παράδειγμα: «Χρησιμοποιήστε το κεραμικό φωτιστικό του Image 1 ως προϊόν. Ακολουθήστε την αργή περιστροφική κίνηση κάμερας του Video 1, αλλά τοποθετήστε το φωτιστικό σε μια ήσυχη γωνιά ανάγνωσης. Χρησιμοποιήστε το Audio 1 για τη μουσική διάθεση». Η επιδιωκόμενη έξοδος είναι νέα σκηνή που συνδυάζει την επιλεγμένη εμφάνιση, κίνηση και ηχητική κατεύθυνση, αντί για απροσδιόριστη μίμηση κάθε λεπτομέρειας των αναφορών.

Οι τεκμηριωμένοι συνδυασμοί περιλαμβάνουν εικόνες με ήχο, εικόνες με βίντεο, βίντεο με ήχο και τους τρεις τύπους μαζί. Δεν υποστηρίζονται κείμενο μόνο με ήχο ούτε είσοδος μόνο ήχου. Το μοντέλο υποστηρίζει επίσης μετατροπή κειμένου σε βίντεο και παραγωγή βάσει εικόνας από πρώτο καρέ ή ζεύγος πρώτου και τελευταίου καρέ. Όταν ένα ακριβές τελικό σημείο είναι κεντρικό στην οδηγία, χρησιμοποιήστε την ειδική ροή τελικών σημείων· η περιγραφή μιας εικόνας αναφοράς ως τελικού σημείου σε προτροπή omni-reference είναι έμμεσος έλεγχος.

Επεξεργασία υπάρχοντος βίντεο

Το μοντέλο μπορεί να προσθέτει, να αφαιρεί ή να τροποποιεί στοιχεία, να αντικαθιστά ένα θέμα και να επανασχεδιάζει ή να επισκευάζει μέρη μιας σκηνής. Προσδιορίστε το αρχικό βίντεο, το αντικείμενο προς αλλαγή και τα στοιχεία που πρέπει να παραμείνουν. Για προσθήκη, περιγράψτε πού και πότε εμφανίζεται. Για αφαίρεση, προσδιορίστε το αντικείμενο με συνέπεια σε όλο το απόσπασμα.

Μια πρακτική οδηγία επεξεργασίας θα μπορούσε να αντικαθιστά ένα απλό μπουκάλι σε μια επίδειξη με το μπουκάλι του Image 1, ζητώντας παράλληλα διατήρηση της κίνησης χεριού, του φόντου και της διαδρομής κάμερας του Video 1. Ελέγξτε τόσο την αντικατάσταση όσο και τις περιοχές που πρέπει να παραμείνουν σταθερές. Οι σαφείς οδηγίες διατήρησης κάνουν την επιδιωκόμενη επεξεργασία ευκολότερη στην αξιολόγηση από ένα γενικό αίτημα «βελτίωσης» του υλικού.

Επέκταση και σύνδεση αποσπασμάτων

Το Seedance 2.0 Fast υποστηρίζει επέκταση προς τα εμπρός ή πίσω και σύνδεση δύο ή τριών αποσπασμάτων με παραγόμενες μεταβάσεις. Για επέκταση, δηλώστε αν η νέα δράση συμβαίνει πριν ή μετά το παρεχόμενο βίντεο και περιγράψτε τη. Για σύνδεση, δώστε τα αποσπάσματα με την προβλεπόμενη σειρά και εξηγήστε το οπτικό συμβάν που τα ενώνει.

Μια απλή επέκταση συνήθως επιστρέφει τη νέα συνέχεια που αναπτύχθηκε γύρω από το αρχικό υλικό, αντί να θεωρεί δεδομένη την επανάληψη ολόκληρου του αρχικού αποσπάσματος. Αν η έξοδος πρέπει να περιέχει το αρχικό τμήμα, δηλώστε το στην οδηγία. Κατά τη συμπλήρωση μετάβασης μεταξύ δύο ή τριών βίντεο, η τεκμηριωμένη ροή μπορεί να συνδυάζει αρχικό και νεοπαραγόμενο περιεχόμενο. Αυτό είναι χρήσιμο για τη σύνδεση μιας γενικής άποψης προϊόντος με λεπτομερές πλάνο μέσω σκόπιμης κίνησης κάμερας.

Έξοδος και διαφορές εκδόσεων

Η τεκμηριωμένη έξοδος Fast είναι MP4 στα 24 fps, με 480p ή 720p, βάθος χρώματος 8-bit και αποσπάσματα 4–15 δευτερολέπτων. Οι υποστηριζόμενες αναλογίες είναι 21:9, 16:9, 4:3, 1:1, 3:4 και 9:16. Η τυπική έκδοση Seedance 2.0 παραθέτει ξεχωριστά έξοδο 1080p και 4K· αυτά τα επίπεδα δεν ανήκουν στην προδιαγραφή Fast. Η οικογένεια 2.0 υποστηρίζει επιστροφή του τελευταίου παραγόμενου καρέ, αλλά όχι την ξεχωριστή λειτουργία προεπισκόπησης Draft.

Ο ήχος μπορεί να παράγεται μαζί με το υλικό ή να παραλείπεται για σιωπηλό απόσπασμα. Ο παραγόμενος ήχος είναι μονοφωνικός. Οι τεκμηριωμένες γλώσσες προτροπών περιλαμβάνουν αγγλικά, ισπανικά, ινδονησιακά, πορτογαλικά και ιαπωνικά. Διατηρήστε συνεπή την εκφωνούμενη γλώσσα σε έναν διάλογο· ο οδηγός συνιστά να αποφεύγεται η ανάμειξη γλωσσών, εκτός από κύρια ονόματα. Για σκηνή με ομιλία, κατονομάστε τον ομιλητή και βάλτε την ατάκα σε εισαγωγικά, έπειτα προσδιορίστε την εκφορά και τα σχετικά ηχητικά εφέ. Διατηρήστε την απαιτούμενη ερμηνεία κατάλληλη για την επιλεγμένη διάρκεια αποσπάσματος.

Προετοιμασία αναφορών και τήρηση ορίων εισόδου

Τα τεκμηριωμένα όρια αναφορών είναι έως εννέα εικόνες, τρία βίντεο και τρία αποσπάσματα ήχου. Στο συγκεκριμένο τεκμηριωμένο προφίλ του κατασκευαστή δεν γίνονται δεκτές απευθείας μεταφορτώσεις εικόνων ή βίντεο αναφοράς που περιέχουν πραγματικά ανθρώπινα πρόσωπα· οι εργασίες πορτρέτων χρησιμοποιούν την υποστηριζόμενη ροή στοιχείων πορτρέτου. Κάθε απόσπασμα βίντεο ή ήχου πρέπει να διαρκεί 2–15 δευτερόλεπτα· η συνολική διάρκεια βίντεο είναι έως 15 δευτερόλεπτα και η συνολική διάρκεια ήχου είναι ξεχωριστά έως 15 δευτερόλεπτα. Οι αναφορές βίντεο χρησιμοποιούν MP4 ή MOV, στα 24–60 fps, και δεν πρέπει να υπερβαίνουν τα 200 MB η καθεμία. Οι αναφορές ήχου χρησιμοποιούν WAV ή MP3 και δεν πρέπει να υπερβαίνουν τα 15 MB η καθεμία. Οι καταγεγραμμένες μορφές εικόνας είναι JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC και HEIF. Κάθε εικόνα πρέπει να είναι μικρότερη από 30 MB· το συνολικό όριο σώματος αιτήματος είναι 64 MB. Στο τεκμηριωμένο προφίλ εισόδου αναφορών, το πλάτος και το ύψος κάθε εικόνας πρέπει να είναι αυστηρά μεταξύ 300 και 6.000 pixel, με λόγο πλάτους προς ύψος αυστηρά μεταξύ 0.4 και 2.5. Τα βίντεο αναφοράς επιτρέπουν 300–6.000 pixel σε κάθε διάσταση και αναλογίες 0.4–2.5, συμπεριλαμβανομένων των ορίων, με συνολικά 407.696–8.295.044 pixel. Τα βίντεο MP4 ή MOV χρησιμοποιούν βίντεο H.264/AVC ή H.265/HEVC και ήχο AAC ή MP3.

Τοποθετήστε τα στοιχεία με σειρά και αναφερθείτε σε αυτά με συνέπεια ως Image 1, Video 1 ή Audio 1. Χρησιμοποιήστε το όνομα ή το διακριτικό χαρακτηριστικό του ορατού θέματος μαζί με τον αριθμό του στοιχείου. Ταιριάξτε το κάδρο των εικόνων ορίων στην επιδιωκόμενη αναλογία βίντεο, επειδή μια αναντιστοιχία μπορεί να περικόψει την εικόνα ή να προκαλέσει απότομη αλλαγή κάδρου. Εστιάστε την οδηγία στα χαρακτηριστικά που μεταφέρονται, στο συμβάν που παράγεται και σε όσα πρέπει να διατηρηθούν· μια μεγάλη προτροπή μπορεί να διασκορπίσει τις οδηγίες και να αφήσει δευτερεύουσες λεπτομέρειες ανεπίλυτες.

Σχεδιασμός πλάνων, κείμενο και γνωστές συμπεριφορές

Οργανώστε μια σύνθετη οδηγία ως Shot 1, Shot 2 και Shot 3, με σαφές θέμα, δράση, θέση και ήχο για κάθε πλάνο. Ο οδηγός συνιστά μία κίνηση κάμερας ανά πλάνο και αναφέρει ότι οι ακριβείς χρονικές σημάνσεις ανά πλάνο είναι ασταθείς. Δώστε σε κάθε χαρακτήρα σταθερή ετικέτα και λίγα διακριτικά χαρακτηριστικά· χρησιμοποιήστε ξεχωριστό καθαρό κοντινό προσώπου και ολόσωμη αναφορά, αντί για συνδυασμένο φύλλο πολλαπλών όψεων χαρακτήρα, όταν έχει σημασία η ταυτότητα προσώπου.

Το μοντέλο μπορεί να παράγει συνηθισμένο κείμενο, όπως συνθήματα, υπότιτλους και συννεφάκια ομιλίας, με οδηγίες για χρώμα, ύφος, θέση και εμφάνιση. Προτιμώνται συνηθισμένοι χαρακτήρες αντί σπάνιων χαρακτήρων ή ειδικών συμβόλων. Ελέγξτε τα γράμματα σε κίνηση. Ανεπιθύμητοι υπότιτλοι, λογότυπα και διπλοί χαρακτήρες είναι τεκμηριωμένες συμπεριφορές· οι ρητοί περιορισμοί και οι καθαρές αναφορές μπορούν να τις μειώσουν, αλλά δεν εγγυώνται την απουσία τους. Περισσότερα από τέσσερα άτομα αναφοράς αναφέρονται ως κίνδυνος σταθερότητας, όχι ως απόλυτο όριο αριθμού αρχείων.

Οι επαναλαμβανόμενες επεκτάσεις μπορούν να συσσωρεύσουν απώλεια ποιότητας εικόνας και η ένωση επέκτασης μπορεί να κάνει άλμα ή να γυρίσει πίσω. Περιορίστε τις διαδοχικές συνέχειες και επιθεωρήστε την ένωση στο μοντάζ. Η χροιά της φωνής αναφοράς μπορεί να αποκλίνει, η αφήγηση μπορεί να τελειώσει με κλικ και οι κινεζικοί πολυφωνικοί ή ασυνήθιστοι χαρακτήρες μπορεί να προφερθούν λανθασμένα. Ελέγξτε την εκφωνούμενη ατάκα και τον τελικό ήχο· ένα σύντομο σταδιακό σβήσιμο ήχου μπορεί να βοηθήσει σε απότομη διακοπή. Αυτοί οι έλεγχοι αποτελούν μέρος της προετοιμασίας του δημιουργικού αποτελέσματος, ιδιαίτερα όταν η ιστορία στηρίζεται στη συνέχεια ομιλίας ή χαρακτήρα.