ByteDance: Seedance 2.0

Το Seedance 2.0 είναι το τυπικό μοντέλο της ByteDance Seed για πολυτροπική δημιουργία ήχου και βίντεο. Συνδυάζει κείμενο, εικόνες, βίντεο και ήχο σε αρχιτεκτονική κοινής παραγωγής, με ξεχωριστές δημιουργικές ροές για σκηνές βάσει αναφορών, επεξεργασία και επέκταση βίντεο. Είναι χρήσιμο όταν η οδηγία χρειάζεται τόσο συνεκτική ερμηνεία όσο και συγκεκριμένες οπτικές ή ηχητικές πληροφορίες από προετοιμασμένα υλικά.

Πολυτροπικές αναφορές και σκηνοθετικός έλεγχος

Οι εικόνες μπορούν να ορίζουν την εμφάνιση θέματος, το οπτικό ύφος και τη σύνθεση. Οι αναφορές βίντεο μπορούν να καθοδηγούν δράση, κίνηση κάμερας και εφέ. Ο ήχος μπορεί να καθοδηγεί χροιά φωνής, μουσική ή διάλογο. Ορίστε τον ρόλο κάθε υλικού και έπειτα περιγράψτε τη σκηνή που πρέπει να προκύψει. Ο κατασκευαστής δίνει έμφαση στον έλεγχο ερμηνείας, φωτισμού, σκιών και κινηματογραφικής γλώσσας.

Για μια ιστορία προϊόντος, προετοιμάστε εικόνα προϊόντος, αναφορά κίνησης κάμερας και ηχητική οδηγία. Μια οδηγία θα μπορούσε να είναι: «Διατηρήστε το μπλε γυάλινο βάζο του Image 1. Χρησιμοποιήστε την αργή πλάγια κίνηση παρακολούθησης του Video 1. Το βάζο βρίσκεται σε ένα ηλιόλουστο ράφι, με απαλή οργανική μουσική βάσει του Audio 1». Η επιδιωκόμενη έξοδος είναι μια νέα σκηνοθετημένη σκηνή που συνδυάζει επιλεγμένες πληροφορίες αναφοράς.

Οι είσοδοι αναφοράς μπορούν να συνδυάζουν εικόνα και ήχο, εικόνα και βίντεο, βίντεο και ήχο ή και τους τρεις τύπους. Δεν υποστηρίζονται είσοδος μόνο ήχου και κείμενο μαζί με ήχο χωρίς εικόνα ή βίντεο. Τεκμηριώνονται επίσης η παραδοσιακή μετατροπή κειμένου σε βίντεο, η παραγωγή από πρώτο καρέ και η παραγωγή από πρώτο και τελευταίο καρέ. Αν είναι σημαντικές οι σταθερές αρχικές και τελικές συνθέσεις, χρησιμοποιήστε την ειδική ροή ορίων: η ονομασία μιας εικόνας αναφοράς ως τελικού σημείου μέσα σε προτροπή omni-reference είναι μόνο έμμεσος τρόπος καθοδήγησης.

Επεξεργασία υλικού

Το μοντέλο μπορεί να αντικαθιστά θέμα, να προσθέτει ή να αφαιρεί αντικείμενα, να αλλάζει στοιχεία και να επανασχεδιάζει ή να επισκευάζει μέρη βίντεο. Περιγράψτε τη συγκεκριμένη αλλαγή και προσδιορίστε το αρχικό υλικό. Για προσθήκη, συμπεριλάβετε χρόνο εμφάνισης και θέση· για αφαίρεση ή αντικατάσταση, δηλώστε με ακρίβεια το αντικείμενο και κατονομάστε όσα πρέπει να διατηρηθούν.

Για παράδειγμα: «Αντικαταστήστε το φωτιστικό γραφείου του Video 1 με το ορειχάλκινο φωτιστικό του Image 1. Διατηρήστε την κίνηση κάμερας, τη διάταξη γραφείου και την κατεύθυνση φωτισμού». Το επιθυμητό αποτέλεσμα είναι επεξεργασμένη εκδοχή της σκηνής με την προβλεπόμενη αντικατάσταση. Επιθεωρήστε τις αμετάβλητες περιοχές καθώς και το νέο αντικείμενο, ιδιαίτερα κατά την απόκρυψη, την κίνηση και τις αλλαγές πλάνων.

Επέκταση και σύνδεση ακολουθίας

Το Seedance 2.0 μπορεί να επεκτείνει ένα βίντεο προς τα εμπρός ή πίσω και να συνδέσει έως τρία παρεχόμενα αποσπάσματα με παραγόμενες μεταβάσεις. Προσδιορίστε τη χρονική κατεύθυνση και το νέο συμβάν. Για γέφυρα, βάλτε τα αποσπάσματα με σειρά και περιγράψτε τη μετάβαση μεταξύ κάθε ζεύγους, όπως μια κάμερα που εισέρχεται σε πόρτα σε ένα πλάνο και φτάνει στο επόμενο περιβάλλον.

Μια απλή επέκταση συνήθως επιστρέφει τη συνέχεια που αναπτύχθηκε γύρω από το αρχικό υλικό· συμπεριλάβετε σαφή οδηγία αν το τελικό αποτέλεσμα πρέπει επίσης να επαναλαμβάνει το αρχικό τμήμα. Κατά την ολοκλήρωση σύνδεσης δύο ή τριών αποσπασμάτων, η τεκμηριωμένη ροή μπορεί να περιλαμβάνει τόσο αρχικό υλικό όσο και νέο περιεχόμενο μετάβασης. Αυτό είναι χρήσιμο για ανάπτυξη αρχής ή τέλους ή σύνδεση έτοιμων σκηνών χωρίς να μένει απροσδιόριστη η ενωτική δράση.

Έξοδος τυπικής έκδοσης και 4K

Η τυπική έκδοση τεκμηριώνει MP4 στα 24 fps και διάρκειες από 4 έως 15 δευτερόλεπτα. Τα επίπεδα εξόδου είναι 480p, 720p και 1080p με βάθος χρώματος 8-bit, καθώς και 4K με βάθος χρώματος 10-bit. Οι υποστηριζόμενες αναλογίες είναι 21:9, 16:9, 4:3, 1:1, 3:4 και 9:16. Τεκμηριώνονται επίσης προσαρμοστικό καδράρισμα και αυτόματη επιλογή διάρκειας. Η έκδοση Fast έχει δική της στενότερη προδιαγραφή εξόδου 480p/720p.

Η έξοδος 4K χρησιμοποιεί κωδικοποίηση H.265/HEVC. Η κωδικοποίηση δέκα bit διατηρεί πρόσθετες τονικές διαβαθμίσεις και ομαλότερες χρωματικές μεταβάσεις, κάτι που έχει σημασία για υλικό με λεπτές διαβαθμίσεις φωτός ή χρώματος. Ελέγξτε ότι το προβλεπόμενο περιβάλλον αναπαραγωγής και μοντάζ μπορεί να αποκωδικοποιήσει αυτή τη μορφή· ορισμένοι φυλλομετρητές και συσκευές δεν την αναπαράγουν απευθείας. Ένας συμβατός περιέκτης δεν εξασφαλίζει από μόνος του συμβατή αποκωδικοποίηση βίντεο.

Το μοντέλο μπορεί να παράγει συγχρονισμένο ήχο ή σιωπηλό βίντεο και να επιστρέφει το τελευταίο παραγόμενο καρέ για επόμενη σκηνή. Ο παραγόμενος ήχος είναι μονοφωνικός. Η οικογένεια 2.0 δεν υποστηρίζει την ξεχωριστή λειτουργία προεπισκόπησης Draft δύο σταδίων, επομένως αυτή η δυνατότητα δεν πρέπει να συνάγεται από άλλη έκδοση Seedance.

Προετοιμασία αναφορών και ουσιαστικά όρια

Η τεκμηριωμένη χωρητικότητα αναφορών είναι έως εννέα εικόνες, τρία βίντεο και τρία αποσπάσματα ήχου. Στο συγκεκριμένο τεκμηριωμένο προφίλ του κατασκευαστή δεν γίνονται δεκτές απευθείας μεταφορτώσεις εικόνων ή βίντεο αναφοράς που περιέχουν πραγματικά ανθρώπινα πρόσωπα· οι εργασίες πορτρέτων χρησιμοποιούν την υποστηριζόμενη ροή στοιχείων πορτρέτου. Κάθε απόσπασμα βίντεο και ήχου πρέπει να διαρκεί 2–15 δευτερόλεπτα. Όλες οι αναφορές βίντεο μαζί πρέπει να χωρούν σε 15 δευτερόλεπτα και όλες οι αναφορές ήχου έχουν δικό τους συνολικό όριο 15 δευτερολέπτων. Τα αρχεία βίντεο χρησιμοποιούν MP4 ή MOV στα 24–60 fps, έως 200 MB το καθένα· τα αρχεία ήχου χρησιμοποιούν WAV ή MP3, έως 15 MB το καθένα. Οι καταγεγραμμένες μορφές εικόνας είναι JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC και HEIF. Κάθε εικόνα πρέπει να είναι μικρότερη από 30 MB και το σώμα αιτήματος να μην υπερβαίνει τα 64 MB. Στο τεκμηριωμένο προφίλ εισόδου αναφορών, το πλάτος και το ύψος εικόνας πρέπει να είναι αυστηρά μεταξύ 300 και 6.000 pixel, με λόγο πλάτους προς ύψος αυστηρά μεταξύ 0.4 και 2.5. Τα βίντεο αναφοράς επιτρέπουν 300–6.000 pixel σε κάθε διάσταση και αναλογίες 0.4–2.5, συμπεριλαμβανομένων των ορίων, με συνολικά 407.696–8.295.044 pixel. Τα βίντεο MP4 ή MOV χρησιμοποιούν βίντεο H.264/AVC ή H.265/HEVC και ήχο AAC ή MP3.

Βάλτε τα αρχεία σκόπιμα σε σειρά και αναφερθείτε στο καθένα με τον τύπο μέσου και τον αριθμό του: Image 1, Video 1 και Audio 1. Ο αριθμός ακολουθεί τη σειρά μεταξύ αρχείων αυτού του τύπου. Εξηγήστε ποια χαρακτηριστικά μεταφέρονται και ποιο περιεχόμενο πηγής δεν πρέπει να ορίζει τη νέα σκηνή. Οι τεκμηριωμένες γλώσσες προτροπών περιλαμβάνουν αγγλικά, ισπανικά, ινδονησιακά, πορτογαλικά και ιαπωνικά. Διατηρήστε συνεπή την εκφωνούμενη γλώσσα σε διάλογο· ο οδηγός συνιστά να αποφεύγεται η ανάμειξη γλωσσών, εκτός από κύρια ονόματα. Για εργασία με φωνητική καθοδήγηση, διαχωρίστε τον ομιλητή, την ακριβή ατάκα και την οδηγία εκφοράς.

Προετοιμάστε την πρώτη και την τελευταία εικόνα με συμβατό κάδρο. Μια αναντιστοιχία μεταξύ αρχικής εικόνας και διαστάσεων εξόδου μπορεί να προκαλέσει περικοπή ή απότομη οπτική αλλαγή· οι ίδιες διαστάσεις και το προσαρμοστικό καδράρισμα είναι τεκμηριωμένες λύσεις. Εστιάστε την περιγραφή στο συμβάν και στους ρόλους αναφορών. Ο κατασκευαστής προειδοποιεί ότι οι μεγάλες προτροπές μπορεί να διασκορπίσουν τις πληροφορίες, με αποτέλεσμα να αγνοούνται λεπτομέρειες. Ελέγξτε την κίνηση που προκύπτει, τη συνέχεια αναφορών, την ηχητική ερμηνεία και τις ενώσεις σκηνών ως διακριτά μέρη του δημιουργικού αποτελέσματος.

Σχεδιασμός πλάνων και κατεύθυνση κειμένου

Για μια σύνθετη σκηνή, οργανώστε την οδηγία ως Shot 1, Shot 2 και Shot 3, προσδιορίζοντας κάμερα, δράση θέματος, θέση και ήχο με σειρά. Ο οδηγός συνιστά μία κίνηση κάμερας ανά πλάνο και προτεραιότητα σε αργές, συνδεδεμένες ενέργειες. Οι ακριβείς χρονικές σημάνσεις ανά πλάνο είναι ασταθείς, επομένως μια ακολουθία γεγονότων αποτελεί καλύτερο έλεγχο από την επιβολή πολλών ακριβών χρονικών παραθύρων.

Το μοντέλο παράγει επίσης συνηθισμένο κείμενο, όπως συνθήματα, υπότιτλους και συννεφάκια ομιλίας. Μπορείτε να κατευθύνετε το χρώμα, την οπτική απόδοση, τη θέση και την εμφάνισή του. Χρησιμοποιήστε συνηθισμένους χαρακτήρες αντί σπάνιων χαρακτήρων ή ειδικών συμβόλων και ελέγξτε τη διατύπωση καθώς κινείται. Για αναφορές θέματος, συνδέστε σαφώς κάθε στοιχείο με τον προβλεπόμενο χαρακτήρα ή αντικείμενο. Οι όψεις προϊόντος μπορούν να παρέχουν διαφορετικές οπτικές πληροφορίες· τα κολάζ πολλαπλών όψεων χαρακτήρα μπορούν να προκαλέσουν σύγχυση στην ταυτότητα προσώπου. Η τεκμηριωμένη σύσταση αναφοράς χαρακτήρα είναι ξεχωριστό καθαρό κοντινό προσώπου και ολόσωμη εικόνα.

Συμπεριφορές για επιθεώρηση πριν από μοντάζ

Ο οδηγός τεκμηριώνει ανεπιθύμητους υπότιτλους, λογότυπα, διπλούς χαρακτήρες και απόκλιση ύφους. Το καθαρό αρχικό υλικό, οι συνεπείς ετικέτες και οι ρητοί περιορισμοί μειώνουν αυτούς τους κινδύνους, αλλά δεν εγγυώνται ότι θα εξαφανιστούν ανεπιθύμητο κείμενο ή διπλές φιγούρες. Περισσότερα από τέσσερα άτομα αναφοράς αναφέρονται ως κίνδυνος σταθερότητας, διακριτός από τον αριθμό αρχείων που δέχεται το μοντέλο.

Η επέκταση βίντεο μπορεί να δημιουργήσει άλμα ή επιστροφή στην ένωση και οι επαναλαμβανόμενες συνέχειες μπορούν να συσσωρεύσουν υποβάθμιση ποιότητας εικόνας. Επιθεωρήστε τα οριακά καρέ και περιορίστε τις διαδοχικές επεκτάσεις. Μια φωνή αναφοράς μπορεί να διαφέρει από την αρχική χροιά· η αφήγηση μπορεί να τελειώσει με κλικ ή απότομη διακοπή, για την οποία το σταδιακό σβήσιμο ήχου είναι τεκμηριωμένη λύση. Οι κινεζικοί πολυφωνικοί, ασυνήθιστοι ή οπτικά παρόμοιοι χαρακτήρες μπορεί να προφερθούν λανθασμένα. Για ακριβές κινούμενο εφέ, όπως αντίστροφη μέτρηση, μια αναφορά κίνησης παρέχει περισσότερες πληροφορίες από ένα απλό λεκτικό αίτημα. Αυτοί είναι συγκεκριμένοι λόγοι για ξεχωριστό έλεγχο ταυτότητας, κειμένου, κίνησης και ήχου κατά την επιλογή αποσπάσματος.