ElevenLabs: Eleven v4

Eleven v4 ist das ausdrucksstarke Text-zu-Sprache-Modell von ElevenLabs für produzierte Inhalte, Erzählungen und die Darstellung von Figuren. Seine neue Architektur nutzt den Kontext des Skripts, um zu gestalten, wer spricht, was geschehen ist und wie die nächste Zeile klingen soll. Die Eingabe ist ein schriftliches Skript mit einer ausgewählten Stimme; die Ausgabe ist Audio. Der Hersteller hebt emotionale Dialoge, Hörbuchproduktion, Animation und Spiele sowie mehrsprachige Projekte als typische Anwendungen hervor.

Regieanweisungen können mit eingebetteten Audiotags in das Skript geschrieben werden. Tags wie [laughs], [whispers] und [door slams] können den stimmlichen Vortrag, ein nichtsprachliches Ereignis oder ein Geräusch innerhalb der Szene beschreiben. Die dokumentierte Aktualisierung von v4 verbessert das Befolgen einer Folge solcher Anweisungen gegenüber v3. Schreiben Sie für einen kurzen dramatischen Moment die tatsächlich gesprochenen Worte und setzen Sie einen Vortragshinweis an die relevante Stelle, statt am Ende eine unverbundene Liste von Emotionen anzuhängen.

Pausen und Betonung verwenden natürlichsprachliche Audioanweisungen. ElevenLabs dokumentiert [pause] und [long pause] für Unterbrechungen sowie Hinweise wie [excited] oder [sighs] für den Vortrag. SSML-Tags vom Typ <break> sind für v4 deaktiviert; ein älteres Skript mit diesen Tags muss deshalb an das Anweisungsformat von v4 angepasst werden. Ein Tag benennt die gewünschte Darbietung; er legt für sich weder eine genaue Zahl von Millisekunden fest noch garantiert er eine feste Enddauer.

Der Dialogablauf des Herstellers unterstützt mehrere Sprecher, sodass eine Szene getrennte Stimmen und Geräuschereignisse enthalten kann. Das WebSocket-Dialogprofil von v4 unterstützt bis zu zehn registrierte Stimmen, während das Profil von v4 Turbo eine verwendet. Bereiten Sie eine klare Reihenfolge der Sprecherwechsel vor und ordnen Sie jede Zeile der gewünschten Stimme zu. Ein beispielhafter Austausch könnte von einer leisen, unsicheren Frage zu einer selbstsicheren Antwort und anschliessend einer erleichterten Reaktion übergehen. Inhalt und emotionaler Übergang sollten aus dem Skript selbst verständlich sein. Nutzen Sie für einen einzelnen Erzähler dieselbe Klarheit, um Erzählung von einer zitierten Zeile oder einem Stimmungswechsel zu unterscheiden.

Eleven v4 unterstützt mehr als 90 Sprachen, darunter Englisch, Französisch, Deutsch, Japanisch, Spanisch, Portugiesisch und Russisch. Der Hersteller beschreibt gleichbleibende Stimmqualität bei Sprachwechseln. Wählen Sie eine Stimme und Aussprache, die zur Sprache und Region der geplanten Aufnahme passen; sowohl die Sprache des Skripts als auch der Charakter der Stimme sind wichtig. Übersetzen Sie für eine lokalisierte Lektion zuerst den gesprochenen Wortlaut und bewahren Sie Bedeutung, Fachbegriffe und Vortragshinweise im neuen Skript.

Eine Generierung unterstützt bis zu 10’000 Zeichen. Längere Arbeiten werden als mehrere verbundene Generierungen vorbereitet; das Verknüpfen des Kontexts soll Tempo und Vortrag zwischen den Segmenten stimmig halten. Teilen Sie ein Kapitel an einer natürlichen Satz- oder Szenengrenze und bewahren Sie den Kontext darum herum. Der Hersteller beschreibt ausserdem eine stabile Sprecheridentität, wenn eine Zeile neu erzeugt wird. Dies hilft bei der Überarbeitung einer Passage, während Besetzung und Darstellungsstil im umgebenden Material gleich bleiben.

V4 unterstützt Instant und Professional Voice Clones im Herstellerablauf von ElevenLabs. ElevenLabs hebt ihre Rückkehr in v4 hervor; der Prompt-Leitfaden für v3 erklärt, dass Professional Voice Clones nicht vollständig für v3 optimiert sind. Instant oder Professional Voice Clones, die vor der Einführung von v4 erstellt wurden, müssen für v4 neu trainiert werden, damit sie wirksam mit dem Modell arbeiten. Stimmenklonen erstellt oder bereitet die für die Synthese verwendete Stimme vor; es ist vom Umwandeln des bereitgestellten Skripts in Sprache zu unterscheiden. Die Modellidentität verlangt keine einzelne Standardstimme; wählen Sie deshalb die Stimme für Erzähler oder Figur, statt anzunehmen, dass der Modellname einen Sprecher bestimmt.

Der Hersteller dokumentiert MP3 für allgemeines Anhören und Medienauslieferung, WAV oder PCM für unkomprimiertes Produktionsaudio und μ-law für Telefonie. Seine API steuert Abtastrate und Bitrate des gewählten Formats. Aussprachewörterbücher können festlegen, wie Namen, Akronyme und Fachbegriffe gesprochen werden. V4 erkennt ausserdem standardmässige IPA-Transkriptionen zwischen Schrägstrichen, etwa /IPA_transcription/, einschliesslich Betonungszeichen für mehrsilbige Begriffe; die Aussprache kann dennoch je nach Stimme und Satz variieren. Bereiten Sie erforderliche Begriffe vor der Produktion vor und halten Sie deren gewünschte Ausspracheformen über Überarbeitungen hinweg einheitlich. Das Herstellerprofil von v4 verwendet die Stimmeinstellungen Stability und Similarity; die Regler Style und Speed sind nicht verfügbar. Tempo und emotionaler Vortrag werden über Skript und Audiotags gesteuert.

Geben Sie für eine praktische Sprechaufnahme eine fertige Szene, die gewünschte Stimme, Sprache, den emotionalen Verlauf und das Zielmedium des Audios vor. Zum Beispiel: «Lesen Sie den Anfang ruhig, machen Sie vor der Entdeckung eine Pause und lassen Sie die letzte Zeile erleichtert klingen; bewahren Sie den Ton des Erzählers.» Prüfen Sie Aussprache, Sprecherwechsel, hörbare Tags oder Ereignisse und die Übergänge zwischen Passagen. Das hilfreiche Ergebnis ist eine produzierte Sprachaufnahme mit Bezug zum Skript, einer ausgewählten Aufnahmevariante und den Anweisungen zur Überarbeitung einer konkreten Zeile.