Mistral: Voxtral Mini TTS

Voxtral TTS ist das Text-to-Speech-Modell von Mistral AI mit 4 Milliarden Parametern zur Erzeugung gesprochenen Audios aus Text und einer Stimmreferenz. Die Modellseite des Herstellers bezeichnet die Modellversion 2603 als voxtral-mini-tts-2603, während die Karte der veröffentlichten Gewichte Voxtral 4B TTS 2603 heißt. Dieser Eintrag behandelt diese Sprachgenerierungsversion, getrennt von Audioverständnis mit Voxtral Small, Transkription und späteren Modellen für Echtzeiteingaben.

Ausdrucksstarke Sprachausgabe und Stimmenanpassung

Das Modell ist darauf ausgelegt, Pausen, Rhythmus, Intonation, Akzent und emotionale Sprechweise einer Referenzstimme zu erfassen. Die Stimme dient als Anweisung dafür, wie der Text klingen soll; die Herstellerübersicht verlangt weder separate Prosodie- oder Emotionstags noch ein Transkript der Referenzaufnahme. Der Quelltext bestimmt, was gesagt wird, während die Audioreferenz die Sprechweise steuert.

Die Übersicht beschreibt die Anpassung einer Stimme anhand von nur zwei bis drei Sekunden Audio. Die Architekturbeschreibung behandelt Stimmprompts von fünf bis fünfundzwanzig Sekunden. Diese Aussagen haben unterschiedliche Geltungsbereiche: Ein Beispiel für kurze Anpassung ist keine Vorgabe, die kürzestmögliche Referenz zu verwenden. Wählen Sie klare Sprache, die den für das fertige Ergebnis gewünschten Stil und Akzent repräsentiert.

Die veröffentlichte Karte umfasst zwanzig voreingestellte Stimmen und die Anpassung an neue Stimmen. Der Sprachworkflow des Herstellers kann ein gespeichertes Stimmenprofil oder einen einmaligen Referenzclip verwenden. Ein gespeichertes Profil ermöglicht die Wiederverwendung derselben Stimmreferenz in separaten Sprachanfragen; ein einmaliger Clip liefert sie für die aktuelle Aufgabe. Ein Profil und eine erzeugte Aufnahme sind unterschiedliche Artefakte.

Sprachen und sprachübergreifende Sprechweise

Die Veröffentlichung unterstützt Englisch, Französisch, Spanisch, Deutsch, Italienisch, Portugiesisch, Niederländisch, Arabisch und Hindi; der Hersteller beschreibt Dialektvariation, sprachübergreifende Stimmübertragung und Sprachmischung. Für das beste Ergebnis empfiehlt der Sprachleitfaden, die Referenzsprache an die Textsprache anzugleichen. Sprachübergreifende Übertragung kann den Akzent der Referenz bewahren, während der vorbereitete Text in einer anderen unterstützten Sprache gesprochen wird.

Eine praktische Erzählaufgabe kann denselben Stimmstil für eine Erklärung in unterschiedlichen unterstützten Sprachen verwenden; jeder Text wird für den vorgesehenen Hörer vorbereitet. Eine Sprachassistentenantwort kann ein kurzes gesprächsnahes Skript verwenden, statt ein unbearbeitetes Dokument vorzulesen. Das Text-to-Speech-Modell gibt die vorbereiteten Wörter wieder; jeder Übersetzungs- oder Antwortschreibschritt, der diese Wörter erzeugt, ist ein separater Schritt.

Text vorbereiten

Der Sprachleitfaden des Herstellers empfiehlt aussprechbaren Text. Schreiben Sie Zahlen und Symbole in der Form, die gesprochen werden soll, damit das Modell nicht zwischen möglichen Lesungen wählen muss. Eine Zahl kann eine Menge, Uhrzeit oder Kennung sein; definieren Sie den vorgesehenen gesprochenen Wortlaut vor der Synthese. Schreiben Sie Abkürzungen aus, wenn die Aussprache wichtig ist, und verwenden Sie getrennte Buchstaben, wenn das die vorgesehene Lesung ist.

Vermeiden Sie umfangreiche Formatierungen, Emojis und Sonderzeichen, die nicht als gesprochener Inhalt wiedergegeben werden. Bereiten Sie vollständige Sätze mit den für die Sprechweise benötigten Satzzeichen und Formulierungen vor. Der Leitfaden empfiehlt für beste Ergebnisse Prompts mit weniger als 300 Wörtern. Dies ist eine Qualitätsempfehlung und keine erklärte harte maximale Eingabelänge.

Schreiben Sie für eine Verfahrensbeschreibung Handlung und Bedingung in einen Satz, dem ein Hörer folgen kann. Stellen Sie bei einer Ansage wichtige Informationen vor optionale Einzelheiten. Bewahren Sie bei einer Sprachantwort die sachliche Antwort und entfernen Sie reine Anzeigeformatierung oder Quellenkennzeichnung, die nicht gesprochen werden soll. Diese Vorbereitungen machen das Skript selbst audiotauglich, bevor die Referenz seinen Stil bestimmt.

Streaming, Ausgabe und Dauer

Der Hersteller dokumentiert normale und gestreamte Bereitstellung und beschreibt die native Generierung von bis zu zwei Minuten Audio. Die veröffentlichte Gewichtskarte nennt außerdem Batch-Inferenz zur Vorbereitung mehrerer Sprachaufgaben. Längere Generierungen des Dienstes nutzen Interleaving, statt einen nativen Abschnitt als unbegrenzt zu behandeln. Bereiten Sie für längere Erzähltexte zusammenhängende Abschnitte vor und halten Sie deren Stimmen- und Textvorbereitung konsistent mit dem Bereitstellungsworkflow, der die Fortsetzung übernimmt.

Die veröffentlichte Karte gibt 24-kHz-Audio an und nennt WAV, PCM, FLAC, MP3, AAC und Opus als Ausgabeformate. Der Leitfaden zum Sprachdienst behandelt MP3 für komprimierte Bereitstellung, WAV für unkomprimiertes PCM, FLAC für verlustfreie Komprimierung sowie PCM oder Opus für Streaming. Wählen Sie ein vom angeschlossenen Workflow unterstütztes Format, das zu dessen Wiedergabegerät oder Verarbeitungsschritt passt. Formatwahl und Streaming-Verhalten sind von der Stimmenanpassung selbst zu unterscheiden.

Modellarchitektur und praktische Grenzen

Die Ankündigung beschreibt eine autoregressive Flow-Matching-Architektur mit einem Transformer-Decoder-Grundgerüst mit 3,4 Milliarden Parametern, einem akustischen Transformer mit 390 Millionen Parametern und einem neuronalen Audiocodec mit 300 Millionen Parametern. Der Decoder sagt semantischen Inhalt voraus, die akustische Komponente erzeugt eine Sprachrepräsentation, und der Codec verarbeitet Audio. Diese Komponenten erklären die ungefähre Modellbezeichnung 4B; sie sind keine zusätzlichen Eingabesprachen oder ein anderes Antwortgenerierungsmodell.

Eine praktische Ausgabe ist die synthetisierte Aufnahme oder der Audiostream, verknüpft mit dem vorbereiteten Skript und der gewählten Stimme. Bewahren Sie diese Zuordnungen beim Erzeugen mehrerer Abschnitte, damit die Anwendung das richtige Material speichern, abspielen oder zusammensetzen kann. Das Modell erzeugt Audio statt eines Transkripts, eines Vektors für semantische Suche oder einer neu verfassten sachlichen Antwort.

Bewahren Sie die Sprachmodellversion 2603, die unterstützte Sprache und den Referenzstil. Die gelesenen Quellen liefern die Aussage zu nativen zwei Minuten und die Vorbereitungsempfehlung von unter 300 Wörtern, belegen aber keine separate harte Textzeichengrenze oder Gesamtdauer einer zusammengesetzten Aufnahme. Definieren Sie das fertige Audioergebnis anhand der tatsächlichen Text-, Stimmen- und Bereitstellungsanforderungen.