Mistral: Voxtral Mini TTS

Voxtral TTS è il modello 4B di sintesi vocale di Mistral AI per generare audio parlato da testo e una voce di riferimento. La pagina del produttore identifica l’edizione 2603 come voxtral-mini-tts-2603, mentre la scheda dei pesi rilasciati è denominata Voxtral 4B TTS 2603. Questa voce riguarda quella release di generazione vocale, distinta da comprensione audio Voxtral Small, trascrizione e successivi modelli di input in tempo reale.

Parlato espressivo e adattamento vocale

Il modello è progettato per catturare pause, ritmo, intonazione, accento e resa emotiva della voce di riferimento. La voce agisce come un’istruzione su come dovrebbe suonare il testo; la panoramica del produttore non richiede tag separati di prosodia o emozione né una trascrizione della registrazione di riferimento. Il testo di origine determina ciò che viene detto, mentre la reference audio guida l’interpretazione.

La panoramica descrive l’adattamento vocale da appena due–tre secondi di audio. La descrizione dell’architettura tratta prompt vocali da cinque a venticinque secondi. Queste affermazioni hanno ambiti diversi: un esempio di adattamento breve non impone di usare la reference più corta possibile. Scegli parlato chiaro che rappresenti stile e accento desiderati per il risultato finale.

La scheda rilasciata include venti voci preimpostate e adattamento a nuove voci. Il flusso vocale del produttore può usare un profilo vocale salvato o una clip di riferimento singola. Salvare un profilo permette di riusare la stessa reference vocale tra richieste vocali separate, mentre una clip singola la fornisce per l’attività attuale. Un profilo e una registrazione generata sono artefatti diversi.

Lingue e interpretazione tra lingue

La release supporta inglese, francese, spagnolo, tedesco, italiano, portoghese, neerlandese, arabo e hindi, con variazione dialettale, trasferimento vocale tra lingue e mescolanza linguistica descritti dal produttore. Per il risultato migliore, la guida vocale raccomanda di abbinare lingua della reference e del testo. Il trasferimento tra lingue può preservare l’accento della reference pronunciando il testo preparato in un’altra lingua supportata.

Un’attività concreta di narrazione può usare lo stesso stile vocale per una spiegazione in diverse lingue supportate, con ogni testo preparato per l’ascoltatore previsto. Una risposta di assistente vocale può usare un copione breve e conversazionale anziché leggere ad alta voce un documento non adattato. Il modello di sintesi vocale rende le parole preparate; qualsiasi fase di traduzione o scrittura della risposta che produce quelle parole è un passaggio separato.

Preparazione del testo

La guida vocale del produttore raccomanda testo pronunciabile. Scrivi numeri e simboli nella forma da pronunciare, affinché il modello non debba scegliere tra letture possibili. Un numero può essere quantità, orario o identificatore; definisci la formulazione parlata prevista prima della sintesi. Espandi le abbreviazioni quando conta la pronuncia, usando lettere separate quando quella è la lettura desiderata.

Evita formattazione ricca, emoji e caratteri speciali che non saranno resi come contenuto parlato. Prepara frasi complete con punteggiatura e formulazione necessarie all’interpretazione. La guida raccomanda prompt sotto 300 parole per i risultati migliori. È una raccomandazione di qualità, non una lunghezza massima rigida dichiarata dell’input.

Per una spiegazione procedurale, scrivi azione e condizione in una frase comprensibile all’ascolto. Per un annuncio, metti le informazioni importanti prima dei dettagli facoltativi. Per una risposta vocale, conserva la risposta fattuale e rimuovi formattazione solo visiva o notazioni della fonte che non dovrebbero essere pronunciate. Queste preparazioni rendono il copione stesso adatto all’audio prima che la reference ne determini lo stile.

Streaming, output e durata

Il produttore documenta consegna di base e in streaming e descrive generazione nativa fino a due minuti di audio. La scheda dei pesi rilasciati elenca inoltre inferenza batch per preparare più attività vocali. Le generazioni di servizio più lunghe usano interleaving anziché trattare un segmento nativo come illimitato. Per una narrazione più lunga, prepara sezioni coerenti e mantieni la preparazione di voce e testo compatibile con il flusso di consegna che gestisce la continuazione.

La scheda rilasciata specifica audio a 24 kHz e indica formati di output WAV, PCM, FLAC, MP3, AAC e Opus. La guida del servizio vocale tratta MP3 per consegna compressa, WAV per PCM non compresso, FLAC per compressione senza perdita e PCM o Opus per streaming. Scegli un formato supportato dal flusso collegato e adatto al lettore o passaggio di elaborazione. Selezione del formato e comportamento in streaming sono distinti dall’adattamento vocale stesso.

Architettura del modello e confini pratici

L’annuncio descrive un’architettura autoregressiva con flow matching, con una base di decoder Transformer da 3,4 miliardi di parametri, un Transformer acustico da 390 milioni di parametri e un codec audio neurale da 300 milioni di parametri. Il decoder predice contenuto semantico e il componente acustico produce rappresentazione del parlato, mentre il codec gestisce l’audio. Questi componenti spiegano l’etichetta approssimativa di modello 4B; non sono lingue di input aggiuntive o un diverso modello di generazione delle risposte.

Un output concreto è la registrazione sintetizzata o il flusso audio associato al copione preparato e alla voce scelta. Mantieni tali associazioni quando generi più sezioni, affinché l’applicazione possa salvare, riprodurre o assemblare il materiale corretto. Il modello produce audio, non una trascrizione, un vettore di ricerca semantica o una risposta fattuale appena scritta.

Preserva l’edizione vocale 2603, la lingua supportata e lo stile di riferimento. Le fonti lette forniscono l’indicazione nativa di due minuti e la raccomandazione di preparazione sotto 300 parole, ma non stabiliscono un limite massimo rigido separato di caratteri del testo o una durata totale della registrazione raccordata. Usa i requisiti effettivi di testo, voce e consegna per definire l’artefatto audio finito.