Mistral: Voxtral Mini TTS

Voxtral TTS adalah model teks ke suara 4B Mistral AI untuk menghasilkan audio ucapan dari teks dan referensi suara. Halaman model pembuatnya mengidentifikasi edisi 2603 sebagai voxtral-mini-tts-2603, sedangkan kartu bobot yang dirilis bernama Voxtral 4B TTS 2603. Entri ini membahas rilis generasi ucapan tersebut, terpisah dari pemahaman audio Voxtral Small, transkripsi, dan model masukan waktu nyata yang lebih baru.

Ucapan ekspresif dan adaptasi suara

Model ini dirancang untuk menangkap jeda, irama, intonasi, aksen, dan ekspresi emosional suara referensi. Suara bertindak sebagai instruksi mengenai bunyi teks; ikhtisar pembuatnya tidak mewajibkan tag prosodi atau emosi terpisah, maupun transkrip rekaman referensi. Teks sumber menentukan apa yang dikatakan, sedangkan referensi audio memandu penyampaiannya.

Ikhtisar menjelaskan adaptasi suara dari audio sepanjang dua hingga tiga detik saja. Deskripsi arsitektur membahas prompt suara sepanjang lima hingga dua puluh lima detik. Pernyataan ini memiliki cakupan berbeda: contoh adaptasi singkat bukan keharusan menggunakan referensi sesingkat mungkin. Pilih ucapan yang jelas dan mewakili gaya serta aksen yang diinginkan untuk hasil akhir.

Kartu rilis mencakup dua puluh suara prasetel dan adaptasi ke suara baru. Alur kerja ucapan pembuatnya dapat memakai profil suara tersimpan atau klip referensi sekali pakai. Menyimpan profil memungkinkan referensi suara yang sama digunakan kembali dalam permintaan ucapan terpisah, sedangkan klip sekali pakai menyediakannya untuk tugas saat ini. Profil dan rekaman yang dihasilkan merupakan artefak berbeda.

Bahasa dan penyampaian lintas bahasa

Rilis ini mendukung bahasa Inggris, Prancis, Spanyol, Jerman, Italia, Portugis, Belanda, Arab, dan Hindi, dengan variasi dialek, transfer suara lintas bahasa, dan pencampuran kode yang dijelaskan pembuatnya. Untuk hasil terbaik, panduan ucapan menyarankan mencocokkan bahasa referensi dengan bahasa teks. Transfer lintas bahasa dapat mempertahankan aksen referensi sambil mengucapkan teks yang disiapkan dalam bahasa lain yang didukung.

Tugas narasi praktis dapat menggunakan gaya suara yang sama untuk penjelasan dalam berbagai bahasa yang didukung, dengan setiap teks disiapkan untuk pendengar yang dituju. Balasan asisten suara dapat memakai naskah percakapan singkat, alih-alih membacakan dokumen yang belum disunting. Model teks ke suara mewujudkan kata-kata yang disiapkan; tahap penerjemahan atau penulisan jawaban yang menghasilkan kata-kata tersebut merupakan langkah terpisah.

Menyiapkan teks

Panduan ucapan pembuatnya menyarankan teks yang dapat diucapkan. Tulis angka dan simbol dalam bentuk yang seharusnya diucapkan agar model tidak perlu memilih di antara beberapa kemungkinan pembacaan. Angka dapat berupa besaran, waktu, atau pengenal; tentukan susunan kata lisan yang dimaksud sebelum sintesis. Jabarkan singkatan ketika pelafalan penting, dengan huruf yang dipisahkan jika itulah pembacaan yang dimaksud.

Hindari pemformatan kaya, emoji, dan karakter khusus yang tidak akan diwujudkan sebagai konten lisan. Siapkan kalimat lengkap dengan tanda baca dan susunan kata yang diperlukan untuk penyampaian. Panduan menyarankan prompt di bawah 300 kata untuk hasil terbaik. Ini merupakan rekomendasi kualitas, bukan batas maksimum panjang masukan yang dinyatakan.

Untuk penjelasan prosedural, tulis tindakan dan kondisi dalam kalimat yang dapat diikuti pendengar. Untuk pengumuman, tempatkan informasi penting sebelum detail opsional. Untuk balasan suara, pertahankan jawaban faktual dan hapus format khusus tampilan atau notasi sumber yang tidak boleh diucapkan. Persiapan ini membuat naskah itu sendiri sesuai untuk audio sebelum referensi menentukan gayanya.

Streaming, keluaran, dan durasi

Pembuatnya mendokumentasikan penyampaian dasar dan streaming serta menjelaskan generasi bawaan hingga dua menit audio. Kartu bobot yang dirilis juga mencantumkan inferensi batch untuk menyiapkan beberapa tugas ucapan. Generasi layanan yang lebih panjang menggunakan interleaving, alih-alih menganggap satu potongan bawaan tidak berbatas. Untuk narasi yang lebih panjang, siapkan bagian yang koheren dan jaga konsistensi persiapan suara serta teks dengan alur kerja penyampaian yang menangani kelanjutan.

Kartu rilis menetapkan audio 24 kHz dan menyebut format keluaran WAV, PCM, FLAC, MP3, AAC, serta Opus. Panduan layanan ucapan membahas MP3 untuk penyampaian terkompresi, WAV untuk PCM tanpa kompresi, FLAC untuk kompresi tanpa kehilangan kualitas, serta PCM atau Opus untuk streaming. Pilih format yang didukung alur kerja yang terhubung dan sesuai untuk pemutar atau tahap pemrosesannya. Pemilihan format dan perilaku streaming terpisah dari adaptasi suara itu sendiri.

Arsitektur model dan batas praktis

Pengumuman menjelaskan arsitektur autoregresif dengan flow matching, yang memiliki inti dekoder Transformer berparameter 3,4 miliar, Transformer akustik berparameter 390 juta, dan codec audio neural berparameter 300 juta. Dekoder memprediksi konten semantik dan komponen akustik menghasilkan representasi ucapan, sedangkan codec menangani audio. Komponen ini menjelaskan label model sekitar 4B; komponen tersebut bukan bahasa masukan tambahan atau model generasi jawaban yang berbeda.

Keluaran praktis berupa rekaman hasil sintesis atau aliran audio yang dikaitkan dengan naskah yang disiapkan dan suara pilihan. Pertahankan kaitan itu saat menghasilkan beberapa bagian agar aplikasi dapat menyimpan, memutar, atau merangkai materi yang benar. Model menghasilkan audio, bukan transkrip, vektor pencarian semantik, atau jawaban faktual yang baru ditulis.

Pertahankan edisi ucapan 2603, bahasa yang didukung, dan gaya referensi. Sumber yang dibaca memberikan pernyataan bawaan dua menit dan rekomendasi persiapan di bawah 300 kata, tetapi tidak menetapkan batas maksimum karakter teks tersendiri atau total durasi rekaman yang dirangkai. Gunakan teks, suara, dan kebutuhan penyampaian sebenarnya untuk menentukan artefak audio akhir.