Mistral: Voxtral Mini TTS

Voxtral TTS to model zamiany tekstu na mowę Mistral AI o 4 miliardach parametrów, generujący audio z tekstu i referencji głosowej. Strona modelu producenta identyfikuje wersję 2603 jako voxtral-mini-tts-2603, a karta opublikowanych wag nosi nazwę Voxtral 4B TTS 2603. Ten wpis dotyczy tego wydania generowania mowy, odrębnego od rozumienia audio Voxtral Small, transkrypcji i późniejszych modeli wejścia w czasie rzeczywistym.

Ekspresyjna mowa i adaptacja głosu

Model zaprojektowano do przejmowania pauz, rytmu, intonacji, akcentu i emocjonalnej realizacji głosu referencyjnego. Głos działa jako instrukcja brzmienia tekstu; przegląd producenta nie wymaga oddzielnych znaczników prozodii lub emocji ani transkrypcji nagrania referencyjnego. Tekst źródłowy określa treść, a referencja audio kieruje jej wykonaniem.

Przegląd opisuje adaptację głosu już z dwóch–trzech sekund audio. Opis architektury omawia prompty głosowe od pięciu do dwudziestu pięciu sekund. Stwierdzenia te mają różny zakres: przykład krótkiej adaptacji nie wymaga używania najkrótszej możliwej referencji. Wybierz wyraźną mowę reprezentującą styl i akcent oczekiwane w końcowym wyniku.

Opublikowana karta obejmuje dwadzieścia gotowych głosów i adaptację do nowych głosów. Proces mowy producenta może korzystać z zapisanego profilu głosu lub jednorazowego klipu referencyjnego. Zapisanie profilu umożliwia ponowne użycie tej samej referencji w osobnych żądaniach mowy, a jednorazowy klip dostarcza ją dla bieżącego zadania. Profil i wygenerowane nagranie to różne materiały.

Języki i realizacja między językami

Wydanie obsługuje angielski, francuski, hiszpański, niemiecki, włoski, portugalski, niderlandzki, arabski i hindi, z opisaną przez producenta różnorodnością dialektów, przenoszeniem głosu między językami i mieszaniem języków. Dla najlepszego wyniku przewodnik mowy zaleca dopasowanie języka referencji do języka tekstu. Transfer między językami może zachować akcent referencji przy wypowiadaniu przygotowanego tekstu w innym obsługiwanym języku.

Praktyczne zadanie narracyjne może używać tego samego stylu głosu do objaśnienia w różnych obsługiwanych językach, z każdym tekstem przygotowanym dla docelowego słuchacza. Odpowiedź asystenta głosowego może korzystać z krótkiego konwersacyjnego scenariusza zamiast odczytywania nieedytowanego dokumentu. Model zamiany tekstu na mowę realizuje przygotowane słowa; tłumaczenie lub pisanie odpowiedzi tworzące te słowa jest osobnym etapem.

Przygotowanie tekstu

Przewodnik mowy producenta zaleca tekst nadający się do wypowiedzenia. Zapisuj liczby i symbole w formie, która ma zostać odczytana, aby model nie musiał wybierać spośród możliwych interpretacji. Liczba może być ilością, czasem lub identyfikatorem; określ zamierzone słowa przed syntezą. Rozwijaj skróty, gdy wymowa ma znaczenie, i stosuj oddzielne litery, jeśli taki jest zamierzony odczyt.

Unikaj rozbudowanego formatowania, emoji i znaków specjalnych, które nie zostaną odtworzone jako treść mówiona. Przygotuj pełne zdania z interpunkcją i słowami potrzebnymi do realizacji. Przewodnik zaleca prompty poniżej 300 słów dla najlepszych wyników. Jest to zalecenie jakościowe, a nie deklarowana twarda maksymalna długość wejścia.

W objaśnieniu procedury zapisz działanie i warunek w zdaniu, za którym słuchacz może podążać. W ogłoszeniu umieść ważną informację przed opcjonalnymi szczegółami. W odpowiedzi głosowej zachowaj rzeczową odpowiedź i usuń formatowanie przeznaczone wyłącznie do wyświetlania lub oznaczenia źródeł, których nie należy wypowiadać. Przygotowania te czynią sam scenariusz odpowiednim do audio, zanim referencja określi jego styl.

Strumieniowanie, wyjście i czas trwania

Producent dokumentuje dostarczanie podstawowe i strumieniowe oraz opisuje natywną generację do dwóch minut audio. Karta opublikowanych wag wymienia też wnioskowanie wsadowe do przygotowania wielu zadań mowy. Dłuższe generacje usługi korzystają z przeplatania, zamiast traktować jeden natywny fragment jako nieograniczony. Do dłuższej narracji przygotuj spójne sekcje i utrzymuj zgodność ich głosu oraz tekstu z procesem dostarczania obsługującym kontynuację.

Opublikowana karta określa audio 24 kHz i wymienia formaty wyjściowe WAV, PCM, FLAC, MP3, AAC i Opus. Przewodnik usługi mowy omawia MP3 do skompresowanego dostarczania, WAV do nieskompresowanego PCM, FLAC do kompresji bezstratnej oraz PCM lub Opus do strumieniowania. Dobierz format obsługiwany przez połączony proces i odpowiedni dla odtwarzacza lub etapu przetwarzania. Wybór formatu i zachowanie strumienia są odrębne od samej adaptacji głosu.

Architektura modelu i praktyczne granice

Ogłoszenie opisuje autoregresyjną architekturę flow-matching z bazowym dekoderem Transformer o 3,4 miliarda parametrów, akustycznym Transformerem o 390 milionach parametrów i neuronowym kodekiem audio o 300 milionach parametrów. Dekoder przewiduje treść semantyczną, komponent akustyczny tworzy reprezentację mowy, a kodek obsługuje audio. Te komponenty wyjaśniają przybliżoną etykietę modelu 4B; nie są dodatkowymi językami wejściowymi ani innym modelem generującym odpowiedzi.

Praktyczne wyjście to zsyntetyzowane nagranie lub strumień audio powiązane z przygotowanym scenariuszem i wybranym głosem. Zachowuj te powiązania przy generowaniu kilku sekcji, aby aplikacja mogła zapisać, odtworzyć lub złożyć właściwy materiał. Model tworzy audio, a nie transkrypcję, wektor wyszukiwania semantycznego lub nowo napisaną odpowiedź faktograficzną.

Zachowaj wersję mowy 2603, obsługiwany język i styl referencji. Przeczytane źródła podają natywne dwie minuty i zalecenie przygotowania poniżej 300 słów, lecz nie ustanawiają osobnego twardego limitu znaków tekstu ani całkowitego czasu złożonego nagrania. Określ gotowy materiał audio na podstawie rzeczywistych wymagań tekstu, głosu i dostarczania.