Mistral: Voxtral Mini TTS

Voxtral TTS je model generovania reči 4B od Mistral AI s prispôsobovaním hlasu podľa referencie v deviatich jazykoch. Pripravený text mení na expresívny zvuk, podporuje opätovne použiteľné alebo jednorazové hlasové zadania a streamovanie a vytvára výstup 24 kHz v dokumentovaných zvukových formátoch.

Ailoot Ultra · Syntéza reči POST /v1/audio/speech mistralai/voxtral-mini-tts-2603

O modeli

Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.

Voxtral TTS je model prevodu textu na reč 4B od Mistral AI na generovanie hovoreného zvuku z textu a hlasovej referencie. Stránka modelu výrobcu identifikuje verziu 2603 ako voxtral-mini-tts-2603, kým karta vydaných váh sa nazýva Voxtral 4B TTS 2603. Tento záznam sa týka tohto vydania generovania reči, odlišného od zvukového porozumenia Voxtral Small, prepisu a neskorších modelov vstupu v reálnom čase.

Expresívna reč a prispôsobovanie hlasu

Model je navrhnutý na zachytenie prestávok, rytmu, intonácie, prízvuku a emocionálneho podania referenčného hlasu. Hlas pôsobí ako pokyn, ako má text znieť; prehľad výrobcu nevyžaduje samostatné prozodické ani emocionálne značky ani prepis referenčnej nahrávky. Zdrojový text určuje, čo sa povie, kým zvuková referencia usmerňuje prednes.

Prehľad opisuje prispôsobenie hlasu už z dvoch až troch sekúnd zvuku. Opis architektúry rozoberá hlasové zadania s dĺžkou päť až dvadsaťpäť sekúnd. Tieto vyjadrenia majú odlišný rozsah: krátky príklad prispôsobenia nie je požiadavkou používať čo najkratšiu referenciu. Vyberte čistú reč reprezentujúcu štýl a prízvuk požadované pre konečný výsledok.

Vydaná karta zahŕňa dvadsať prednastavených hlasov a prispôsobovanie novým hlasom. Hlasový postup výrobcu môže používať uložený hlasový profil alebo jednorazový referenčný klip. Uloženie profilu umožňuje opätovne používať rovnakú hlasovú referenciu v samostatných požiadavkách reči, kým jednorazový klip ju dodáva aktuálnej úlohe. Profil a generovaná nahrávka sú odlišné výsledky.

Jazyky a prednes medzi jazykmi

Vydanie podporuje angličtinu, francúzštinu, španielčinu, nemčinu, taliančinu, portugalčinu, holandčinu, arabčinu a hindčinu; výrobca opisuje dialektovú variabilitu, prenos hlasu medzi jazykmi a miešanie jazykov. Pre najlepší výsledok príručka reči odporúča zhodu jazyka referencie s jazykom textu. Prenos medzi jazykmi môže zachovať prízvuk referencie pri vyslovovaní pripraveného textu v inom podporovanom jazyku.

Praktická úloha rozprávania môže používať rovnaký hlasový štýl pre vysvetlenie v rôznych podporovaných jazykoch, s každým textom pripraveným pre zamýšľaného poslucháča. Odpoveď hlasového asistenta môže používať krátky konverzačný scenár namiesto čítania neupraveného dokumentu nahlas. Model prevodu textu na reč realizuje pripravené slová; preklad alebo tvorba odpovede, ktoré tieto slová vytvárajú, sú samostatné kroky.

Príprava textu

Príručka reči výrobcu odporúča text vhodný na vyslovenie. Čísla a symboly zapíšte v podobe, ktorá sa má vysloviť, aby model nemusel vyberať medzi možnými čítaniami. Číslo môže predstavovať množstvo, čas alebo identifikátor; zamýšľané hovorené znenie definujte pred syntézou. Ak záleží na výslovnosti, skratky rozviňte alebo použite oddelené písmená, ak je to zamýšľané čítanie.

Vyhnite sa bohatému formátovaniu, emotikonom a špeciálnym znakom, ktoré sa nebudú realizovať ako hovorený obsah. Pripravte úplné vety s interpunkciou a znením potrebnými pre prednes. Príručka odporúča zadania pod 300 slov pre najlepšie výsledky. Ide o odporúčanie kvality, nie deklarovanú pevnú maximálnu dĺžku vstupu.

Pri vysvetlení postupu napíšte akciu a podmienku do vety, ktorú poslucháč dokáže sledovať. Pri ozname umiestnite dôležité informácie pred voliteľné podrobnosti. Pri hlasovej odpovedi zachovajte vecnú odpoveď a odstráňte formátovanie určené len na obrazovku alebo zdrojové označenia, ktoré nemajú zaznieť. Tieto prípravy robia samotný scenár vhodným na zvuk ešte predtým, než referencia určí jeho štýl.

Streamovanie, výstup a dĺžka

Výrobca dokumentuje základné aj streamované dodanie a opisuje natívne generovanie až dvoch minút zvuku. Karta vydaných váh uvádza aj dávkovú inferenciu pre prípravu viacerých hlasových úloh. Dlhšie generovania služby používajú prekladanie namiesto považovania jednej natívnej časti za neobmedzenú. Pri dlhšom rozprávaní pripravte súvislé úseky a ich hlasovú a textovú prípravu zachovajte v súlade s postupom dodania riešiacim pokračovanie.

Vydaná karta určuje zvuk 24 kHz a uvádza výstupné formáty WAV, PCM, FLAC, MP3, AAC a Opus. Príručka hlasovej služby rozoberá MP3 pre komprimované dodanie, WAV pre nekomprimovaný PCM, FLAC pre bezstratovú kompresiu a PCM alebo Opus pre streamovanie. Vyberte formát podporovaný pripojeným postupom a vhodný pre jeho prehrávač alebo spracovateľský krok. Výber formátu a správanie streamovania sú odlišné od samotného prispôsobovania hlasu.

Architektúra modelu a praktické hranice

Oznámenie opisuje autoregresívnu architektúru s párovaním tokov, so základným dekóderom Transformer 3.4B, akustickým Transformerom s 390 miliónmi parametrov a neurónovým zvukovým kodekom s 300 miliónmi parametrov. Dekóder predpovedá sémantický obsah a akustická zložka vytvára reprezentáciu reči, kým kodek spracúva zvuk. Tieto zložky vysvetľujú približné označenie modelu 4B; nie sú dodatočnými vstupnými jazykmi ani iným modelom generovania odpovedí.

Praktickým výstupom je syntetizovaná nahrávka alebo zvukový stream spojený s pripraveným scenárom a zvoleným hlasom. Pri generovaní viacerých úsekov tieto spojenia zachovajte, aby aplikácia mohla uložiť, prehrať alebo zostaviť správny materiál. Model vytvára zvuk, nie prepis, vektor sémantického vyhľadávania ani novo napísanú vecnú odpoveď.

Zachovajte hlasovú verziu 2603, podporovaný jazyk a referenčný štýl. Prečítané zdroje poskytujú tvrdenie o natívnych dvoch minútach a prípravné odporúčanie pod 300 slov, ale nestanovujú samostatný pevný maximálny počet znakov textu ani celkovú dĺžku spojenej nahrávky. Hotový zvukový výsledok definujte pomocou skutočného textu, hlasu a požiadaviek dodania.

Ailoot Ultra · Syntéza reči POST /v1/audio/speech mistralai/voxtral-mini-tts-2603

mistralai/voxtral-mini-tts-2603

Mistral /mistralai/voxtral-mini-tts-2603

Úvod

Povolené vstupy: Text
Výsledky: Audio

Dostupné v Ailoot · vstupy a metódy

Ailoot Ultra · Syntéza reči POST /v1/audio/speech

Vstup: text
Výstup: audio
Výstupný formát: mp3

Pole	Typ	Požiadavka	Hodnoty a limity	Predvolené
Pole`model`	Typ`string`	PožiadavkaPovinné	Hodnoty a limity mistralai/voxtral-mini-tts-2603	Predvolené—
Pole`input`	Typ`string`	PožiadavkaPovinné	Hodnoty a limity Minimálna dĺžka: 1 Jednotka: znaky Unicode	Predvolené—
Pole`voice`	Typ`string`	PožiadavkaPovinné	Hodnoty a limity en_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry	Predvolené—
Pole`response_format`	Typ`string`	PožiadavkaPovinné	Hodnoty a limity mp3	Predvolené—

Kombinácie vstupných podkladov

text_to_speech · Povinné: input

Parametre a životný cyklus metódy

Parameter	Špecifikácia
Parameter`content_type`	Špecifikáciaapplication/json
Parameter`required`	Špecifikáciamodel, input, voice, response_format
Parameter`voice_ids`	Špecifikáciaen_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry
Parameter`response_format`	Špecifikáciamp3
Parameter`max_input_characters`	Špecifikácianull
Parameter`other_options`	Špecifikáciafalse
Parameter`input`	Špecifikáciapresný text UTF-8; počet znakov Unicode bez normalizácie
Parameter`material_types`	Špecifikáciatext

Životný cyklus: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · skutočne vrátené task_id alebo záznam v knižnici médií

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

Vyberte presný hlas z profilu tohto modelu.

Vstupné znaky a sekundy zvuku sú odlišné merané jednotky.

Cenník

Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.

Rýchly režim: Neuvedené Keď je zvolený rýchly režim
Režim Flex: Neuvedené Keď je zvolený režim flex
Maximálna úroveň uvažovania: Neuvedené Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)

Sadzby Ailoot

Ceny podľa konfigurácie

Každý poplatok priraďte k zobrazeným podmienkam. Pre každú skupinu alternatívnych konfigurácií použite jednu sadzbu.

Konfigurácia	Sadzobník	Účtované množstvo	Účtovacia jednotka	Poplatok
KonfiguráciaZákladné sadzby za tokeny	SadzobníkZákladná sadzba	Účtované množstvo—	Účtovacia jednotka—	Poplatok Vstup · Vstupné tokeny — / 1K tokenov Výstup · Výstupné tokeny — / 1K tokenov Vstup · Čítanie cache — / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov
KonfiguráciaUltra	Sadzobník—	Účtované množstvoKaždý kódový bod Unicode sa počíta ako jeden znak vrátane znakov Han.	Účtovacia jednotkaza 1K vstupných znakov	Poplatok Vstup · vstupný znak $0.032 za 1K vstupných znakov

Podrobnosti referenčnej tarify

Referenčné sadzobníky modelu nemenia výber metódy, cenové odhady ani poplatky. Aktívne poplatky používajú sadzby vybranej metódy Ailoot.

Mistral: Voxtral Mini TTS

Ceny podľa konfigurácie

Konfigurácia	Podmienky účtovania	Poplatok
KonfiguráciaMistral: Voxtral Mini TTS · Predvolená konfigurácia	Podmienky účtovaniaPredvolená konfigurácia	Poplatok Vstup · Vstupné znaky 0,000032 USD za vstupný znak

Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →

Príklady požiadaviek

Ailoot Ultra · Syntéza reči

curl

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_VOICE_ID:?Choose an accepted voice ID from this exact model profile}"
export AILOOT_VOICE_ID
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "mistralai/voxtral-mini-tts-2603", "input": "Good afternoon! This is a short voice take."}')
voice=os.environ["AILOOT_VOICE_ID"]
allowed=json.loads('["en_paul_sad", "en_paul_neutral", "en_paul_happy", "en_paul_frustrated", "en_paul_excited", "en_paul_confident", "en_paul_cheerful", "en_paul_angry", "gb_oliver_neutral", "gb_oliver_sad", "gb_oliver_excited", "gb_oliver_curious", "gb_oliver_confident", "gb_oliver_cheerful", "gb_oliver_angry", "gb_jane_sarcasm", "gb_jane_confused", "gb_jane_shameful", "gb_jane_sad", "gb_jane_neutral", "gb_jane_jealousy", "gb_jane_frustrated", "gb_jane_curious", "gb_jane_confident", "fr_marie_sad", "fr_marie_neutral", "fr_marie_happy", "fr_marie_excited", "fr_marie_curious", "fr_marie_angry"]')
if voice not in allowed: raise SystemExit("Choose an accepted voice ID from this exact model profile")
p["voice"]=voice
p["response_format"]="mp3"
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o speech.mp3

Prijať a uložiť výsledky

Ailoot Ultra · Syntéza reči

mp3

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

Čítanie ďalšieho obsahu

Knižnica médiíStav úlohyPodrobnosti podkladu

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o media-assets.json

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_MEDIA_TASK_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_MEDIA_TASK_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_MEDIA_TASK_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/tasks/$resource_id" \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o media-task.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-task.json").read_text())))
PY_RESULT

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_ASSET_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_ASSET_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_ASSET_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/assets/$resource_id" \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o media-asset.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-asset.json").read_text())))
PY_RESULT

Uchovať všetky dokončené výsledky

Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.

Uchovajte úplný binárny výsledok a hlavičky. Ak sa vráti JSON alebo viacero výstupov, uchovajte každú dátovú položku a stiahnite obsah z každej skutočnej podpísanej URL súboru.

Ak treba overiť pôvodnú odpoveď

Uchovajte pôvodné operation_id/X-Client-Request-ID na zosúladenie záznamov bez opätovného odoslania; neexistuje samostatná trasa na priebežné zisťovanie stavu zvuku.

Polia odpovede

Pole	Typ
Pole`binary audio`	Typbytes
Pole`response headers`	Typheaders

Chyby a ďalšie kroky

Odpoveď	Podmienka	Ďalší krok
Odpoveď400 · `invalid_request_error`	PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra	Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia.
Odpoveď`server_error`	PodmienkaVrátená odpoveď uvádza, že operáciu alebo výsledok je potrebné skontrolovať	Ďalší krokUchovajte pôvodné vrátené ID operácie/úlohy, hlavičky požiadavky a odpoveď; naďalej čítajte údaje o tejto pôvodnej operácii podporovaným spôsobom. Požiadavku na vytvorenie znova neodosielajte.

Aliasy

Aliasy modelov

Ailoot Ultra mistralai/voxtral-mini-tts-2603

Aliasy ciest metód

Použite cesty metód uvedené vyššie.

Súvisiace ID na volanie

mistralai/voxtral-mini-tts-2603

FAQ · Mistral: Voxtral Mini TTS

Aké vstupy a výsledky sú dostupné?: POST /v1/audio/speech · mistralai/voxtral-mini-tts-2603: text → audio
Aké polia používa požiadavka?: POST /v1/audio/speech · mistralai/voxtral-mini-tts-2603: model, input, voice, response_format

Mistral: Voxtral Mini TTS