Mistral: Voxtral Mini TTS
Voxtral TTS ialah model penjanaan pertuturan 4B daripada Mistral AI dengan penyesuaian suara berasaskan rujukan merentas sembilan bahasa. Ia menukar teks yang disediakan menjadi audio ekspresif, menyokong prompt suara boleh guna semula atau sekali guna serta penstriman, dan menghasilkan output 24 kHz dalam format audio yang didokumentasikan.
Tentang model
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
Voxtral TTS ialah model teks-ke-pertuturan 4B Mistral AI untuk menjana audio pertuturan daripada teks dan rujukan suara. Halaman model pembuat mengenal pasti edisi 2603 sebagai voxtral-mini-tts-2603, manakala kad pemberat yang dikeluarkan dinamakan Voxtral 4B TTS 2603. Entri ini membincangkan keluaran penjanaan pertuturan tersebut, yang berbeza daripada pemahaman audio Voxtral Small, transkripsi dan model input masa nyata yang muncul kemudian.
Pertuturan ekspresif dan penyesuaian suara
Model ini direka untuk menangkap jeda, rentak, intonasi, loghat dan penyampaian emosi suara rujukan. Suara bertindak sebagai arahan tentang cara teks patut berbunyi; gambaran keseluruhan pembuat tidak mewajibkan tag prosodi atau emosi yang berasingan, mahupun transkrip rakaman rujukan. Teks sumber menentukan apa yang dikatakan, manakala rujukan audio membimbing cara penyampaiannya.
Gambaran keseluruhan menerangkan penyesuaian suara menggunakan audio sesingkat dua hingga tiga saat. Penerangan seni bina membincangkan prompt suara sepanjang lima hingga dua puluh lima saat. Pernyataan ini mempunyai skop berbeza: contoh penyesuaian ringkas bukanlah syarat untuk menggunakan rujukan sesingkat mungkin. Pilih pertuturan jelas yang mewakili gaya dan loghat yang dikehendaki bagi hasil akhir.
Kad keluaran merangkumi dua puluh suara praset dan penyesuaian kepada suara baharu. Aliran kerja pertuturan pembuat boleh menggunakan profil suara tersimpan atau klip rujukan sekali guna. Menyimpan profil membolehkan rujukan suara yang sama digunakan semula merentas permintaan pertuturan berasingan, manakala klip sekali guna membekalkannya untuk tugas semasa. Profil dan rakaman yang dijana ialah artifak berbeza.
Bahasa dan penyampaian merentas bahasa
Keluaran ini menyokong bahasa Inggeris, Perancis, Sepanyol, Jerman, Itali, Portugis, Belanda, Arab dan Hindi, dengan variasi dialek, pemindahan suara merentas bahasa dan percampuran kod seperti yang diterangkan oleh pembuat. Untuk hasil terbaik, panduan pertuturan mengesyorkan pemadanan bahasa rujukan dengan bahasa teks. Pemindahan merentas bahasa boleh mengekalkan loghat rujukan sambil menuturkan teks yang disediakan dalam bahasa lain yang disokong.
Tugas narasi praktikal boleh menggunakan gaya suara yang sama untuk penerangan dalam bahasa-bahasa berbeza yang disokong, dengan setiap teks disediakan untuk pendengar sasaran. Jawapan pembantu suara boleh menggunakan skrip perbualan ringkas, bukannya membaca dokumen yang belum disunting dengan lantang. Model teks-ke-pertuturan menyuarakan perkataan yang disediakan; sebarang peringkat penterjemahan atau penulisan jawapan yang menghasilkan perkataan itu ialah langkah berasingan.
Penyediaan teks
Panduan pertuturan pembuat mengesyorkan teks yang sesuai dituturkan. Tulis nombor dan simbol dalam bentuk yang patut disebut supaya model tidak perlu memilih antara bacaan yang mungkin. Sesuatu nombor boleh menjadi kuantiti, masa atau pengecam; tentukan susunan kata lisan yang dimaksudkan sebelum sintesis. Eja singkatan apabila sebutan penting, dengan huruf yang dipisahkan jika itulah cara bacaan yang dimaksudkan.
Elakkan pemformatan kaya, emoji dan aksara khas yang tidak akan disuarakan sebagai kandungan pertuturan. Sediakan ayat lengkap dengan tanda baca dan susunan kata yang diperlukan untuk penyampaian. Panduan mengesyorkan prompt di bawah 300 perkataan untuk hasil terbaik. Ini ialah cadangan kualiti dan bukannya panjang input maksimum mutlak yang dinyatakan.
Untuk penerangan prosedur, tulis tindakan dan syarat dalam ayat yang boleh diikuti oleh pendengar. Untuk pengumuman, letakkan maklumat penting sebelum butiran pilihan. Untuk jawapan suara, kekalkan jawapan faktual dan buang pemformatan untuk paparan sahaja atau notasi sumber yang tidak patut dituturkan. Persediaan ini menjadikan skrip itu sendiri sesuai untuk audio sebelum rujukan menentukan gayanya.
Penstriman, output dan tempoh
Pembuat mendokumentasikan penghantaran asas dan penstriman serta menerangkan penjanaan natif sehingga dua minit audio. Kad pemberat yang dikeluarkan turut menyenaraikan inferens kelompok untuk menyediakan pelbagai tugas pertuturan. Penjanaan perkhidmatan yang lebih panjang menggunakan penyelangan, bukannya menganggap satu cebisan natif sebagai tanpa had. Untuk narasi lebih panjang, sediakan bahagian koheren dan kekalkan keseragaman suara serta persediaan teks dengan aliran kerja penghantaran yang mengendalikan sambungan.
Kad keluaran menetapkan audio 24 kHz dan menamakan format output WAV, PCM, FLAC, MP3, AAC dan Opus. Panduan perkhidmatan pertuturan membincangkan MP3 untuk penghantaran termampat, WAV untuk PCM tanpa pemampatan, FLAC untuk pemampatan tanpa kehilangan, serta PCM atau Opus untuk penstriman. Pilih format yang disokong oleh aliran kerja yang disambungkan dan sesuai untuk pemain atau langkah pemprosesannya. Pemilihan format dan tingkah laku penstriman berbeza daripada penyesuaian suara itu sendiri.
Seni bina model dan batas praktikal
Pengumuman menerangkan seni bina autoregresif pemadanan aliran dengan tulang belakang penyahkod Transformer 3.4B, Transformer akustik 390 juta parameter dan codec audio neural 300 juta parameter. Penyahkod meramalkan kandungan semantik dan komponen akustik menghasilkan perwakilan pertuturan, manakala codec mengendalikan audio. Komponen ini menerangkan label model sekitar 4B; ia bukan bahasa input tambahan atau model penjanaan jawapan yang berbeza.
Output praktikal ialah rakaman tersintesis atau aliran audio yang dikaitkan dengan skrip yang disediakan dan suara terpilih. Kekalkan perkaitan tersebut apabila menjana beberapa bahagian supaya aplikasi boleh menyimpan, memainkan atau menyusun bahan yang betul. Model ini menghasilkan audio, bukannya transkrip, vektor carian semantik atau jawapan faktual yang baru dikarang.
Kekalkan edisi pertuturan 2603, bahasa yang disokong dan gaya rujukan. Sumber yang dibaca menyediakan pernyataan natif dua minit dan cadangan persediaan di bawah 300 perkataan, tetapi tidak menetapkan had mutlak bilangan aksara teks yang berasingan atau jumlah tempoh rakaman bercantum. Gunakan teks sebenar, suara dan keperluan penghantaran untuk menentukan artifak audio siap.
Ailoot Ultra · Penjanaan suara POST /v1/audio/speech mistralai/voxtral-mini-tts-2603
mistralai/voxtral-mini-tts-2603
mistralai/voxtral-mini-tts-2603Pengenalan
Voxtral TTS ialah model penjanaan pertuturan 4B daripada Mistral AI dengan penyesuaian suara berasaskan rujukan merentas sembilan bahasa. Ia menukar teks yang disediakan menjadi audio ekspresif, menyokong prompt suara boleh guna semula atau sekali guna serta penstriman, dan menghasilkan output 24 kHz dalam format audio yang didokumentasikan.
- Input yang diterima
- Teks
- Hasil
- Audio
Tersedia di Ailoot · input & kaedah
Ailoot Ultra · Penjanaan suara POST /v1/audio/speech
- Input
text- Output
audio- Format output
- mp3
| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had mistralai/voxtral-mini-tts-2603 | Lalai— |
Medaninput | Jenisstring | KeperluanDiperlukan | Nilai & had Panjang minimum: 1 Unit: aksara Unicode | Lalai— |
Medanvoice | Jenisstring | KeperluanDiperlukan | Nilai & had en_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry | Lalai— |
Medanresponse_format | Jenisstring | KeperluanDiperlukan | Nilai & had mp3 | Lalai— |
Gabungan bahan input
text_to_speech · Diperlukan: input
Parameter kaedah dan kitar hayat
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, input, voice, response_format |
Parametervoice_ids | Kontraken_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry |
Parameterresponse_format | Kontrakmp3 |
Parametermax_input_characters | Kontraknull |
Parameterother_options | Kontrakfalse |
Parameterinput | Kontrakteks UTF-8 tepat; kiraan aksara Unicode tanpa penormalan |
Parametermaterial_types | Kontraktext |
Kitar hayat: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · task_id sebenar yang dikembalikan atau rekod pustaka media
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Pilih suara yang tepat daripada profil model ini.
Aksara input dan saat audio ialah ukuran penggunaan yang berbeza.
Pelan harga
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
- Mod pantas
- Tidak dinyatakan Apabila mod pantas dipilih
- Mod flex
- Tidak dinyatakan Apabila mod flex dipilih
- Usaha penaakulan maksimum
- Tidak dinyatakan Apabila usaha penaakulan maksimum menggunakan pelarasan default
Kadar Ailoot
Harga mengikut konfigurasi
Padankan setiap caj dengan syarat yang dipaparkan. Gunakan satu kadar bagi setiap set konfigurasi alternatif.
| Konfigurasi | Jadual kadar | Kuantiti yang boleh dibilkan | Unit pengebilan | Caj |
|---|---|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Kuantiti yang boleh dibilkan— | Unit pengebilan— | Caj Input · Token input — / 1K token Output · Token output — / 1K token Input · Bacaan cache — / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
| KonfigurasiUltra | Jadual kadar— | Kuantiti yang boleh dibilkanSetiap titik kod Unicode dikira sebagai satu aksara, termasuk aksara Han. | Unit pengebilanbagi setiap 1K aksara masukan | Caj Input · aksara input $0.032 bagi setiap 1K aksara masukan |
Butiran tarif rujukan
Jadual rujukan peringkat model tidak mengubah pemilihan kaedah, sebut harga atau caj. Caj aktif menggunakan kadar kaedah Ailoot yang dipilih.
Mistral: Voxtral Mini TTS
Harga mengikut konfigurasi
| Konfigurasi | Syarat pengebilan | Caj |
|---|---|---|
| KonfigurasiMistral: Voxtral Mini TTS · Konfigurasi lalai | Syarat pengebilanKonfigurasi lalai | Caj Input · Aksara input USD 0.000032 bagi setiap aksara masukan |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
Contoh permintaan
Ailoot Ultra · Penjanaan suara
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_VOICE_ID:?Choose an accepted voice ID from this exact model profile}"
export AILOOT_VOICE_ID
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "mistralai/voxtral-mini-tts-2603", "input": "Good afternoon! This is a short voice take."}')
voice=os.environ["AILOOT_VOICE_ID"]
allowed=json.loads('["en_paul_sad", "en_paul_neutral", "en_paul_happy", "en_paul_frustrated", "en_paul_excited", "en_paul_confident", "en_paul_cheerful", "en_paul_angry", "gb_oliver_neutral", "gb_oliver_sad", "gb_oliver_excited", "gb_oliver_curious", "gb_oliver_confident", "gb_oliver_cheerful", "gb_oliver_angry", "gb_jane_sarcasm", "gb_jane_confused", "gb_jane_shameful", "gb_jane_sad", "gb_jane_neutral", "gb_jane_jealousy", "gb_jane_frustrated", "gb_jane_curious", "gb_jane_confident", "fr_marie_sad", "fr_marie_neutral", "fr_marie_happy", "fr_marie_excited", "fr_marie_curious", "fr_marie_angry"]')
if voice not in allowed: raise SystemExit("Choose an accepted voice ID from this exact model profile")
p["voice"]=voice
p["response_format"]="mp3"
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o speech.mp3
Terima dan simpan hasil
Ailoot Ultra · Penjanaan suara
mp3
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Pembacaan kandungan lain
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-assets.json
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_MEDIA_TASK_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_MEDIA_TASK_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_MEDIA_TASK_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/tasks/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-task.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-task.json").read_text())))
PY_RESULT
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_ASSET_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_ASSET_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_ASSET_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/assets/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-asset.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-asset.json").read_text())))
PY_RESULT
Simpan semua hasil yang selesai
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Simpan hasil binari dan pengepala yang lengkap. Jika JSON atau berbilang output dikembalikan, simpan setiap item data dan dapatkan setiap URL aset bertandatangan yang sebenar.
Jika respons asal perlu disemak
Simpan operation_id/X-Client-Request-ID asal untuk penyelarasan rekod tanpa penghantaran semula; tiada laluan khusus untuk meninjau status audio.
Medan respons
| Medan | Jenis |
|---|---|
Medanbinary audio | Jenisbytes |
Medanresponse headers | Jenisheaders |
Ralat dan langkah seterusnya
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Responsserver_error | SyaratRespons yang dikembalikan menyatakan bahawa operasi atau hasil memerlukan semakan | Langkah seterusnyaSimpan ID operasi/tugas asal yang dikembalikan, pengepala permintaan dan respons; teruskan pembacaan yang disokong bagi operasi asal tersebut. Jangan hantar semula permintaan penciptaan. |
Alias
Alias model
Ailoot Ultra mistralai/voxtral-mini-tts-2603
Alias laluan kaedah
Gunakan laluan kaedah yang dipaparkan di atas.
ID pemanggil berkaitan
FAQ · Mistral: Voxtral Mini TTS
- Apakah input dan hasil yang tersedia?
POST /v1/audio/speech·mistralai/voxtral-mini-tts-2603:text→audio- Apakah medan yang digunakan oleh permintaan?
POST /v1/audio/speech·mistralai/voxtral-mini-tts-2603:model,input,voice,response_format