Mistral: Voxtral Mini TTS

Voxtral TTS — тоғыз тілде референске негізделген дауыс бейімдеуі бар Mistral AI-дың 4B сөйлеу жасау моделі. Ол дайын мәтінді мәнерлі аудиоға айналдырады, қайта қолданылатын не бір реттік дауыс нұсқауларын және ағындық беруді қолдайды; құжатталған аудио пішімдерде 24 kHz нәтиже жасайды.

Ailoot Ultra · Дыбыстау POST /v1/audio/speech mistralai/voxtral-mini-tts-2603

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

Voxtral TTS — мәтін мен дауыс референсінен ауызша аудио жасауға арналған Mistral AI-дың 4B мәтінді сөйлеуге айналдыру моделі. Жасаушының модель парағы 2603 шығарылымын voxtral-mini-tts-2603 деп анықтайды, ал жарияланған салмақ картасы Voxtral 4B TTS 2603 деп аталған. Бұл жазба Voxtral Small аудионы түсіну, транскрипция және кейінгі нақты уақыттағы кіріс модельдерінен бөлек осы сөйлеу жасау шығарылымына қатысты.

Мәнерлі сөйлеу және дауыс бейімдеуі

Модель референстік дауыстың кідірістерін, ырғағын, интонациясын, акцентін және эмоциялық берілуін қамтуға арналған. Дауыс мәтіннің қалай естілуі керегіне нұсқау ретінде әрекет етеді; жасаушы шолуы бөлек просодия немесе эмоция тегтерін не референстік жазба транскриптін талап етпейді. Бастапқы мәтін не айтылатынын анықтайды, ал аудио референс орындауды бағыттайды.

Шолу небәрі екі–үш секундтық аудиодан дауыс бейімдеуді сипаттайды. Архитектура сипаттамасы бес–жиырма бес секундтық дауыс нұсқауларын талқылайды. Бұл тұжырымдардың ауқымы әртүрлі: қысқа бейімдеу мысалы ең қысқа референсті қолдану талабы емес. Соңғы нәтижеге қажет стиль мен акцентті білдіретін таза сөйлеуді таңдаңыз.

Жарияланған карта жиырма дайын дауысты және жаңа дауыстарға бейімделуді қамтиды. Жасаушының сөйлеу үдерісі сақталған дауыс профилін немесе бір реттік референстік клипті қолдана алады. Профильді сақтау сол дауыс референсін бөлек сөйлеу сұрауларында қайта қолдануға мүмкіндік береді, ал бір реттік клип оны ағымдағы міндетке береді. Профиль мен жасалған жазба — бөлек материалдар.

Тілдер және тілдер арасындағы орындау

Шығарылым ағылшын, француз, испан, неміс, итальян, португал, нидерланд, араб және хинди тілдерін қолдайды; жасаушы диалект вариациясын, тілдер арасында дауыс көшіруді және тіл араластыруды сипаттайды. Жақсы нәтиже үшін сөйлеу нұсқаулығы референс тілін мәтін тілімен сәйкестендіруді ұсынады. Тілдер арасындағы көшіру дайын мәтінді басқа қолдау көрсетілетін тілде айтып, референс акцентін сақтай алады.

Практикалық баяндау міндеті әр мәтінді қажетті тыңдаушыға дайындап, түрлі қолдау көрсетілетін тілдердегі түсіндірмеге бір дауыс стилін қолдана алады. Дауыс ассистентінің жауабы өңделмеген құжатты дауыстап оқудың орнына қысқа сөйлесу сценарийін қолдана алады. Мәтінді сөйлеуге айналдыру моделі дайын сөздерді дыбыстайды; сол сөздерді жасайтын кез келген аудару немесе жауап жазу кезеңі — бөлек қадам.

Мәтінді дайындау

Жасаушының сөйлеу нұсқаулығы айтуға болатын мәтінді ұсынады. Модель ықтимал оқылулар арасынан таңдамауы үшін сандар мен символдарды айтылуға тиіс түрде жазыңыз. Сан мөлшер, уақыт немесе идентификатор болуы мүмкін; синтез алдында қажетті ауызша тұжырымды анықтаңыз. Айтылым маңызды болса, қысқартуларды ашып жазыңыз; қажетті оқылуы солай болса, бөлек әріптерді қолданыңыз.

Айтылатын мазмұн ретінде берілмейтін күрделі пішімдеуден, эмодзилерден және арнайы таңбалардан аулақ болыңыз. Орындауға қажет тыныс белгілері мен тұжырымы бар толық сөйлемдер дайындаңыз. Нұсқаулық жақсы нәтиже үшін 300 сөзден қысқа нұсқауларды ұсынады. Бұл — жарияланған қатаң ең үлкен кіріс ұзындығы емес, сапа ұсынымы.

Рәсімді түсіндіру үшін әрекет пен шартты тыңдаушы ілесе алатын сөйлемде жазыңыз. Хабарландыруда маңызды ақпаратты міндетті емес мәліметтен бұрын қойыңыз. Дауыстық жауапта фактілік жауапты сақтап, айтылмауы тиіс тек экрандық пішімдеуді немесе дереккөз белгілеуін алып тастаңыз. Осы дайындық референс стильді анықтамай тұрып, сценарийдің өзін аудиоға лайық етеді.

Ағындық беру, нәтиже және ұзақтық

Жасаушы негізгі және ағындық беруді құжаттайды және төл генерацияның екі минутқа дейінгі аудиосын сипаттайды. Жарияланған салмақ картасы бірнеше сөйлеу міндетін дайындау үшін пакеттік инференсті де атайды. Қызметтегі ұзынырақ генерациялар бір төл бөлікті шексіз деп қабылдамай, кезектестіріп беруді қолданады. Ұзын баяндау үшін тұтас бөлімдер дайындап, олардың дауыс және мәтін дайындауын жалғастыруды өңдейтін беру үдерісімен бірізді ұстаңыз.

Жарияланған карта 24 kHz аудионы белгілеп, WAV, PCM, FLAC, MP3, AAC және Opus нәтиже пішімдерін атайды. Сөйлеу қызметінің нұсқаулығы сығылған беру үшін MP3, сығылмаған PCM үшін WAV, жоғалтусыз сығу үшін FLAC, ағындық беру үшін PCM немесе Opus пішімдерін талқылайды. Қосылған үдеріс қолдайтын және оның ойнатқышына не өңдеу қадамына сай пішім таңдаңыз. Пішім таңдауы мен ағындық беру мінез-құлқы дауыс бейімдеуінің өзінен бөлек.

Модель архитектурасы және практикалық шекаралар

Хабарландыру 3.4B Transformer декодтағыш негізі, 390 миллион параметрлі акустикалық Transformer және 300 миллион параметрлі нейрондық аудио кодегі бар авторегрессиялық, flow-matching архитектураны сипаттайды. Декодтағыш семантикалық мазмұнды болжайды, акустикалық құрамдас сөйлеу көрінісін жасайды, ал кодек аудионы өңдейді. Бұл құрамдастар жуық 4B модель белгісін түсіндіреді; олар қосымша кіріс тілдері немесе басқа жауап жасау моделі емес.

Практикалық нәтиже — дайын сценарийімен және таңдалған дауыспен байланысқан синтезделген жазба немесе аудио ағыны. Қолданба дұрыс материалды сақтай, ойната немесе жинай алуы үшін бірнеше бөлім жасағанда осы байланыстарды сақтаңыз. Модель транскрипт, семантикалық іздеу векторы немесе жаңадан жазылған фактілік жауап орнына аудио жасайды.

2603 сөйлеу шығарылымын, қолдау көрсетілетін тілді және референс стилін сақтаңыз. Оқылған дереккөздер төл екі минуттық тұжырымды және 300 сөзден қысқа дайындау ұсынымын береді, бірақ бөлек қатаң ең үлкен мәтін-таңба шегін немесе біріктірілген толық жазба ұзақтығын бекітпейді. Дайын аудио материалды анықтау үшін нақты мәтін, дауыс және беру талаптарын қолданыңыз.

Ailoot Ultra · Дыбыстау POST /v1/audio/speech mistralai/voxtral-mini-tts-2603

mistralai/voxtral-mini-tts-2603

Mistral /mistralai/voxtral-mini-tts-2603

Бастау

Қабылданатын кіріс деректері: Мәтін
Нәтижелер: Аудио

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot Ultra · Дыбыстау POST /v1/audio/speech

Кіріс: text
Шығыс: audio
Шығыс пішімі: mp3

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер mistralai/voxtral-mini-tts-2603	Әдепкі—
Өріс`input`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер Ең аз ұзындық: 1 Бірлік: Unicode таңбалары	Әдепкі—
Өріс`voice`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер en_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry	Әдепкі—
Өріс`response_format`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер mp3	Әдепкі—

Кіріс материалдарының үйлесімдері

text_to_speech · Міндетті: input

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`content_type`	Параметр талаптарыapplication/json
Параметр`required`	Параметр талаптарыmodel, input, voice, response_format
Параметр`voice_ids`	Параметр талаптарыen_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry
Параметр`response_format`	Параметр талаптарыmp3
Параметр`max_input_characters`	Параметр талаптарыnull
Параметр`other_options`	Параметр талаптарыfalse
Параметр`input`	Параметр талаптарыдәл UTF-8 мәтіні; қалыпқа келтірмей есептелген Unicode таңбалар саны
Параметр`material_types`	Параметр талаптарыtext

Өмірлік цикл: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · Нақты қайтарылған task_id немесе медиатека жазбасы

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

Осы модель профилінен нақты дауысты таңдаңыз.

Кіріс таңбалары мен аудио секундтары бөлек есептеу бірліктері болып саналады.

Тарифтер

Тариф анықтамасы сұрау мүмкіндіктерін қоспайды. Қолдау көрсетілетін параметрлер таңдалған әдісте берілген.

Жылдам режим: Көрсетілмеген Жылдам режим таңдалғанда
Икемді режим: Көрсетілмеген flex режимі таңдалғанда
Ой қорытудың ең жоғары деңгейі: Көрсетілмеген Ой қорыту деңгейі ең жоғары болып, default түзетуі қолданылғанда

Ailoot мөлшерлемелері

Баптаулар бойынша бағалар

Әр төлемді көрсетілген шарттармен салыстырыңыз. Балама баптаулардың әр жиыны үшін бір мөлшерлемені қолданыңыз.

Баптау	Мөлшерлемелер кестесі	Төленетін мөлшер	Есептеу бірлігі	Төлем
БаптауТокендердің базалық тарифтері	Мөлшерлемелер кестесіНегізгі мөлшерлеме	Төленетін мөлшер—	Есептеу бірлігі—	Төлем Кіріс · Кіріс токендері — / 1K токен Шығыс · Шығыс токендері — / 1K токен Кіріс · Кэшті оқу — / 1K токен Кіріс · Кэшке жазу — / 1K токен Кіріс · Кэшке жазу, 1 сағ — / 1K токен
БаптауUltra	Мөлшерлемелер кестесі—	Төленетін мөлшерӘр Unicode код нүктесі, соның ішінде Han таңбалары, бір таңба болып саналады.	Есептеу бірлігі1K кіріс таңбасы үшін	Төлем Кіріс · кіріс таңбасы $0.032 1K кіріс таңбасы үшін

Анықтамалық тариф мәліметтері

Модельдің анықтамалық кестелері әдіс таңдауын, баға есебін не төлемді өзгертпейді. Қолданыстағы төлемдер таңдалған Ailoot әдісінің мөлшерлемелерімен есептеледі.

Mistral: Voxtral Mini TTS

Баптаулар бойынша бағалар

Баптау	Төлемді есептеу шарттары	Төлем
БаптауMistral: Voxtral Mini TTS · Әдепкі конфигурация	Төлемді есептеу шарттарыӘдепкі баптау	Төлем Кіріс · Кіріс таңбалары 0,000032 $ кіріс таңбасы үшін

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Сұрау мысалдары

Ailoot Ultra · Дыбыстау

curl

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_VOICE_ID:?Choose an accepted voice ID from this exact model profile}"
export AILOOT_VOICE_ID
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "mistralai/voxtral-mini-tts-2603", "input": "Good afternoon! This is a short voice take."}')
voice=os.environ["AILOOT_VOICE_ID"]
allowed=json.loads('["en_paul_sad", "en_paul_neutral", "en_paul_happy", "en_paul_frustrated", "en_paul_excited", "en_paul_confident", "en_paul_cheerful", "en_paul_angry", "gb_oliver_neutral", "gb_oliver_sad", "gb_oliver_excited", "gb_oliver_curious", "gb_oliver_confident", "gb_oliver_cheerful", "gb_oliver_angry", "gb_jane_sarcasm", "gb_jane_confused", "gb_jane_shameful", "gb_jane_sad", "gb_jane_neutral", "gb_jane_jealousy", "gb_jane_frustrated", "gb_jane_curious", "gb_jane_confident", "fr_marie_sad", "fr_marie_neutral", "fr_marie_happy", "fr_marie_excited", "fr_marie_curious", "fr_marie_angry"]')
if voice not in allowed: raise SystemExit("Choose an accepted voice ID from this exact model profile")
p["voice"]=voice
p["response_format"]="mp3"
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o speech.mp3

Нәтижелерді алу және сақтау

Ailoot Ultra · Дыбыстау

mp3

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

Басқа мазмұнды оқу

Медиа кітапханасыТапсырма күйіМатериал мәліметтері

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o media-assets.json

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_MEDIA_TASK_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_MEDIA_TASK_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_MEDIA_TASK_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/tasks/$resource_id" \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o media-task.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-task.json").read_text())))
PY_RESULT

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_ASSET_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_ASSET_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_ASSET_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/assets/$resource_id" \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o media-asset.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-asset.json").read_text())))
PY_RESULT

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Толық бинарлық нәтижені және тақырыптарды сақтаңыз. JSON/бірнеше нәтиже қайтарылса, әрбір дерек элементін сақтап, активке берілген әрбір нақты қолтаңбаланған URL мекенжайынан жүктеп алыңыз.

Бастапқы жауапты тексеру қажет болса

Қайта жібермей салыстырып тексеру үшін бастапқы operation_id/X-Client-Request-ID мәнін сақтаңыз; аудио күйін мерзімді түрде сұратуға арналған жеке маршрут жоқ.

Жауап өрістері

Өріс	Түрі
Өріс`binary audio`	Түріbytes
Өріс`response headers`	Түріheaders

Қателер және келесі қадамдар

Жауап	Шарт	Келесі қадам
Жауап400 · `invalid_request_error`	ШартМіндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате	Келесі қадамЖаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.
Жауап`server_error`	ШартҚайтарылған жауапта операцияны немесе нәтижені тексеру қажет екені көрсетілген	Келесі қадамБастапқыда қайтарылған операцияның/тапсырманың ID мәнін, сұрау тақырыптарын және жауабын сақтаңыз; сол бастапқы операцияны қолдау көрсетілетін тәсілдермен оқуды жалғастырыңыз. Жасау сұрауын қайта жібермеңіз.

Балама атаулар

Модельдердің балама атаулары

Ailoot Ultra mistralai/voxtral-mini-tts-2603

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

mistralai/voxtral-mini-tts-2603

FAQ · Mistral: Voxtral Mini TTS

Қандай кіріс деректері мен нәтижелер қолжетімді?: POST /v1/audio/speech · mistralai/voxtral-mini-tts-2603: text → audio
Сұрау қандай өрістерді пайдаланады?: POST /v1/audio/speech · mistralai/voxtral-mini-tts-2603: model, input, voice, response_format

Mistral: Voxtral Mini TTS