Mistral: Voxtral Mini TTS
Voxtral TTS yra Mistral AI 4B kalbos generavimo modelis su etalonu pagrįstu balso pritaikymu devynioms kalboms. Jis paverčia paruoštą tekstą išraiškingu garsu, palaiko pakartotinai naudojamus ar vienkartinius balso etalonus bei srautinį perdavimą ir kuria 24 kHz išvestį dokumentuotais garso formatais.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Voxtral TTS yra Mistral AI 4B teksto įgarsinimo modelis sakytiniam garsui generuoti iš teksto ir balso etalono. Kūrėjo modelio puslapyje 2603 versija identifikuojama kaip voxtral-mini-tts-2603, o išleistų svorių kortelė vadinama Voxtral 4B TTS 2603. Šis įrašas skirtas tam kalbos generavimo leidimui, atskiram nuo Voxtral Small garso supratimo, transkripcijos ir vėlesnių realiojo laiko įvesties modelių.
Išraiškinga kalba ir balso pritaikymas
Modelis sukurtas etaloninio balso pauzėms, ritmui, intonacijai, akcentui ir emociniam perteikimui užfiksuoti. Balsas veikia kaip instrukcija, kaip tekstas turi skambėti; kūrėjo apžvalgoje nereikalaujama atskirų prozodijos ar emocijų žymų arba etaloninio įrašo transkripcijos. Šaltinio tekstas lemia, kas sakoma, o garso etalonas nukreipia kalbėjimo manierą.
Apžvalgoje aprašomas balso pritaikymas iš vos dviejų–trijų sekundžių garso. Architektūros apraše aptariami penkių–dvidešimt penkių sekundžių balso etalonai. Šie teiginiai turi skirtingą taikymo sritį: trumpo pritaikymo pavyzdys nėra reikalavimas naudoti kuo trumpesnį etaloną. Pasirinkite aiškią kalbą, reprezentuojančią galutiniam rezultatui norimą stilių ir akcentą.
Išleista kortelė apima dvidešimt iš anksto nustatytų balsų ir pritaikymą naujiems balsams. Kūrėjo kalbos procesas gali naudoti išsaugotą balso profilį arba vienkartinį etaloninį klipą. Išsaugotas profilis leidžia tą patį balso etaloną pakartotinai naudoti atskirose kalbos užklausose, o vienkartinis klipas pateikia jį dabartinei užduočiai. Profilis ir sugeneruotas įrašas yra skirtingi rezultatai.
Kalbos ir kalbėjimas skirtingomis kalbomis
Leidimas palaiko anglų, prancūzų, ispanų, vokiečių, italų, portugalų, nyderlandų, arabų ir hindi kalbas; kūrėjas aprašo tarmių įvairovę, balso perkėlimą tarp kalbų ir kalbų maišymą. Geriausiam rezultatui kalbos vadovas rekomenduoja derinti etalono kalbą su teksto kalba. Perkėlimas tarp kalbų gali išsaugoti etalono akcentą, kalbant paruoštą tekstą kita palaikoma kalba.
Praktinė pasakojimo užduotis gali naudoti tą patį balso stilių paaiškinimui skirtingomis palaikomomis kalbomis, kiekvieną tekstą paruošus numatytam klausytojui. Balso asistento atsakymas gali naudoti trumpą pokalbinį tekstą, užuot garsiai skaitęs neredaguotą dokumentą. Teksto įgarsinimo modelis perteikia paruoštus žodžius; bet koks vertimo ar atsakymo rašymo etapas, sukuriantis tuos žodžius, yra atskiras žingsnis.
Teksto paruošimas
Kūrėjo kalbos vadovas rekomenduoja tekstą, kurį galima ištarti. Skaičius ir simbolius rašykite ta forma, kuri turi būti ištarta, kad modeliui nereikėtų rinktis iš galimų skaitymų. Skaičius gali reikšti kiekį, laiką ar identifikatorių; numatytą sakytinę formuluotę apibrėžkite prieš sintezę. Kai svarbus tarimas, santrumpas išskleiskite, naudodami atskirtas raides, jei taip numatyta skaityti.
Venkite sudėtingo formatavimo, jaustukų ir specialiųjų ženklų, kurie nebus perteikti kaip sakytinis turinys. Paruoškite pilnus sakinius su atlikimui reikalinga skyryba bei formuluotėmis. Vadovas geriausiems rezultatams rekomenduoja trumpesnius nei 300 žodžių tekstus. Tai kokybės rekomendacija, o ne paskelbta griežta didžiausio įvesties ilgio riba.
Procedūros paaiškinime veiksmą ir sąlygą parašykite sakiniu, kurį klausytojas gali sekti. Pranešime svarbią informaciją pateikite prieš pasirenkamas detales. Balso atsakyme išsaugokite faktinį atsakymą ir pašalinkite tik ekranui skirtą formatavimą ar šaltinių žymėjimą, kurių nereikia ištarti. Šis paruošimas padaro patį tekstą tinkamą garsui prieš etalonui nustatant jo stilių.
Srautinis perdavimas, išvestis ir trukmė
Kūrėjas dokumentuoja įprastą ir srautinį pateikimą bei aprašo savąjį iki dviejų minučių garso generavimą. Išleistų svorių kortelėje taip pat nurodomas paketinis vykdymas kelioms kalbos užduotims paruošti. Ilgesni paslaugos generavimai naudoja kaitaliojamą apdorojimą, užuot vieną savąją dalį laikę neribota. Ilgesniam pasakojimui paruoškite nuoseklias dalis ir jų balsą bei teksto paruošimą išlaikykite suderintus su tęsinį apdorojančiu pateikimo procesu.
Išleistoje kortelėje nurodomas 24 kHz garsas ir įvardijami WAV, PCM, FLAC, MP3, AAC bei Opus išvesties formatai. Kalbos paslaugos vadove aptariamas MP3 suspaustam pateikimui, WAV nesuspaustam PCM, FLAC glaudinimui be nuostolių ir PCM arba Opus srautiniam perdavimui. Pasirinkite formatą, kurį palaiko prijungtas procesas ir kuris tinka jo leistuvui ar apdorojimo žingsniui. Formato pasirinkimas ir srautinio perdavimo elgsena yra atskiri nuo paties balso pritaikymo.
Modelio architektūra ir praktinės ribos
Pranešime aprašoma autoregresinė srautų atitikimo architektūra su 3.4B Transformer dekoduotuvo pagrindu, 390 milijonų parametrų akustiniu Transformer ir 300 milijonų parametrų neuroniniu garso kodeku. Dekoduotuvas numato semantinį turinį, akustinis komponentas sukuria kalbos atvaizdą, o kodekas apdoroja garsą. Šie komponentai paaiškina apytikslę 4B modelio žymą; jie nėra papildomos įvesties kalbos ar kitas atsakymų generavimo modelis.
Praktinė išvestis yra sintezuotas įrašas ar garso srautas, susietas su paruoštu tekstu ir pasirinktu balsu. Išlaikykite šias sąsajas generuodami kelias dalis, kad programa galėtų išsaugoti, atkurti ar surinkti teisingą medžiagą. Modelis kuria garsą, o ne transkripciją, semantinės paieškos vektorių ar naujai parašytą faktinį atsakymą.
Išsaugokite 2603 kalbos versiją, palaikomą kalbą ir etalono stilių. Perskaityti šaltiniai pateikia savąjį dviejų minučių teiginį ir trumpesnio nei 300 žodžių teksto paruošimo rekomendaciją, tačiau nenustato atskiros griežtos didžiausio teksto ženklų skaičiaus ar bendros sujungto įrašo trukmės ribos. Galutinį garso rezultatą apibrėžkite pagal faktinius teksto, balso ir pateikimo reikalavimus.
Ailoot Ultra · Įgarsinimas POST /v1/audio/speech mistralai/voxtral-mini-tts-2603
mistralai/voxtral-mini-tts-2603
mistralai/voxtral-mini-tts-2603Pradžia
Voxtral TTS yra Mistral AI 4B kalbos generavimo modelis su etalonu pagrįstu balso pritaikymu devynioms kalboms. Jis paverčia paruoštą tekstą išraiškingu garsu, palaiko pakartotinai naudojamus ar vienkartinius balso etalonus bei srautinį perdavimą ir kuria 24 kHz išvestį dokumentuotais garso formatais.
- Leidžiamos įvestys
- Tekstas
- Rezultatai
- Garsas
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Įgarsinimas POST /v1/audio/speech
- Įvestis
text- Išvestis
audio- Išvesties formatas
- mp3
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos mistralai/voxtral-mini-tts-2603 | Numatyta— |
Laukasinput | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias ilgis: 1 Vienetas: Unicode simboliai | Numatyta— |
Laukasvoice | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos en_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry | Numatyta— |
Laukasresponse_format | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos mp3 | Numatyta— |
Įvesties medžiagos deriniai
text_to_speech · Privaloma: input
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input, voice, response_format |
Parametrasvoice_ids | Specifikacijaen_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry |
Parametrasresponse_format | Specifikacijamp3 |
Parametrasmax_input_characters | Specifikacijanull |
Parametrasother_options | Specifikacijafalse |
Parametrasinput | Specifikacijatikslus UTF-8 tekstas; Unicode simbolių skaičius be normalizavimo |
Parametrasmaterial_types | Specifikacijatext |
Gyvavimo ciklas: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · faktiškai grąžinta task_id reikšmė arba medijos bibliotekos įrašas
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Pasirinkite tikslų balsą iš šio modelio profilio.
Įvesties simboliai ir garso sekundės yra skirtingi apskaitos vienetai.
Planai
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Nenurodyta Pasirinkus spartųjį režimą
- Flex režimas
- Nenurodyta Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Nenurodyta Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Ailoot įkainiai
Kainos pagal konfigūraciją
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Apmokestinamas kiekis | Apskaitos vienetas | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Apmokestinamas kiekis— | Apskaitos vienetas— | Mokestis Įvestis · Įvesties tokenai — / 1K tokenų Išvestis · Išvesties tokenai — / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUltra | Įkainių lentelė— | Apmokestinamas kiekisKiekvienas Unicode kodo taškas, įskaitant Han simbolius, skaičiuojamas kaip vienas simbolis. | Apskaitos vienetasuž 1K įvesties simbolių | Mokestis Įvestis · įvesties simbolis $0.032 už 1K įvesties simbolių |
Informacinio tarifo duomenys
Modelio informacinės lentelės nekeičia metodo pasirinkimo, kainos įverčių ar mokesčių. Galiojantys mokesčiai nustatomi pagal pasirinkto Ailoot metodo įkainius.
Mistral: Voxtral Mini TTS
Kainos pagal konfigūraciją
| Konfigūracija | Apmokestinimo sąlygos | Mokestis |
|---|---|---|
| KonfigūracijaMistral: Voxtral Mini TTS · Numatytoji konfigūracija | Apmokestinimo sąlygosNumatytoji konfigūracija | Mokestis Įvestis · Įvesties simboliai 0,000032 USD už įvesties simbolį |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Įgarsinimas
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_VOICE_ID:?Choose an accepted voice ID from this exact model profile}"
export AILOOT_VOICE_ID
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "mistralai/voxtral-mini-tts-2603", "input": "Good afternoon! This is a short voice take."}')
voice=os.environ["AILOOT_VOICE_ID"]
allowed=json.loads('["en_paul_sad", "en_paul_neutral", "en_paul_happy", "en_paul_frustrated", "en_paul_excited", "en_paul_confident", "en_paul_cheerful", "en_paul_angry", "gb_oliver_neutral", "gb_oliver_sad", "gb_oliver_excited", "gb_oliver_curious", "gb_oliver_confident", "gb_oliver_cheerful", "gb_oliver_angry", "gb_jane_sarcasm", "gb_jane_confused", "gb_jane_shameful", "gb_jane_sad", "gb_jane_neutral", "gb_jane_jealousy", "gb_jane_frustrated", "gb_jane_curious", "gb_jane_confident", "fr_marie_sad", "fr_marie_neutral", "fr_marie_happy", "fr_marie_excited", "fr_marie_curious", "fr_marie_angry"]')
if voice not in allowed: raise SystemExit("Choose an accepted voice ID from this exact model profile")
p["voice"]=voice
p["response_format"]="mp3"
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o speech.mp3
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Įgarsinimas
mp3
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Kito turinio skaitymas
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-assets.json
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_MEDIA_TASK_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_MEDIA_TASK_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_MEDIA_TASK_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/tasks/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-task.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-task.json").read_text())))
PY_RESULT
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_ASSET_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_ASSET_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_ASSET_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/assets/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-asset.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-asset.json").read_text())))
PY_RESULT
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visą dvejetainį rezultatą ir antraštes. Jei grąžinamas JSON arba keli rezultatai, išsaugokite kiekvieną duomenų elementą ir atsisiųskite kiekvieną išteklių pagal faktiškai grąžintą pasirašytą URL.
Jei reikia patikrinti pradinį atsakymą
Išsaugokite pradinį operation_id/X-Client-Request-ID duomenims sutikrinti, pakartotinai neteikdami užklausos; atskiro garso būsenos tikrinimo maršruto nėra.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukasbinary audio | Tipasbytes |
Laukasresponse headers | Tipasheaders |
Klaidos ir tolesni veiksmai
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Atsakymasserver_error | SąlygaGrąžintame atsakyme nurodoma, kad operaciją arba rezultatą reikia patikrinti | Kitas žingsnisIšsaugokite pradinį grąžintą operacijos ar užduoties ID, užklausos antraštes ir atsakymą; toliau tikrinkite tos pačios pradinės operacijos duomenis palaikomais būdais. Kūrimo užklausos pakartotinai neteikite. |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra mistralai/voxtral-mini-tts-2603
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · Mistral: Voxtral Mini TTS
- Kokios įvestys ir rezultatai prieinami?
POST /v1/audio/speech·mistralai/voxtral-mini-tts-2603:text→audio- Kokius laukus naudoja užklausa?
POST /v1/audio/speech·mistralai/voxtral-mini-tts-2603:model,input,voice,response_format