Mistral: Voxtral Mini TTS
Voxtral TTS on Mistral AI:n 4B-puhegenerointimalli, joka mukauttaa äänen viitteen perusteella yhdeksällä kielellä. Se muuntaa valmistellun tekstin ilmaisulliseksi ääneksi, tukee uudelleenkäytettäviä tai kertaluonteisia äänikehotteita ja suoratoistoa sekä tuottaa 24 kHz:n ääntä dokumentoiduissa muodoissa.
Tietoa mallista
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
Voxtral TTS on Mistral AI:n 4B-tekstistä puheeksi -malli puheen generoimiseen tekstistä ja ääniviitteestä. Valmistajan mallisivu tunnistaa 2603-version nimellä voxtral-mini-tts-2603, kun taas julkaistun painomallin kortin nimi on Voxtral 4B TTS 2603. Tämä merkintä koskee kyseistä puhegenerointijulkaisua, erillään Voxtral Small -ääniymmärryksestä, litteroinnista ja myöhemmistä reaaliaikaisista syötemalleista.
Ilmaisullinen puhe ja äänen mukauttaminen
Malli on suunniteltu tavoittamaan viiteäänen tauot, rytmi, intonaatio, aksentti ja tunneilmaisu. Ääni toimii ohjeena sille, miltä tekstin tulee kuulostaa; valmistajan yleiskuvaus ei edellytä erillisiä prosodia- tai tunnetageja eikä viitetallenteen puhetekstiä. Lähdeteksti määrää, mitä sanotaan, ja ääniviite ohjaa esitystapaa.
Yleiskuvaus kuvaa äänen mukauttamista jo 2–3 sekunnin äänestä. Arkkitehtuurikuvaus käsittelee 5–25 sekunnin äänikehotteita. Lausumilla on eri rajaus: lyhyt mukautusesimerkki ei vaadi käyttämään lyhintä mahdollista viitettä. Valitse selkeä puhe, joka edustaa lopputulokseen haluttua tyyliä ja aksenttia.
Julkaistu kortti sisältää kaksikymmentä valmista ääntä ja mukauttamisen uusiin ääniin. Valmistajan puhetyönkulku voi käyttää tallennettua ääniprofiilia tai kertaluonteista viiteleikettä. Profiilin tallentaminen mahdollistaa saman ääniviitteen uudelleenkäytön erillisissä puhepyynnöissä, kun taas kertaluonteinen leike antaa viitteen nykyiseen tehtävään. Profiili ja generoitu tallenne ovat eri tuotoksia.
Kielet ja kielten välinen esitys
Julkaisu tukee englantia, ranskaa, espanjaa, saksaa, italiaa, portugalia, hollantia, arabiaa ja hindiä. Valmistaja kuvaa murrevaihtelun, kielten välisen äänensiirron ja kielten sekoittamisen. Parasta tulosta varten puheopas suosittelee viitekielen sovittamista tekstin kieleen. Kielten välinen siirto voi säilyttää viitteen aksentin samalla, kun valmisteltu teksti puhutaan toisella tuetulla kielellä.
Käytännön kerrontatehtävä voi käyttää samaa äänityyliä selitykseen eri tuetuilla kielillä ja valmistella jokaisen tekstin aiotulle kuulijalle. Ääniavustajan vastaus voi käyttää lyhyttä keskustelunomaista käsikirjoitusta editoimattoman asiakirjan ääneenlukemisen sijaan. Tekstistä puheeksi -malli esittää valmistellut sanat; ne tuottava käännös- tai vastauskirjoitusvaihe on erillinen askel.
Tekstin valmistelu
Valmistajan puheopas suosittelee puhuttavaksi soveltuvaa tekstiä. Kirjoita luvut ja symbolit siinä muodossa, jossa ne tulee puhua, jotta mallin ei tarvitse valita mahdollisten lukutapojen välillä. Luku voi olla määrä, kellonaika tai tunniste; määritä tarkoitettu puhuttu sanamuoto ennen synteesiä. Avaa lyhenteet, kun ääntäminen on tärkeää, ja käytä erillisiä kirjaimia, kun se on tarkoitettu lukutapa.
Vältä rikasta muotoilua, emojeita ja erikoismerkkejä, joita ei esitetä puhuttuna sisältönä. Valmistele kokonaisia lauseita esityksen tarvitsemilla välimerkeillä ja sanamuodoilla. Opas suosittelee alle 300 sanan kehotteita parhaan tuloksen saamiseksi. Tämä on laatusuositus, ei ilmoitettu syötteen kova enimmäispituus.
Kirjoita menettelyn selitykseen toiminto ja ehto lauseeksi, jota kuulija voi seurata. Sijoita kuulutuksessa tärkeä tieto ennen valinnaisia yksityiskohtia. Säilytä äänivastauksessa asiallinen vastaus ja poista vain näytölle tarkoitettu muotoilu tai lähdemerkinnät, joita ei pidä puhua. Valmistelu tekee käsikirjoituksesta itsestään ääneen sopivan ennen kuin viite määrittää sen tyylin.
Suoratoisto, tuloste ja kesto
Valmistaja dokumentoi perus- ja suoratoistotoimituksen sekä kuvaa enintään kahden minuutin äänen natiivin generoinnin. Julkaistu painomallikortti luettelee myös eräpäättelyn useiden puhetehtävien valmisteluun. Palvelun pidemmät generoinnit käyttävät limitystä sen sijaan, että yhtä natiivia osaa käsiteltäisiin rajattomana. Valmistele pidempään kerrontaan johdonmukaiset osat ja pidä niiden äänen sekä tekstin valmistelu yhtenäisenä jatkoa käsittelevän toimitustyönkulun kanssa.
Julkaistu kortti määrittää 24 kHz:n äänen ja nimeää WAV-, PCM-, FLAC-, MP3-, AAC- ja Opus-tulostemuodot. Puhepalveluopas käsittelee MP3:a pakattuun toimitukseen, WAV:ia pakkaamattomaan PCM:ään, FLAC:ia häviöttömään pakkaukseen ja PCM:ää tai Opusia suoratoistoon. Valitse yhdistetyn työnkulun tukema muoto, joka sopii sen soittimeen tai käsittelyvaiheeseen. Muotovalinta ja suoratoistokäyttäytyminen ovat erillisiä itse äänen mukauttamisesta.
Malliarkkitehtuuri ja käytännön rajat
Julkistus kuvaa autoregressiivisen flow-matching-arkkitehtuurin, jossa on 3.4B Transformer -dekooderirunko, 390 miljoonan parametrin akustinen Transformer ja 300 miljoonan parametrin neuroäänikoodekki. Dekooderi ennustaa semanttisen sisällön ja akustinen komponentti tuottaa puhe-esityksen, kun taas koodekki käsittelee äänen. Komponentit selittävät likimääräisen 4B-mallimerkinnän; ne eivät ole lisäsyötekieliä tai eri vastausgenerointimalli.
Käytännön tulos on syntetisoitu tallenne tai äänivirta yhdistettynä valmisteltuun käsikirjoitukseensa ja valittuun ääneen. Säilytä yhteydet useita osia generoitaessa, jotta sovellus voi tallentaa, toistaa tai koota oikean aineiston. Malli tuottaa ääntä eikä litterointia, semanttisen haun vektoria tai vasta kirjoitettua faktavastausta.
Säilytä 2603-puheversio, tuettu kieli ja viitetyyli. Luetut lähteet antavat natiivin kahden minuutin lausuman ja alle 300 sanan valmistelusuosituksen, mutta eivät vahvista erillistä kovaa tekstimerkkien enimmäisrajaa tai yhteen liitetyn tallenteen kokonaiskestoa. Määritä valmis äänituotos varsinaisen tekstin, äänen ja toimitusvaatimusten perusteella.
Ailoot Ultra · Puhesynteesi POST /v1/audio/speech mistralai/voxtral-mini-tts-2603
mistralai/voxtral-mini-tts-2603
mistralai/voxtral-mini-tts-2603Aloitus
Voxtral TTS on Mistral AI:n 4B-puhegenerointimalli, joka mukauttaa äänen viitteen perusteella yhdeksällä kielellä. Se muuntaa valmistellun tekstin ilmaisulliseksi ääneksi, tukee uudelleenkäytettäviä tai kertaluonteisia äänikehotteita ja suoratoistoa sekä tuottaa 24 kHz:n ääntä dokumentoiduissa muodoissa.
- Hyväksytyt syötteet
- Teksti
- Tulokset
- Ääni
Saatavilla Ailootissa · syötteet & menetelmät
Ailoot Ultra · Puhesynteesi POST /v1/audio/speech
- Syötetyypit
text- Tulostyypit
audio- Tulosteen muoto
- mp3
| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat mistralai/voxtral-mini-tts-2603 | Oletus— |
Kenttäinput | Tyyppistring | VaatimusPakollinen | Arvot & rajat Vähimmäispituus: 1 Yksikkö: Unicode-merkit | Oletus— |
Kenttävoice | Tyyppistring | VaatimusPakollinen | Arvot & rajat en_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry | Oletus— |
Kenttäresponse_format | Tyyppistring | VaatimusPakollinen | Arvot & rajat mp3 | Oletus— |
Syöteaineistojen yhdistelmät
text_to_speech · Pakollinen: input
Menetelmän parametrit ja elinkaari
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, input, voice, response_format |
Parametrivoice_ids | Sopimusen_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry |
Parametriresponse_format | Sopimusmp3 |
Parametrimax_input_characters | Sopimusnull |
Parametriother_options | Sopimusfalse |
Parametriinput | Sopimustäsmällinen UTF-8-teksti; Unicode-merkkien määrä ilman normalisointia |
Parametrimaterial_types | Sopimustext |
Elinkaari: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · todellisuudessa palautettu task_id tai mediakirjaston tietue
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Valitse juuri tämän malliprofiilin ääni.
Syötemerkit ja äänisekunnit ovat eri mittareita.
Hinnoittelu
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
- Nopea tila
- Ei määritetty Kun nopea tila on valittu
- Flex-tila
- Ei määritetty Kun flex-tila on valittu
- Päättelyn enimmäisteho
- Ei määritetty Kun päättelyn enimmäistehoon sovelletaan default-oletussäätöä
Ailoot-hinnat
Hinnat asetusten mukaan
Kohdista kukin veloitus näytettyihin ehtoihin. Käytä yhtä hintaa kutakin vaihtoehtoisten asetusten ryhmää kohden.
| Asetukset | Hinnasto | Laskutettava määrä | Laskutusyksikkö | Veloitus |
|---|---|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Laskutettava määrä— | Laskutusyksikkö— | Veloitus Syöte · Syötetokenit — / 1K tokenia Tuloste · Tulostokenit — / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
| AsetuksetUltra | Hinnasto— | Laskutettava määräJokainen Unicode-koodipiste lasketaan yhdeksi merkiksi, myös Han-merkit. | Laskutusyksikkö1K syötemerkkiä kohden | Veloitus Syöte · syötemerkki $0.032 1K syötemerkkiä kohden |
Viitehinnaston tiedot
Mallitason viitehinnastot eivät muuta menetelmän valintaa, hinta-arvioita tai veloituksia. Käytössä olevat veloitukset käyttävät valitun Ailoot-menetelmän hintoja.
Mistral: Voxtral Mini TTS
Hinnat asetusten mukaan
| Asetukset | Laskutusehdot | Veloitus |
|---|---|---|
| AsetuksetMistral: Voxtral Mini TTS · Oletusasetukset | LaskutusehdotOletuskokoonpano | Veloitus Syöte · Syötteen merkit 0,000032 $ syötemerkkiä kohden |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
Esimerkkipyynnöt
Ailoot Ultra · Puhesynteesi
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_VOICE_ID:?Choose an accepted voice ID from this exact model profile}"
export AILOOT_VOICE_ID
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "mistralai/voxtral-mini-tts-2603", "input": "Good afternoon! This is a short voice take."}')
voice=os.environ["AILOOT_VOICE_ID"]
allowed=json.loads('["en_paul_sad", "en_paul_neutral", "en_paul_happy", "en_paul_frustrated", "en_paul_excited", "en_paul_confident", "en_paul_cheerful", "en_paul_angry", "gb_oliver_neutral", "gb_oliver_sad", "gb_oliver_excited", "gb_oliver_curious", "gb_oliver_confident", "gb_oliver_cheerful", "gb_oliver_angry", "gb_jane_sarcasm", "gb_jane_confused", "gb_jane_shameful", "gb_jane_sad", "gb_jane_neutral", "gb_jane_jealousy", "gb_jane_frustrated", "gb_jane_curious", "gb_jane_confident", "fr_marie_sad", "fr_marie_neutral", "fr_marie_happy", "fr_marie_excited", "fr_marie_curious", "fr_marie_angry"]')
if voice not in allowed: raise SystemExit("Choose an accepted voice ID from this exact model profile")
p["voice"]=voice
p["response_format"]="mp3"
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o speech.mp3
Vastaanota ja tallenna tulokset
Ailoot Ultra · Puhesynteesi
mp3
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Muut sisällön lukukerrat
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-assets.json
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_MEDIA_TASK_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_MEDIA_TASK_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_MEDIA_TASK_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/tasks/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-task.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-task.json").read_text())))
PY_RESULT
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_ASSET_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_ASSET_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_ASSET_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/assets/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-asset.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-asset.json").read_text())))
PY_RESULT
Säilytä kaikki valmistuneet tulokset
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä koko binääritulos ja otsakkeet. Jos palautetaan JSON tai useita tulosteita, säilytä jokainen data-alkio ja nouda jokainen resurssi sen todellisesta allekirjoitetusta URL-osoitteesta.
Jos alkuperäinen vastaus on tarkistettava
Säilytä alkuperäinen operation_id/X-Client-Request-ID täsmäytystä varten lähettämättä pyyntöä uudelleen; erillistä äänen tilakyselyreittiä ei ole.
Vastauksen kentät
| Kenttä | Tyyppi |
|---|---|
Kenttäbinary audio | Tyyppibytes |
Kenttäresponse headers | Tyyppiheaders |
Virheet ja seuraavat vaiheet
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Vastausserver_error | EhtoPalautettu vastaus ilmoittaa, että operaatio tai tulos edellyttää tarkistusta | Seuraava vaiheSäilytä alkuperäinen palautettu operaation tai tehtävän ID, pyynnön otsakkeet ja vastaus; jatka kyseisen alkuperäisen operaation tuettuja lukutoimintoja. Älä lähetä luontipyyntöä uudelleen. |
Aliakset
Mallin aliakset
Ailoot Ultra mistralai/voxtral-mini-tts-2603
Menetelmäpolkujen aliakset
Käytä yllä näytettyjä menetelmäpolkuja.
Liittyvät kutsujan ID:t
FAQ · Mistral: Voxtral Mini TTS
- Mitä syötteitä ja tuloksia on saatavilla?
POST /v1/audio/speech·mistralai/voxtral-mini-tts-2603:text→audio- Mitä kenttiä pyyntö käyttää?
POST /v1/audio/speech·mistralai/voxtral-mini-tts-2603:model,input,voice,response_format