Mistral: Voxtral Mini TTS
Voxtral TTS 是 Mistral AI 的 40 億參數語音生成模型，支援九種語言及以參考音訊為基礎的聲音調適。它將準備好的文字轉成富有表現力的音訊，支援可重複或單次使用的聲音提示與串流，並以文件所列音訊格式產生 24 kHz 輸出。
關於模型
此說明介紹模型的能力。Ailoot 可用的輸入、輸出與選項，依所選方法列於下方。
Voxtral TTS 是 Mistral AI 的 40 億參數文字轉語音模型，可依文字與聲音參考生成語音。製造商模型頁面將 2603 版本標示為 voxtral-mini-tts-2603，已發布的權重卡則名為 Voxtral 4B TTS 2603。本項目針對該語音生成版本，與 Voxtral Small 音訊理解、轉錄及後續即時輸入模型不同。
富有表現力的語音與聲音調適
模型設計用來捕捉參考聲音的停頓、節奏、語調、口音及情感表達。聲音本身是文字應如何聽起來的指示；製造商概要不要求另加韻律或情緒標記，也不要求參考錄音的轉錄稿。來源文字決定說什麼，參考音訊則引導表達方式。
概要描述可從短至兩到三秒的音訊調適聲音。架構說明則討論五到二十五秒的聲音提示。這兩種敘述的範圍不同：短音訊調適範例並非要求使用最短可能參考。請選擇清晰語音，代表最終結果需要的風格與口音。
發布卡包含二十個預製聲音，以及對新聲音的調適。製造商的語音工作流程可使用已儲存的聲音設定檔或單次參考片段。儲存設定檔可讓不同語音請求重複使用同一聲音參考；單次片段則只為目前任務提供參考。設定檔與生成錄音是不同成果。
語言與跨語言表達
此版本支援英語、法語、西班牙語、德語、義大利語、葡萄牙語、荷蘭語、阿拉伯語及印地語，製造商並描述方言變化、跨語言聲音轉移及語言混合。為獲得最佳結果，語音指南建議讓參考音訊語言與文字語言一致。跨語言轉移可在以另一種支援語言朗讀準備好的文字時，保留參考音訊的口音。
實用的旁白任務可以在不同支援語言的說明中採相同聲音風格，各份文字則為預定聽眾準備。語音助理回覆可使用簡短對話文稿，而非朗讀未編輯的文件。文字轉語音模型表達的是已準備詞句；產生這些詞句的翻譯或答案撰寫階段是另一個步驟。
準備文字
製造商語音指南建議使用可口語表達的文字。請將數字與符號寫成應朗讀的形式，讓模型無須在可能讀法間選擇。數字可能是數量、時間或識別碼；合成前請定義預定口語措辭。若發音重要，請展開縮寫；若預定逐字母朗讀，則將字母分開。
避免不會成為口語內容的豐富格式、表情符號及特殊字元。請準備完整句子，包含表達所需的標點與措辭。指南建議提示少於 300 個單字，以取得最佳結果。這是品質建議，並非宣告的硬性最大輸入長度。
程序說明應在聽眾能跟上的句子中寫出動作及條件。公告則將重要資訊放在選擇性細節前。語音回覆應保留事實答案，並刪除不應朗讀的顯示專用格式或來源註記。這些準備讓文稿本身先適合音訊，再由參考音訊決定風格。
串流、輸出與時長
製造商記載基本及串流交付，並描述原生生成最長兩分鐘音訊。發布的權重卡也列出可準備多項語音任務的批次推論。服務中較長的生成採交錯處理，而非將單個原生區塊視為無限長。較長旁白應準備連貫章節，並依處理延續的交付工作流程，維持聲音與文字準備一致。
發布卡指定 24 kHz 音訊，並列出 WAV、PCM、FLAC、MP3、AAC 及 Opus 輸出格式。語音服務指南討論壓縮交付用 MP3、未壓縮 PCM 用 WAV、無損壓縮用 FLAC，以及串流用 PCM 或 Opus。請選擇連接工作流程支援、且適合其播放器或處理步驟的格式。格式選擇與串流行為，和聲音調適本身不同。
模型架構與實用界線
公告描述自迴歸、流匹配架構，具有 34 億參數 Transformer 解碼器骨幹、3 億 9,000 萬參數聲學 Transformer，以及 3 億參數神經音訊編解碼器。解碼器預測語意內容，聲學元件產生語音表示，編解碼器則處理音訊。這些元件解釋約 40 億參數的模型標示；並非額外輸入語言，也不是另一個答案生成模型。
實用輸出是與準備好的文稿及所選聲音連結的合成錄音或音訊串流。生成多個章節時應保留這些關聯，讓應用程式能儲存、播放或組合正確素材。模型產生音訊，而非轉錄稿、語意搜尋向量或新撰寫的事實答案。
請保留 2603 語音版本、支援語言與參考風格。已讀來源提供原生兩分鐘說明及少於 300 個單字的準備建議，但未確立額外的硬性文字字元上限，或整份拼接錄音的總時長。請以實際文字、聲音及交付需求，定義完成音訊成果。
Ailoot Ultra · 語音合成 POST /v1/audio/speech mistralai/voxtral-mini-tts-2603
mistralai/voxtral-mini-tts-2603
mistralai/voxtral-mini-tts-2603入門
Voxtral TTS 是 Mistral AI 的 40 億參數語音生成模型，支援九種語言及以參考音訊為基礎的聲音調適。它將準備好的文字轉成富有表現力的音訊，支援可重複或單次使用的聲音提示與串流，並以文件所列音訊格式產生 24 kHz 輸出。
- 接受的輸入
- 文字
- 結果
- 音訊
Ailoot 可用 · 輸入與方法
Ailoot Ultra · 語音合成 POST /v1/audio/speech
- 輸入
text- 輸出
audio- 輸出格式
- mp3
| 欄位 | 類型 | 要求 | 值與限制 | 預設值 |
|---|---|---|---|---|
欄位model | 類型string | 要求必填 | 值與限制 mistralai/voxtral-mini-tts-2603 | 預設值— |
欄位input | 類型string | 要求必填 | 值與限制 長度下限: 1 單位: Unicode 字元 | 預設值— |
欄位voice | 類型string | 要求必填 | 值與限制 en_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry | 預設值— |
欄位response_format | 類型string | 要求必填 | 值與限制 mp3 | 預設值— |
輸入素材組合
text_to_speech · 必填： input
方法參數與生命週期
| 參數 | 規格 |
|---|---|
參數content_type | 規格application/json |
參數required | 規格model, input, voice, response_format |
參數voice_ids | 規格en_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry |
參數response_format | 規格mp3 |
參數max_input_characters | 規格null |
參數other_options | 規格false |
參數input | 規格完全相符的 UTF-8 文字；不經正規化的 Unicode 字元計數 |
參數material_types | 規格text |
生命週期： synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · 實際回傳的 task_id 或媒體庫紀錄
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
請從此模型設定檔中選擇完全相符的語音。
輸入字元數與音訊秒數是不同的計量方式。
方案
費率資訊不會增加請求選項。支援的參數列於所選方法中。
- 快速模式
- 未指定 選取快速模式時
- flex 模式
- 未指定 選取 flex 模式時
- 最高推理強度
- 未指定 最高推理強度採用 default 調整值時
Ailoot 費率
各設定的價格
請逐一核對各項費用與所列條件。每組互為替代選項的設定只套用一種費率。
| 設定 | 費率表 | 應計費數量 | 計費單位 | 費用 |
|---|---|---|---|---|
| 設定基礎 token 費率 | 費率表基本費率 | 應計費數量— | 計費單位— | 費用 輸入 · 輸入 Token — / 1K Token 輸出 · 輸出 Token — / 1K Token 輸入 · 讀取快取 — / 1K Token 輸入 · 寫入快取 — / 1K Token 輸入 · 寫入快取，1 小時 — / 1K Token |
| 設定Ultra | 費率表— | 應計費數量每個 Unicode 碼位均計為一個字元，漢字亦同。 | 計費單位每 1K 個輸入字元 | 費用 輸入 · 輸入字元 $0.032 每 1K 個輸入字元 |
參考費率詳情
模型層級的參考費率表不會變更方法選擇、報價或費用。實際計費採用所選 Ailoot 方法的費率。
Mistral: Voxtral Mini TTS
各設定的價格
| 設定 | 計費條件 | 費用 |
|---|---|---|
| 設定Mistral: Voxtral Mini TTS · 預設設定 | 計費條件預設設定 | 費用 輸入 · 輸入字元數 US$0.000032 每個輸入字元 |
Ailoot 會在請求前預留估算金額。取得結果後，依實測用量結算最終費用。串流結算採用最終用量紀錄。預留金額與結算的運作方式 →
請求範例
Ailoot Ultra · 語音合成
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_VOICE_ID:?Choose an accepted voice ID from this exact model profile}"
export AILOOT_VOICE_ID
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "mistralai/voxtral-mini-tts-2603", "input": "Good afternoon! This is a short voice take."}')
voice=os.environ["AILOOT_VOICE_ID"]
allowed=json.loads('["en_paul_sad", "en_paul_neutral", "en_paul_happy", "en_paul_frustrated", "en_paul_excited", "en_paul_confident", "en_paul_cheerful", "en_paul_angry", "gb_oliver_neutral", "gb_oliver_sad", "gb_oliver_excited", "gb_oliver_curious", "gb_oliver_confident", "gb_oliver_cheerful", "gb_oliver_angry", "gb_jane_sarcasm", "gb_jane_confused", "gb_jane_shameful", "gb_jane_sad", "gb_jane_neutral", "gb_jane_jealousy", "gb_jane_frustrated", "gb_jane_curious", "gb_jane_confident", "fr_marie_sad", "fr_marie_neutral", "fr_marie_happy", "fr_marie_excited", "fr_marie_curious", "fr_marie_angry"]')
if voice not in allowed: raise SystemExit("Choose an accepted voice ID from this exact model profile")
p["voice"]=voice
p["response_format"]="mp3"
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o speech.mp3
接收並儲存結果
Ailoot Ultra · 語音合成
mp3
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
其他內容讀取方式
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-assets.json
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_MEDIA_TASK_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_MEDIA_TASK_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_MEDIA_TASK_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/tasks/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-task.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-task.json").read_text())))
PY_RESULT
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_ASSET_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_ASSET_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_ASSET_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/assets/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-asset.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-asset.json").read_text())))
PY_RESULT
保留所有已完成的結果
請保留所有完整傳回的回應、檔案與內容區塊。
保留完整的二進位結果與標頭。若回傳 JSON 或多個輸出，請保留所有資料項目，並透過每個實際回傳的已簽署資產 URL 取得內容。
需要檢查原始回應時
保留原始 operation_id/X-Client-Request-ID 以供核對，請勿重新提交；沒有專用的音訊輪詢路由。
回應欄位
| 欄位 | 類型 |
|---|---|
欄位binary audio | 類型bytes |
欄位response headers | 類型headers |
錯誤與後續步驟
| 回應 | 條件 | 下一步 |
|---|---|---|
回應400 · invalid_request_error | 條件必要欄位、素材表示方式或參數值無效 | 下一步提出新的建立請求前，先修正指定欄位。 |
回應server_error | 條件回傳的回應表示該作業或結果需要檢查 | 下一步保留原始回傳的作業／任務 ID、請求標頭與回應；繼續以支援的方式讀取該原始作業。請勿重新提交建立請求。 |
別名
模型別名
Ailoot Ultra mistralai/voxtral-mini-tts-2603
方法路徑別名
請使用上方列出的 API 方法路徑。
相關呼叫用 ID
FAQ · Mistral: Voxtral Mini TTS
- 可以使用哪些輸入與結果？
POST /v1/audio/speech·mistralai/voxtral-mini-tts-2603:text→audio- 請求使用哪些欄位？
POST /v1/audio/speech·mistralai/voxtral-mini-tts-2603:model,input,voice,response_format