Mistral: Voxtral Mini TTS

Voxtral TTS là mô hình tạo giọng nói 4B của Mistral AI với khả năng thích nghi giọng dựa trên tham chiếu ở chín ngôn ngữ. Mô hình chuyển văn bản đã chuẩn bị thành âm thanh giàu biểu cảm, hỗ trợ lời nhắc giọng tái sử dụng hoặc dùng một lần và truyền trực tuyến, đồng thời tạo đầu ra 24 kHz ở các định dạng âm thanh được mô tả.

Ailoot Ultra · Tổng hợp giọng nói POST /v1/audio/speech mistralai/voxtral-mini-tts-2603

Về mô hình

Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.

Voxtral TTS là mô hình chuyển văn bản thành giọng nói 4B của Mistral AI để tạo âm thanh lời nói từ văn bản và một tham chiếu giọng. Trang mô hình của nhà sản xuất xác định phiên bản 2603 là voxtral-mini-tts-2603, trong khi thẻ trọng số được phát hành có tên Voxtral 4B TTS 2603. Mục này nói về bản phát hành tạo giọng nói đó, tách biệt với Voxtral Small dành cho hiểu âm thanh, chép lời và các mô hình đầu vào thời gian thực về sau.

Lời nói giàu biểu cảm và thích nghi giọng

Mô hình được thiết kế để nắm bắt khoảng dừng, nhịp, ngữ điệu, giọng vùng miền và cách thể hiện cảm xúc của giọng tham chiếu. Giọng đóng vai trò chỉ dẫn về cách văn bản cần được đọc; phần tổng quan của nhà sản xuất không yêu cầu thẻ ngữ điệu hoặc cảm xúc riêng, hay bản chép lời của bản ghi tham chiếu. Văn bản nguồn quyết định nội dung nói, còn tham chiếu âm thanh hướng dẫn cách thể hiện.

Phần tổng quan mô tả việc thích nghi giọng từ chỉ hai đến ba giây âm thanh. Phần mô tả kiến trúc đề cập lời nhắc giọng dài năm đến hai mươi lăm giây. Những phát biểu này có phạm vi khác nhau: ví dụ thích nghi ngắn không phải yêu cầu dùng tham chiếu ngắn nhất có thể. Chọn lời nói rõ ràng đại diện cho phong cách và giọng vùng miền mong muốn ở kết quả hoàn thiện.

Thẻ phát hành gồm hai mươi giọng cài sẵn và khả năng thích nghi với giọng mới. Quy trình giọng nói của nhà sản xuất có thể dùng hồ sơ giọng đã lưu hoặc đoạn tham chiếu dùng một lần. Lưu hồ sơ cho phép tái sử dụng cùng tham chiếu giọng giữa các yêu cầu tạo lời nói riêng, còn đoạn dùng một lần cung cấp tham chiếu cho tác vụ hiện tại. Hồ sơ và bản ghi được tạo là những sản phẩm khác nhau.

Ngôn ngữ và cách thể hiện xuyên ngôn ngữ

Bản phát hành hỗ trợ tiếng Anh, Pháp, Tây Ban Nha, Đức, Ý, Bồ Đào Nha, Hà Lan, Ả Rập và Hindi, với biến thể phương ngữ, chuyển giọng xuyên ngôn ngữ và trộn ngôn ngữ được nhà sản xuất mô tả. Để có kết quả tốt nhất, hướng dẫn giọng nói khuyến nghị ngôn ngữ tham chiếu trùng với ngôn ngữ văn bản. Chuyển xuyên ngôn ngữ có thể giữ giọng vùng miền của tham chiếu trong khi đọc văn bản đã chuẩn bị bằng một ngôn ngữ được hỗ trợ khác.

Tác vụ thuyết minh thực tế có thể dùng cùng phong cách giọng cho phần giải thích bằng các ngôn ngữ được hỗ trợ khác nhau, với từng văn bản được chuẩn bị cho người nghe dự kiến. Phản hồi trợ lý giọng nói có thể dùng kịch bản hội thoại ngắn thay vì đọc thành tiếng tài liệu chưa biên tập. Mô hình chuyển văn bản thành giọng nói thể hiện những từ đã chuẩn bị; mọi bước dịch hoặc viết câu trả lời tạo ra những từ đó là bước riêng.

Chuẩn bị văn bản

Hướng dẫn giọng nói của nhà sản xuất khuyến nghị văn bản có thể đọc thành lời. Viết số và ký hiệu theo dạng cần được đọc để mô hình không phải chọn giữa nhiều cách đọc. Một số có thể là số lượng, thời gian hoặc mã định danh; xác định lời đọc dự kiến trước khi tổng hợp. Viết đầy đủ chữ viết tắt khi cách phát âm quan trọng, dùng các chữ cái tách rời khi đó là cách đọc mong muốn.

Tránh định dạng phong phú, emoji và ký tự đặc biệt không được thể hiện thành nội dung lời nói. Chuẩn bị câu đầy đủ với dấu câu và từ ngữ cần thiết cho cách thể hiện. Hướng dẫn khuyến nghị lời nhắc dưới 300 từ để đạt kết quả tốt nhất. Đây là khuyến nghị chất lượng thay vì giới hạn cứng về độ dài đầu vào được công bố.

Với giải thích quy trình, viết hành động và điều kiện thành câu mà người nghe có thể làm theo. Với thông báo, đặt thông tin quan trọng trước chi tiết tùy chọn. Với phản hồi bằng giọng nói, giữ câu trả lời thực tế và bỏ định dạng chỉ phục vụ hiển thị hoặc ký hiệu nguồn không nên được đọc. Những chuẩn bị này giúp bản thân kịch bản phù hợp với âm thanh trước khi tham chiếu quyết định phong cách.

Truyền trực tuyến, đầu ra và thời lượng

Nhà sản xuất mô tả cách cung cấp cơ bản và truyền trực tuyến, cùng khả năng tạo trực tiếp âm thanh dài đến hai phút. Thẻ trọng số được phát hành còn liệt kê suy luận theo lô để chuẩn bị nhiều tác vụ lời nói. Các lần tạo dài hơn của dịch vụ dùng cơ chế xen kẽ thay vì coi một khối tạo trực tiếp là không giới hạn. Với thuyết minh dài hơn, chuẩn bị các mục có ý nghĩa trọn vẹn và giữ nhất quán việc chuẩn bị giọng và văn bản với quy trình cung cấp xử lý phần tiếp nối.

Thẻ phát hành quy định âm thanh 24 kHz và nêu các định dạng đầu ra WAV, PCM, FLAC, MP3, AAC và Opus. Hướng dẫn dịch vụ giọng nói đề cập MP3 cho đầu ra nén, WAV cho PCM không nén, FLAC cho nén không mất dữ liệu và PCM hoặc Opus cho truyền trực tuyến. Chọn định dạng được quy trình kết nối hỗ trợ và phù hợp với trình phát hoặc bước xử lý của quy trình đó. Chọn định dạng và hành vi truyền trực tuyến tách biệt với bản thân khả năng thích nghi giọng.

Kiến trúc mô hình và giới hạn thực tế

Thông báo mô tả kiến trúc tự hồi quy kết hợp flow-matching với lõi bộ giải mã Transformer 3.4B, một Transformer âm học 390 triệu tham số và một bộ mã hóa âm thanh nơ-ron 300 triệu tham số. Bộ giải mã dự đoán nội dung ngữ nghĩa, thành phần âm học tạo biểu diễn lời nói, còn bộ mã hóa xử lý âm thanh. Những thành phần này giải thích nhãn mô hình xấp xỉ 4B; chúng không phải ngôn ngữ đầu vào bổ sung hay một mô hình tạo câu trả lời khác.

Đầu ra thực tế là bản ghi tổng hợp hoặc luồng âm thanh gắn với kịch bản đã chuẩn bị và giọng đã chọn. Giữ các liên kết này khi tạo nhiều mục để ứng dụng có thể lưu, phát hoặc ghép đúng nội dung. Mô hình tạo âm thanh thay vì bản chép lời, vector tìm kiếm ngữ nghĩa hoặc câu trả lời thực tế mới được soạn.

Giữ đúng phiên bản giọng nói 2603, ngôn ngữ được hỗ trợ và phong cách tham chiếu. Các nguồn đã đọc cung cấp phát biểu về hai phút tạo trực tiếp và khuyến nghị chuẩn bị dưới 300 từ, nhưng không xác lập giới hạn cứng riêng về số ký tự văn bản hoặc tổng thời lượng bản ghi đã ghép. Dùng yêu cầu văn bản, giọng và cách cung cấp thực tế để xác định sản phẩm âm thanh hoàn thiện.

Ailoot Ultra · Tổng hợp giọng nói POST /v1/audio/speech mistralai/voxtral-mini-tts-2603

mistralai/voxtral-mini-tts-2603

Mistral /mistralai/voxtral-mini-tts-2603

Bắt đầu

Đầu vào được chấp nhận: Văn bản
Kết quả: Âm thanh

Có trên Ailoot · đầu vào & phương thức

Ailoot Ultra · Tổng hợp giọng nói POST /v1/audio/speech

Đầu vào: text
Đầu ra: audio
Định dạng đầu ra: mp3

Trường	Loại	Yêu cầu	Giá trị & giới hạn	Mặc định
Trường`model`	Loại`string`	Yêu cầuBắt buộc	Giá trị & giới hạn mistralai/voxtral-mini-tts-2603	Mặc định—
Trường`input`	Loại`string`	Yêu cầuBắt buộc	Giá trị & giới hạn Độ dài tối thiểu: 1 Đơn vị: ký tự Unicode	Mặc định—
Trường`voice`	Loại`string`	Yêu cầuBắt buộc	Giá trị & giới hạn en_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry	Mặc định—
Trường`response_format`	Loại`string`	Yêu cầuBắt buộc	Giá trị & giới hạn mp3	Mặc định—

Tổ hợp tư liệu đầu vào

text_to_speech · Bắt buộc: input

Tham số phương thức và vòng đời

Tham số	Hợp đồng
Tham số`content_type`	Hợp đồngapplication/json
Tham số`required`	Hợp đồngmodel, input, voice, response_format
Tham số`voice_ids`	Hợp đồngen_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry
Tham số`response_format`	Hợp đồngmp3
Tham số`max_input_characters`	Hợp đồngnull
Tham số`other_options`	Hợp đồngfalse
Tham số`input`	Hợp đồngvăn bản UTF-8 nguyên dạng; đếm ký tự Unicode mà không chuẩn hóa
Tham số`material_types`	Hợp đồngtext

Vòng đời: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · Giá trị task_id thực tế đã trả về hoặc bản ghi trong thư viện nội dung đa phương tiện

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

Chọn giọng nói chính xác từ hồ sơ mô hình này.

Ký tự đầu vào và giây âm thanh là các đơn vị đo tính phí khác nhau.

Bảng giá

Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.

Chế độ nhanh: Chưa chỉ định Khi chọn chế độ nhanh
Chế độ Flex: Chưa chỉ định Khi chọn chế độ flex
Mức độ suy luận tối đa: Chưa chỉ định Khi áp dụng mức điều chỉnh mặc định (default) cho mức độ suy luận tối đa

Mức phí Ailoot

Giá theo cấu hình

Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.

Cấu hình	Biểu mức phí	Lượng tính phí	Đơn vị tính phí	Phí
Cấu hìnhGiá cơ sở cho token	Biểu mức phíMức phí cơ bản	Lượng tính phí—	Đơn vị tính phí—	Phí Đầu vào · Token đầu vào — / 1K token Đầu ra · Token đầu ra — / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token
Cấu hìnhUltra	Biểu mức phí—	Lượng tính phíMỗi điểm mã Unicode được tính là một ký tự, bao gồm ký tự Hán (Han).	Đơn vị tính phímỗi 1K ký tự đầu vào	Phí Đầu vào · Ký tự đầu vào $0.032 mỗi 1K ký tự đầu vào

Chi tiết giá cước tham chiếu

Biểu tham chiếu cấp mô hình không thay đổi việc chọn phương thức, báo giá hoặc khoản phí. Khoản phí đang áp dụng dùng mức phí phương thức Ailoot đã chọn.

Mistral: Voxtral Mini TTS

Giá theo cấu hình

Cấu hình	Điều kiện tính phí	Phí
Cấu hìnhMistral: Voxtral Mini TTS · Cấu hình mặc định	Điều kiện tính phíCấu hình mặc định	Phí Đầu vào · Ký tự đầu vào 0,000032 US$ mỗi ký tự đầu vào

Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →

Ví dụ yêu cầu

Ailoot Ultra · Tổng hợp giọng nói

curl

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_VOICE_ID:?Choose an accepted voice ID from this exact model profile}"
export AILOOT_VOICE_ID
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "mistralai/voxtral-mini-tts-2603", "input": "Good afternoon! This is a short voice take."}')
voice=os.environ["AILOOT_VOICE_ID"]
allowed=json.loads('["en_paul_sad", "en_paul_neutral", "en_paul_happy", "en_paul_frustrated", "en_paul_excited", "en_paul_confident", "en_paul_cheerful", "en_paul_angry", "gb_oliver_neutral", "gb_oliver_sad", "gb_oliver_excited", "gb_oliver_curious", "gb_oliver_confident", "gb_oliver_cheerful", "gb_oliver_angry", "gb_jane_sarcasm", "gb_jane_confused", "gb_jane_shameful", "gb_jane_sad", "gb_jane_neutral", "gb_jane_jealousy", "gb_jane_frustrated", "gb_jane_curious", "gb_jane_confident", "fr_marie_sad", "fr_marie_neutral", "fr_marie_happy", "fr_marie_excited", "fr_marie_curious", "fr_marie_angry"]')
if voice not in allowed: raise SystemExit("Choose an accepted voice ID from this exact model profile")
p["voice"]=voice
p["response_format"]="mp3"
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o speech.mp3

Nhận và lưu kết quả

Ailoot Ultra · Tổng hợp giọng nói

mp3

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

Lượt đọc nội dung khác

Thư viện phương tiệnTrạng thái tác vụChi tiết tài nguyên

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o media-assets.json

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_MEDIA_TASK_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_MEDIA_TASK_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_MEDIA_TASK_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/tasks/$resource_id" \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o media-task.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-task.json").read_text())))
PY_RESULT

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_ASSET_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_ASSET_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_ASSET_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/assets/$resource_id" \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o media-asset.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-asset.json").read_text())))
PY_RESULT

Lưu tất cả kết quả đã hoàn tất

Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.

Giữ lại toàn bộ kết quả nhị phân và các header. Nếu phản hồi ở dạng JSON hoặc chứa nhiều đầu ra, giữ lại mọi phần tử dữ liệu và tải từng tài nguyên từ URL có chữ ký thực tế.

Nếu cần kiểm tra phản hồi gốc

Giữ lại operation_id/X-Client-Request-ID gốc để đối soát mà không gửi lại yêu cầu; không có tuyến truy vấn trạng thái riêng cho âm thanh.

Trường phản hồi

Trường	Loại
Trường`binary audio`	Loạibytes
Trường`response headers`	Loạiheaders

Lỗi và bước tiếp theo

Phản hồi	Điều kiện	Bước tiếp theo
Phản hồi400 · `invalid_request_error`	Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ	Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới.
Phản hồi`server_error`	Điều kiệnPhản hồi trả về cho biết thao tác hoặc kết quả cần được kiểm tra	Bước tiếp theoGiữ lại ID thao tác/tác vụ gốc đã trả về, các header của yêu cầu và toàn bộ phản hồi; tiếp tục truy xuất thao tác gốc đó bằng các phương thức được hỗ trợ. Không gửi lại yêu cầu tạo.

Bí danh

Bí danh mô hình

Ailoot Ultra mistralai/voxtral-mini-tts-2603

Bí danh đường dẫn phương thức

Dùng các đường dẫn phương thức hiển thị ở trên.

ID gọi liên quan

mistralai/voxtral-mini-tts-2603

FAQ · Mistral: Voxtral Mini TTS

Có những đầu vào và kết quả nào?: POST /v1/audio/speech · mistralai/voxtral-mini-tts-2603: text → audio
Yêu cầu sử dụng những trường nào?: POST /v1/audio/speech · mistralai/voxtral-mini-tts-2603: model, input, voice, response_format

Mistral: Voxtral Mini TTS