Mistral: Voxtral Mini TTS

Voxtral TTS הוא מודל יצירת הדיבור 4B של Mistral AI, עם התאמת קול מבוססת דוגמת ייחוס בתשע שפות. הוא הופך טקסט מוכן לשמע עשיר בהבעה, תומך בהנחיות קול לשימוש חוזר או חד־פעמי ובהזרמה, ומפיק פלט ב־24 kHz בפורמטי שמע מתועדים.

Ailoot Ultra · הקראה POST /v1/audio/speech mistralai/voxtral-mini-tts-2603

על המודל

התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.

Voxtral TTS הוא מודל המרת הטקסט לדיבור 4B של Mistral AI ליצירת שמע מדובר מטקסט ומדוגמת קול. דף המודל של היצרן מזהה את גרסת 2603 כ־voxtral-mini-tts-2603, ואילו כרטיס המשקולות שפורסם נקרא Voxtral 4B TTS 2603. רשומה זו נוגעת להפצת יצירת הדיבור הזאת, הנפרדת מ־Voxtral Small להבנת שמע, מתמלול וממודלי קלט בזמן אמת מאוחרים יותר.

דיבור עשיר בהבעה והתאמת קול

המודל נועד ללכוד את ההפסקות, הקצב, האינטונציה, המבטא וההבעה הרגשית של קול ייחוס. הקול פועל כהוראה לאופן שבו הטקסט צריך להישמע; סקירת היצרן אינה דורשת תגי פרוזודיה או רגש נפרדים, או תמליל של הקלטת הייחוס. טקסט המקור קובע מה נאמר, ודוגמת השמע מנחה את ההגשה.

הסקירה מתארת התאמת קול מתוך שתיים עד שלוש שניות שמע בלבד. תיאור הארכיטקטורה דן בהנחיות קול של חמש עד עשרים וחמש שניות. לאמירות הללו תחומים שונים: דוגמת התאמה קצרה אינה דרישה להשתמש בדוגמת הייחוס הקצרה ביותר האפשרית. בחרו דיבור ברור המייצג את הסגנון והמבטא הרצויים לתוצאה הסופית.

הכרטיס שפורסם כולל עשרים קולות מוגדרים מראש והתאמה לקולות חדשים. תהליך הדיבור של היצרן יכול להשתמש בפרופיל קול שמור או בקטע ייחוס חד־פעמי. שמירת פרופיל מאפשרת שימוש חוזר באותה דוגמת קול בבקשות דיבור נפרדות, בעוד קטע חד־פעמי מספק אותה למשימה הנוכחית. פרופיל והקלטה שנוצרה הם תוצרים שונים.

שפות והגשה בין שפות

ההפצה תומכת באנגלית, צרפתית, ספרדית, גרמנית, איטלקית, פורטוגזית, הולנדית, ערבית והינדי, עם שונות ניבים, העברת קול בין שפות וערבוב שפות המתוארים על ידי היצרן. לתוצאה המיטבית מדריך הדיבור ממליץ להתאים את שפת דוגמת הייחוס לשפת הטקסט. העברה בין שפות יכולה לשמר את המבטא של דוגמת הייחוס תוך הקראת הטקסט המוכן בשפה נתמכת אחרת.

משימת קריינות מעשית יכולה להשתמש באותו סגנון קול להסבר בשפות נתמכות שונות, כאשר כל טקסט מוכן למאזין המיועד. תשובת עוזר קולי יכולה להשתמש בתסריט שיחתי קצר במקום להקריא מסמך לא ערוך. מודל המרת הטקסט לדיבור מממש את המילים שהוכנו; כל שלב תרגום או כתיבת תשובה המייצר את המילים האלה הוא שלב נפרד.

הכנת הטקסט

מדריך הדיבור של היצרן ממליץ על טקסט הניתן להקראה. כתבו מספרים וסמלים בצורה שאמורה להישמע כדי שהמודל לא יצטרך לבחור בין קריאות אפשריות. מספר יכול להיות כמות, שעה או מזהה; הגדירו את הנוסח המיועד להקראה לפני הסינתזה. פתחו קיצורים כאשר ההגייה חשובה, והשתמשו באותיות מופרדות כאשר זו הקריאה הרצויה.

הימנעו מעיצוב עשיר, מאימוג'י ומתווים מיוחדים שלא יתממשו כתוכן מדובר. הכינו משפטים שלמים עם הפיסוק והניסוח הדרושים להגשה. המדריך ממליץ על הנחיות של פחות מ־300 מילים לתוצאות מיטביות. זוהי המלצת איכות ולא הצהרה על מגבלת קלט קשיחה.

להסבר תהליכי, כתבו את הפעולה ואת התנאי במשפט שמאזין יכול לעקוב אחריו. בהכרזה, הציבו את המידע החשוב לפני הפרטים האופציונליים. בתשובה קולית, שמרו על התשובה העובדתית והסירו עיצוב המיועד לתצוגה בלבד או סימוני מקורות שלא אמורים להיקרא. ההכנות הללו הופכות את התסריט עצמו למתאים לשמע לפני שדוגמת הייחוס קובעת את סגנונו.

הזרמה, פלט ומשך

היצרן מתעד מסירה בסיסית ובהזרמה ומתאר יצירה מקורית של עד שתי דקות שמע. כרטיס המשקולות שפורסם מפרט גם הסקה באצווה להכנת כמה משימות דיבור. הפקות שירות ארוכות יותר משתמשות בשזירה, במקום להתייחס למקטע מקורי יחיד כבלתי מוגבל. לקריינות ארוכה יותר, הכינו מקטעים מגובשים ושמרו על הכנת קול וטקסט עקבית עם תהליך המסירה המטפל בהמשך.

הכרטיס שפורסם מציין שמע ב־24 kHz ומונה פורמטי פלט WAV, ‏PCM, ‏FLAC, ‏MP3, ‏AAC ו־Opus. מדריך שירות הדיבור דן ב־MP3 למסירה דחוסה, ב־WAV עבור PCM לא דחוס, ב־FLAC לדחיסה ללא אובדן וב־PCM או Opus להזרמה. בחרו פורמט הנתמך בתהליך המחובר ומתאים לנגן או לשלב העיבוד שלו. בחירת פורמט והתנהגות הזרמה נפרדות מהתאמת הקול עצמה.

ארכיטקטורת המודל וגבולות מעשיים

ההכרזה מתארת ארכיטקטורה אוטורגרסיבית עם flow matching, בסיס מפענח Transformer של 3.4B, ‏Transformer אקוסטי בן 390 מיליון פרמטרים וקודק שמע עצבי בן 300 מיליון פרמטרים. המפענח חוזה תוכן סמנטי והרכיב האקוסטי מפיק ייצוג דיבור, בעוד הקודק מטפל בשמע. רכיבים אלה מסבירים את תווית המודל המשוערת 4B; הם אינם שפות קלט נוספות או מודל אחר ליצירת תשובות.

פלט מעשי הוא ההקלטה המסונתזת או זרם השמע המקושרים לתסריט המוכן ולקול שנבחר. שמרו על הקשרים האלה בעת יצירת כמה מקטעים, כדי שהיישום יוכל לשמור, להשמיע או להרכיב את החומר הנכון. המודל מפיק שמע ולא תמליל, וקטור לחיפוש סמנטי או תשובה עובדתית שנכתבה מחדש.

שמרו על גרסת הדיבור 2603, על שפה נתמכת ועל סגנון דוגמת הייחוס. המקורות שנקראו מספקים את ההצהרה על שתי דקות ביצירה מקורית ואת המלצת ההכנה של פחות מ־300 מילים, אך אינם מבססים מגבלת תווי טקסט קשיחה נפרדת או משך כולל להקלטה מחוברת. השתמשו בדרישות הטקסט, הקול והמסירה בפועל כדי להגדיר את תוצר השמע המוגמר.

Ailoot Ultra · הקראה POST /v1/audio/speech mistralai/voxtral-mini-tts-2603

mistralai/voxtral-mini-tts-2603

Mistral /mistralai/voxtral-mini-tts-2603

התחלה

סוגי קלט נתמכים: טקסט
תוצאות: שמע

זמין ב-Ailoot · קלט ושיטות

Ailoot Ultra · הקראה POST /v1/audio/speech

סוגי קלט: text
סוגי פלט: audio
פורמט פלט: mp3

שדה	סוג	דרישה	ערכים ומגבלות	ברירת מחדל
שדה`model`	סוג`string`	דרישהחובה	ערכים ומגבלות mistralai/voxtral-mini-tts-2603	ברירת מחדל—
שדה`input`	סוג`string`	דרישהחובה	ערכים ומגבלות אורך מזערי: ⁦1⁩ יחידה: תווי Unicode	ברירת מחדל—
שדה`voice`	סוג`string`	דרישהחובה	ערכים ומגבלות en_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry	ברירת מחדל—
שדה`response_format`	סוג`string`	דרישהחובה	ערכים ומגבלות mp3	ברירת מחדל—

שילובים של חומרי קלט

text_to_speech · נדרש: input

פרמטרים ומחזור חיים של השיטה

פרמטר	מפרט
פרמטר`content_type`	מפרטapplication/json
פרמטר`required`	מפרטmodel, input, voice, response_format
פרמטר`voice_ids`	מפרטen_paul_sad, en_paul_neutral, en_paul_happy, en_paul_frustrated, en_paul_excited, en_paul_confident, en_paul_cheerful, en_paul_angry, gb_oliver_neutral, gb_oliver_sad, gb_oliver_excited, gb_oliver_curious, gb_oliver_confident, gb_oliver_cheerful, gb_oliver_angry, gb_jane_sarcasm, gb_jane_confused, gb_jane_shameful, gb_jane_sad, gb_jane_neutral, gb_jane_jealousy, gb_jane_frustrated, gb_jane_curious, gb_jane_confident, fr_marie_sad, fr_marie_neutral, fr_marie_happy, fr_marie_excited, fr_marie_curious, fr_marie_angry
פרמטר`response_format`	מפרטmp3
פרמטר`max_input_characters`	מפרטnull
פרמטר`other_options`	מפרטfalse
פרמטר`input`	מפרטטקסט UTF-8 מדויק; ספירת תווי Unicode ללא נרמול
פרמטר`material_types`	מפרטtext

מחזור חיים: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · ערך task_id שהוחזר בפועל או רשומה בספריית המדיה

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

יש לבחור קול מדויק מתוך פרופיל המודל הזה.

תווי קלט ושניות אודיו הם מדדי חיוב שונים.

תעריפים

מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.

מצב מהיר: לא צוין כאשר נבחר מצב מהיר
מצב Flex: לא צוין כאשר נבחר מצב flex
מאמץ חשיבה מרבי: לא צוין כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)

תעריפי Ailoot

מחירים לפי תצורה

התאימו כל חיוב לתנאים המוצגים. השתמשו בתעריף אחד לכל קבוצה של תצורות חלופיות.

תצורה	טבלת תעריפים	כמות לחיוב	יחידת חיוב	חיוב
תצורהתעריפי בסיס לטוקנים	טבלת תעריפיםתעריף בסיס	כמות לחיוב—	יחידת חיוב—	חיוב קלט · טוקני קלט — / 1K טוקנים פלט · טוקני פלט — / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים
תצורהUltra	טבלת תעריפים—	כמות לחיובכל נקודת קוד של Unicode נספרת כתו אחד, כולל סימני האן.	יחידת חיובלכל 1K תווי קלט	חיוב קלט · תו בקלט $0.032 לכל 1K תווי קלט

פרטי תעריף הייחוס

טבלאות הייחוס ברמת המודל אינן משנות את בחירת השיטה, הצעות המחיר או החיובים. החיובים בפועל משתמשים בתעריפי שיטת Ailoot שנבחרה.

Mistral: Voxtral Mini TTS

מחירים לפי תצורה

תצורה	תנאי חיוב	חיוב
תצורהMistral: Voxtral Mini TTS · תצורת ברירת המחדל	תנאי חיובתצורת ברירת מחדל	חיוב קלט · תווי קלט ⁦‏0.000032 ‏$⁩ לכל תו בקלט

לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →

דוגמאות לבקשות

Ailoot Ultra · הקראה

curl

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_VOICE_ID:?Choose an accepted voice ID from this exact model profile}"
export AILOOT_VOICE_ID
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "mistralai/voxtral-mini-tts-2603", "input": "Good afternoon! This is a short voice take."}')
voice=os.environ["AILOOT_VOICE_ID"]
allowed=json.loads('["en_paul_sad", "en_paul_neutral", "en_paul_happy", "en_paul_frustrated", "en_paul_excited", "en_paul_confident", "en_paul_cheerful", "en_paul_angry", "gb_oliver_neutral", "gb_oliver_sad", "gb_oliver_excited", "gb_oliver_curious", "gb_oliver_confident", "gb_oliver_cheerful", "gb_oliver_angry", "gb_jane_sarcasm", "gb_jane_confused", "gb_jane_shameful", "gb_jane_sad", "gb_jane_neutral", "gb_jane_jealousy", "gb_jane_frustrated", "gb_jane_curious", "gb_jane_confident", "fr_marie_sad", "fr_marie_neutral", "fr_marie_happy", "fr_marie_excited", "fr_marie_curious", "fr_marie_angry"]')
if voice not in allowed: raise SystemExit("Choose an accepted voice ID from this exact model profile")
p["voice"]=voice
p["response_format"]="mp3"
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o speech.mp3

קבלה ושמירה של תוצאות

Ailoot Ultra · הקראה

mp3

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

קריאות תוכן נוספות

ספריית מדיהמצב המשימהפרטי הנכס

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o media-assets.json

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_MEDIA_TASK_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_MEDIA_TASK_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_MEDIA_TASK_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/tasks/$resource_id" \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o media-task.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-task.json").read_text())))
PY_RESULT

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_ASSET_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_ASSET_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_ASSET_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/assets/$resource_id" \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o media-asset.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-asset.json").read_text())))
PY_RESULT

שמירת כל התוצאות שהושלמו

שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.

שמרו את התוצאה הבינארית המלאה ואת הכותרות. אם מוחזרים JSON או פלטים מרובים, שמרו כל פריט נתונים והורידו כל נכס מה־URL החתום שלו שהוחזר בפועל.

כשצריך לבדוק את התגובה המקורית

שמרו את operation_id/X-Client-Request-ID המקורי לצורך התאמת רישומים ללא שליחה מחדש; אין נתיב ייעודי לתשאול סטטוס אודיו.

שדות התגובה

שדה	סוג
שדה`binary audio`	סוגbytes
שדה`response headers`	סוגheaders

שגיאות והשלבים הבאים

תגובה	תנאי	השלב הבא
תגובה⁦400⁩ · `invalid_request_error`	תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים	השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה.
תגובה`server_error`	תנאיהתשובה שהוחזרה מציינת שהפעולה או התוצאה דורשת בדיקה	השלב הבאשמרו את מזהה הפעולה/המשימה המקורי שהוחזר, את כותרות הבקשה ואת התשובה; המשיכו לבצע פעולות קריאה נתמכות של אותה פעולה מקורית. אל תשלחו שוב את בקשת היצירה.

כינויים

כינויים למודל

Ailoot Ultra mistralai/voxtral-mini-tts-2603

כינויים לנתיבי שיטות

השתמשו בנתיבי השיטות המוצגים למעלה.

מזהי מודלים קשורים IDs

mistralai/voxtral-mini-tts-2603

FAQ · Mistral: Voxtral Mini TTS

אילו קלטים ותוצאות זמינים?: POST /v1/audio/speech · mistralai/voxtral-mini-tts-2603: text → audio
באילו שדות הבקשה משתמשת?: POST /v1/audio/speech · mistralai/voxtral-mini-tts-2603: model, input, voice, response_format

Mistral: Voxtral Mini TTS