Fish Audio: S2 Pro
Fish Audio S2 Pro יוצר דיבור רב־לשוני מלא הבעה עם הוראות ברמת המילה ודיאלוג מובנה בין כמה דוברים. הוראות בסוגריים מרובעים שולטות באופן ההגשה בתוך התסריט, בעוד שהקלטות ייחוס לקול מזהות את הדוברים והגדרות הפלט מעצבות את תוצר האודיו.
על המודל
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
S2 Pro הוא מודל הטקסט־לדיבור מהדור השני של Fish Audio לקריינות מלאת הבעה, לדיאלוג בין דמויות ולפלט קולי בשיחה. הוא הופך תסריט כתוב לאודיו ותומך בהוראות בשפה טבעית ברמת המילה או הביטוי. דור S1 הקודם משתמש בהנחיות בסוגריים עגולים, ואילו S2 Pro משתמש באופן מובנה בסוגריים מרובעים ותומך בכמה דוברים בבקשת סינתזה אחת. היצרן מפרסם את משקלי S2 Pro ואת קוד הכוונון העדין לעבודת התאמה נפרדת; בקשת דיבור רגילה משתמשת במודל שנבחר ואינה מאמנת מודל חדש.
כתבו קודם את התוכן המדובר, ואז הציבו הוראת הגשה מיד לפני המילה או הביטוי שעליהם היא אמורה להשפיע. ההוראות יכולות לתאר לחישה, תגובה, הפסקה, שינוי רגשי או סגנון דיבור חופשי. להסבר קצר על מוצר, שמרו על משפט עובדתי ברור והוסיפו הדגשה רק במקום שבו המאזין צריך להבחין בהבדל. לשורה של דמות, תארו את השינוי הרגשי ברגע שהוא מתרחש, במקום להחיל מצב רוח קבוע אחד על הקטע כולו.
תגיות בסוגריים מרובעים הן תיאורים חופשיים ולא תפריט סגור. דוגמאות כוללות [whispering], [sigh], [long pause] וביטוי כגון [speaking slowly, almost hesitant]. תגיות יכולות להופיע באמצע משפט ומשפיעות על הדיבור שאחריהן. תגית תיאורית זקוקה לטקסט ממשי אחריה; הוראה מבודדת עלולה להפיק פלט בלתי צפוי. התחילו בהוראה שימושית אחת או שתיים לפני הוספת שכבות, משום שתגיות מתחרות עלולות לטשטש את הביצוע שהתכוונתם אליו. הקלטות ייחוס שונות לקול עשויות להגיב לאותה הוראה בעוצמה שונה.
פרסום S2 מתאר כ־80 שפות ונותן דוגמאות לכתיבת הוראות הגשה באותה שפה שבה כתוב התסריט. הכינו את הנוסח בשפה שאמורה להישמע ושמרו שמות, יחידות וקיצורים הזקוקים להקראה מסוימת. קריינות רב־לשונית יכולה לשמור על הקול הרצוי תוך החלפת שפת התסריט, אבל עדיין צריך להאזין לתוצר הסופי כדי לבדוק הגייה ורציפות. הסינתזה מפיקה את התוכן שסופק כדיבור ואינה מחליטה איזה מידע היישום צריך לומר.
לדובר יחיד, בחרו מזהה קול שמור או ספקו אודיו לייחוס ואת התמליל התואם לו. היצרן ממליץ על דגימה נקייה באורך 10–30 שניות לצורך התניה מיידית. לדיאלוג, השתמשו בסמני דוברים כגון <|speaker:0|> ו־<|speaker:1|>, עם רשימה מסודרת של מזהי קול או קבוצות ייחוס נפרדות לדוברים. הסמן המספרי בוחר את רשומת הקול המתאימה; שמרו על סדר קבוע ככל שהשיחה מתפתחת. להוראות ביצוע בשפה טבעית ולבחירת הדובר תפקידים שונים בתסריט.
פלט האודיו יכול להיות MP3, WAV, PCM גולמי או Opus. ברירת המחדל של MP3 היא 128 קילוביט לשנייה, ומוצעות גם האפשרויות 64 או 192 קילוביט לשנייה; פלט Opus משתמש ב־48 קילוהרץ, ואילו WAV ו־PCM תומכים באפשרויות קצב הדגימה המתועדות שלהם כמונו ב־16 סיביות. בחרו את הפורמט לפי יעדו בפועל: קובץ לשמירה עבור קריינות, או מקטעי אודיו מתאימים להשמעה. תהליך העבודה של היצרן מתאר גם הזרמת טקסט בזמן אמת כשהתסריט מגיע בהדרגה. התוצאה שנוצרה צריכה להישאר משויכת לתסריט המלא ולקולות שנבחרו.
אפשר להתאים את המהירות בין 0.5 ל־2.0, לצד בקרות עוצמת קול ונרמול עוצמת הפלט. נרמול טקסט משפר את הקראת המספרים באנגלית ובסינית. העיבוד משתמש במקטעים בטווח 100–300 ובתקציב אסימוני אודיו לכל מקטע, ולכן אין לקרוא הגדרות אלה כמגבלת אורך קבועה לקריינות שלמה. התניה על המקטע הקודם יכולה להעביר הקשר קולי למקטע הבא. בקרות דגימה כגון temperature ו־top-p משפיעות על השונות; גם שורה בעלת הוראות ביצוע מכוונות עדיין זקוקה למספיק טקסט והקשר כדי לשאת את הצליל הרצוי.
בריף הפקה שימושי מפריד בין קריינות, דיאלוג והוראות הגשה, ואז מציין את הקול ואת פורמט התוצר. האזינו למילים חסרות, לאודיו שחוזר, להגיית מספרים, למעברי דוברים ולתזמון תגובה. תקנו את השורה או הקלטת הייחוס שאחראיות לחוסר ההתאמה, במקום להניח שעוד תגיות ישפרו כל קטע. S2 Pro נותר מודל בפני עצמו, המשתייך לדור הקודם במשפחת S2; S2.1 Pro הוא המהדורה המאוחרת יותר, עם שיפורים משלה והתנהגות הגדרות הייחודית למודל.
Ailoot Ultra · דיבור POST /v1/audio/speech fish-audio/s2-pro
fish-audio/s2-proהתחלה
Fish Audio S2 Pro יוצר דיבור רב־לשוני מלא הבעה עם הוראות ברמת המילה ודיאלוג מובנה בין כמה דוברים. הוראות בסוגריים מרובעים שולטות באופן ההגשה בתוך התסריט, בעוד שהקלטות ייחוס לקול מזהות את הדוברים והגדרות הפלט מעצבות את תוצר האודיו.
- סוגי קלט נתמכים
- טקסט
- תוצאות
- שמע
זמין ב-Ailoot · קלט ושיטות
Ailoot Ultra · דיבור POST /v1/audio/speech
- סוגי קלט
text- סוגי פלט
audio
| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות fish-audio/s2-pro | ברירת מחדל— |
שדהinput | סוגstring | דרישהחובה | ערכים ומגבלות אורך מזערי: 1 | ברירת מחדל— |
שדהvoice | סוגstring | דרישהחובה | ערכים ומגבלות b347db033a6549378b48d00acb0d06cd אורך מזערי: 1 | ברירת מחדל— |
שדהresponse_format | סוגstring | דרישהרשות | ערכים ומגבלות mp3, pcm | ברירת מחדלpcm |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
פרמטרים ומחזור חיים של השיטה
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, input, voice |
פרמטרmaterial_types | מפרטtext |
מחזור חיים: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · ערך task_id שהוחזר בפועל או רשומה בספריית המדיה
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
תעריפים
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
- מצב מהיר
- לא צוין כאשר נבחר מצב מהיר
- מצב Flex
- לא צוין כאשר נבחר מצב flex
- מאמץ חשיבה מרבי
- לא צוין כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)
תעריפי Ailoot
מחירים לפי תצורה
התאימו כל חיוב לתנאים המוצגים. השתמשו בתעריף אחד לכל קבוצה של תצורות חלופיות.
| תצורה | טבלת תעריפים | יחידת חיוב | חיוב |
|---|---|---|---|
| תצורהתעריפי בסיס לטוקנים | טבלת תעריפיםתעריף בסיס | יחידת חיוב— | חיוב קלט · טוקני קלט — / 1K טוקנים פלט · טוקני פלט — / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
| תצורהבית UTF-8 בקלט | טבלת תעריפים— | יחידת חיובלכל בייט UTF-8 בקלט | חיוב קלט · בית UTF-8 בקלט $0.00003 לכל בייט UTF-8 בקלט |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
דוגמאות לבקשות
Ailoot Ultra · דיבור
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_INPUT_TEXT:?Set the actual documented input value}"
export AILOOT_INPUT_TEXT
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
request={'model': 'fish-audio/s2-pro', 'input': '${ACTUAL_INPUT_TEXT}', 'voice': 'b347db033a6549378b48d00acb0d06cd', 'response_format': 'mp3'}
request['input']=os.environ['AILOOT_INPUT_TEXT']
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete response and headers, every actual output, original returned identifiers and all usage fields. Recover the original operation without submitting creation again.
קבלה ושמירה של תוצאות
Ailoot Ultra · דיבור
אודיו בינארי מלא או תגובת audio_url מקורית, כותרות וכל נכס שבבעלותכם.
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
קריאות תוכן נוספות
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.
שמירת כל התוצאות שהושלמו
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו את התשובה המלאה ואת הכותרות, כל פלט שהתקבל בפועל, את המזהים המקוריים שהוחזרו ואת כל שדות השימוש. שחזרו את הפעולה המקורית בלי לשלוח שוב בקשת יצירה.
כשצריך לבדוק את התגובה המקורית
שמרו את X-Client-Request-ID שהוחזר לצורך התאמת רישומים. קראו רק ערכי task_id/asset_id שהוחזרו בפועל או את ספריית המדיה שבבעלותכם; לעולם אל תבנו URL של משימה ממזהה הפעולה ואל תשלחו שוב בקשת יצירה.
כינויים
כינויים למודל
Ailoot Ultra fish-audio/s2-pro
כינויים לנתיבי שיטות
השתמשו בנתיבי השיטות המוצגים למעלה.
מזהי מודלים קשורים IDs
FAQ · Fish Audio: S2 Pro
- אילו קלטים ותוצאות זמינים?
POST /v1/audio/speech·fish-audio/s2-pro:text→audio- באילו שדות הבקשה משתמשת?
POST /v1/audio/speech·fish-audio/s2-pro:model,input,voice,response_format,provider