Fish Audio: S2.1 Pro

S2.1 Pro הוא מודל טקסט־לדיבור מאוחר יותר בדור S2 של Fish Audio, לקריינות מלאת הבעה וליישומים קוליים לשיחה. הוא משפר את איכות הדיבור, ההשהיה והתפוקה לעומת S2 Pro, תוך שמירה על שליטה באופן ההגשה בשפה טבעית ועל דיאלוג מובנה בין כמה דוברים. S2.1 Pro ו־S2.1 Pro Free חולקים את אותו מודל דיבור בסיסי.

להסבר מוקרא, ספקו את הנוסח המוגמר, את הקול המיועד ואת המקומות שבהם הקצב או ההדגשה צריכים להשתנות. ליישום שיחתי, סנתזו את התשובה שהיישום בחר ושמרו על הפרדה בין תוכנה העובדתי להוראות הביצוע. לדיאלוג מתוסרט, הגדירו את הדוברים ואת קולותיהם לפני כתיבת תורות הדיבור. תוצאה שימושית היא קטע אודיו מלא או זרם שניתן להשמיע, שהמילים, אופן ההגשה ותפקידי הדוברים בו מתאימים לבריף.

כתבו את המילים שאמורות להיאמר בפועל, ולאחר מכן הציבו הוראה מיד לפני הקטע שאופן הגשתו צריך להשתנות. הוראות בסוגריים מרובעים יכולות לבטא לחישה, הפסקה, תגובה, הדגשה או סגנון דיבור המתואר באופן חופשי. הציבו שינוי באמצע משפט במקום שבו הביצוע דורש זאת, והוסיפו דיבור ממשי לאחר הוראות תיאוריות. בריף שימושי לסרטון הסבר מפריד בין הניסוח העובדתי לבין החמימות, הקצב או ההדגשה הרצויים למאזין.

לדובר יחיד, בחרו מזהה קול שמור או ספקו הקלטת ייחוס עם התמליל שלה. מדריך הדיבור של היצרן ממליץ על דגימה נקייה באורך 10–30 שניות לצורך התאמה מיידית של הקול. בחרו הקלטת ייחוס שהטון ואיכות ההקלטה שלה מתאימים לתסריט, ושמרו על אותה הקלטה בקטעים הקשורים זה לזה. הקלטת הייחוס מספקת את הצליל של הדובר; הטקסט וההוראות המשולבות בו מספקים את התוכן ואת אופן ביצועו.

סינתזה מובנית של כמה דוברים משתמשת בסמנים כגון <|speaker:0|> ו־<|speaker:1|>, בצירוף מערך מסודר של מזהי קול או קבוצות ייחוס נפרדות. הקפידו שתוויות הדוברים המספריות יתאימו לסדר הזה. בדיאלוג הדרכתי, כתבו את השורה של כל דובר והציבו את הוראת הביצוע אחרי סמן הדובר, במקומה המתאים. כך נוצר דיאלוג בבקשה אחת; זהו תהליך שונה מהקטעים הנפרדים לדובר יחיד של S1 ומהרכבתם בהמשך.

תהליך העבודה של היצרן מציע פלט MP3,‏ WAV,‏ PCM גולמי ו־Opus, כאשר MP3 הוא ברירת המחדל. MP3 תומך בקצבי סיביות של 64,‏ 128 ו־192 קילוביט לשנייה; WAV ו־PCM משתמשים בפורמטי דגימה מתועדים של מונו ב־16 סיביות, ואילו Opus משתמש ב־48 קילוהרץ. בחרו פורמט לפי היעד: קובץ קריינות לשמירה, השמעה בהזרמה או שרשרת עיבוד אודיו בהמשך. שמרו את התסריט המלא ואת בחירת הקול לצד האודיו, כדי שעריכה מאוחרת תוכל לטפל בשורה אחת בלי לאבד את אופי הביצוע הרצוי.

אפשר להתאים את המהירות בין 0.5 ל־2.0, לצד בקרות עוצמת קול. נרמול הטקסט מרחיב מספרים באנגלית ובסינית לצורך הקראה טבעית. נרמול עוצמת הפלט מוגדר כברירת מחדל ל־true ומוחל על משפחת S2; אותו שדה לא השפיע על S1. הפרמטר repetition_penalty של S1 אינו משנה את האודיו של S2.1 Pro, ולכן אין להתייחס להגדרה ישנה כאל בקרה יעילה למודל זה. בדקו ישירות צלילים ומילים שחוזרים, במקום להסתמך על פרמטר שהועבר מגרסה קודמת כדי לקבוע שהתוצאה תקינה.

תסריטים ארוכים יותר מעובדים במקטעים. טווח אורך המקטע המתועד הוא 100–300, ו־max_new_tokens הוא תקציב אסימוני אודיו לכל מקטע, ולא התחייבות למשך כולל. התניה על המקטע הקודם יכולה להעביר את הקשר הקול למקטע הבא. תהליך המסירה של היצרן מתאר אודיו מלא, מקטעי אודיו הנמסרים בהדרגה והזרמת טקסט בזמן אמת כאשר התסריט מגיע בהדרגה. בחרו את אופן צריכת הפלט המתאים ליישום, ושמרו מספיק הקשר מהתסריט עבור ההגייה והטון של הקטע הבא.

כדי לקבל תוצר סופי שימושי, האזינו למילים שהושמטו או חזרו, להגיית מספרים, למעברי דוברים, להפסקות ולעוצמת הוראות הביצוע. הקלטות ייחוס שונות עשויות לפרש אותה הנחיה בעוצמה שונה, ולכן התחילו בשורה פשוטה עם הוראת ביצוע לפני הוספת תגיות מתחרות. בעבודה רב־לשונית, ספקו את התסריט בשפת היעד במקום לבקש ממודל הדיבור להמציא או לתרגם את תוכנו. תיקון ממוקד משנה את השורה, ההנחיה או הקלטת הייחוס שאחראיות לחוסר ההתאמה, תוך שמירה על חלקי הביצוע שכבר מתאימים לבריף.