Qwen3 Omni 30B A3B Captioner

סקירה: תיאורים מפורטים של צלילים

Qwen3-Omni-30B-A3B-Captioner הוא מודל ייעודי לתיאור אודיו, שעבר כוונון עדין על בסיס Qwen3-Omni-30B-A3B-Instruct. הוא הופך קטע אודיו לתיאור טקסטואלי מפורט של מה שנשמע בו. Qwen תכננה אותו לחומר מגוון, לרבות דיבור, צלילי סביבה, מוזיקה, אפקטים קולנועיים ושילובים של מספר מקורות צליל. לכן הוא שימושי להכנת תיאור שניתן לחיפוש עבור נכס אודיו, או לבדיקת שכבות הצליל במקטע מדיה קצר.

הבנת דיבור וצלילים שאינם דיבור

היצרן מתאר ניתוח של מספר דוברים, ביטויים רב-לשוניים, רגש בקול וכוונות המשתמעות מאופן ההבעה. הדוגמאות שלו חורגות מתמלול: הן מתארות את צליל הקולות, את שפת הדיבור ואת הסצנה האקוסטית שסביבם. באודיו שאינו דיבור, המודל מתאר אווירה סביבתית, צלילים מן העולם האמיתי, שכבות מוזיקליות ופרטים דינמיים בסרט או במדיה.

תיאורים של מצב רוח, כוונת דובר או הקשר תרבותי הם פרשנויות של החומר הנשמע. יש להתייחס אליהם בנפרד מדיבור ומאירועי צליל שניתן לבדוק ישירות. כיתוב תיאורי יכול לסייע לבודק להבחין בשינוי בטון או בשכבת רקע; הוא אינו מדידה של רגשותיו הפרטיים של אדם או הוכחה למקור הפיזי של צליל שאפשר לפרש בכמה דרכים.

מהדורת Captioner ותנאי הקלט שלה

נקודת השמירה הזו פועלת בסבב יחיד. היא מקבלת בדיוק קלט אודיו אחד בכל הרצת הסקה, ללא הנחיית טקסט, ומחזירה טקסט בלבד. היא מכילה את רכיב thinker להבנת אודיו; התצורה שפורסמה משביתה במפורש פלט אודיו. אין לייחס ל-Captioner תכונות שיחה, תמונה, וידאו או הפקת דיבור של מהדורות Qwen3-Omni אחרות רק משום ששמותיהן שייכים לאותה משפחה.

להיעדר הנחיית טקסט יש משמעות מעשית. יש להכין את מקטע האודיו שרוצים לתאר ולהגיש אותו כמשימה כולה. אין להוסיף הוראה המבקשת סיכום מותאם אישית, תרגום, תשובה של דובר או סכמת פלט. אם תהליך עבודה זקוק להמרות האלה, הן שייכות לשלב נפרד הפועל על התיאור שהוחזר, ואין להניח שהן בקרות של נקודת השמירה הזו להפקת כיתובים תיאוריים.

הכנת אודיו שימושי

Qwen ממליצה להגביל קטע לאורך שאינו עולה על 30 שניות לצורך תיאור מפורט. זו המלצת איכות: אודיו ארוך מדי עלול להפחית את תפיסת הפרטים. היא אינה מוצגת כסף קשיח ואוניברסלי לדחיית קלט. עבור הקלטה ארוכה יותר, יש לבחור מקטע קצר ומשמעותי סביב האירוע או הסצנה הנבדקים. יש לשמור את מזהה המקור ואת זמן ההתחלה שלו מחוץ לבקשת המודל, כדי שאפשר יהיה לקשר בהמשך את הכיתוב התיאורי שהוחזר להקלטה המקורית.

יש לשמר את שכבות הצליל הרלוונטיות לשאלה. מקטע המתמקד בקול צריך עדיין לכלול את הרקע כאשר הרקע משפיע על התיאור המיועד; נכס מוזיקה או אפקטים קוליים צריך לשמר את המעבר החשוב שבו ולא להיחתך בגבול שרירותי. עיבוד קטעים בנפרד מסייע לשמר פירוט מקומי, אך אינו מעיד על רציפות אוטומטית או על הבנה של ההקלטה כולה בין בקשות.

למה התוצאה הטקסטואלית שימושית

המדריך המעשי של היצרן מציג כיתובים תיאוריים שמתארים את תוכן הדיבור ואת אופן ההבעה, ולאחר מכן את הסצנה שמסביב; דוגמאות אחרות מתארות מוזיקה, אפקטים, שינויים בעוצמה ורצף של אירועים קוליים. קטלוג אודיו יכול לשמור את הטקסט שהוחזר לצד שם הנכס וטווח הזמן. בודק מדיה יכול להשתמש בו כטיוטה ליומן צלילים. עורך יכול להשוות את הכיתוב התיאורי לקטע כדי לזהות אם התיאור לוכד את השכבות הרצויות. אלה דוגמאות ליישום, ואינן ראיות לכך שהמודל האזין מראש לנכס מסוים של משתמש.

הפלט הוא כיתוב תיאורי, ואינו הבטחה לתמלול מילה במילה, לטבלה המפרידה בין דוברים, לקובץ כתוביות עם חותמות זמן או לפסקול שנוצר. כאשר נדרשים נוסח מדויק של הדיבור או תזמון מדויק, יש לבדוק את הכיתוב התיאורי מול האודיו ולהשתמש בתהליך עבודה ייעודי מתאים לתוצר הנדרש. תיאור עשיר בניסוח עשוי לכלול מידע מוסק על הסצנה או הסוגה, ולכן יש לשמר אי-ודאות כאשר הצליל עצמו אינו מזהה את המקור באופן חד-משמעי.

דוגמאות יצירה ומגבלות

הדוגמה העצמאית של היצרן מגדירה הקשר מודל של 32,768 טוקנים והקצאת יצירה של 16,384 טוקנים, תוך שימוש ב-temperature בערך 0.6, ב-top_p בערך 0.95 וב-top_k בערך 20. המדריך המעשי שלו משתמש בהקצאת יצירה של 8,192 טוקנים עם אותם ערכי דגימה. אלה תצורות לדוגמה, ואינן אורכי כיתוב מרביים שהוצהרו בנפרד. תצורת הטקסט הבסיסית מציינת 65,536 מיקומים, ואין להמיר זאת להבטחה לגבי משך האודיו.

קוד עזר כללי או שדות תצורה המשותפים למשפחת Omni אינם גוברים על התנאים המפורשים של Captioner: קלט אודיו אחד, ללא טקסט ופלט טקסט בלבד. התוצאה השימושית היא תיאור מפורט של סצנה קצרה שניתן לשמוע; יש לבדוק את ציטוטי הדיבור, את מספר הדוברים ואת מקורות הצליל שהוסקו לפני שימוש בה כרישום מוסמך.