Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 הוא מודל הדיבור-לטקסט של Meta להכתבה, לתורות דיבור שזוהו ולתמלילים המתחשבים בדוברים. הוא תומך ברמזי שפה ואוצר מילים, במעבר בין שפות ובתזמון ברמת התור, עם תהליכים נפרדים לקטע מוקלט ולאודיו חי.

Ailoot Ultra · תמלול POST /v1/audio/transcriptions meta/muse-voice-transcribe-1.0

על המודל

התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.

Muse Voice Transcribe 1.0 הוא מודל תפיסת האודיו של Meta לתמלול דיבור, לזיהוי גבולות אמירות ולשיוך תורות לדוברים. הוא שייך למשפחת המודלים Muse Spark ומשלב זיהוי, הפרדת דוברים וזיהוי נקודות סיום בתוך המודל. הפלט שלו הוא טקסט שזוהה עם פרטי התזמון והדוברים הזמינים במצב שנבחר.

המודל מעבד אודיו במקטעים של 80 אלפיות השנייה ומחליט מתי להמשיך להאזין או לפלוט טקסט. ההשהיה המסתגלת שלו מאפשרת לו להמתין לאודיו נוסף כשקשה יותר להכריע מילה. הדבר מפיק טקסט חלקי בזמן שהדיבור מגיע, ואחריו תוצאות תמלול שהושלמו. התייחסו להשערה החלקית ולתור שהושלם כשלבים שונים של חוויית ההאזנה.

בחרו בין שלושה מצבים. Push-to-talk הוא ברירת המחדל לאמירה מבוקרת יחידה, כגון שאילתה קולית או קטע הכתבה קצר. Endpointing מאפשר למודל לזהות גבולות תורות דיבור ולהחזיר תמליל אחד שהושלם לכל מקטע שזוהה. Diarization משייך את הדיבור שזוהה לתוויות דוברים ומיועד להקלטות מרובות דוברים ולא לחילופי תורות מהירים ככל האפשר של פקודות קוליות.

לקטע מוקלט, תהליך תמלול הקובץ מחזיר תמליל שלם בבקשה אחת. תוצאת ברירת המחדל היא JSON המכיל את התמליל ואת משך האודיו, עם מערך turns במצבי endpointing ו-diarization. כל תור יכול לשאת מזהה, התחלה וסיום באלפיות השנייה ואת הטקסט שזוהה בו. תוויות דוברים מופיעות במצב diarization. Push-to-talk מפיק את התמליל השלם בלי תורות שזוהו במערך הזה. ממשק הקבצים המוקלטים של היצרן יכול להחזיר גם טקסט פשוט או זרם אירועי תמלול. טקסט פשוט שומר תורות שזוהו בשורות נפרדות ויכול לכלול תוויות דוברים; זרם אירועים מסתיים אחרי האירוע האחרון שלו ללא סיכום JSON נפרד. מצב הפלט החלקי delta שלו מחזיר תוספות טקסט חדשות, ואילו אירוע התמליל הסופי מכיל את הניסוח המלא.

הכינו קובץ RIFF/WAVE המכיל אודיו PCM מונו במספרים שלמים של 16 סיביות, בקצב של 16 או 24 kHz. הקצב המקורי של המודל הוא 24 kHz, והממשק מקבל גם 16 kHz. המירו מכלים או קידודים אחרים לצורת WAV הנתמכת הזאת לפני אספקת הקלטה. פרופיל תמלול הקובץ מאפשר אודיו באורך של עד 10 דקות וגוף בקשה כולל של עד 32 MB. שמרו על שיוך בין ההקלטה המקורית וכל המרה לבין התמליל שהוחזר, לצורך בדיקת האזנה מאוחרת.

תהליך האודיו החי משתמש ב-PCM מונו גולמי של מספרים שלמים עם סימן בני 16 סיביות ובסדר בתים little-endian, עם אודיו של 16 או 24 kHz המוזרם בקצב הקרוב לזמן אמת. חלון הסשן המתועד שלו הוא 60 דקות. Meta מתארת קלט אודיו מובנה העולה על שעה אחת; מגבלות הקובץ והסשן החי המתועדות נשארות גבולות ממשק נפרדים. בחרו בתהליך הקובץ המוקלט או בתהליך החי לפי השאלה אם האודיו כבר שלם או עדיין נקלט, ושמרו על שיוך בין תוצאות מסשנים נפרדים למקטעי הקלט שלהן.

Muse Voice Transcribe מאומן ביותר מ-70 שפות, ואילו ממשק הזיהוי המתועד מונה 25 שפות נתמכות. הן כוללות אנגלית, צרפתית, גרמנית, ספרדית, ערבית, סינית מנדרינית, הינדי, יפנית, קוריאנית, איטלקית ופורטוגזית. הוא מזהה מעבר בין שפות בתוך משפטים או ביניהם. רמז שפה יכול לציין את השפות הצפויות באודיו, אך הוא מכוון את הזיהוי במקום לכפות על התמליל שפה אחת.

רמזי אוצר מילים מסייעים במונחי מוצר, ראשי תיבות, שמות או מקומות החשובים בהקלטה. ספקו את המילים והכתיבים בפועל שאתם מצפים לשמוע. רשימת מילות המפתח מטה את הזיהוי בלי להבטיח כתיב מדויק, ולכן בדקו מונחים מכריעים מול האודיו. רמזי שפה ומילות מפתח נבחרים בתחילת התמלול; שמרו על התאמתם להקלטה הזאת במקום לשנות את משמעותם במהלך סשן פעיל.

המודל תומך בהפרדת דוברים לשיחות עם יותר מ-20 דוברים. תוויות כגון A ו-B מזהות דוברים בתוך תמלול אחד. אלה אינם שמות מאומתים והן אינן מבססות שתווית מתייחסת לאותו אדם בסשן אחר. למשימת ניתוח פגישה מקורית, בקשו תורות המשויכים לדוברים, שמרו את ההקלטה והשתמשו בתוויות כדי לארגן את הדיון לפני שיוך שמות משתתפים אמיתיים באמצעות התהליך הסובב.

תמלילים חלקיים חיים יכולים להשתנות ככל שדיבור נוסף מגיע. במצב cumulative, כל חלק מחליף את ההשערה הקודמת במקום להוסיף עותק נוסף שלה. סיום דיבור שזוהה מסמן גבול, ואילו תוצאת התור שהושלם מספקת את הטקסט הסופי ויכולה להיות שונה מהחלק האחרון. שמרו על שיוך תורות חופפים למזהי התור שלהם, וצרכו את התוצאות שהושלמו לפני שתתייחסו לתמליל כגמור. כאשר הקלט החי מסתיים, סמנו סיום קלט והמשיכו לקבל עד שהמפיק מסיים לרוקן תוצאות ממתינות. סגירה מיידית של החיבור עלולה לאבד את התוצאות האלה; גבול דיבור שזוהה מסיים תור ולא את הסשן כולו.

התזמון הוא ברמת התור. הפרופיל הזה אינו מספק חותמות זמן ברמת המילה או ציוני ביטחון, והתקדמות עיבוד האודיו אינה חותמת זמן למילה מסוימת. גם זיהוי אירועי צליל, זיהוי רגשות ועיצוב מחדש של התמליל נמצאים מחוץ לפרופיל הפלט המתועד. השתמשו במרווחי התורות שהוחזרו לציר זמן של דוברים או לבדיקה ברמת המקטע, ושמרו על המילים שזוהו אם שלב עריכה נפרד ייצור בהמשך הערות נקיות יותר.

תוצרים שימושיים כוללים קטע הכתבה שהושלם, תמליל שאילתה קולית, שיחה המשויכת לדוברים או ציר זמן של אמירות. השוו שמות, מספרים ומונחים טכניים להקלטה המקורית, שמרו על שיוכי המצב והתזמון והשאירו את התורות השלמים זמינים לבדיקה. התמלול מבסס מה זוהה באודיו; מענה על שאלה מדוברת, תרגומה או הפיכתה להערות פגישה שייכים לשלב יישום הבא.

Ailoot Ultra · תמלול POST /v1/audio/transcriptions meta/muse-voice-transcribe-1.0

meta/muse-voice-transcribe-1.0

Meta /meta/muse-voice-transcribe-1.0

התחלה

סוגי קלט נתמכים: שמע
תוצאות: טקסט

זמין ב-Ailoot · קלט ושיטות

Ailoot Ultra · תמלול POST /v1/audio/transcriptions

סוגי קלט: audio
סוגי פלט: text

שדה	סוג	דרישה	ערכים ומגבלות	ברירת מחדל
שדה`model`	סוג`string`	דרישהחובה	ערכים ומגבלות meta/muse-voice-transcribe-1.0	ברירת מחדל—
שדה`input_audio`	סוג`object`	דרישהחובה	ערכים ומגבלות	ברירת מחדל—

פרמטרים ומחזור חיים של השיטה

פרמטר	מפרט
פרמטר`content_type`	מפרטapplication/json
פרמטר`required`	מפרטmodel, input_audio
פרמטר`material_types`	מפרטaudio
פרמטר`material_conditions`	מפרטהדוגמה קוראת את קובץ ה־PCM WAV הממשי והלא ריק שלכם, מקודדת את כל הבתים של הקובץ ב־base64 ושולחת את input_audio.format בערך wav.

מחזור חיים: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · task_id המדויק מרשומת מדיה קיימת שבבעלותכם

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

תעריפים

מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.

מצב מהיר: לא צוין כאשר נבחר מצב מהיר
מצב Flex: לא צוין כאשר נבחר מצב flex
מאמץ חשיבה מרבי: לא צוין כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)

תעריפי Ailoot

מחירים לפי תצורה

התאימו כל חיוב לתנאים המוצגים. השתמשו בתעריף אחד לכל קבוצה של תצורות חלופיות.

תצורה	טבלת תעריפים	יחידת חיוב	חיוב
תצורהתעריפי בסיס לטוקנים	טבלת תעריפיםתעריף בסיס	יחידת חיוב—	חיוב קלט · טוקני קלט — / 1K טוקנים פלט · טוקני פלט — / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים
תצורהשניית שמע בקלט	טבלת תעריפים—	יחידת חיובלכל שניית שמע בקלט	חיוב קלט · שניית שמע בקלט $0.0001 לכל שניית שמע בקלט

לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →

דוגמאות לבקשות

Ailoot Ultra · תמלול

curl · קובץ WAV אמיתי והתוצאה המקורית המלאה

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual PCM WAV recording}"
export AILOOT_AUDIO_FILE
python3 - <<'PY_REQUEST'
import base64, io, json, os, wave
from pathlib import Path
audio = Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4] == b'RIFF' and audio[8:12] == b'WAVE'):
    raise SystemExit('Supply your actual PCM WAV audio file')
with wave.open(io.BytesIO(audio), 'rb') as recording:
    if recording.getcomptype() != 'NONE' or recording.getnframes() <= 0:
        raise SystemExit('Supply a nonempty PCM WAV recording')
request = {'model': 'meta/muse-voice-transcribe-1.0', 'input_audio': {'data': base64.b64encode(audio).decode('ascii'), 'format': 'wav'}}
Path('request.json').write_text(json.dumps(request, ensure_ascii=False), encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete original response, headers and actual X-Client-Request-ID.
# Read existing owned records for recovery; do not resubmit an uncertain operation.

קבלה ושמירה של תוצאות

Ailoot Ultra · תמלול

גוף התגובה המקורי במלואו, הסטטוס והכותרות שהועברו. המטפל הזה אינו מוסיף מבנה JSON אחיד, שדה טקסט או מעטפת משימה.

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

שמירת כל התוצאות שהושלמו

שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.

שמרו את התשובה המלאה ואת הכותרות, כל פלט שהתקבל בפועל, את המזהים המקוריים שהוחזרו ואת כל שדות השימוש. שחזרו את הפעולה המקורית בלי לשלוח שוב בקשת יצירה.

כשצריך לבדוק את התגובה המקורית

יש לשמור את X-Client-Request-ID הממשי ואת התגובה המלאה. יש לקרוא את הנכסים המקוריים שבבעלותכם ואת כתובות התוכן החתומות המדויקות שלהם; אין לשלוח שוב בקשת יצירה שתוצאתה אינה ודאית.

שדות התגובה

שדה	סוג
שדה`text (when present)`	סוג
שדה`usage (when present)`	סוג

שגיאות והשלבים הבאים

תגובה	תנאי	השלב הבא
תגובה⁦400⁩ · `invalid_request_error`	תנאיגוף ה־JSON או מזהה המודל הקנוני המפורש אינם תקפים.	השלב הבאיש לשמור את התגובה ולתקן את שדה הבקשה שצוין.
תגובה⁦401⁩ · `authentication_error`	תנאימפתח ה־API של Ailoot אינו תקף.	השלב הבאיש להשתמש במפתח ה־API המורשה שלכם של Ailoot.
תגובה⁦403⁩ · `permission_error`	תנאיהקבוצה של המפתח אינה מורשית להשתמש בשיטה הזו.	השלב הבאיש לשמור את פרטי השגיאה שהוחזרו.
תגובה⁦404⁩ · `not_found_error`	תנאילשיטה שנבחרה אין נתיב מאושר לשימוש.	השלב הבאיש לשמור את פרטי השגיאה שהוחזרו.
תגובה⁦422⁩ · `price_unavailable`	תנאילא ניתן להשיג עבור התעריף שהתקבל את כמות הקלט או את הגבול הנדרשים לו.	השלב הבאיש לשמור את התגובה; יש להשתמש בייצוג הקלט הנדרש בתעריף שהתקבל.
תגובה⁦503⁩ ·	תנאיהאחסון, הנתיב, מחיר השיטה או שריון הסכום הנדרשים אינם זמינים.	השלב הבאיש לשמור את התגובה המקורית המלאה. שריון סכום שמצבו אינו ודאי אינו מתיר שליחה חוזרת.
תגובה⁦502⁩ · `server_error`	תנאייש לבדוק את התוצאה המקורית, את נתוני השימוש או את השלמת החיוב.	השלב הבאיש לשמור את מזהה הבקשה הממשי ואת התגובה המקורית. יש לקרוא את הרשומה הקיימת שבבעלותכם; אין לשלוח שוב בקשת יצירה.

כינויים

כינויים למודל

Ailoot Ultra meta/muse-voice-transcribe-1.0

כינויים לנתיבי שיטות

השתמשו בנתיבי השיטות המוצגים למעלה.

מזהי מודלים קשורים IDs

meta/muse-voice-transcribe-1.0

FAQ · Meta: Muse Voice Transcribe 1.0

אילו קלטים ותוצאות זמינים?: POST /v1/audio/transcriptions · meta/muse-voice-transcribe-1.0: audio → text
באילו שדות הבקשה משתמשת?: POST /v1/audio/transcriptions · meta/muse-voice-transcribe-1.0: model, input_audio

Meta: Muse Voice Transcribe 1.0