NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 של NVIDIA הוא מודל להמרת דיבור לטקסט בעל 600M פרמטרים, התומך ב-25 שפות אירופיות ומזהה את השפה אוטומטית. הוא מפיק תמלילים עם סימני פיסוק ותומך בחותמות זמן למילים ולמקטעים, עם מצבי עיבוד לאודיו ארוך התלויים בתצורת הקשב של היצרן.

Ailoot Ultra · תמלול POST /v1/audio/transcriptions nvidia/parakeet-tdt-0.6b-v3

על המודל

התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.

Parakeet TDT 0.6B v3 הוא מודל זיהוי דיבור רב-לשוני של NVIDIA בעל 600 מיליון פרמטרים. הוא מרחיב את מודל v2, שתמך באנגלית בלבד, ל-25 שפות אירופיות, ומזהה אוטומטית את שפת האודיו ללא הנחיה נפרדת לציון השפה. התוצאה היא תמליל של הדיבור, הכולל סימני פיסוק ושימוש באותיות גדולות וקטנות בהתאם לכללי השפה.

השפות הנתמכות הן בולגרית, קרואטית, צ'כית, דנית, הולנדית, אנגלית, אסטונית, פינית, צרפתית, גרמנית, יוונית, הונגרית, איטלקית, לטבית, ליטאית, מלטזית, פולנית, פורטוגזית, רומנית, סלובקית, סלובנית, ספרדית, שוודית, רוסית ואוקראינית. רשימה זו שייכת למהדורת v3; סוגי מפענחים אחרים וגרסאות שפה אחרות של Parakeet הם מודלים נפרדים.

הארכיטקטורה משלבת מקודד FastConformer עם מפענח מתמר המנבא טוקנים ומשכי זמן. המקודד ממיר את האות האקוסטי לייצוגים; המפענח מנבא טוקנים של טקסט יחד עם משכי הזמן הנדרשים כדי להתקדם בין מסגרות האודיו. התנהגות TDT זו מבדילה אותו ממפענחי CTC וממפענחי RNN-T רגילים במשפחה.

הכינו אודיו חד-ערוצי שנדגם בקצב של 16 kHz. פורמטי הקלט הישירים של היצרן הם WAV ו-FLAC, ודוגמאות המימוש שלו משתמשות ברכיב עיבוד מקדים כדי להכין את צורת הגל לזיהוי. שמרו את מזהה ההקלטה ואת האודיו המקורי לצד הטקסט המוחזר, כדי שאפשר יהיה לבדוק את התמליל או ליישר אותו מול המקור.

יצירת חותמות זמן מוסיפה מידע על התזמון לדיבור המזוהה. בדוגמת NeMo של NVIDIA מוחזרים זמני תווים, מילים ומקטעים כאשר יצירת חותמות הזמן מופעלת. יישום כתוביות או ארכיון יכול להשתמש בגבולות המקטעים כדי לקשר קטע טקסט להקלטה, או בזמני המילים כדי לאתר ביטוי מסוים. התמליל ושדות התזמון שלו הם חלקים שונים של התוצאה, ויש לשמור את הקשר ביניהם.

בהקלטות ארוכות יש חשיבות לתצורת הקשב. היצרן מתאר עיבוד של עד 24 דקות עם קשב מלא בכרטיס A100 בעל 80 GB, ושל עד שלוש שעות עם קשב מקומי. הדוגמה שלו לעיבוד אודיו ארוך מעבירה את המקודד לקשב מקומי עם הקשר שמאלי וימני מוגבל. משכים אלה מתארים תצורות מסוימות של היצרן, ולא מגבלה אחת ללא תנאים לכל פריסה.

היצרן מפרסם גם תהליך הסקה במקטעים לשימוש בהזרמה. הדוגמה שלו מגדירה את אורך המקטע ואת הקשר האודיו השמאלי והימני סביב כל מקטע. זוהי שיטת עיבוד נפרדת ממודל ההזרמה המקורי של Nemotron, המשתמש במטמון. כאשר יישום אוסף תמליל של הקלטה לאורך חלקים שונים, עליו לשמור את שיטת העיבוד שנבחרה ואת נקודת הייחוס המקורית לתזמון.

תמהיל האימון כולל 10,000 שעות דיבור שתומללו בידי אדם ו-660,000 שעות של נתוני Granary עם תיוג אוטומטי, תוך שימור סימני הפיסוק והאותיות הגדולות והקטנות. היצרן תומך גם בכוונון עדין של נקודת ביקורת זו, שפורסמה לשימוש, על מערך נתוני דיבור אחר באמצעות תהליך המודל המתועד שלו; נקודת הביקורת המכווננת נשארת נפרדת ממודל הבסיס v3. לכן פלט הטקסט של המודל מתאים לשלב המרת הדיבור לטקסט בתהליך רחב יותר. ארכיון פגישות יכול לצרף את התמליל להקלטה; יישום חיפוש יכול לאנדקס את הקטע המזוהה; וכלי כתוביות יכול להשתמש במטא-נתוני התזמון שהוחזרו.

איכות הזיהוי משתנה בהתאם לשפה, למבטא, לרעש ולסוג הדיבור. היצרן מציין במפורש שאוצר מילים שלא יוצג במהלך האימון עלול שלא להיות מזוהה, ושמילים מבודדות או משפטים לא שלמים מספקים הקשר חלש יותר. שמרו את האודיו המקורי כדי לבדוק שמות ומונחים מקצועיים, במקום להפוך זיהוי לא ודאי לעובדה מאומתת.

התוצר השימושי הוא התמליל עם מידע התזמון המבוקש. סיכומים, תרגומים, ניתוח דוברים ופעולות הם משימות נפרדות של היישום, ואינם תכונות המשתמעות משם של מודל להמרת דיבור לטקסט. שמרו על ההבחנה בין זהות v3 ומצב הקשב של היצרן לבין נקודות ביקורת אחרות ותוצרים שעברו המרה או קוונטיזציה.

Ailoot Ultra · תמלול POST /v1/audio/transcriptions nvidia/parakeet-tdt-0.6b-v3

nvidia/parakeet-tdt-0.6b-v3

NVIDIA /nvidia/parakeet-tdt-0.6b-v3

התחלה

סוגי קלט נתמכים: שמע
תוצאות: טקסט

זמין ב-Ailoot · קלט ושיטות

Ailoot Ultra · תמלול POST /v1/audio/transcriptions

סוגי קלט: audio
סוגי פלט: text

שדה	סוג	דרישה	ערכים ומגבלות	ברירת מחדל
שדה`model`	סוג`string`	דרישהחובה	ערכים ומגבלות nvidia/parakeet-tdt-0.6b-v3	ברירת מחדל—
שדה`input_audio`	סוג`object`	דרישהחובה	ערכים ומגבלות	ברירת מחדל—
שדה`language`	סוג`string`	דרישהרשות	ערכים ומגבלות	ברירת מחדל—
שדה`temperature`	סוג`number`	דרישהרשות	ערכים ומגבלות מינימום: ⁦0⁩ מקסימום: ⁦1⁩	ברירת מחדל—
שדה`response_format`	סוג`string`	דרישהרשות	ערכים ומגבלות json, verbose_json	ברירת מחדלjson
שדה`timestamp_granularities`	סוג`array`	דרישהרשות	ערכים ומגבלות	ברירת מחדל—
שדה`provider`	סוג`object`	דרישהרשות	ערכים ומגבלות	ברירת מחדל—

פרמטרים ומחזור חיים של השיטה

פרמטר	מפרט
פרמטר`content_type`	מפרטapplication/json
פרמטר`required`	מפרטmodel, input_audio
פרמטר`material_types`	מפרטaudio
פרמטר`material_conditions`	מפרטקראו קובץ WAV ממשי וקודדו את הבתים האמיתיים שלו עבור קלט ה־JSON input_audio שהוצהר; לא מוצג נתיב multipart להצהרה המדויקת הזו, התומכת ב־JSON בלבד.

מחזור חיים: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · ערך task_id שהוחזר בפועל או רשומה בספריית המדיה

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

תעריפים

אופן חישוב החיוב הסופי

התעריפים המוצגים מספקים אומדן לעלות לפני היצירה. החיוב הסופי מחושב לפי העלות שנרשמה עבור היצירה המקורית. משך הפלט שנמדד והכמויות החזויות אינם הכמות הסופית לחיוב.

מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.

מצב מהיר: לא צוין כאשר נבחר מצב מהיר
מצב Flex: לא צוין כאשר נבחר מצב flex
מאמץ חשיבה מרבי: לא צוין כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)

תעריפים משוערים להשוואה

מחירים לפי תצורה

התאימו כל חיוב לתנאים המוצגים. השתמשו בתעריף אחד לכל קבוצה של תצורות חלופיות.

תצורה	טבלת תעריפים	כמות חזויה	יחידת חיוב	חיוב
תצורהתעריפי בסיס לטוקנים	טבלת תעריפיםתעריף בסיס	כמות חזויה—	יחידת חיוב—	חיוב קלט · טוקני קלט · אומדן להשוואה בלבד — / 1K טוקנים פלט · טוקני פלט · אומדן להשוואה בלבד — / 1K טוקנים קלט · קריאה מהמטמון · אומדן להשוואה בלבד — / 1K טוקנים קלט · כתיבה למטמון · אומדן להשוואה בלבד — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה · אומדן להשוואה בלבד — / 1K טוקנים
תצורהשניית שמע בקלט	טבלת תעריפים—	כמות חזויה—	יחידת חיובלכל שניית שמע בקלט	חיוב קלט · שניית שמע בקלט · אומדן להשוואה בלבד $0.00005 לכל שניית שמע בקלט
תצורהעלות יצירה משוערת	טבלת תעריפים—	כמות חזויהאומדן ליצירה אחת	יחידת חיוב—	חיוב פלט · עלות יצירה משוערת · אומדן להשוואה בלבד $0.00005 אומדן לפני היצירה אומדן זה אינו חיוב נוסף או תעריף קבוע עבור היצירה שהושלמה.

לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →

דוגמאות לבקשות

Ailoot Ultra · תמלול

curl · גוף בקשה מדויק בפורמט המקורי והתוצאה המלאה

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/parakeet-tdt-0.6b-v3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.

קבלה ושמירה של תוצאות

Ailoot Ultra · תמלול

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

קריאות תוכן נוספות

קריאת נכסים קיימים שבבעלותכם

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.

שמירת כל התוצאות שהושלמו

שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.

שמרו את התשובה המלאה ואת הכותרות, כל פלט שהתקבל בפועל, את המזהים המקוריים שהוחזרו ואת כל שדות השימוש. שחזרו את הפעולה המקורית בלי לשלוח שוב בקשת יצירה.

כשצריך לבדוק את התגובה המקורית

שמרו את X-Client-Request-ID שהוחזר לצורך התאמת רישומים. קראו רק ערכי task_id/asset_id שהוחזרו בפועל או את ספריית המדיה שבבעלותכם; לעולם אל תבנו URL של משימה ממזהה הפעולה ואל תשלחו שוב בקשת יצירה.

שדות התגובה

שדה	סוג
שדה`text`	סוג
שדה`usage`	סוג
שדה`segments[]`	סוג
שדה`words[]`	סוג
שדה`speaker fields`	סוג
שדה`timestamps`	סוג

כינויים

כינויים למודל

Ailoot Ultra nvidia/parakeet-tdt-0.6b-v3

כינויים לנתיבי שיטות

השתמשו בנתיבי השיטות המוצגים למעלה.

מזהי מודלים קשורים IDs

nvidia/parakeet-tdt-0.6b-v3

FAQ · NVIDIA: Parakeet TDT 0.6B v3

אילו קלטים ותוצאות זמינים?: POST /v1/audio/transcriptions · nvidia/parakeet-tdt-0.6b-v3: audio → text
באילו שדות הבקשה משתמשת?: POST /v1/audio/transcriptions · nvidia/parakeet-tdt-0.6b-v3: model, input_audio, language, temperature, response_format, timestamp_granularities, provider
אילו מגבלות חלות?: POST /v1/audio/transcriptions · nvidia/parakeet-tdt-0.6b-v3: temperature.minimum: 0; temperature.maximum: 1

NVIDIA: Parakeet TDT 0.6B v3