NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B
Nemotron 3.5 ASR Streaming Multilingual 0.6B של NVIDIA מתמלל דיבור לטקסט עם סימני פיסוק באמצעות מקודד הזרמה המשתמש במטמון. הוא תומך בהתניה מפורשת לפי שפה או בזיהוי אוטומטי, עם 32 הגדרות שפה ואזור המוכנות לתמלול ושמונה הדורשות התאמה.
על המודל
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
Nemotron 3.5 ASR Streaming Multilingual 0.6B הוא מודל זיהוי דיבור של NVIDIA בעל 600 מיליון פרמטרים, לתמלול חי ולעיבוד אודיו מוקלט. הוא מרחיב את סדרת ההזרמה באנגלית באמצעות התניה לפי מזהה שפה. הדיבור הופך לטקסט בשפת הקלט, כאשר סימני פיסוק ושימוש באותיות גדולות וקטנות מובנים בפלט.
כיסוי השפות של היצרן מחולק לשלוש רמות. תשע עשרה הגדרות שפה ואזור המוכנות לתמלול מכסות אנגלית של ארצות הברית ובריטניה, ספרדית של ארצות הברית וספרד, צרפתית של צרפת וקנדה, איטלקית, פורטוגזית של ברזיל ופורטוגל, הולנדית, גרמנית, טורקית, רוסית, ערבית, הינדי, יפנית, קוריאנית, וייטנאמית ואוקראינית. שלוש עשרה הגדרות בעלות כיסוי רחב מוסיפות פולנית, שוודית, צ'כית, נורווגית בוקמול, דנית, בולגרית, פינית, קרואטית, סלובקית, מנדרינית, הונגרית, רומנית ואסטונית. יחד, 32 ההגדרות האלה מפיקות תמלול ללא כוונון עדין נוסף.
שמונה הגדרות שפה ואזור המוכנות להתאמה — יוונית, ליטאית, לטבית, מלטזית, סלובנית, עברית, תאית ונורווגית נינורשק — מוכרות לרכיב הטוקניזציה, אך דורשות כוונון עדין בתחום השימוש כדי לאפשר תמלול מלא. לכן הנתון של היצרן בדבר 40 הגדרות שפה ואזור אינו טענה שלכל הארבעים יש אותה יכולת מיד עם ההפעלה. נקודת ביקורת מותאמת היא תוצר נפרד ממודל הבסיס.
הארכיטקטורה משלבת מקודד FastConformer בן 24 שכבות המשתמש במטמון, עם מפענח RNN-T. היא משמרת מצבי קשב וקונבולוציה של המקודד ממסגרות קודמות, ומעבדת כל מקטע אודיו חדש בלי לחשב שוב ושוב חלונות חופפים. אות של מזהה שפה מסופק לצד הייצוג האקוסטי כדי להתנות את התמליל בשפה מסוימת או לאפשר למודל להסיק את השפה.
תצורת NeMo של NVIDIA מתעדת גדלי מקטעים של 80, 160, 320, 560 ו-1120 אלפיות השנייה. הגדרת הקשב קובעת כמה אודיו עתידי מקטע מקבל לפני שהטקסט נפלט, ומאפשרת לאזן בין זמן ההמתנה לבין ההקשר האקוסטי בהתאם למשימה. אלה תצורות הזרמה של היצרן, ולא זמני תגובה מובטחים מקצה לקצה; מימוש מסוים עשוי לחשוף תת-קבוצה משלו של אפשרויות נתמכות.
הכינו אודיו WAV במונו בקצב הדגימה של רכיב העיבוד של היצרן, 16 kHz. כאשר השפה ידועה, השתמשו בהתניית השפה והאזור המתאימה; מצב אוטומטי מזהה את השפה המדוברת. דוגמת צינור העיבוד הבסיסית משתמשת כברירת מחדל בהנחיה לאנגלית של ארצות הברית, ולכן יש להגדיר במכוון את ההתנהגות הרב-לשונית ולא להניח שהיא משתמעת מהדוגמה הזו.
במצב אוטומטי, תהליך העבודה של היצרן יכול להוסיף תג שפה אחרי סימן הפיסוק שבסוף התמליל. שמירת התג מאפשרת ליישום המטפל בתעבורה בשפות מעורבות לדעת את השפה; הסרתו מחזירה טקסט תמליל נקי. בעת הצגת התוצאה או עיבודה, שמרו על ההבחנה בין המילים שזוהו, סימני הפיסוק שלהן ומטא-נתוני השפה האלה.
יישום כתוביות יכול להזין אודיו לפי הסדר, לאסוף את התמליל ולהשתמש בטקסט שהושלם להצגה או לעיבוד בהמשך. יישום קולי יכול להעביר את הדיבור המזוהה לשלב הבנת השפה שלו. בתהליכי ניתוח שיחות אפשר לשמור את ההקלטה המקורית ואת התמליל יחד, כדי שאפשר יהיה לבדוק שמות, מספרים ומונחים לא מוכרים. מודל ה-ASR מספק את התמליל; סיכום, פעולות ויצירת דיבור הם שלבים נפרדים של היישום.
NVIDIA מאמנת את המודל על שילוב של נתוני דיבור ציבוריים וקנייניים, עם תיוגים אנושיים וסינתטיים המנורמלים לטקסט מפוסק ובעל שימוש תקין באותיות גדולות וקטנות. מדריך ההתאמה שלה מדגיש התאמה של תוויות השפה וסגנון הטקסט, ולאחר מכן הערכה על אודיו שלא שימש לאימון, בהגדרת ההזרמה המיועדת לשימוש. הוא מתאר התאמות לשפה, למבטא ולתחום בלי להציג את התוצאות המותאמות האלה כמאפיינים של נקודת הביקורת המקורית.
כרטיס המודל קושר את משך ההקלטה המעשי לזיכרון הזמין, במקום לפרסם תקרת משך אוניברסלית אחת. הפרידו בין המהדורה הרב-לשונית לבין המודל התומך באנגלית בלבד, ושמרו את השפה שנבחרה ואת תצורת ההזרמה יחד עם תוצאת התמלול. תוצר הפלט הוא הטקסט המזוהה, עם מטא-נתוני שפה אופציונליים של היצרן, ולא תשובה כללית לשיחה.
Ailoot Ultra · תמלול POST /v1/audio/transcriptions nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
nvidia/nemotron-3.5-asr-streaming-multilingual-0.6bהתחלה
Nemotron 3.5 ASR Streaming Multilingual 0.6B של NVIDIA מתמלל דיבור לטקסט עם סימני פיסוק באמצעות מקודד הזרמה המשתמש במטמון. הוא תומך בהתניה מפורשת לפי שפה או בזיהוי אוטומטי, עם 32 הגדרות שפה ואזור המוכנות לתמלול ושמונה הדורשות התאמה.
- סוגי קלט נתמכים
- שמע
- תוצאות
- טקסט
זמין ב-Ailoot · קלט ושיטות
Ailoot Ultra · תמלול POST /v1/audio/transcriptions
- סוגי קלט
audio- סוגי פלט
text
| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b | ברירת מחדל— |
שדהinput_audio | סוגobject | דרישהחובה | ערכים ומגבלות | ברירת מחדל— |
שדהlanguage | סוגstring | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
שדהtemperature | סוגnumber | דרישהרשות | ערכים ומגבלות מינימום: 0 מקסימום: 1 | ברירת מחדל— |
שדהresponse_format | סוגstring | דרישהרשות | ערכים ומגבלות json, verbose_json | ברירת מחדלjson |
שדהtimestamp_granularities | סוגarray | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
פרמטרים ומחזור חיים של השיטה
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, input_audio |
פרמטרmaterial_types | מפרטaudio |
פרמטרmaterial_conditions | מפרטקראו קובץ WAV ממשי וקודדו את הבתים האמיתיים שלו עבור קלט ה־JSON input_audio שהוצהר; לא מוצג נתיב multipart להצהרה המדויקת הזו, התומכת ב־JSON בלבד. |
מחזור חיים: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · ערך task_id שהוחזר בפועל או רשומה בספריית המדיה
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
תעריפים
אופן חישוב החיוב הסופי
התעריפים המוצגים מספקים אומדן לעלות לפני היצירה. החיוב הסופי מחושב לפי העלות שנרשמה עבור היצירה המקורית. משך הפלט שנמדד והכמויות החזויות אינם הכמות הסופית לחיוב.
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
- מצב מהיר
- לא צוין כאשר נבחר מצב מהיר
- מצב Flex
- לא צוין כאשר נבחר מצב flex
- מאמץ חשיבה מרבי
- לא צוין כאשר מאמץ החשיבה המרבי משתמש בהתאמת ברירת המחדל (default)
תעריפים משוערים להשוואה
מחירים לפי תצורה
התאימו כל חיוב לתנאים המוצגים. השתמשו בתעריף אחד לכל קבוצה של תצורות חלופיות.
| תצורה | טבלת תעריפים | כמות חזויה | יחידת חיוב | חיוב |
|---|---|---|---|---|
| תצורהתעריפי בסיס לטוקנים | טבלת תעריפיםתעריף בסיס | כמות חזויה— | יחידת חיוב— | חיוב קלט · טוקני קלט · אומדן להשוואה בלבד — / 1K טוקנים פלט · טוקני פלט · אומדן להשוואה בלבד — / 1K טוקנים קלט · קריאה מהמטמון · אומדן להשוואה בלבד — / 1K טוקנים קלט · כתיבה למטמון · אומדן להשוואה בלבד — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה · אומדן להשוואה בלבד — / 1K טוקנים |
| תצורהשניית שמע בקלט | טבלת תעריפים— | כמות חזויה— | יחידת חיובלכל שניית שמע בקלט | חיוב קלט · שניית שמע בקלט · אומדן להשוואה בלבד $0.00000666 לכל שניית שמע בקלט |
| תצורהעלות יצירה משוערת | טבלת תעריפים— | כמות חזויהאומדן ליצירה אחת | יחידת חיוב— | חיוב פלט · עלות יצירה משוערת · אומדן להשוואה בלבד $0.00000666 אומדן לפני היצירה אומדן זה אינו חיוב נוסף או תעריף קבוע עבור היצירה שהושלמה. |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
דוגמאות לבקשות
Ailoot Ultra · תמלול
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.
קבלה ושמירה של תוצאות
Ailoot Ultra · תמלול
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
קריאות תוכן נוספות
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.
שמירת כל התוצאות שהושלמו
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו את התשובה המלאה ואת הכותרות, כל פלט שהתקבל בפועל, את המזהים המקוריים שהוחזרו ואת כל שדות השימוש. שחזרו את הפעולה המקורית בלי לשלוח שוב בקשת יצירה.
כשצריך לבדוק את התגובה המקורית
שמרו את X-Client-Request-ID שהוחזר לצורך התאמת רישומים. קראו רק ערכי task_id/asset_id שהוחזרו בפועל או את ספריית המדיה שבבעלותכם; לעולם אל תבנו URL של משימה ממזהה הפעולה ואל תשלחו שוב בקשת יצירה.
שדות התגובה
| שדה | סוג |
|---|---|
שדהtext | סוג |
שדהusage | סוג |
שדהsegments[] | סוג |
שדהwords[] | סוג |
שדהspeaker fields | סוג |
שדהtimestamps | סוג |
כינויים
כינויים למודל
Ailoot Ultra nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
כינויים לנתיבי שיטות
השתמשו בנתיבי השיטות המוצגים למעלה.
מזהי מודלים קשורים IDs
FAQ · NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B
- אילו קלטים ותוצאות זמינים?
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:audio→text- באילו שדות הבקשה משתמשת?
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:model,input_audio,language,temperature,response_format,timestamp_granularities,provider- אילו מגבלות חלות?
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:temperature.minimum:0;temperature.maximum:1