NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

NVIDIA компаниясының Nemotron 3.5 ASR Streaming Multilingual 0.6B моделі кэшті ескеретін ағындық кодтағыш арқылы сөйлеуді тыныс белгілері қойылған мәтінге түсіреді. Ол тілді нақты көрсетіп бағыттауды немесе автоматты анықтауды қолдайды; 32 тілдік-өңірлік нұсқа транскрипцияға дайын, ал сегізі бейімдеуді қажет етеді.

Ailoot Ultra · Дыбысты мәтінге түсіру POST /v1/audio/transcriptions nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

Nemotron 3.5 ASR Streaming Multilingual 0.6B — NVIDIA компаниясының тікелей транскрипцияға және жазылған аудио жүктемелеріне арналған 600 миллион параметрлі сөйлеуді тану моделі. Ол ағылшын тіліндегі ағындық модельдер қатарын тіл идентификаторымен бағыттау арқылы кеңейтеді. Сөйлеу кіріс тіліндегі мәтінге айналады, ал тыныс белгілері мен бас әріптер нәтиженің өзіне енгізіледі.

Өндірушінің тілдік қамтуы үш деңгейден тұрады. Транскрипцияға дайын он тоғыз тілдік-өңірлік нұсқа АҚШ және Ұлыбритания ағылшын тілін, АҚШ және Испания испан тілін, Франция және Канада француз тілін, итальян тілін, Бразилия және Португалия португал тілін, нидерланд, неміс, түрік, орыс, араб, хинди, жапон, корей, вьетнам және украин тілдерін қамтиды. Кең қамтылатын он үш нұсқа поляк, швед, чех, норвегиялық букмол, дат, болгар, фин, хорват, словак, мандарин, венгр, румын және эстон тілдерін қосады. Осы 32 нұсқа қосымша баптаусыз транскрипция жасайды.

Бейімдеуге дайын сегіз нұсқаны — грек, литва, латыш, мальта, словен, иврит, тай және норвегиялық нюнорск тілдерін — токенизатор таниды, бірақ толық транскрипцияны іске қосу үшін оларды тиісті сала деректерімен қосымша баптау қажет. Сондықтан өндірушінің 40 нұсқа туралы саны қырық нұсқаның бәрі бірдей дайын мүмкіндікке ие деген тұжырым емес. Бейімделген бақылау нүктесі негізгі модельден бөлек артефакт болып саналады.

Архитектура 24 қабатты, кэшті ескеретін FastConformer кодтағышын RNN-T декодерімен біріктіреді. Ол алдыңғы кадрлардан кодтағыштың назар аудару және конволюция күйлерін сақтап, қабаттасатын терезелерді қайта-қайта есептемей, әр жаңа аудио бөлігін өңдейді. Транскриптті бағыттау немесе модельге тілді анықтатқызу үшін акустикалық көрініспен бірге тіл идентификаторы сигналы беріледі.

NVIDIA компаниясының NeMo конфигурациясында 80, 160, 320, 560 және 1120 миллисекундтық бөлік өлшемдері құжатталған. Назар аудару механизмінің баптауы мәтін шығарылғанға дейін бөлік қанша кейінгі аудионы алатынын басқарады, бұл тапсырмада күту уақыты мен акустикалық контексті теңгеруге мүмкіндік береді. Бұлар — бүкіл жол бойынша кепілдендірілген жауап уақыттары емес, өндірушінің ағындық конфигурациялары; іске асыру тек өзі қолдайтын ішкі жиынды ұсына алады.

Өндіруші процессорының 16 kHz дискреттеу жиілігінде бір арналы WAV аудиосын дайындаңыз. Тіл белгілі болса, сәйкес тілдік-өңірлік нұсқамен бағыттауды қолданыңыз; автоматты режим айтылған тілді анықтайды. Негізгі өңдеу тізбегінің мысалы әдепкіде АҚШ ағылшын тіліне арналған нұсқауды пайдаланады, сондықтан модельдің көптілді жұмысын сол мысалдан жорамалдаудың орнына саналы түрде баптау керек.

Автоматты режимде өндіруші үдерісі транскрипттің соңғы тыныс белгісінен кейін тіл тегін қоса алады. Тегті сақтау аралас тілдегі сұрауларды өңдейтін қолданбаға тілді қолжетімді етеді; оны алып тастау таза транскрипт мәтінін қайтарады. Нәтижені көрсеткенде немесе өңдегенде танылған сөздерді, олардың тыныс белгілерін және осы тіл метадеректерін бір-бірінен ажыратып сақтаңыз.

Субтитр қолданбасы аудионы ретімен беріп, транскриптті жинай алады және аяқталған мәтінді көрсетуге немесе кейінгі өңдеуге пайдалана алады. Дауыстық қолданба танылған сөйлеуді өз тілдік түсіну кезеңіне жібере алады. Қоңырауды талдау жұмысында есімдер, сандар және бейтаныс терминдер тексеруге қолжетімді қалуы үшін түпнұсқа жазба мен транскрипт бірге сақтала алады. ASR моделі транскриптті береді; қорытындылау, әрекеттер және сөйлеу жасау — қолданбаның бөлек кезеңдері.

NVIDIA модельді тыныс белгілері мен бас әріптері дұрыс қойылған мәтінге қалыпқа келтірілген адамдар қойған және синтетикалық белгілері бар ашық және меншікті сөйлеу деректерінің қоспасымен оқытады. Оның бейімдеу нұсқаулығы тіл белгілері мен мәтін стилін сәйкестендіруге, содан кейін оқытуға кірмеген аудионы көзделген ағындық баптауда бағалауға баса назар аударады. Ол тілге, акцентке және салаға бейімдеуді сипаттайды, бірақ сол бейімделген нәтижелерді бастапқы бақылау нүктесінің қасиеттері деп көрсетпейді.

Модель картасы барлығына ортақ бір ұзақтық шегін жариялаудың орнына, жазбаның практикалық ұзындығын қолжетімді жадпен байланыстырады. Көптілді нұсқаны тек ағылшын тіліне арналған модельден бөлек ұстаңыз және таңдалған тіл мен ағындық конфигурацияны транскрипция нәтижесімен бірге сақтаңыз. Нәтиже артефакты — жалпы әңгімелесу жауабы емес, өндірушінің қосымша тіл метадеректері болуы мүмкін танылған мәтін.

Ailoot Ultra · Дыбысты мәтінге түсіру POST /v1/audio/transcriptions nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

NVIDIA /nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

Бастау

Қабылданатын кіріс деректері: Аудио
Нәтижелер: Мәтін

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot Ultra · Дыбысты мәтінге түсіру POST /v1/audio/transcriptions

Кіріс: audio
Шығыс: text

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b	Әдепкі—
Өріс`input_audio`	Түрі`object`	ТалапМіндетті	Мәндер мен шектеулер	Әдепкі—
Өріс`language`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`temperature`	Түрі`number`	ТалапМіндетті емес	Мәндер мен шектеулер Ең азы: 0 Ең көбі: 1	Әдепкі—
Өріс`response_format`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер json, verbose_json	Әдепкіjson
Өріс`timestamp_granularities`	Түрі`array`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`provider`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`content_type`	Параметр талаптарыapplication/json
Параметр`required`	Параметр талаптарыmodel, input_audio
Параметр`material_types`	Параметр талаптарыaudio
Параметр`material_conditions`	Параметр талаптарыНақты WAV файлын оқып, оның шын байттарын мәлімделген JSON input_audio үшін кодтаңыз; тек JSON қабылдайтын осы нақты декларация үшін multipart маршруты ұсынылмайды.

Өмірлік цикл: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · Нақты қайтарылған task_id немесе медиатека жазбасы

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

Тарифтер

Қорытынды төлем қалай есептеледі

Көрсетілген тарифтер генерация басталғанға дейінгі құнын бағалауға арналған. Соңғы төлем бастапқы генерация үшін тіркелген құннан есептеледі. Нәтиженің өлшенген ұзақтығы мен болжамды көлемдер төлемге негіз болатын түпкілікті көлем болып саналмайды.

Тариф анықтамасы сұрау мүмкіндіктерін қоспайды. Қолдау көрсетілетін параметрлер таңдалған әдісте берілген.

Жылдам режим: Көрсетілмеген Жылдам режим таңдалғанда
Икемді режим: Көрсетілмеген flex режимі таңдалғанда
Ой қорытудың ең жоғары деңгейі: Көрсетілмеген Ой қорыту деңгейі ең жоғары болып, default түзетуі қолданылғанда

Салыстыруға арналған болжамды мөлшерлемелер

Баптаулар бойынша бағалар

Әр төлемді көрсетілген шарттармен салыстырыңыз. Балама баптаулардың әр жиыны үшін бір мөлшерлемені қолданыңыз.

Баптау	Мөлшерлемелер кестесі	Болжамды мөлшер	Есептеу бірлігі	Төлем
БаптауТокендердің базалық тарифтері	Мөлшерлемелер кестесіНегізгі мөлшерлеме	Болжамды мөлшер—	Есептеу бірлігі—	Төлем Кіріс · Кіріс токендері · Тек салыстыруға арналған бағалау — / 1K токен Шығыс · Шығыс токендері · Тек салыстыруға арналған бағалау — / 1K токен Кіріс · Кэшті оқу · Тек салыстыруға арналған бағалау — / 1K токен Кіріс · Кэшке жазу · Тек салыстыруға арналған бағалау — / 1K токен Кіріс · Кэшке жазу, 1 сағ · Тек салыстыруға арналған бағалау — / 1K токен
Баптаукіріс аудио секунды	Мөлшерлемелер кестесі—	Болжамды мөлшер—	Есептеу бірлігікіріс аудионың секунды үшін	Төлем Кіріс · кіріс аудио секунды · Тек салыстыруға арналған бағалау $0.00000666 кіріс аудионың секунды үшін
БаптауГенерацияның болжамды құны	Мөлшерлемелер кестесі—	Болжамды мөлшербір генерацияға арналған болжам	Есептеу бірлігі—	Төлем Шығыс · Генерацияның болжамды құны · Тек салыстыруға арналған бағалау $0.00000666 жасауға дейінгі бағалау Бұл бағалау қосымша төлем де, аяқталған генерация үшін белгіленген тұрақты тариф те емес.

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Сұрау мысалдары

Ailoot Ultra · Дыбысты мәтінге түсіру

curl · төл пішімдегі дәл сұрау денесі және толық нәтиже

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.

Нәтижелерді алу және сақтау

Ailoot Ultra · Дыбысты мәтінге түсіру

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

Басқа мазмұнды оқу

Өзіңізге тиесілі қолда бар материалдарды оқу

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Толық жауапты және тақырыптарды, алынған әрбір нәтижені, бастапқыда қайтарылған идентификаторларды және пайдалану туралы барлық өрістерді сақтаңыз. Жасау сұрауын қайта жібермей, бастапқы операцияны қалпына келтіріңіз.

Бастапқы жауапты тексеру қажет болса

Есептерді салыстырып тексеру үшін қайтарылған X-Client-Request-ID мәнін сақтаңыз. Тек нақты қайтарылған task_id/asset_id мәндері арқылы немесе өзіңізге тиесілі медиатекадан оқыңыз; операция ID мәнінен тапсырманың URL мекенжайын ешқашан құрастырмаңыз және жасау сұрауын ешқашан қайта жібермеңіз.

Жауап өрістері

Өріс	Түрі
Өріс`text`	Түрі
Өріс`usage`	Түрі
Өріс`segments[]`	Түрі
Өріс`words[]`	Түрі
Өріс`speaker fields`	Түрі
Өріс`timestamps`	Түрі

Балама атаулар

Модельдердің балама атаулары

Ailoot Ultra nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

FAQ · NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Қандай кіріс деректері мен нәтижелер қолжетімді?: POST /v1/audio/transcriptions · nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b: audio → text
Сұрау қандай өрістерді пайдаланады?: POST /v1/audio/transcriptions · nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b: model, input_audio, language, temperature, response_format, timestamp_granularities, provider
Қандай шектеулер қолданылады?: POST /v1/audio/transcriptions · nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b: temperature.minimum: 0; temperature.maximum: 1

NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B