NVIDIA: Parakeet TDT 0.6B v3

NVIDIA компаниясының Parakeet TDT 0.6B v3 моделі — тілді автоматты анықтайтын, 25 еуропалық тілге арналған 600M параметрлі сөйлеуді мәтінге айналдыру моделі. Ол тыныс белгілері қойылған транскрипттер жасайды және сөздер мен сегменттердің уақыт белгілерін қолдайды; ұзақ аудио режимдері өндірушінің назар аудару (attention) механизмі конфигурациясына байланысты.

Ailoot Ultra · Дыбысты мәтінге түсіру POST /v1/audio/transcriptions nvidia/parakeet-tdt-0.6b-v3

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

Parakeet TDT 0.6B v3 — NVIDIA компаниясының 600 миллион параметрлі көптілді сөйлеуді тану моделі. Ол тек ағылшын тіліне арналған v2 моделінің ауқымын 25 еуропалық тілге дейін кеңейтеді және бөлек тілдік нұсқаусыз аудио тілін автоматты түрде анықтайды. Нәтижесі — тыныс белгілері мен бас әріптері қойылған сөйлеу транскрипті.

Қолдау көрсетілетін тілдер: болгар, хорват, чех, дат, нидерланд, ағылшын, эстон, фин, француз, неміс, грек, венгр, итальян, латыш, литва, мальта, поляк, португал, румын, словак, словен, испан, швед, орыс және украин тілдері. Бұл тізім v3 нұсқасына тиесілі; басқа Parakeet декодер түрлері мен тілдік нұсқалары бөлек модельдер болып саналады.

Архитектура FastConformer кодтағышын токен мен ұзақтықты болжайтын transducer декодерімен біріктіреді. Кодтағыш акустикалық сигналды көріністерге айналдырады; декодер мәтін токендерімен бірге аудио кадрлары арқылы алға жылжуға қажетті ұзақтықтарды болжайды. TDT-нің осы жұмыс істеу ерекшелігі оны модельдер тобындағы CTC және кәдімгі RNN-T декодерлерінен ажыратады.

16 kHz дискреттеу жиілігіндегі бір арналы аудио дайындаңыз. Өндірушінің тікелей кіріс пішімдері — WAV және FLAC, ал іске асыру мысалдары толқындық сигналды тануға дайындау үшін процессорды қолданады. Транскриптті тексеру немесе дереккөзбен сәйкестендіру үшін жазба идентификаторы мен түпнұсқа аудионы қайтарылған мәтінмен бірге сақтаңыз.

Уақыт белгілерін қосу танылған сөйлеуге уақыт туралы ақпарат береді. NVIDIA компаниясының NeMo мысалы уақыт белгілерін жасау қосылғанда таңба, сөз және сегмент уақыттарын қайтарады. Субтитр немесе мұрағат қолданбасы мәтін үзіндісін жазбамен байланыстыру үшін сегмент шекараларын, ал белгілі бір тіркесті табу үшін сөз уақыттарын пайдалана алады. Транскрипт пен оның уақыт өрістері — нәтиженің әртүрлі бөліктері, сондықтан олардың байланысы сақталуы керек.

Ұзақ жазбалар үшін назар аудару (attention) механизмінің конфигурациясы маңызды. Өндіруші 80 GB A100 құрылғысында толық назар аудару механизмімен 24 минутқа дейін, ал жергілікті назар аудару механизмімен үш сағатқа дейінгі аудионы сипаттайды. Оның ұзақ аудио мысалы кодтағышты сол және оң контексті шектелген жергілікті назар аудару механизміне ауыстырады. Бұл ұзақтықтар әр орналастыруға ортақ шартсыз шек емес, өндірушінің нақты конфигурацияларын сипаттайды.

Өндіруші ағындық қолдануға арналған бөліктермен қорытынды шығару үдерісін де жариялайды. Оның мысалы бөлік ұзындығын және әр бөліктің айналасындағы сол және оң аудио контекстін анықтайды. Бұл кэшті ескеретін төл Nemotron ағындық моделінен бөлек өңдеу тәсілі. Қолданба жазбаның транскриптін бөлімдерден жинағанда таңдалған тәсілді және уақытты есептеудің бастапқы нүктесін сақтауы керек.

Оқыту қоспасына адамдар транскрипциялаған 10,000 сағат сөйлеу және тыныс белгілері мен бас әріптері сақталған, автоматты түрде жасалған псевдобелгілермен таңбаланған 660,000 сағат Granary деректері кіреді. Өндіруші құжатталған модель үдерісі арқылы осы жарияланған бақылау нүктесін басқа сөйлеу деректер жиынында қосымша баптауды да қолдайды; бапталған бақылау нүктесі негізгі v3 моделінен бөлек қалады. Сондықтан модельдің мәтіндік нәтижесі үлкенірек үдерістің сөйлеуді мәтінге айналдыру кезеңіне жарайды. Жиналыс мұрағаты транскриптті жазбаға тіркей алады; іздеу қолданбасы танылған үзіндіні индекстей алады; субтитр құралы қайтарылған уақыт метадеректерін пайдалана алады.

Тану сапасы тілге, акцентке, шуға және сөйлеу түріне қарай өзгереді. Өндіруші оқытуда кездеспеген сөздік танылмай қалуы мүмкін екенін және жеке сөздер немесе аяқталмаған сөйлемдер әлсіздеу контекст беретінін арнайы атап өтеді. Күмәнді тану нәтижесін расталған фактіге айналдырудың орнына, есімдер мен арнайы терминдерді тексеру үшін түпнұсқа аудионы сақтаңыз.

Пайдалы артефакт — сұралған уақыт ақпараты бар транскрипт. Қорытындылар, аудармалар, сөйлеушілерді талдау және әрекеттер сөйлеуді мәтінге айналдыру атауынан туындайтын мүмкіндіктер емес, қолданбаның бөлек тапсырмалары. v3 сәйкестігін және өндірушінің назар аудару режимін басқа бақылау нүктелерінен, сондай-ақ түрлендірілген немесе квантталған артефакттардан ажыратып ұстаңыз.

Ailoot Ultra · Дыбысты мәтінге түсіру POST /v1/audio/transcriptions nvidia/parakeet-tdt-0.6b-v3

nvidia/parakeet-tdt-0.6b-v3

NVIDIA /nvidia/parakeet-tdt-0.6b-v3

Бастау

Қабылданатын кіріс деректері: Аудио
Нәтижелер: Мәтін

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot Ultra · Дыбысты мәтінге түсіру POST /v1/audio/transcriptions

Кіріс: audio
Шығыс: text

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер nvidia/parakeet-tdt-0.6b-v3	Әдепкі—
Өріс`input_audio`	Түрі`object`	ТалапМіндетті	Мәндер мен шектеулер	Әдепкі—
Өріс`language`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`temperature`	Түрі`number`	ТалапМіндетті емес	Мәндер мен шектеулер Ең азы: 0 Ең көбі: 1	Әдепкі—
Өріс`response_format`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер json, verbose_json	Әдепкіjson
Өріс`timestamp_granularities`	Түрі`array`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`provider`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`content_type`	Параметр талаптарыapplication/json
Параметр`required`	Параметр талаптарыmodel, input_audio
Параметр`material_types`	Параметр талаптарыaudio
Параметр`material_conditions`	Параметр талаптарыНақты WAV файлын оқып, оның шын байттарын мәлімделген JSON input_audio үшін кодтаңыз; тек JSON қабылдайтын осы нақты декларация үшін multipart маршруты ұсынылмайды.

Өмірлік цикл: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · Нақты қайтарылған task_id немесе медиатека жазбасы

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

Тарифтер

Қорытынды төлем қалай есептеледі

Көрсетілген тарифтер генерация басталғанға дейінгі құнын бағалауға арналған. Соңғы төлем бастапқы генерация үшін тіркелген құннан есептеледі. Нәтиженің өлшенген ұзақтығы мен болжамды көлемдер төлемге негіз болатын түпкілікті көлем болып саналмайды.

Тариф анықтамасы сұрау мүмкіндіктерін қоспайды. Қолдау көрсетілетін параметрлер таңдалған әдісте берілген.

Жылдам режим: Көрсетілмеген Жылдам режим таңдалғанда
Икемді режим: Көрсетілмеген flex режимі таңдалғанда
Ой қорытудың ең жоғары деңгейі: Көрсетілмеген Ой қорыту деңгейі ең жоғары болып, default түзетуі қолданылғанда

Салыстыруға арналған болжамды мөлшерлемелер

Баптаулар бойынша бағалар

Әр төлемді көрсетілген шарттармен салыстырыңыз. Балама баптаулардың әр жиыны үшін бір мөлшерлемені қолданыңыз.

Баптау	Мөлшерлемелер кестесі	Болжамды мөлшер	Есептеу бірлігі	Төлем
БаптауТокендердің базалық тарифтері	Мөлшерлемелер кестесіНегізгі мөлшерлеме	Болжамды мөлшер—	Есептеу бірлігі—	Төлем Кіріс · Кіріс токендері · Тек салыстыруға арналған бағалау — / 1K токен Шығыс · Шығыс токендері · Тек салыстыруға арналған бағалау — / 1K токен Кіріс · Кэшті оқу · Тек салыстыруға арналған бағалау — / 1K токен Кіріс · Кэшке жазу · Тек салыстыруға арналған бағалау — / 1K токен Кіріс · Кэшке жазу, 1 сағ · Тек салыстыруға арналған бағалау — / 1K токен
Баптаукіріс аудио секунды	Мөлшерлемелер кестесі—	Болжамды мөлшер—	Есептеу бірлігікіріс аудионың секунды үшін	Төлем Кіріс · кіріс аудио секунды · Тек салыстыруға арналған бағалау $0.00005 кіріс аудионың секунды үшін
БаптауГенерацияның болжамды құны	Мөлшерлемелер кестесі—	Болжамды мөлшербір генерацияға арналған болжам	Есептеу бірлігі—	Төлем Шығыс · Генерацияның болжамды құны · Тек салыстыруға арналған бағалау $0.00005 жасауға дейінгі бағалау Бұл бағалау қосымша төлем де, аяқталған генерация үшін белгіленген тұрақты тариф те емес.

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Сұрау мысалдары

Ailoot Ultra · Дыбысты мәтінге түсіру

curl · төл пішімдегі дәл сұрау денесі және толық нәтиже

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/parakeet-tdt-0.6b-v3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.

Нәтижелерді алу және сақтау

Ailoot Ultra · Дыбысты мәтінге түсіру

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

Басқа мазмұнды оқу

Өзіңізге тиесілі қолда бар материалдарды оқу

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Толық жауапты және тақырыптарды, алынған әрбір нәтижені, бастапқыда қайтарылған идентификаторларды және пайдалану туралы барлық өрістерді сақтаңыз. Жасау сұрауын қайта жібермей, бастапқы операцияны қалпына келтіріңіз.

Бастапқы жауапты тексеру қажет болса

Есептерді салыстырып тексеру үшін қайтарылған X-Client-Request-ID мәнін сақтаңыз. Тек нақты қайтарылған task_id/asset_id мәндері арқылы немесе өзіңізге тиесілі медиатекадан оқыңыз; операция ID мәнінен тапсырманың URL мекенжайын ешқашан құрастырмаңыз және жасау сұрауын ешқашан қайта жібермеңіз.

Жауап өрістері

Өріс	Түрі
Өріс`text`	Түрі
Өріс`usage`	Түрі
Өріс`segments[]`	Түрі
Өріс`words[]`	Түрі
Өріс`speaker fields`	Түрі
Өріс`timestamps`	Түрі

Балама атаулар

Модельдердің балама атаулары

Ailoot Ultra nvidia/parakeet-tdt-0.6b-v3

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

nvidia/parakeet-tdt-0.6b-v3

FAQ · NVIDIA: Parakeet TDT 0.6B v3

Қандай кіріс деректері мен нәтижелер қолжетімді?: POST /v1/audio/transcriptions · nvidia/parakeet-tdt-0.6b-v3: audio → text
Сұрау қандай өрістерді пайдаланады?: POST /v1/audio/transcriptions · nvidia/parakeet-tdt-0.6b-v3: model, input_audio, language, temperature, response_format, timestamp_granularities, provider
Қандай шектеулер қолданылады?: POST /v1/audio/transcriptions · nvidia/parakeet-tdt-0.6b-v3: temperature.minimum: 0; temperature.maximum: 1

NVIDIA: Parakeet TDT 0.6B v3