NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B
Nemotron 3.5 ASR Streaming Multilingual 0.6B spoločnosti NVIDIA prepisuje reč do textu s interpunkciou pomocou streamovacieho enkódera využívajúceho vyrovnávaciu pamäť. Podporuje explicitné jazykové podmienenie alebo automatickú detekciu jazyka, s 32 jazykovými variantmi pripravenými na prepis a ôsmimi vyžadujúcimi adaptáciu.
O modeli
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
Nemotron 3.5 ASR Streaming Multilingual 0.6B je model rozpoznávania reči spoločnosti NVIDIA so 600 miliónmi parametrov pre živý prepis a spracovanie nahratého zvuku. Rozširuje anglickú streamovaciu líniu o podmienenie identifikátorom jazyka. Reč sa mení na text v jazyku vstupu, s interpunkciou a veľkými písmenami zabudovanými do výstupu.
Jazykové pokrytie výrobcu má tri úrovne. Devätnásť jazykových variantov pripravených na prepis pokrýva americkú a britskú angličtinu, americkú a španielsku španielčinu, francúzsku a kanadskú francúzštinu, taliančinu, brazílsku a portugalskú portugalčinu, holandčinu, nemčinu, turečtinu, ruštinu, arabčinu, hindčinu, japončinu, kórejčinu, vietnamčinu a ukrajinčinu. Trinásť jazykových variantov so širokým pokrytím pridáva poľštinu, švédčinu, češtinu, nórsky bokmål, dánčinu, bulharčinu, fínčinu, chorvátčinu, slovenčinu, mandarínčinu, maďarčinu, rumunčinu a estónčinu. Spolu týchto 32 jazykových variantov vytvára prepis bez dodatočného doladenia.
Osem jazykových variantov pripravených na adaptáciu — gréčtina, litovčina, lotyština, maltčina, slovinčina, hebrejčina, thajčina a nórsky nynorsk — tokenizér rozpoznáva, ale na plný prepis potrebujú doladenie v príslušnej doméne. Údaj výrobcu o 40 jazykových variantoch preto neznamená, že všetkých štyridsať má rovnaké schopnosti ihneď po nasadení. Prispôsobený checkpoint je samostatný artefakt odlišný od základného modelu.
Architektúra kombinuje 24-vrstvový enkóder FastConformer využívajúci vyrovnávaciu pamäť s dekodérom RNN-T. Uchováva stavy pozornosti a konvolúcie enkódera zo skorších rámcov a spracúva každý nový zvukový blok bez opakovaného prepočítavania prekrývajúcich sa okien. Spolu s akustickou reprezentáciou sa dodáva signál identifikátora jazyka na podmienenie prepisu alebo umožnenie modelu odvodiť jazyk.
Konfigurácia NVIDIA NeMo dokumentuje veľkosti blokov 80, 160, 320, 560 a 1120 milisekúnd. Nastavenie pozornosti riadi, koľko budúceho zvuku blok dostane pred vyslaním textu, čo úlohe umožňuje vyvážiť čakaciu dobu a akustický kontext. Ide o streamovacie konfigurácie výrobcu, nie zaručené časy odpovede od začiatku po koniec; implementácia môže sprístupniť vlastnú podporovanú podmnožinu.
Pripravte monofónny zvuk WAV pri vzorkovacej frekvencii procesora výrobcu 16 kHz. Keď je jazyk známy, použite príslušné podmienenie podľa jazykového variantu; automatický režim zisťuje hovorený jazyk. Základný príklad pipeline predvolene používa prompt pre americkú angličtinu, preto sa viacjazyčné správanie má konfigurovať zámerne namiesto predpokladania na základe tohto príkladu.
V automatickom režime môže pracovný postup výrobcu pripojiť jazykovú značku za koncovú interpunkciu prepisu. Zachovanie značky sprístupňuje jazyk aplikácii spracúvajúcej viacjazyčnú prevádzku; jej odstránenie vracia čistý text prepisu. Pri zobrazovaní alebo spracovaní výsledku zachovajte rozdiel medzi rozpoznanými slovami, ich interpunkciou a týmito jazykovými metadátami.
Titulkovacia aplikácia môže dodávať zvuk v poradí, zhromažďovať prepis a použiť dokončený text na zobrazenie alebo následné spracovanie. Hlasová aplikácia môže posunúť rozpoznanú reč do svojej fázy porozumenia jazyku. Pri analýze hovorov možno uchovať pôvodnú nahrávku a prepis spoločne, aby sa mená, čísla a neznáme termíny dali kontrolovať. Model ASR dodáva prepis; sumarizácia, operácie a generovanie reči sú samostatné fázy aplikácie.
NVIDIA trénuje model na zmesi verejných a vlastných rečových dát s ľudskými a syntetickými anotáciami normalizovanými na text s interpunkciou a správnou veľkosťou písmen. Jej adaptačná príručka zdôrazňuje zhodu jazykových označení a textového štýlu a následné posúdenie zvukových dát vyčlenených na hodnotenie pri streamovacom nastavení zamýšľanom na použitie. Opisuje adaptáciu jazyka, prízvuku a domény bez prisudzovania týchto prispôsobených výsledkov pôvodnému checkpointu.
Karta modelu viaže praktickú dĺžku nahrávky na dostupnú pamäť namiesto zverejnenia jedného univerzálneho časového stropu. Viacjazyčnú edíciu odlišujte od modelu určeného iba pre angličtinu a vybraný jazyk a streamovaciu konfiguráciu uchovajte spolu s výsledkom prepisu. Výstupným artefaktom je rozpoznaný text s voliteľnými jazykovými metadátami výrobcu, nie všeobecná konverzačná odpoveď.
Ailoot Ultra · Prepis zvuku POST /v1/audio/transcriptions nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
nvidia/nemotron-3.5-asr-streaming-multilingual-0.6bÚvod
Nemotron 3.5 ASR Streaming Multilingual 0.6B spoločnosti NVIDIA prepisuje reč do textu s interpunkciou pomocou streamovacieho enkódera využívajúceho vyrovnávaciu pamäť. Podporuje explicitné jazykové podmienenie alebo automatickú detekciu jazyka, s 32 jazykovými variantmi pripravenými na prepis a ôsmimi vyžadujúcimi adaptáciu.
- Povolené vstupy
- Audio
- Výsledky
- Text
Dostupné v Ailoot · vstupy a metódy
Ailoot Ultra · Prepis zvuku POST /v1/audio/transcriptions
- Vstup
audio- Výstup
text
| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b | Predvolené— |
Poleinput_audio | Typobject | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
Polelanguage | Typstring | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Poletemperature | Typnumber | PožiadavkaVoliteľné | Hodnoty a limity Minimum: 0 Maximum: 1 | Predvolené— |
Poleresponse_format | Typstring | PožiadavkaVoliteľné | Hodnoty a limity json, verbose_json | Predvolenéjson |
Poletimestamp_granularities | Typarray | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Parametre a životný cyklus metódy
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input_audio |
Parametermaterial_types | Špecifikáciaaudio |
Parametermaterial_conditions | ŠpecifikáciaNačítajte skutočný súbor WAV a zakódujte jeho reálne bajty pre deklarovaný vstup JSON input_audio; pre túto presnú deklaráciu iba s JSON sa neuvádza žiadna trasa multipart. |
Životný cyklus: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · skutočne vrátené task_id alebo záznam v knižnici médií
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Cenník
Ako sa vypočíta konečný poplatok
Zobrazené sadzby slúžia na odhad nákladov pred generovaním. Konečný poplatok sa vypočíta z nákladov zaznamenaných pri pôvodnom generovaní. Namerané trvanie výstupu a predpokladané množstvá nepredstavujú konečné účtované množstvo.
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
- Rýchly režim
- Neuvedené Keď je zvolený rýchly režim
- Režim Flex
- Neuvedené Keď je zvolený režim flex
- Maximálna úroveň uvažovania
- Neuvedené Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)
Odhadované sadzby na porovnanie
Ceny podľa konfigurácie
Každý poplatok priraďte k zobrazeným podmienkam. Pre každú skupinu alternatívnych konfigurácií použite jednu sadzbu.
| Konfigurácia | Sadzobník | Odhadované množstvo | Účtovacia jednotka | Poplatok |
|---|---|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Odhadované množstvo— | Účtovacia jednotka— | Poplatok Vstup · Vstupné tokeny · Odhad iba na porovnanie — / 1K tokenov Výstup · Výstupné tokeny · Odhad iba na porovnanie — / 1K tokenov Vstup · Čítanie cache · Odhad iba na porovnanie — / 1K tokenov Vstup · Zápis do cache · Odhad iba na porovnanie — / 1K tokenov Vstup · Zápis do cache, 1 hod · Odhad iba na porovnanie — / 1K tokenov |
| Konfiguráciasekunda vstupného zvuku | Sadzobník— | Odhadované množstvo— | Účtovacia jednotkaza sekundu vstupného audia | Poplatok Vstup · sekunda vstupného zvuku · Odhad iba na porovnanie $0.00000666 za sekundu vstupného audia |
| KonfiguráciaOdhadované náklady na generovanie | Sadzobník— | Odhadované množstvoodhad pre jedno generovanie | Účtovacia jednotka— | Poplatok Výstup · Odhadované náklady na generovanie · Odhad iba na porovnanie $0.00000666 odhad pred generovaním Tento odhad nepredstavuje dodatočný poplatok ani pevnú sadzbu za dokončené generovanie. |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
Príklady požiadaviek
Ailoot Ultra · Prepis zvuku
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.
Prijať a uložiť výsledky
Ailoot Ultra · Prepis zvuku
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Čítanie ďalšieho obsahu
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.
Uchovať všetky dokončené výsledky
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Uchovajte úplnú odpoveď a hlavičky, všetky skutočné výstupy, pôvodné vrátené identifikátory a všetky polia s údajmi o spotrebe. Obnovte pôvodnú operáciu bez opätovného odoslania požiadavky na vytvorenie.
Ak treba overiť pôvodnú odpoveď
Uchovajte vrátené X-Client-Request-ID na zosúladenie záznamov. Čítajte iba skutočne vrátené hodnoty task_id/asset_id alebo vlastnú knižnicu médií; nikdy nevytvárajte URL úlohy z ID operácie a nikdy znova neodosielajte požiadavku na vytvorenie.
Polia odpovede
| Pole | Typ |
|---|---|
Poletext | Typ |
Poleusage | Typ |
Polesegments[] | Typ |
Polewords[] | Typ |
Polespeaker fields | Typ |
Poletimestamps | Typ |
Aliasy
Aliasy modelov
Ailoot Ultra nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
Aliasy ciest metód
Použite cesty metód uvedené vyššie.
Súvisiace ID na volanie
FAQ · NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B
- Aké vstupy a výsledky sú dostupné?
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:audio→text- Aké polia používa požiadavka?
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:model,input_audio,language,temperature,response_format,timestamp_granularities,provider- Aké limity platia?
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:temperature.minimum:0;temperature.maximum:1