NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B
NVIDIA Nemotron 3.5 ASR Streaming Multilingual 0.6B transkribuoja kalbą į tekstą su skyryba, naudodamas podėlio būseną išsaugantį srautinį koduotuvą. Jis palaiko aiškų kalbos nustatymą arba automatinį aptikimą; 32 lokalės parengtos transkribavimui, o aštuonioms reikia pritaikymo.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Nemotron 3.5 ASR Streaming Multilingual 0.6B – NVIDIA kalbos atpažinimo modelis, turintis 600 milijonų parametrų ir skirtas tiesioginiam transkribavimui bei įrašyto garso apdorojimui. Jis išplečia anglišką srautinių modelių liniją kalbos identifikatoriumi sąlygojamu veikimu. Kalba tampa tekstu ta pačia įvesties kalba, o skyryba ir didžiosios raidės įtraukiamos į išvestį.
Gamintojo kalbų aprėptis turi tris lygius. Devyniolika transkribavimui parengtų lokalių apima JAV ir JK anglų, JAV ir Ispanijos ispanų, Prancūzijos ir Kanados prancūzų, italų, Brazilijos ir Portugalijos portugalų, olandų, vokiečių, turkų, rusų, arabų, hindi, japonų, korėjiečių, vietnamiečių ir ukrainiečių kalbas. Trylika plačios aprėpties lokalių prideda lenkų, švedų, čekų, norvegų bokmål, danų, bulgarų, suomių, kroatų, slovakų, mandarinų kinų, vengrų, rumunų ir estų kalbas. Kartu šios 32 lokalės transkribuoja be papildomo mokymo.
Aštuonias pritaikymui parengtas lokales – graikų, lietuvių, latvių, maltiečių, slovėnų, hebrajų, tajų ir norvegų nynorsk – atpažįsta žetonizatorius, tačiau visaverčiam transkribavimui įjungti reikia papildomo mokymo su atitinkamos srities duomenimis. Todėl gamintojo nurodytas 40 lokalių skaičius nereiškia, kad visos keturiasdešimt turi vienodas pradines galimybes. Pritaikytas kontrolinis taškas yra atskiras artefaktas nuo bazinio modelio.
Architektūra sujungia 24 sluoksnių, podėlio būseną išsaugantį FastConformer koduotuvą su RNN-T dekoderiu. Ji išlaiko koduotuvo dėmesio ir konvoliucijos būsenas iš ankstesnių kadrų ir apdoroja kiekvieną naują garso dalį pakartotinai neperskaičiuodama persidengiančių langų. Kalbos identifikatoriaus signalas pateikiamas kartu su akustine reprezentacija, kad sąlygotų transkripciją arba leistų modeliui nustatyti kalbą.
NVIDIA NeMo konfigūracijoje dokumentuoti 80, 160, 320, 560 ir 1120 milisekundžių dalių dydžiai. Dėmesio nustatymas valdo, kiek būsimo garso dalis gauna prieš pateikiant tekstą, todėl užduotyje galima derinti laukimo laiką ir akustinį kontekstą. Tai gamintojo srautinio apdorojimo konfigūracijos, o ne garantuotas atsakymo laikas nuo pradžios iki pabaigos; konkretus įgyvendinimas gali pateikti tik savo palaikomą jų poaibį.
Paruoškite vieno kanalo WAV garsą gamintojo procesoriaus 16 kHz diskretizavimo dažniu. Kai kalba žinoma, naudokite atitinkamos lokalės sąlygojimą; automatinis režimas aptinka šnekamąją kalbą. Pagrindiniame apdorojimo grandinės pavyzdyje pagal numatytąsias nuostatas naudojama JAV anglų kalbos užuomina, todėl daugiakalbį veikimą reikia sąmoningai sukonfigūruoti, o ne numanyti pagal tą pavyzdį.
Automatiniu režimu gamintojo darbo eiga gali pridėti kalbos žymą po transkripcijos pabaigos skyrybos ženklo. Išsaugojus žymą, kalba tampa prieinama programai, apdorojančiai mišrių kalbų srautą; ją pašalinus grąžinamas švarus transkripcijos tekstas. Rodant ar apdorojant rezultatą, išlaikykite skirtį tarp atpažintų žodžių, jų skyrybos ir šių kalbos metaduomenų.
Subtitravimo programa gali tiekti garsą iš eilės, rinkti transkripciją ir užbaigtą tekstą naudoti rodymui arba paskesniam apdorojimui. Balso programa gali atpažintą kalbą perduoti savo kalbos supratimo etapui. Skambučių analizėje pirminį įrašą ir transkripciją galima išlaikyti kartu, kad vardai, skaičiai bei nepažįstami terminai liktų patikrinami. ASR modelis pateikia transkripciją; apibendrinimas, veiksmai ir kalbos generavimas yra atskiri programos etapai.
NVIDIA moko modelį naudodama viešų ir nuosavų kalbos duomenų mišinį su žmonių bei sintetinėmis žymomis, normalizuotomis į tekstą su skyryba ir tinkamu didžiųjų bei mažųjų raidžių vartojimu. Jo pritaikymo vadove pabrėžiamas kalbos žymų ir teksto stiliaus atitikimas, o tada – mokymui nenaudoto garso vertinimas numatytu srautinio apdorojimo nustatymu. Jame aprašomas pritaikymas kalbai, akcentui ir sričiai, nepriskiriant šių pritaikytų rezultatų pirminio kontrolinio taško savybėms.
Modelio kortelė praktinę įrašo trukmę sieja su turima atmintimi, užuot skelbusi vieną universalią trukmės ribą. Daugiakalbę versiją laikykite atskirai nuo tik anglų kalbai skirto modelio ir išsaugokite pasirinktą kalbą bei srautinio apdorojimo konfigūraciją kartu su transkripcijos rezultatu. Išvesties artefaktas yra atpažintas tekstas su pasirenkamais gamintojo kalbos metaduomenimis, o ne bendras pokalbio atsakymas.
Ailoot Ultra · Transkribavimas POST /v1/audio/transcriptions nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
nvidia/nemotron-3.5-asr-streaming-multilingual-0.6bPradžia
NVIDIA Nemotron 3.5 ASR Streaming Multilingual 0.6B transkribuoja kalbą į tekstą su skyryba, naudodamas podėlio būseną išsaugantį srautinį koduotuvą. Jis palaiko aiškų kalbos nustatymą arba automatinį aptikimą; 32 lokalės parengtos transkribavimui, o aštuonioms reikia pritaikymo.
- Leidžiamos įvestys
- Garsas
- Rezultatai
- Tekstas
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Transkribavimas POST /v1/audio/transcriptions
- Įvestis
audio- Išvestis
text
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b | Numatyta— |
Laukasinput_audio | Tipasobject | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukaslanguage | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastemperature | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 0 Didžiausia reikšmė: 1 | Numatyta— |
Laukasresponse_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos json, verbose_json | Numatytajson |
Laukastimestamp_granularities | Tipasarray | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input_audio |
Parametrasmaterial_types | Specifikacijaaudio |
Parametrasmaterial_conditions | SpecifikacijaNuskaitykite tikrą WAV failą ir užkoduokite tikruosius jo baitus deklaruotai JSON input_audio įvesčiai; šiai tiksliai vien JSON skirtai deklaracijai multipart maršrutas nesiūlomas. |
Gyvavimo ciklas: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · faktiškai grąžinta task_id reikšmė arba medijos bibliotekos įrašas
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Planai
Kaip apskaičiuojamas galutinis mokestis
Rodomi įkainiai leidžia įvertinti kainą prieš generavimą. Galutinė suma apskaičiuojama pagal užfiksuotą pradinio generavimo kainą. Išmatuota rezultato trukmė ir prognozuoti kiekiai nėra galutinis apmokestinamas kiekis.
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Nenurodyta Pasirinkus spartųjį režimą
- Flex režimas
- Nenurodyta Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Nenurodyta Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Numatomi įkainiai palyginimui
Kainos pagal konfigūraciją
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Numatomas kiekis | Apskaitos vienetas | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Numatomas kiekis— | Apskaitos vienetas— | Mokestis Įvestis · Įvesties tokenai · Įvertis tik palyginimui — / 1K tokenų Išvestis · Išvesties tokenai · Įvertis tik palyginimui — / 1K tokenų Įvestis · Talpyklos skaitymas · Įvertis tik palyginimui — / 1K tokenų Įvestis · Rašymas į talpyklą · Įvertis tik palyginimui — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val · Įvertis tik palyginimui — / 1K tokenų |
| Konfigūracijaįvesties garso sekundė | Įkainių lentelė— | Numatomas kiekis— | Apskaitos vienetasuž įvesties garso sekundę | Mokestis Įvestis · įvesties garso sekundė · Įvertis tik palyginimui $0.00000666 už įvesties garso sekundę |
| KonfigūracijaNumatoma generavimo kaina | Įkainių lentelė— | Numatomas kiekisvieno generavimo įvertis | Apskaitos vienetas— | Mokestis Išvestis · Numatoma generavimo kaina · Įvertis tik palyginimui $0.00000666 įvertis prieš generavimą Šis įvertis nėra papildomas mokestis ar fiksuotas užbaigto generavimo įkainis. |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Transkribavimas
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Transkribavimas
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Kito turinio skaitymas
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visą atsakymą ir antraštes, visus faktiškai gautus rezultatus, pradinius grąžintus identifikatorius ir visus naudojimo apskaitos laukus. Atkurkite prieigą prie pradinės operacijos pakartotinai neteikdami kūrimo užklausos.
Jei reikia patikrinti pradinį atsakymą
Išsaugokite grąžintą X-Client-Request-ID duomenims sutikrinti. Tikrinkite tik faktiškai grąžintas task_id/asset_id reikšmes arba jums priklausančią medijos biblioteką; niekada nekurkite užduoties URL iš operacijos ID ir niekada pakartotinai neteikite kūrimo užklausos.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukastext | Tipas |
Laukasusage | Tipas |
Laukassegments[] | Tipas |
Laukaswords[] | Tipas |
Laukasspeaker fields | Tipas |
Laukastimestamps | Tipas |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B
- Kokios įvestys ir rezultatai prieinami?
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:audio→text- Kokius laukus naudoja užklausa?
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:model,input_audio,language,temperature,response_format,timestamp_granularities,provider- Kokie apribojimai taikomi?
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:temperature.minimum:0;temperature.maximum:1