NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B er NVIDIAs talegjenkjenningsmodell med 600 millioner parametere for direkte transkripsjon og behandling av lydopptak. Den utvider den engelske strømmingslinjen med betinging gjennom språk-ID. Tale blir til tekst på inndataspråket, med tegnsetting og korrekt bruk av store og små bokstaver innebygd i utdataene.

Produsentens språkdekning har tre nivåer. Nitten transkripsjonsklare lokalvarianter dekker amerikansk og britisk engelsk, spansk fra USA og Spania, fransk fra Frankrike og Canada, italiensk, portugisisk fra Brasil og Portugal, nederlandsk, tysk, tyrkisk, russisk, arabisk, hindi, japansk, koreansk, vietnamesisk og ukrainsk. Tretten lokalvarianter med bred dekning legger til polsk, svensk, tsjekkisk, norsk bokmål, dansk, bulgarsk, finsk, kroatisk, slovakisk, mandarin, ungarsk, rumensk og estisk. Til sammen produserer disse 32 lokalvariantene transkripsjon uten ytterligere finjustering.

Åtte tilpasningsklare lokalvarianter – gresk, litauisk, latvisk, maltesisk, slovensk, hebraisk, thai og norsk nynorsk – gjenkjennes av tokenizeren, men krever domenespesifikk finjustering for å muliggjøre full transkripsjon. Produsentens tall på 40 lokalvarianter er dermed ikke en påstand om at alle førti har den samme funksjonaliteten rett fra start. Et tilpasset kontrollpunkt er et separat artefakt fra basismodellen.

Arkitekturen kombinerer en 24-lags cache-bevisst FastConformer-koder med en RNN-T-dekoder. Den beholder koderens oppmerksomhets- og konvolusjonstilstander fra tidligere rammer og behandler hver nye lydblokk uten å beregne overlappende vinduer på nytt gjentatte ganger. Et språk-ID-signal leveres sammen med den akustiske representasjonen for å betinge transkripsjonen eller la modellen utlede språket.

NVIDIAs NeMo-konfigurasjon dokumenterer blokkstørrelser på 80, 160, 320, 560 og 1120 millisekunder. Oppmerksomhetsinnstillingen styrer hvor mye fremtidig lyd en blokk mottar før tekst sendes ut, slik at en oppgave kan balansere ventetid og akustisk kontekst. Dette er produsentens strømmingskonfigurasjoner, ikke garanterte ende-til-ende-responstider; en implementering kan eksponere sitt eget støttede delutvalg.

Forbered mono WAV-lyd med produsentprosessorens samplingsfrekvens på 16 kHz. Når språket er kjent, bruker du betingingen for den tilsvarende lokalvarianten; automatisk modus oppdager det talte språket. Det grunnleggende pipeline-eksemplet bruker en amerikansk-engelsk ledetekst som standard, så flerspråklig atferd bør konfigureres bevisst fremfor å antas ut fra dette eksemplet.

I automatisk modus kan produsentens arbeidsflyt legge til en språktagg etter transkripsjonens avsluttende tegnsetting. Å beholde taggen gjør språket tilgjengelig for en applikasjon som håndterer trafikk på flere språk; å fjerne den gir ren transkripsjonstekst. Behold skillet mellom de gjenkjente ordene, tegnsettingen og disse språkmetadataene når resultatet vises eller behandles.

En tekstingsapplikasjon kan mate inn lyd i rekkefølge, samle transkripsjonen og bruke fullført tekst til visning eller videre behandling. En taleapplikasjon kan sende gjenkjent tale videre til språkforståelsestrinnet. Ved samtaleanalyse kan originalopptaket og transkripsjonen beholdes samlet, slik at navn, tall og ukjente begreper fortsatt kan undersøkes. ASR-modellen leverer transkripsjonen; oppsummering, handlinger og talegenerering er separate trinn i applikasjonen.

NVIDIA trener modellen på en blanding av offentlige og proprietære taledata med menneskelige og syntetiske etiketter normalisert til tekst med tegnsetting og korrekt bruk av store og små bokstaver. Tilpasningsveiledningen fremhever samsvar mellom språketiketter og tekststil og deretter vurdering av lyd som er holdt utenfor treningen ved den strømmingsinnstillingen som er tenkt brukt. Den beskriver tilpasning til språk, aksent og domene uten å gjøre de tilpassede resultatene til egenskaper ved originalkontrollpunktet.

Modellkortet knytter praktisk opptakslengde til tilgjengelig minne fremfor å publisere én universell varighetsgrense. Hold den flerspråklige utgaven atskilt fra modellen som bare støtter engelsk, og behold valgt språk og strømmingskonfigurasjon sammen med transkripsjonsresultatet. Utdataartefaktet er den gjenkjente teksten, med valgfrie språkmetadata fra produsenten, fremfor et generelt samtalesvar.