NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B er NVIDIAs talegenkendelsesmodel med 600 millioner parametre til live-transskription og behandling af optaget lyd. Den udvider den engelske streamingserie med betingning via sprog-ID. Tale bliver til tekst på inputtets sprog med tegnsætning og brug af store bogstaver indbygget i outputtet.

Producentens sprogdækning har tre niveauer. Nitten transskriptionsklare sprogvarianter dækker amerikansk og britisk engelsk, amerikansk og europæisk spansk fra Spanien, fransk fra Frankrig og Canada, italiensk, portugisisk fra Brasilien og Portugal, nederlandsk, tysk, tyrkisk, russisk, arabisk, hindi, japansk, koreansk, vietnamesisk og ukrainsk. Tretten sprogvarianter med bred dækning tilføjer polsk, svensk, tjekkisk, norsk bokmål, dansk, bulgarsk, finsk, kroatisk, slovakisk, mandarin, ungarsk, rumænsk og estisk. Tilsammen producerer disse 32 sprogvarianter transskription uden yderligere finjustering.

Otte sprogvarianter, som er klar til tilpasning — græsk, litauisk, lettisk, maltesisk, slovensk, hebraisk, thai og norsk nynorsk — genkendes af tokenizeren, men kræver finjustering inden for domænet for at muliggøre fuld transskription. Producentens tal på 40 sprogvarianter er dermed ikke en påstand om, at alle fyrre har samme funktionalitet uden tilpasning. Et tilpasset checkpoint er et separat produkt i forhold til grundmodellen.

Arkitekturen kombinerer en FastConformer-encoder med 24 lag og cacheunderstøttelse med en RNN-T-dekoder. Den bevarer encoderens attention- og konvolutionstilstande fra tidligere rammer og behandler hver ny lydbid uden gentagne gange at genberegne overlappende vinduer. Et sprog-ID-signal leveres sammen med den akustiske repræsentation for at betinge transskriptionen eller lade modellen udlede sproget.

NVIDIAs NeMo-konfiguration dokumenterer bidstørrelser på 80, 160, 320, 560 og 1120 millisekunder. Attention-indstillingen styrer, hvor meget fremtidig lyd en bid modtager, før tekst udsendes, så en opgave kan afveje ventetid og akustisk kontekst. Det er producentens streamingkonfigurationer og ikke garanterede svartider for hele forløbet; en implementering kan stille sin egen understøttede delmængde til rådighed.

Klargør mono-WAV-lyd med producentprocessorens samplingsfrekvens på 16 kHz. Når sproget er kendt, skal du bruge betingningen for den tilsvarende sprogvariant; automatisk tilstand registrerer det talte sprog. Det grundlæggende pipelineeksempel bruger som standard en prompt til amerikansk engelsk, så flersproget adfærd bør konfigureres bevidst frem for at blive antaget ud fra dette eksempel.

I automatisk tilstand kan producentens arbejdsgang tilføje et sprogtag efter transskriptionens afsluttende tegnsætning. Hvis tagget bevares, er sproget tilgængeligt for en applikation, der håndterer trafik på flere sprog; hvis det fjernes, returneres ren transskriptionstekst. Bevar forskellen mellem de genkendte ord, deres tegnsætning og disse sprogmetadata, når resultatet vises eller behandles.

En undertekstapplikation kan sende lyd ind i rækkefølge, samle transskriptionen og bruge færdig tekst til visning eller efterfølgende behandling. En stemmeapplikation kan sende genkendt tale videre til sit trin for sprogforståelse. Ved opkaldsanalyse kan den oprindelige optagelse og transskriptionen bevares sammen, så navne, tal og ukendte udtryk fortsat kan undersøges. ASR-modellen leverer transskriptionen; opsummering, handlinger og talegenerering er separate trin i applikationen.

NVIDIA træner modellen på en blanding af offentlige og proprietære taledata med menneskeskabte og syntetiske labels normaliseret til tekst med tegnsætning og korrekt brug af store og små bogstaver. Tilpasningsvejledningen lægger vægt på at matche sproglabels og tekststil og derefter vurdere særskilt testlyd ved den streamingindstilling, som skal bruges. Den beskriver tilpasning til sprog, accent og domæne uden at gøre disse tilpassede resultater til egenskaber ved det oprindelige checkpoint.

Modelkortet knytter den praktiske optagelseslængde til den tilgængelige hukommelse frem for at offentliggøre ét universelt varighedsloft. Hold den flersprogede udgave adskilt fra modellen, der kun understøtter engelsk, og bevar det valgte sprog og streamingkonfigurationen sammen med transskriptionsresultatet. Slutproduktet er den genkendte tekst med eventuelle sprogmetadata fra producenten frem for et generelt samtalesvar.