NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 er NVIDIAs flersprogede talegenkendelsesmodel med 600 millioner parametre. Den udvider v2-modellen, som kun understøtter engelsk, til 25 europæiske sprog og registrerer automatisk lydens sprog uden en separat sprogprompt. Resultatet er en transskription af talen med tegnsætning og store bogstaver.

De understøttede sprog er bulgarsk, kroatisk, tjekkisk, dansk, nederlandsk, engelsk, estisk, finsk, fransk, tysk, græsk, ungarsk, italiensk, lettisk, litauisk, maltesisk, polsk, portugisisk, rumænsk, slovakisk, slovensk, spansk, svensk, russisk og ukrainsk. Denne liste gælder v3-udgaven; andre Parakeet-dekodertyper og sprogvarianter er separate modeller.

Arkitekturen kombinerer en FastConformer-encoder med en token-and-duration-transducer-dekoder. Encoderen omdanner det akustiske signal til repræsentationer; dekoderen forudsiger teksttokens sammen med de varigheder, der er nødvendige for at bevæge sig gennem lydrammerne. Denne TDT-adfærd adskiller den fra familiens CTC-dekodere og almindelige RNN-T-dekodere.

Klargør enkanalslyd med en samplingsfrekvens på 16 kHz. Producentens direkte inputformater er WAV og FLAC, og implementeringseksemplerne bruger en processor til at klargøre bølgeformen til genkendelse. Bevar optagelsens identifikator og den oprindelige lyd sammen med den returnerede tekst, så en transskription kan kontrolleres eller justeres i forhold til kilden.

Tidsstempling tilføjer tidsoplysninger til den genkendte tale. NVIDIAs NeMo-eksempel returnerer tidsangivelser for tegn, ord og segmenter, når generering af tidsstempler er aktiveret. En applikation til undertekster eller arkivering kan bruge segmentgrænser til at forbinde en passage med optagelsen eller ordtidsangivelser til at finde en bestemt formulering. Transskriptionen og dens tidsfelter er forskellige dele af resultatet og bør forblive knyttet til hinanden.

Ved lange optagelser er attention-konfigurationen vigtig. Producenten beskriver op til 24 minutter med full attention på en A100 med 80 GB og op til tre timer med local attention. Eksemplet til lange optagelser skifter encoderen til local attention med afgrænset venstre- og højrekontekst. Disse varigheder beskriver bestemte producentkonfigurationer frem for én ubetinget grænse for alle installationer.

Producenten offentliggør også en arbejdsgang med inferens i bidder til streamingbrug. Eksemplet definerer biddernes længde og lydkonteksten til venstre og højre for hver bid. Det er en anden behandlingsopskrift end den native Nemotron-streamingmodel med cacheunderstøttelse. En applikation bør bevare den valgte opskrift og den oprindelige tidsreference, når en optagelses transskription samles på tværs af afsnit.

Træningsblandingen omfatter 10.000 timers mennesketransskriberet tale og 660.000 timers pseudomærkede Granary-data med bevaret tegnsætning og brug af store bogstaver. Producenten understøtter også finjustering af dette udgivne checkpoint på et andet taledatasæt gennem den dokumenterede modelarbejdsgang; det finjusterede checkpoint forbliver adskilt fra grundmodellen v3. Modellens tekstoutput egner sig derfor som tale-til-tekst-trinnet i en større arbejdsgang. Et mødearkiv kan knytte transskriptionen til optagelsen; en søgeapplikation kan indeksere den genkendte passage; et undertekstværktøj kan bruge de returnerede tidsmetadata.

Genkendelseskvaliteten varierer med sprog, accent, støj og taletype. Producenten fremhæver især, at ordforråd, der ikke indgik i træningen, kan blive overset, og at isolerede ord eller ufuldstændige sætninger giver svagere kontekst. Bevar den oprindelige lyd til kontrol af navne og specialiserede udtryk frem for at gøre en usikker genkendelse til en verificeret oplysning.

Det nyttige slutprodukt er transskriptionen med de ønskede tidsoplysninger. Opsummeringer, oversættelser, taleranalyse og handlinger er separate applikationsopgaver og ikke funktioner, som følger af et tale-til-tekst-navn. Hold v3-identiteten og producentens attention-tilstand adskilt fra andre checkpoints og fra konverterede eller kvantiserede udgaver.