NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 er NVIDIAs flerspråklige talegjenkjenningsmodell med 600 millioner parametere. Den utvider v2-modellen, som bare støtter engelsk, til 25 europeiske språk og oppdager automatisk språket i lyden uten en separat språkledetekst. Resultatet er en transkripsjon av talen, med tegnsetting og korrekt bruk av store og små bokstaver.

De støttede språkene er bulgarsk, kroatisk, tsjekkisk, dansk, nederlandsk, engelsk, estisk, finsk, fransk, tysk, gresk, ungarsk, italiensk, latvisk, litauisk, maltesisk, polsk, portugisisk, rumensk, slovakisk, slovensk, spansk, svensk, russisk og ukrainsk. Denne listen tilhører v3-utgaven; andre Parakeet-dekodertyper og språkvarianter er separate modeller.

Arkitekturen kombinerer en FastConformer-koder med en transduserdekoder for token og varighet. Koderen gjør det akustiske signalet om til representasjoner; dekoderen predikerer teksttokener sammen med varighetene som trengs for å gå videre gjennom lydrammene. Denne TDT-atferden skiller den fra familiens CTC- og vanlige RNN-T-dekodere.

Forbered enkanalslyd med en samplingsfrekvens på 16 kHz. Produsentens direkte inndataformater er WAV og FLAC, og implementeringseksemplene bruker en prosessor til å klargjøre bølgeformen for gjenkjenning. Behold opptaksidentifikatoren og originallyden sammen med den returnerte teksten, slik at transkripsjonen kan kontrolleres eller justeres mot kilden.

Tidsstempling legger til tidsinformasjon i den gjenkjente talen. NVIDIAs NeMo-eksempel returnerer tider for tegn, ord og segmenter når generering av tidsstempler er aktivert. En tekstings- eller arkivapplikasjon kan bruke segmentgrenser til å knytte et utdrag til opptaket, eller ordtider til å finne en bestemt frase. Transkripsjonen og tidsfeltene er forskjellige deler av resultatet og bør forbli knyttet sammen.

For lange opptak er oppmerksomhetskonfigurasjonen viktig. Produsenten beskriver opptil 24 minutter med full oppmerksomhet på en A100 med 80 GB, og opptil tre timer med lokal oppmerksomhet. Langformeksemplet bytter koderen til lokal oppmerksomhet med avgrenset venstre- og høyrekontekst. Disse varighetene beskriver bestemte produsentkonfigurasjoner, fremfor én ubetinget grense for alle utrullinger.

Produsenten publiserer også en arbeidsflyt for inferens i blokker til strømmingsbruk. Eksemplet definerer blokklengde og venstre og høyre lydkontekst rundt hver blokk. Dette er en annen behandlingsoppskrift enn Nemotron-strømmingsmodellen med innebygd støtte for hurtigbuffer. En applikasjon bør beholde den valgte oppskriften og den opprinnelige tidsreferansen når den samler transkripsjonen av et opptak på tvers av deler.

Treningsblandingen omfatter 10 000 timer mennesketranskribert tale og 660 000 timer pseudomerkede Granary-data, med tegnsetting og korrekt bruk av store og små bokstaver bevart. Produsenten støtter også finjustering av dette publiserte kontrollpunktet på et annet taledatasett gjennom den dokumenterte modellarbeidsflyten; det justerte kontrollpunktet forblir atskilt fra v3-basismodellen. Modellens tekstutdata egner seg derfor som tale-til-tekst-trinn i en større arbeidsflyt. Et møtearkiv kan knytte transkripsjonen til opptaket; en søkeapplikasjon kan indeksere det gjenkjente utdraget; et tekstingsverktøy kan bruke de returnerte tidsmetadataene.

Gjenkjenningskvaliteten varierer med språk, aksent, støy og type tale. Produsenten påpeker spesielt at ordforråd som ikke er representert under treningen, kan overses, og at enkeltord eller ufullstendige setninger gir svakere kontekst. Behold originallyden for gjennomgang av navn og faguttrykk, fremfor å gjøre en usikker gjenkjenning til et bekreftet faktum.

Det nyttige artefaktet er transkripsjonen med den forespurte tidsinformasjonen. Sammendrag, oversettelser, taleranalyse og handlinger er separate applikasjonsoppgaver, ikke funksjoner som følger av et tale-til-tekst-navn. Hold v3-identiteten og produsentens oppmerksomhetsmodus atskilt fra andre kontrollpunkter og fra konverterte eller kvantiserte artefakter.