NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 is NVIDIA’s meertalige spraakherkenningsmodel met 600 miljoen parameters. Het breidt het uitsluitend Engelstalige v2-model uit naar 25 Europese talen en detecteert automatisch de taal van de audio zonder afzonderlijke taalprompt. Het resultaat is een transcriptie van de spraak, met leestekens en hoofdletters.

De ondersteunde talen zijn Bulgaars, Kroatisch, Tsjechisch, Deens, Nederlands, Engels, Ests, Fins, Frans, Duits, Grieks, Hongaars, Italiaans, Lets, Litouws, Maltees, Pools, Portugees, Roemeens, Slowaaks, Sloveens, Spaans, Zweeds, Russisch en Oekraïens. Deze lijst hoort bij de v3-editie; andere Parakeet-decodertypes en taalvarianten zijn afzonderlijke modellen.

De architectuur combineert een FastConformer-encoder met een token-and-duration-transducerdecoder. De encoder zet het akoestische signaal om in representaties; de decoder voorspelt teksttokens samen met de tijdsduren die nodig zijn om door de audioframes te gaan. Dit TDT-gedrag onderscheidt het model van de CTC-decoders en gewone RNN-T-decoders uit de familie.

Bereid eenkanaalsaudio voor met een samplefrequentie van 16 kHz. De directe invoerformaten van de maker zijn WAV en FLAC, en de implementatievoorbeelden gebruiken een processor om de golfvorm voor herkenning voor te bereiden. Bewaar de identificatie van de opname en de oorspronkelijke audio bij de teruggegeven tekst, zodat u de transcriptie kunt controleren of met de bron kunt uitlijnen.

Tijdstempels voegen tijdsinformatie aan de herkende spraak toe. Het NeMo-voorbeeld van NVIDIA geeft tijdsaanduidingen per teken, woord en segment terug wanneer het genereren van tijdstempels is ingeschakeld. Een ondertitelings- of archiefapplicatie kan segmentgrenzen gebruiken om een tekstfragment aan de opname te koppelen, of woordtijdstempels om een bepaalde formulering terug te vinden. De transcriptie en haar tijdsvelden zijn verschillende onderdelen van het resultaat en moeten verbonden blijven.

Voor lange opnames is de attention-configuratie van belang. De maker beschrijft tot 24 minuten met full attention op een A100 van 80 GB en tot drie uur met local attention. Het voorbeeld voor lange opnames schakelt de encoder over op local attention met afgebakende linker- en rechtercontext. Die tijdsduren beschrijven specifieke producentconfiguraties, geen onvoorwaardelijke limiet voor elke deployment.

De fabrikant publiceert ook een workflow voor chunked inference bij streaminggebruik. Het voorbeeld bepaalt de bloklengte en de linker- en rechteraudiocontext rond elk blok. Dit is een ander verwerkingsrecept dan het native Nemotron-streamingmodel dat rekening houdt met de cache. Een applicatie moet het gekozen recept en de oorspronkelijke tijdsreferentie bewaren wanneer zij de transcriptie van een opname over verschillende delen verzamelt.

De trainingsmix omvat 10.000 uur door mensen getranscribeerde spraak en 660.000 uur Granary-data met pseudolabels, met behoud van leestekens en hoofdletters. De producent ondersteunt ook het fine-tunen van dit vrijgegeven checkpoint op een andere spraakdataset via de gedocumenteerde modelworkflow; het aangepaste checkpoint blijft afzonderlijk van het oorspronkelijke v3-model. De tekstuitvoer van het model is dus geschikt als spraak-naar-tekststap in een grotere workflow. Een vergaderarchief kan de transcriptie bij de opname voegen; een zoekapplicatie kan het herkende tekstfragment indexeren; een ondertitelingstool kan de teruggegeven tijdsmetadata gebruiken.

De herkenningskwaliteit varieert naargelang taal, accent, ruis en het soort spraak. De producent merkt specifiek op dat woordenschat die tijdens de training niet aan bod kwam, gemist kan worden en dat losse woorden of onvolledige zinnen minder context bieden. Bewaar de oorspronkelijke audio om namen en vaktermen te controleren, zodat onzekere herkenning geen geverifieerd feit wordt.

Het bruikbare resultaat is de transcriptie met de gevraagde tijdsinformatie. Samenvattingen, vertalingen, sprekeranalyse en acties zijn afzonderlijke applicatietaken, geen functies die uit de naam spraak-naar-tekst volgen. Houd de v3-identiteit en de attention-modus van de producent gescheiden van andere checkpoints en van geconverteerde of gekwantiseerde resultaten.