NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 is het meertalige spraakherkenningsmodel van NVIDIA met 600 miljoen parameters. Het breidt het uitsluitend Engelstalige v2-model uit naar 25 Europese talen en detecteert de taal van de audio automatisch, zonder een afzonderlijke taalprompt. Het resultaat is een transcriptie van de spraak, met interpunctie en hoofdlettergebruik.

De ondersteunde talen zijn Bulgaars, Kroatisch, Tsjechisch, Deens, Nederlands, Engels, Estisch, Fins, Frans, Duits, Grieks, Hongaars, Italiaans, Lets, Litouws, Maltees, Pools, Portugees, Roemeens, Slowaaks, Sloveens, Spaans, Zweeds, Russisch en Oekraïens. Deze lijst hoort bij de v3-editie; andere Parakeet-decodertypen en taalvarianten zijn afzonderlijke modellen.

De architectuur combineert een FastConformer-encoder met een token-and-duration-transducerdecoder. De encoder zet het akoestische signaal om in representaties; de decoder voorspelt teksttokens samen met de tijdsduren die nodig zijn om door de audioframes te gaan. Dit TDT-gedrag onderscheidt het model van de CTC- en gewone RNN-T-decoders uit de familie.

Bereid eenkanaalsaudio voor met een samplefrequentie van 16 kHz. De directe invoerformaten van de maker zijn WAV en FLAC, en de implementatievoorbeelden gebruiken een processor om de golfvorm voor herkenning voor te bereiden. Bewaar de opname-identifier en de oorspronkelijke audio bij de teruggegeven tekst, zodat een transcriptie kan worden gecontroleerd of met de bron kan worden uitgelijnd.

Tijdstempels voegen tijdsinformatie toe aan de herkende spraak. Het NeMo-voorbeeld van NVIDIA geeft tijdsaanduidingen per teken, woord en segment terug wanneer het genereren van tijdstempels is ingeschakeld. Een ondertitelings- of archiefapplicatie kan segmentgrenzen gebruiken om een passage aan de opname te koppelen, of woordtijdstempels om een bepaalde frase te vinden. De transcriptie en de bijbehorende tijdsvelden zijn verschillende onderdelen van het resultaat en moeten gekoppeld blijven.

Voor lange opnamen is de attention-configuratie van belang. De maker beschrijft maximaal 24 minuten met full attention op een A100 van 80 GB en maximaal drie uur met local attention. Het voorbeeld voor lange audio schakelt de encoder over op local attention met begrensde linker- en rechtercontext. Deze tijdsduren beschrijven specifieke configuraties van de fabrikant, in plaats van één onvoorwaardelijke limiet voor elke deployment.

De fabrikant publiceert ook een workflow voor inferentie in blokken voor streaminggebruik. Het voorbeeld definieert de bloklengte en de audio-context links en rechts van elk blok. Dit is een ander verwerkingsrecept dan het native Nemotron-streamingmodel dat rekening houdt met gecachte toestand. Een applicatie moet het gekozen recept en de oorspronkelijke tijdsreferentie behouden wanneer zij de transcriptie van een opname over meerdere delen verzamelt.

De trainingsmix bevat 10.000 uur door mensen getranscribeerde spraak en 660.000 uur Granary-data met pseudolabels, met behoud van interpunctie en hoofdlettergebruik. De fabrikant ondersteunt ook fine-tuning van dit vrijgegeven checkpoint op een andere spraakdataset via de gedocumenteerde modelworkflow; het aangepaste checkpoint blijft afzonderlijk van het v3-basismodel. De tekstuitvoer van het model is daardoor geschikt als de spraak-naar-tekstfase van een grotere workflow. Een vergaderarchief kan de transcriptie aan de opname koppelen; een zoekapplicatie kan de herkende passage indexeren; een ondertitelingstool kan de teruggegeven tijdsmetadata gebruiken.

De herkenningskwaliteit varieert met taal, accent, ruis en het soort spraak. De fabrikant merkt specifiek op dat woorden die niet in de training vertegenwoordigd waren kunnen worden gemist en dat losse woorden of onvolledige zinnen minder context bieden. Bewaar de oorspronkelijke audio om namen en specialistische termen te controleren, in plaats van een onzekere herkenning tot een geverifieerd feit te maken.

Het bruikbare artefact is de transcriptie met de gevraagde tijdsinformatie. Samenvattingen, vertalingen, sprekeranalyse en acties zijn afzonderlijke applicatietaken, geen eigenschappen die uit de naam spraak-naar-tekst volgen. Houd de v3-identiteit en de attention-modus van de fabrikant gescheiden van andere checkpoints en van geconverteerde of gekwantiseerde artefacten.