NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 är NVIDIAs flerspråkiga taligenkänningsmodell med 600 miljoner parametrar. Den utökar v2-modellen, som enbart stöder engelska, till 25 europeiska språk och identifierar automatiskt språket i ljudet utan en separat språkprompt. Resultatet är en transkription av talet med skiljetecken samt stor och liten bokstav.

De språk som stöds är bulgariska, kroatiska, tjeckiska, danska, nederländska, engelska, estniska, finska, franska, tyska, grekiska, ungerska, italienska, lettiska, litauiska, maltesiska, polska, portugisiska, rumänska, slovakiska, slovenska, spanska, svenska, ryska och ukrainska. Listan hör till v3-utgåvan; andra typer av Parakeet-avkodare och språkvarianter är separata modeller.

Arkitekturen kombinerar en FastConformer-kodare med en transducer-avkodare för token och varaktighet. Kodaren omvandlar den akustiska signalen till representationer; avkodaren förutsäger texttoken tillsammans med de varaktigheter som behövs för att gå vidare genom ljudramarna. Detta TDT-beteende skiljer den från familjens CTC-avkodare och vanliga RNN-T-avkodare.

Förbered enkanaligt ljud med samplingsfrekvensen 16 kHz. Tillverkarens direkta indataformat är WAV och FLAC, och implementationsexemplen använder en processor för att förbereda vågformen för igenkänning. Behåll inspelningens identifierare och originalljudet tillsammans med den returnerade texten, så att transkriptionen kan kontrolleras eller tidsanpassas till källan.

Tidsstämpling lägger till tidsinformation till det igenkända talet. NVIDIAs NeMo-exempel returnerar tider för tecken, ord och segment när generering av tidsstämplar är aktiverad. En undertextnings- eller arkivapplikation kan använda segmentgränser för att koppla ett stycke till inspelningen, eller ordtider för att hitta en viss fras. Transkriptionen och dess tidsfält är olika delar av resultatet och bör förbli kopplade till varandra.

För långa inspelningar spelar konfigurationen av uppmärksamhet roll. Tillverkaren beskriver upp till 24 minuter med full uppmärksamhet på en A100 med 80 GB, och upp till tre timmar med lokal uppmärksamhet. Exemplet för långa inspelningar ställer om kodaren till lokal uppmärksamhet med avgränsad vänster- och högerkontext. Dessa längder beskriver specifika konfigurationer från tillverkaren, snarare än en ovillkorlig gräns för varje driftsättning.

Tillverkaren publicerar även ett arbetsflöde med blockvis inferens för strömningsanvändning. Exemplet definierar blocklängd samt vänster och höger ljudkontext runt varje block. Detta är ett annat bearbetningsförfarande än den inbyggda cachemedvetna Nemotron-strömningsmodellen. En applikation bör bevara det valda förfarandet och den ursprungliga tidsreferensen när den samlar en inspelnings transkription över flera avsnitt.

Träningsblandningen omfattar 10 000 timmar tal som transkriberats av människor och 660 000 timmar pseudomärkta Granary-data, med skiljetecken samt stor och liten bokstav bevarade. Tillverkaren stöder även finjustering av denna publicerade checkpoint på en annan taldatamängd genom sitt dokumenterade modellarbetsflöde; den finjusterade checkpointen förblir åtskild från v3-basmodellen. Modellens textutdata lämpar sig därför som tal-till-text-steget i ett större arbetsflöde. Ett mötesarkiv kan koppla transkriptionen till inspelningen; en sökapplikation kan indexera det igenkända stycket; ett undertextningsverktyg kan använda returnerade tidsmetadata.

Igenkänningens kvalitet varierar med språk, accent, brus och typ av tal. Tillverkaren påpekar särskilt att vokabulär som inte förekom under träningen kan missas och att enstaka ord eller ofullständiga meningar ger svagare kontext. Bevara originalljudet för att granska namn och specialtermer i stället för att göra en osäker igenkänning till ett verifierat faktum.

Den användbara leveransen är transkriptionen med den begärda tidsinformationen. Sammanfattningar, översättningar, talaranalys och åtgärder är separata uppgifter för applikationen, inte egenskaper som följer av ett tal-till-text-namn. Håll v3-identiteten och tillverkarens uppmärksamhetsläge åtskilda från andra checkpointer och från konverterade eller kvantiserade artefakter.