OpenAI: Whisper Large V3 Turbo

Whisper large-v3-turbo, også kaldet Turbo, er OpenAI’s optimerede transskriptionsmodel, der er afledt af Whisper large-v3. Dekoderen er reduceret fra 32 lag til fire, mens encoderen fortsat har 32 lag. Den udgivne model har cirka 809 millioner parametre. Producentens formål er hurtigere talegenkendelse med et beskedent tab af nøjagtighed, ikke en anden tilstand til lydgenerering. Optaget tale er input, og genkendt tekst er resultatet.

Udgivelsesmeddelelsen skelner mellem forberedelsen af Turbo og en separat destilleret Whisper-model: Turbo blev finjusteret i yderligere to epoker på flersprogede transskriptionsdata uden oversættelsesdata. Denne forskel har betydning for anvendelsen. OpenAI’s repository angiver, at Turbo ikke er trænet til at oversætte ikke-engelsk tale til engelsk og kan returnere originalsproget, selv når der anmodes om en oversættelsesopgave. Brug denne udgave til en transskription på samme sprog; et oversættelsesbehov kræver en anden egnet model eller et separat trin efter transskriptionen.

Registrering af kildesprog og et eksplicit sprogvalg er fortsat nyttige muligheder ved transskription. Hvis optagelsens sprog allerede er kendt, skal det angives i opgavebeskrivelsen; ellers kan den dokumenterede arbejdsgang registrere det. Bevar navne, mængdeangivelser og de faktisk talte ord, før der anmodes om redaktionel oprydning. Et mødereferat, en interviewtransskription eller en forelæsningstekst kan derefter gennemsøges, annoteres eller opsummeres i en senere behandling. Turbos genkendelsesopgave må ikke forveksles med talesyntese, stemmeimitation eller en semantisk vurdering af personerne i optagelsen.

OpenAI’s lydindlæser afkoder inputfiler til monosamples ved 16 kHz, og modellen bruger et akustisk vindue på 30 sekunder med 128 Mel-frekvensbånd. Længere optagelser kræver inferens til lang lyd. Sekventiel behandling gennemløber vinduerne i rækkefølge; en opdelt tilgang transskriberer overlappende stykker og sammenføjer dem ved grænserne. Modelkortet beskriver den sidstnævnte tilgang som nyttig ved behandling af én lang fil, når kort gennemløbstid har højeste prioritet, mens sekventiel behandling er alternativet med fokus på nøjagtighed. Hverken vinduet eller modelnavnet fastlægger en bestemt maksimal filstørrelse for upload til en hostet tjeneste.

Den præcise Turbo-konfiguration angiver 448 dekoderpositioner for én afkodningssekvens. Den dokumenterede inferensarbejdsgang kan levere tidsangivelser for segmenter eller ord sammen med transskriptionen; tidsangivelser understøtter navigation og senere undertekstformatering. Det tilføjer ikke automatisk et undertekstfilformat eller pålidelige talermærkater. Angiv, om der er brug for en ren transskription eller segmenter med tidsangivelser, og behold originaloptagelsen til kontrol af omstridte passager. Behandling af lang lyd og eventuel endelig formatering er adskilt fra modelcheckpointets identitet.

Turbo reducerer afkodningsarbejdet, men den faktiske behandlingstid afhænger af hardware, optagelsens længde, sprog, taletempo og valg af inferensmetode. Producenten bemærker større kvalitetsfald for visse sprog, herunder thai og kantonesisk, frem for ensartet adfærd på tværs af alle sprog. Sammenlign et repræsentativt uddrag på det ønskede sprog, før den hastighedsorienterede afvejning vurderes som egnet til alt materialet. Ved behandling af et arkiv bør kontroluddraget indeholde vanskeligt ordforråd, pauser og passager med støj eller overlappende tale, ikke kun en tydelig indledningssætning.

Det offentliggjorte kort beskriver Whispers væsentlige begrænsninger ved genkendelse: den forudsagte tekst kan indeholde ord, som ikke blev sagt, og gentagen tekst kan forekomme. Resultaterne varierer mellem sprog, accenter og dialekter, især hvor dækningen i træningsdataene er begrænset. Kortet dokumenterer ikke talersegmentering eller talerklassifikation som robuste standardfunktioner i basismodellen. En praktisk kontrol fokuserer på kildetrofasthed: vigtige navne og tal, udeladt tale, uventet tekst under stilhed og gentagelser. En læsbar transskription er fortsat et resultat, der skal sammenholdes med optagelsen, ikke en garanti for præcis genkendelse.

Det nyttige færdige resultat er en transskription på kildesproget med eventuelle ønskede tidsangivelser og en tydelig henvisning til optagelsen. Hold den genkendte version adskilt fra en redigeret publiceringsversion, så ændringer kan spores. Bevar navnet large-v3-turbo ved sammenligning af udgaver: det er ikke den fulde large-v3-model og bør ikke stiltiende overtage large-v3’s opgave med oversættelse til engelsk. Denne identitet som model med åbne vægte indebærer heller ikke uploadgrænserne, svarformaterne eller løfterne om livestreaming fra den hostede whisper-1-tjeneste. Vælg Turbo, når den dokumenterede transskriptionsafvejning passer til det faktiske materiale og den ønskede gennemløbstid.