OpenAI: Whisper Large V3

Whisper large-v3 er et udgivet talegenkendelsescheckpoint fra OpenAI med cirka 1,55 milliarder parametre. Det er en flersproget encoder-decoder-model: lyd går ind i encoderen, og decoderen forudsiger tekst og opgaverelaterede tokens. Hovedopgaverne er transskription af tale på originalsproget og oversættelse af tale til engelsk. Det er en modelidentitet med åbne vægte, adskilt fra en hostet tjenestes modelidentifikator eller tjenestens regler for upload og svarformater.

Large-v3 bevarer arkitekturen fra tidligere store Whisper-checkpoints med to angivne ændringer: spektrograminputtet bruger 128 Mel-frekvensbånd i stedet for 80, og der tilføjes et kantonesisk sprogtoken. Producentens modelkort beskriver træning på én million timers svagt mærket lyd og fire millioner timers pseudomærket lyd forberedt med Whisper large-v2. Denne blanding blev brugt til to træningsepoker. Udgivelsen er et bestemt large-v3-checkpoint frem for et generisk navn på alle modeller i Whisper-familien.

Det dokumenterede inferensforløb udfører transskription som standard og bevarer det sprog, der tales i optagelsen. Det kan registrere originalsproget automatisk eller modtage et kendt sprogvalg. Til oversættelse giver den flersprogede large-model et engelsk tekstresultat fra ikke-engelsk tale. Vælg opgaven udtrykkeligt: en transskription på originalsproget og en engelsk oversættelse er forskellige resultater. Til et interview bevares ordlyden på originalsproget; til et engelsk referencedokument angives det, at det ønskede resultat er en oversættelse af det talte indhold.

Lydforberedelse er en del af inputforløbet. OpenAIs indlæser dekoder en optagelse til en monobølgeform og omsampler den til 16 kHz. Modellens akustiske receptive felt er 30 sekunder. Det er et behandlingsvindue, ikke en maksimal længde for et helt interview eller en forelæsning. Inferens for lange optagelser kan gå sekventielt gennem glidende vinduer eller opdele en lang optagelse i overlappende dele og samle deres transskriptioner. Producentens modelkort beskriver sekventiel behandling, når nøjagtighed prioriteres, og behandling i dele, når hurtig behandling af én lang optagelse er vigtigere.

Den udgivne konfiguration angiver 448 decoderpositioner for en individuel afkodningssekvens. Længere optagelser håndteres af forløbet til lange optagelser frem for at behandle dette tal som en universel transskriptionsgrænse. Det dokumenterede forløb kan returnere tidsstempler på segment- eller ordniveau sammen med genkendt tekst. Disse tidsoplysninger er nyttige til navigation i optagelser og forberedelse af undertekster, mens en endelig undertekstcontainer eller et transskriptionsfilformat er et separat valg af outputformatering. Bevar optagelsens tidsforløb under lydforberedelsen, hvis transskriptionen skal tilpasses originalmaterialet.

Whispers tilsigtede rolle er at genkende og oversætte tale. En forelæsningstransskription, en interviewoptegnelse eller en søgbar samling af talt materiale er et praktisk output; opsummering eller fortolkning kan følge som et andet trin over teksten. Modelkortet fastslår ikke robust automatisk talerklassifikation eller taleradskillelse som standardoutput fra grundcheckpointet. Hvis en opgave kræver talerbetegnelser, skal det krav håndteres separat fra en påstand om en nøjagtig transskription. En nyttig opgavebeskrivelse angiver originalsproget, om transskription eller engelsk oversættelse behøves, og om tidsoplysninger kræves.

Væsentlige begrænsninger omfatter opfundet tekst, der aldrig blev sagt, og gentaget tekst, forbundet med svagt superviseret træning på støjfyldte data og sekvens-til-sekvens-designet. Genkendelseskvaliteten varierer mellem sprog, accenter og dialekter med svagere resultater, hvor der findes mindre træningsmateriale. Støj, fagudtryk og overlappende tale bør derfor indgå i den prøve, der bruges til at vurdere egnethed. Sammenlign navne, mængder og vigtige udsagn med optagelsen, og undersøg passager uden tale eller gentagne linjer frem for at behandle en flydende transskription som bevis på, at hvert ord blev hørt.

Et fuldstændigt resultat bevarer den genkendte tekst, dens sprog og eventuelle anmodede tidsoplysninger med en reference til originaloptagelsen. Hold transskription adskilt fra senere redigering: en rettet udgivelsestransskription kan fjerne fyldord, mens den genkendte transskription bevarer det, modellen faktisk returnerede. Identiteten og oversættelsesfunktionen i large-v3 bør også holdes adskilt fra den hurtigere Turbo-udgave. Den faktiske behandlingshastighed afhænger af sprog, talehastighed, hardware og inferensmetode; ingen bestemt hostet latenstid, maksimal uploadstørrelse eller aktiveret applikationsrute følger alene af checkpointnavnet.