OpenAI: Whisper Large V3

Whisper large-v3 er en utgitt talegjenkjenningsmodell fra OpenAI med omtrent 1,55 milliarder parametere. Det er en flerspråklig enkoder–dekoder-modell: lyd går inn i enkoderen, og dekoderen predikerer tekst og oppgaverelaterte tokener. Hovedoppgavene er transkripsjon av tale på kildespråket og oversettelse av tale til engelsk. Det er en modellidentitet med åpne vekter, adskilt fra en driftet tjenestes modellidentifikator eller regler for opplasting og svarformat.

Large-v3 beholder arkitekturen til tidligere store Whisper-modeller med to oppgitte endringer: spektrograminndata bruker 128 Mel-frekvensbånd i stedet for 80, og modellen legger til en kantonesisk språktoken. Produsentens modellkort beskriver trening på én million timer med svakt merket lyd og fire millioner timer med pseudomerket lyd laget med Whisper large-v2. Blandingen ble brukt i to treningsepoker. Utgivelsen er en bestemt large-v3-modellversjon, ikke et generisk navn for enhver modell i Whisper-familien.

Den dokumenterte inferensarbeidsflyten utfører transkripsjon som standard og bevarer språket som snakkes i opptaket. Den kan oppdage kildespråket automatisk eller ta imot et kjent språkvalg. Til oversettelse gir den flerspråklige large-modellen engelsk tekst fra ikke-engelsk tale. Velg oppgaven eksplisitt: en transkripsjon på samme språk og en engelsk oversettelse er forskjellige resultater. Behold ordlyden på originalspråket til et intervju; angi at ønsket resultat er oversettelse av det muntlige innholdet til et engelsk referansedokument.

Lydforberedelse er en del av inndataveien. OpenAIs innleser dekoder et opptak til en mono-bølgeform og omsampler det til 16 kHz. Modellens akustiske reseptive felt er 30 sekunder. Dette er et behandlingsvindu, ikke en maksimal lengde for et helt intervju eller en forelesning. Inferens for lange opptak kan gå sekvensielt gjennom glidende vinduer eller dele et langt opptak i overlappende deler og sette sammen transkripsjonene. Produsentens modellkort beskriver sekvensiell behandling når nøyaktighet prioriteres, og oppdelt behandling når rask ferdigstilling av ett langt opptak er viktigere.

Den utgitte konfigurasjonen oppgir 448 dekoderposisjoner for én dekodingssekvens. Lengre opptak håndteres av prosessen for lange opptak i stedet for å behandle dette tallet som en universell transkripsjonsgrense. Den dokumenterte arbeidsflyten kan returnere tidsstempler på segment- eller ordnivå sammen med gjenkjent tekst. Tidsinformasjonen er nyttig for navigering i opptak og forberedelse av undertekster, mens en endelig undertekstcontainer eller et transkripsjonsfilformat er et separat valg for utdataformatering. Bevar opptakets timing under lydforberedelsen hvis transkripsjonen skal justeres mot originalmaterialet.

Whispers tiltenkte rolle er å gjenkjenne og oversette tale. En forelesningstranskripsjon, en intervjuprotokoll eller en søkbar samling muntlig materiale er praktiske resultater; oppsummering eller tolkning kan følge som et nytt steg over teksten. Modellkortet etablerer ikke robust automatisk talerklassifisering eller diarisering som standardutdata fra grunnmodellen. Hvis en oppgave trenger talermerking, må dette kravet håndteres separat fra påstanden om en nøyaktig transkripsjon. En nyttig oppdragsbeskrivelse identifiserer kildespråket, om transkripsjon eller engelsk oversettelse trengs, og om tidsinformasjon er nødvendig.

Vesentlige begrensninger omfatter oppdiktet tekst som aldri ble sagt, og repeterende tekst, knyttet til svakt overvåket trening på støyende data og sekvens-til-sekvens-utformingen. Gjenkjenningskvaliteten varierer mellom språk, aksenter og dialekter, med svakere resultater der mindre treningsmateriale finnes. Støy, fagterminologi og overlappende tale bør derfor være representert i prøven som brukes til å vurdere egnethet. Sammenlign navn, mengder og viktige utsagn med opptaket, og undersøk partier uten tale eller gjentatte linjer i stedet for å behandle en flytende transkripsjon som bevis på at hvert ord ble hørt.

Et fullstendig resultat beholder gjenkjent tekst, språk og eventuell ønsket tidsinformasjon med en referanse til originalopptaket. Hold transkripsjon adskilt fra senere redigering: en korrigert publiseringstranskripsjon kan fjerne fyllord, mens den gjenkjente transkripsjonen bevarer det modellen faktisk returnerte. Large-v3s identitet og oversettelsesevne skal også holdes adskilt fra den raskere Turbo-utgaven. Faktisk behandlingshastighet avhenger av språk, taletempo, maskinvare og inferensmetode; ingen bestemt driftet latenstid, maksimal opplastingsstørrelse eller aktivert applikasjonsrute følger av modellnavnet alene.