OpenAI: Whisper Large V3

Whisper large-v3 is een uitgebracht spraakherkenningscheckpoint van OpenAI met ongeveer 1,55 miljard parameters. Het is een meertalig encoder-decodermodel: audio gaat de encoder in en de decoder voorspelt tekst en taakgerelateerde tokens. De hoofdtaken zijn spraaktranscriptie in de brontaal en spraakvertaling naar het Engels. Dit is de identiteit van een model met open gewichten, afzonderlijk van een modelidentifier van een gehoste dienst of de upload- en responsformaatregels van die dienst.

Large-v3 behoudt de architectuur van eerdere grote Whisper-checkpoints met twee genoemde wijzigingen: de spectrograminvoer gebruikt 128 Mel-frequentiebanden in plaats van 80 en het model voegt een Kantonees taaltoken toe. De modelkaart van de producent beschrijft training op één miljoen uur zwak gelabelde audio en vier miljoen uur pseudogelabelde audio die met Whisper large-v2 is voorbereid. Die mengeling is voor twee trainingsepochen gebruikt. De release is een specifiek large-v3-checkpoint in plaats van een algemene naam voor elk model in de Whisper-familie.

De gedocumenteerde inferentieworkflow voert standaard transcriptie uit en behoudt de taal die in de opname wordt gesproken. Hij kan de brontaal automatisch detecteren of een bekende taalkeuze accepteren. Voor vertaling levert het grote meertalige model een Engels tekstresultaat uit niet-Engelse spraak. Kies die taak expliciet: een transcript in dezelfde taal en een Engelse vertaling zijn verschillende artefacten. Behoud bij een interview de oorspronkelijke taal en bewoordingen; specificeer bij een Engels referentiedocument dat het gewenste resultaat een vertaling van de gesproken inhoud is.

Audiovoorbereiding maakt deel uit van het invoerpad. De loader van OpenAI decodeert een opname naar een monogolfvorm en resamplet die naar 16 kHz. Het akoestische receptieve veld van het model is 30 seconden. Dat is een verwerkingsvenster, geen maximale lengte voor een volledig interview of college. Inferentie voor lange opnamen kan opeenvolgend door schuivende vensters gaan of een lange opname in overlappende fragmenten splitsen en de transcripten samenvoegen. De modelkaart beschrijft opeenvolgende verwerking wanneer nauwkeurigheid prioriteit heeft en verwerking in fragmenten wanneer de doorlooptijd van één lange opname belangrijker is.

De uitgebrachte configuratie noemt 448 decoderposities voor een individuele decodeersequentie. Langere opnamen worden via het proces voor lange opnamen verwerkt in plaats van dat aantal als een universele transcriptlimiet te behandelen. De gedocumenteerde workflow kan tijdstempels op segment- of woordniveau naast herkende tekst retourneren. Die tijdinformatie is bruikbaar om door opnamen te navigeren en ondertiteling voor te bereiden, terwijl een uiteindelijke ondertitelcontainer of transcriptbestandsformaat een afzonderlijke uitvoeropmaakkeuze is. Behoud de timing van de opname bij audiovoorbereiding wanneer het transcript met het oorspronkelijke materiaal moet worden uitgelijnd.

De beoogde rol van Whisper is het herkennen en vertalen van spraak. Een collegetranscript, interviewrecord of doorzoekbare verzameling gesproken materiaal is een praktisch resultaat; samenvatten of interpreteren kan als een volgende stap over de tekst volgen. De modelkaart onderbouwt geen robuuste automatische sprekerclassificatie of diarisatie als standaarduitvoer van het basischeckpoint. Als een taak sprekerlabels nodig heeft, moet die vereiste afzonderlijk worden behandeld van een claim over een nauwkeurig transcript. Een bruikbare briefing identificeert de brontaal, of transcriptie of Engelse vertaling nodig is en of tijdinformatie vereist is.

Inhoudelijke beperkingen omvatten verzonnen tekst die nooit is uitgesproken en herhalende tekst, gekoppeld aan zwak gesuperviseerde training op ruisrijke gegevens en het sequence-to-sequence-ontwerp. Herkenningskwaliteit verschilt tussen talen, accenten en dialecten, met zwakkere resultaten waar minder trainingsmateriaal bestaat. Ruis, specialistische woordenschat en overlappende spraak moeten daarom vertegenwoordigd zijn in de steekproef waarmee geschiktheid wordt beoordeeld. Vergelijk namen, hoeveelheden en belangrijke uitspraken met de opname en onderzoek passages zonder spraak of herhaalde regels in plaats van een vloeiend transcript als bewijs te behandelen dat elk woord is gehoord.

Een volledig resultaat bewaart herkende tekst, de taal en eventuele gevraagde timing met een verwijzing naar de oorspronkelijke opname. Houd transcriptie gescheiden van latere bewerking: een gecorrigeerd publicatietranscript kan opvulwoorden verwijderen, terwijl het herkende transcript bewaart wat het model daadwerkelijk heeft geretourneerd. De identiteit en vertaalmogelijkheid van large-v3 moeten ook onderscheiden blijven van de snellere Turbo-editie. De daadwerkelijke verwerkingssnelheid hangt af van taal, spreektempo, hardware en inferentiemethode; uit de checkpointnaam alleen volgt geen specifieke gehoste latentie, maximale uploadgrootte of ingeschakelde toepassingsroute.