OpenAI: Whisper Large V3

Whisper large-v3 är en släppt taligenkänningscheckpoint från OpenAI med cirka 1,55 miljarder parametrar. Det är en flerspråkig encoder-decoder-modell: ljud går in i encodern och decodern förutsäger text och uppgiftsrelaterade token. Huvuduppgifterna är transkribering av tal på källspråket och översättning av tal till engelska. Det är en modellidentitet med öppna vikter, som hålls separat från en värdtjänsts modellidentifierare och den tjänstens regler för uppladdning och svarsformat.

Large-v3 behåller arkitekturen från tidigare stora Whisper-checkpoints med två angivna ändringar: spektrogramindata använder 128 Mel-frekvensband i stället för 80 och en språktoken för kantonesiska har lagts till. Producentens modellkort beskriver träning på en miljon timmar svagt etiketterat ljud och fyra miljoner timmar pseudoetiketterat ljud som förberetts med Whisper large-v2. Blandningen användes under två träningsepoker. Utgåvan är en specifik large-v3-checkpoint och inte ett generiskt namn för varje modell i Whisper-familjen.

Det dokumenterade inferensarbetsflödet utför transkribering som standard och bevarar det språk som talas i inspelningen. Det kan identifiera källspråket automatiskt eller ta emot ett känt språkval. För översättning ger den flerspråkiga stora modellen ett engelskt textresultat från tal på andra språk. Välj den uppgiften uttryckligen: en transkription på samma språk och en engelsk översättning är olika leveranser. Behåll originalspråkets ordalydelse för en intervju; ange för ett engelskt referensdokument att det önskade resultatet är en översättning av det talade innehållet.

Ljudförberedelse är en del av indatavägen. OpenAI:s laddare avkodar en inspelning till en monovågform och samplar om den till 16 kHz. Modellens akustiska receptiva fält är 30 sekunder. Det är ett bearbetningsfönster, inte en maximal längd för en hel intervju eller föreläsning. Inferens på längre material kan gå sekventiellt genom glidande fönster eller dela en lång inspelning i överlappande delar och sammanfoga transkriptionerna. Producentens modellkort beskriver sekventiell bearbetning när noggrannhet prioriteras och delad bearbetning när genomloppstiden för en enskild lång inspelning är viktigare.

Den släppta konfigurationen anger 448 decoderpositioner för en enskild avkodningssekvens. Längre inspelningar hanteras genom processen för längre material, inte genom att detta tal behandlas som en allmän transkriptionsgräns. Det dokumenterade arbetsflödet kan returnera tidsstämplar på segment- eller ordnivå tillsammans med igenkänd text. Tidsinformationen är användbar för att navigera i inspelningar och förbereda undertexter, medan den slutliga undertextbehållaren eller transkriptionsfilens format är ett separat formateringsval. Bevara inspelningens timing vid ljudförberedelsen om transkriptionen ska synkroniseras med originalmaterialet.

Whispers avsedda roll är att känna igen och översätta tal. En föreläsningstranskription, ett intervjuprotokoll eller en sökbar samling talat material är praktiska utdata; sammanfattning eller tolkning kan följa som ett annat steg över texten. Modellkortet fastställer inte robust automatisk talarklassificering eller diarisation som standardutdata från grundcheckpointen. Om en uppgift behöver talaretiketter måste det kravet hanteras separat från påståendet om en korrekt transkription. Ett användbart uppdrag anger källspråket, om transkribering eller engelsk översättning behövs och om tidsinformation krävs.

Väsentliga begränsningar omfattar påhittad text som aldrig uttalats och upprepad text, kopplade till svagt övervakad träning på brusiga data och sequence-to-sequence-utformningen. Igenkänningskvaliteten varierar mellan språk, accenter och dialekter, med svagare resultat där mindre träningsmaterial finns. Brus, specialistordförråd och överlappande tal bör därför finnas med i det prov som används för att bedöma lämpligheten. Jämför namn, mängder och viktiga uttalanden med inspelningen och granska partier utan tal eller upprepade rader i stället för att behandla en flytande transkription som bevis för att varje ord hördes.

Ett komplett resultat behåller igenkänd text, dess språk och eventuell begärd tidsinformation med en hänvisning till originalinspelningen. Håll transkribering separat från senare redigering: en korrigerad publiceringstranskription kan ta bort utfyllnadsord, medan den igenkända transkriptionen bevarar det modellen faktiskt returnerade. Large-v3:s identitet och översättningsförmåga ska också hållas separata från den snabbare Turbo-versionen. Faktisk bearbetningshastighet beror på språk, taltempo, hårdvara och inferensmetod; ingen viss värdtjänstlatens, maximal uppladdningsstorlek eller aktiverad applikationsrutt följer enbart av checkpointens namn.