OpenAI: Whisper Large V3

Whisper large-v3 on julkaistu OpenAI:n puheentunnistuksen tarkistuspiste, jossa on noin 1.55 miljardia parametria. Se on monikielinen enkooderi–dekooderimalli: ääni syötetään enkooderiin ja dekooderi ennustaa tekstiä sekä tehtävään liittyviä tokeneita. Päätehtävät ovat puheen litterointi lähdekielellä ja puheen kääntäminen englanniksi. Kyse on avoimen painojulkaisun malli-identiteetistä, joka pidetään erillään isännöidyn palvelun mallitunnisteesta sekä kyseisen palvelun lataus- ja vastausmuotosäännöistä.

Large-v3 säilyttää aiempien suurten Whisper-tarkistuspisteiden arkkitehtuurin kahdella ilmoitetulla muutoksella: spektrogrammisyöte käyttää 128 Mel-taajuuskaistaa 80:n sijaan, ja se lisää kantoninkiinan kielitokenin. Valmistajan mallikortti kuvaa koulutuksen perustuvan miljoonaan tuntiin heikosti merkittyä ääntä ja neljään miljoonaan tuntiin Whisper large-v2:lla valmisteltua pseudomerkittyä ääntä. Tätä yhdistelmää käytettiin kahden koulutusepookin ajan. Julkaisu on tietty large-v3-tarkistuspiste, ei yleisnimi jokaiselle Whisper-perheen mallille.

Dokumentoitu päättelytyönkulku suorittaa oletusarvoisesti litteroinnin ja säilyttää tallenteessa puhutun kielen. Se voi tunnistaa lähdekielen automaattisesti tai vastaanottaa tunnetun kielivalinnan. Käännöstehtävässä monikielinen large-malli tuottaa englanninkielisen tekstin muunkielisestä puheesta. Valitse tehtävä nimenomaisesti: samankielinen litterointi ja englanninkielinen käännös ovat eri tuotoksia. Säilytä haastattelussa alkuperäiskielinen sanamuoto; määritä englanninkielistä viiteasiakirjaa varten, että haluttu tulos on puhutun sisällön käännös.

Äänen valmistelu on osa syötepolkua. OpenAI:n lataaja purkaa tallenteen monoaaltomuodoksi ja muuntaa näytteenottotaajuudeksi 16 kHz. Mallin akustinen vastaanottokenttä on 30 sekuntia. Tämä on käsittelyikkuna, ei kokonaisen haastattelun tai luennon enimmäispituus. Pitkän aineiston päättely voi edetä peräkkäin liukuvissa ikkunoissa tai jakaa pitkän tallenteen päällekkäisiin osiin ja yhdistää niiden litteroinnit. Valmistajan mallikortti kuvaa peräkkäisen käsittelyn tarkkuuden ollessa etusijalla ja ositetun käsittelyn silloin, kun yhden pitkän tallenteen läpimenoaika on tärkeämpi.

Julkaistu konfiguraatio ilmoittaa yksittäiselle dekoodausjaksolle 448 dekooderipositiota. Pidemmät tallenteet käsitellään pitkän aineiston prosessilla sen sijaan, että lukua pidettäisiin yleisenä litteroinnin rajana. Dokumentoitu työnkulku voi palauttaa tunnistetun tekstin rinnalla segmentti- tai sanatason aikaleimat. Ajoitustiedot auttavat tallenteessa liikkumista ja tekstitysten valmistelua, kun taas lopullinen tekstityssäiliö tai litterointitiedoston muoto on erillinen tulosteen muotoiluvalinta. Säilytä tallenteen ajoitus äänen valmistelussa, jos litterointi kohdistetaan alkuperäiseen aineistoon.

Whisperin tarkoitus on puheen tunnistaminen ja kääntäminen. Luennon litterointi, haastattelumuistio tai haettava puheaineistokokoelma on käytännön tulos; tiivistäminen tai tulkinta voi seurata erillisenä tekstin käsittelyvaiheena. Mallikortti ei vahvista luotettavaa automaattista puhujaluokittelua tai diarisaatiota perustarkistuspisteen vakiotulokseksi. Jos tehtävä vaatii puhujamerkintöjä, vaatimus täytyy käsitellä erikseen tarkkaa litterointia koskevasta väitteestä. Hyödyllinen tehtävänanto määrittää lähdekielen, litteroinnin tai englanninkielisen käännöksen tarpeen sekä ajoitustietojen tarpeen.

Olennaisia rajoituksia ovat koskaan puhumattoman tekstin keksiminen ja toisteinen teksti, jotka liittyvät heikosti valvottuun koulutukseen kohinaisella aineistolla ja sekvenssistä sekvenssiin -rakenteeseen. Tunnistuksen laatu vaihtelee kielten, aksenttien ja murteiden välillä ja on heikompi, kun koulutusmateriaalia on vähemmän. Kohinan, erikoissanaston ja päällekkäisen puheen tulee siksi esiintyä soveltuvuuden arviointiin käytetyssä näytteessä. Vertaa nimiä, määriä ja tärkeitä lausumia tallenteeseen ja tarkista puheettomat kohdat tai toistuvat rivit sen sijaan, että pitäisit sujuvaa litterointia todisteena jokaisen sanan kuulemisesta.

Kokonainen tulos säilyttää tunnistetun tekstin, sen kielen ja pyydetyn ajoituksen sekä viittauksen alkuperäiseen tallenteeseen. Pidä litterointi erillään myöhemmästä muokkauksesta: korjattu julkaisulitterointi voi poistaa täytesanoja, kun taas tunnistettu litterointi säilyttää mallin todellisen palautteen. Myös large-v3:n identiteetti ja käännöskyky tulee pitää erillään nopeammasta Turbo-versiosta. Todellinen käsittelynopeus riippuu kielestä, puhenopeudesta, laitteistosta ja päättelymenetelmästä; pelkkä tarkistuspisteen nimi ei takaa tiettyä isännöityä viivettä, enimmäislatauskokoa tai sovelluksessa käytössä olevaa reittiä.