OpenAI: Whisper Large V3 Turbo

Whisper large-v3-turbo, jota kutsutaan myös Turboksi, on OpenAI:n optimoitu litterointimalli, joka perustuu Whisper large-v3:een. Sen dekooderia on pienennetty 32 kerroksesta neljään, kun enkooderissa on edelleen 32 kerrosta. Julkaistussa mallissa on noin 809 miljoonaa parametria. Valmistajan tavoitteena on nopeampi puheentunnistus pienen tarkkuuskompromissin kustannuksella, ei erilainen äänenluontitila. Syöte on tallennettua puhetta ja tulos tunnistettua tekstiä.

Julkaisutiedote erottaa Turbon valmistelun erikseen tislatusta Whisper-mallista: Turboa hienosäädettiin kahden lisäepookin ajan monikielisellä litterointiaineistolla, josta käännösaineisto oli jätetty pois. Tämä ero on käytännössä tärkeä. OpenAI:n koodivarasto kertoo, ettei Turboa ole koulutettu kääntämään muunkielistä puhetta englanniksi ja että se voi palauttaa alkuperäisen kielen myös silloin, kun pyydetään käännöstehtävää. Käytä tätä versiota samankieliseen litterointiin; käännöstarve kuuluu toiselle soveltuvalle mallille tai erilliseen vaiheeseen litteroinnin jälkeen.

Lähdekielen tunnistus ja kielen nimenomainen valinta ovat edelleen hyödyllisiä litterointivalintoja. Jos tallenteen kieli tiedetään, kerro se tehtävän kuvauksessa; muuten dokumentoitu työnkulku voi tunnistaa sen. Säilytä nimet, määrät ja puhutut sanat ennen kuin pyydät tekstin toimituksellista siistimistä. Kokousmuistiosta, haastattelulitteroinnista tai luentotekstistä voi sitten hakea tietoa, tehdä merkintöjä tai laatia yhteenvedon myöhemmässä vaiheessa. Turbon tunnistustehtävää ei pidä sekoittaa puhesynteesiin, puhujan jäljittelyyn tai tallenteen ihmisiä koskevaan semanttiseen arvioon.

OpenAI:n äänenlataaja dekoodaa syötetiedostot mononäytteiksi taajuudella 16 kHz, ja malli käyttää 30 sekunnin akustista ikkunaa, jossa on 128 Mel-taajuuskaistaa. Pidemmät tallenteet tarvitsevat pitkien aineistojen päättelyä. Peräkkäinen käsittely käy ikkunat läpi järjestyksessä; paloihin jaettu menetelmä litteroi päällekkäisiä osia ja yhdistää niiden rajat. Mallikortti esittää jälkimmäisen hyödyllisenä, kun käsitellään yhtä pitkää tiedostoa ja tärkeintä on valmistumisaika, kun taas peräkkäinen käsittely painottaa tarkkuutta. Ikkuna tai mallin nimi ei määritä kiinteää tiedoston enimmäiskokoa palveluun lataamista varten.

Täsmällinen Turbo-kokoonpano ilmoittaa 448 dekooderipositiota yhtä dekoodausjaksoa varten. Dokumentoitu päättelytyönkulku voi sisällyttää litterointiin jaksojen tai sanojen ajoituksen; ajoitus tukee navigointia ja myöhempää tekstityksen muotoilua. Se ei lisää automaattisesti tekstitystiedostomuotoa tai luotettavia puhujatunnisteita. Kerro, tarvitaanko pelkkä litterointi vai ajoitetut jaksot, ja pidä alkuperäinen tallenne saatavilla epäselvien kohtien tarkistamista varten. Pitkien aineistojen käsittely ja lopullinen muotoilu ovat erillisiä mallin tarkistuspisteen identiteetistä.

Turbo vähentää dekoodaustyötä, mutta todellinen aika riippuu laitteistosta, tallenteen pituudesta, kielestä, puhenopeudesta ja päättelyvalinnoista. Tuottaja mainitsee suuremman laadun heikkenemisen joissakin kielissä, kuten thaissa ja kantoninkiinassa, eikä samanlaista toimintaa kaikissa kielissä. Vertaa edustavaa otetta aiotulla kielellä ennen kuin pidät nopeutta painottavaa kompromissia sopivana kaikkeen aineistoon. Sisällytä arkiston käsittelytehtävän tarkistusotokseen vaikeaa sanastoa, taukoja sekä kohinaisia tai päällekkäisiä puhejaksoja, älä vain selkeää aloituslausetta.

Julkaistu kortti sisältää Whisperin olennaiset tunnistusrajoitukset: ennustettu teksti voi sisältää sanoja, joita ei puhuttu, ja teksti voi toistua. Tulokset vaihtelevat kielten, aksenttien ja murteiden välillä, etenkin kun koulutusaineiston kattavuus on rajallinen. Kortti ei vahvista perusmallin puhujadiarisointia tai puhujaluokittelua luotettaviksi vakio-ominaisuuksiksi. Käytännön tarkistus keskittyy lähdeuskollisuuteen: tärkeisiin nimiin ja lukuihin, puuttuvaan puheeseen, hiljaisuuden aikana ilmestyvään odottamattomaan tekstiin ja toistoihin. Luettava litterointi on edelleen tulos, jota verrataan tallenteeseen, ei tae täsmällisestä tunnistuksesta.

Hyödyllinen valmis tuotos on lähdekielinen litterointi, jossa on mahdollinen pyydetty ajoitus ja selkeä yhteys tallenteeseen. Pidä tunnistettu versio erillään toimitetusta julkaisuversiosta, jotta muutokset ovat jäljitettävissä. Säilytä nimi large-v3-turbo versioita verrattaessa: se ei ole täysi large-v3-malli eikä sen pidä huomaamatta periä large-v3:n englanniksi kääntämisen tehtävää. Tämä avoimien painojen identiteetti ei myöskään sisällä isännöidyn whisper-1-palvelun latausrajoja, vastausmuotoja tai lupauksia suoratoistosta. Valitse Turbo, kun dokumentoitu litterointikompromissi sopii todelliseen aineistoon ja tavoiteltuun valmistumisaikaan.