OpenAI: Whisper Large V3

A Whisper large-v3 az OpenAI kiadott beszédfelismerő modellváltozata, hozzávetőleg 1,55 milliárd paraméterrel. Többnyelvű kódoló–dekódoló modell: a hang a kódolóba kerül, a dekódoló pedig szöveget és feladathoz kapcsolódó tokeneket jósol. Fő feladata a beszéd átírása a forrásnyelven, valamint a beszéd angolra fordítása. Nyílt súlyú modellazonosság, amelyet külön kell kezelni egy hosztolt szolgáltatás modellazonosítójától, illetve annak feltöltési és válaszformátum-szabályaitól.

A large-v3 két megadott változtatással megtartja a korábbi nagy Whisper-modellváltozatok architektúráját: spektrogrambemenete 80 helyett 128 Mel-frekvenciasávot használ, és kantoni nyelvi tokent ad hozzá. A gyártó modellkártyája egymillió órányi gyengén címkézett és négymillió órányi, Whisper large-v2-vel előkészített pszeudocímkézett hangon végzett tanítást ír le. Ezt a keveréket két tanítási epochon át használták. A kiadás egy konkrét large-v3 modellváltozat, nem a Whisper család összes modelljének általános neve.

A dokumentált következtetési munkafolyamat alapértelmezés szerint átírást végez, megőrizve a felvételen beszélt nyelvet. A forrásnyelvet automatikusan felismerheti, vagy elfogadhat ismert nyelvválasztást. Fordításnál a többnyelvű nagy modell nem angol beszédből angol szöveget ad. Ezt a feladatot kifejezetten válaszd ki: az eredeti nyelvű átirat és az angol fordítás eltérő eredmény. Interjúnál őrizd meg az eredeti nyelvű megfogalmazást; angol referenciaanyaghoz add meg, hogy a beszélt tartalom fordítását szeretnéd.

A hang előkészítése a bemeneti útvonal része. Az OpenAI betöltője mono hullámformává dekódolja a felvételt, és 16 kHz-re újramintavételezi. A modell akusztikus befogadási ablaka 30 másodperc. Ez feldolgozási ablak, nem egy teljes interjú vagy előadás maximális hossza. A hosszú hanganyagok feldolgozása csúszó ablakokon haladhat sorban, vagy átfedő darabokra oszthatja a hosszú felvételt, majd összekapcsolhatja átirataikat. A gyártó modellkártyája szekvenciális feldolgozást ír le, ha a pontosság elsődleges, és darabolt feldolgozást, ha egyetlen hosszú felvétel átfutási ideje fontosabb.

A kiadott konfiguráció egyetlen dekódolási sorozathoz 448 dekóderpozíciót sorol fel. A hosszabb felvételeket a hosszú hanganyagok feldolgozására szolgáló eljárás kezeli; ezt a számot nem szabad általános átiratkorlátnak tekinteni. A dokumentált munkafolyamat a felismert szöveg mellett szegmens- vagy szószintű időbélyegeket adhat vissza. Ezek az időadatok hasznosak a felvételekben való navigáláshoz és feliratok előkészítéséhez, míg a végleges feliratkonténer vagy átiratfájl-formátum külön kimenetformázási választás. Ha az átiratot az eredeti anyaghoz igazítod, a hang előkészítésekor őrizd meg a felvétel időzítését.

A Whisper rendeltetése a beszéd felismerése és fordítása. Egy előadás átirata, interjú rögzített szövege vagy beszélt anyagok kereshető gyűjteménye gyakorlati eredmény; az összefoglalás vagy értelmezés későbbi, külön szöveges lépés lehet. A modellkártya nem állapít meg robusztus automatikus beszélőosztályozást vagy diarizációt az alapmodell szabványos kimeneteként. Ha a feladathoz beszélőcímkék kellenek, ezt a követelményt a pontos átirat állításától külön kell kezelni. Egy hasznos feladatleírás azonosítja a forrásnyelvet, azt, hogy átírásra vagy angol fordításra van szükség, és hogy kellenek-e időadatok.

Lényeges korlát a soha el nem hangzott szöveg kitalálása és az ismétlődő szöveg, ami a zajos adatokon végzett gyengén felügyelt tanításhoz és a szekvencia–szekvencia kialakításhoz kapcsolódik. A felismerés minősége nyelvenként, akcentusonként és dialektusonként változik, és gyengébb ott, ahol kevesebb tanítási anyag áll rendelkezésre. Ezért az alkalmasság megítéléséhez használt mintában jelenjen meg a zaj, a szakszókincs és az egymásra beszélés. Vesd össze a neveket, mennyiségeket és fontos állításokat a felvétellel, és ellenőrizd a beszéd nélküli részeket vagy ismétlődő sorokat, ne tekintsd a gördülékeny átiratot annak bizonyítékának, hogy minden szót hallott a modell.

A teljes eredmény a felismert szöveget, annak nyelvét és a kért időzítést az eredeti felvételre mutató hivatkozással őrzi meg. Az átírást tartsd külön a későbbi szerkesztéstől: a javított publikációs átirat eltávolíthat töltelékszavakat, míg a felismert átirat azt őrzi, amit a modell ténylegesen visszaadott. A large-v3 azonosságát és fordítási képességét a gyorsabb Turbo változattól is külön kell kezelni. A tényleges feldolgozási sebesség a nyelvtől, beszédtempótól, hardvertől és következtetési módszertől függ; a modellváltozat nevéből önmagában nem következik konkrét hosztolt késleltetés, maximális feltöltési méret vagy engedélyezett alkalmazásútvonal.