Meta: Muse Voice Transcribe 1.0

A Muse Voice Transcribe 1.0 a Meta hangértelmező modellje, amely beszédet ír át, felismeri a megszólalások határait, és beszélőkhöz rendeli a megszólalásokat. A Muse Spark modellcsalád tagja, és a modellen belül egyesíti a beszédfelismerést, a beszélők elkülönítését és a megszólalásvégek felismerését. Kimenete a felismert szöveg, valamint a kiválasztott módban rendelkezésre álló időzítési és beszélőinformációk.

A modell 80 milliszekundumos blokkokban dolgozza fel a hangot, és eldönti, hogy tovább figyeljen-e, vagy szöveget adjon ki. Adaptív késleltetése lehetővé teszi, hogy további hangra várjon, ha egy szó felismerése nehezebb. Így a beszéd érkezése közben részleges szöveg keletkezik, amelyet a befejezett átírási eredmények követnek. A részleges szövegjelöltet és a lezárt megszólalást a hallgatási folyamat külön szakaszaiként kezelje.

Három mód közül választhat. A push-to-talk az alapértelmezett mód egyetlen, tudatosan elindított és lezárt megszólaláshoz, például egy hangalapú kérdéshez vagy rövid diktált szöveghez. Az endpointing módban a modell felismeri a megszólalások határait, és minden felismert szakaszhoz egy lezárt átiratot ad vissza. A diarization mód beszélőcímkékhez rendeli a felismert beszédet; több beszélős felvételekhez készült, nem a hangutasítások lehető leggyorsabb váltásához.

Rögzített hangklip esetén a fájlátírási munkafolyamat egyetlen kérésben adja vissza a teljes átiratot. Az alapértelmezett eredmény az átiratot és a hang időtartamát tartalmazó JSON, amely endpointing és diarization módban egy turns tömböt is tartalmaz. Minden megszólaláshoz tartozhat azonosító, milliszekundumban megadott kezdő- és végidő, valamint a felismert szöveg. A beszélőcímkék diarization módban jelennek meg. Push-to-talk módban a teljes átirat elkészül, de ez a tömb nem tartalmaz felismert megszólalásokat. A gyártó rögzített fájlokhoz kínált felülete egyszerű szöveget vagy átírási eseményfolyamot is visszaadhat. Az egyszerű szöveg külön sorokban tartja a felismert megszólalásokat, és beszélőcímkéket is tartalmazhat; az eseményfolyam az utolsó eseménye után lezárul, külön JSON-összegzés nélkül. A delta részleges mód növekményes szöveget ad vissza, a végső átiratesemény pedig a teljes megfogalmazást tartalmazza.

Készítsen RIFF/WAVE fájlt, benne 16 vagy 24 kHz mintavételű, monó, 16 bites egész számú PCM hanggal. A modell natív mintavételi frekvenciája 24 kHz, és a felület a 16 kHz-et is elfogadja. Más konténereket vagy kódolásokat a felvétel átadása előtt alakítson át erre a támogatott WAV-formára. A fájlátírási profil legfeljebb 10 perces hangot és összesen legfeljebb 32 MB méretű kéréstörzset enged meg. A későbbi visszahallgatásos ellenőrzéshez őrizze meg az eredeti felvételt és az esetleges átalakítást a visszaadott átirathoz kapcsolva.

Az élő hang munkafolyamata nyers, előjeles, 16 bites, little-endian, monó PCM-et használ, 16 vagy 24 kHz mintavétellel, megközelítőleg valós idejű ütemezésben. Dokumentált munkamenet-időkerete 60 perc. A Meta egy órát meghaladó natív hangbemenetről is ír; a dokumentált fájl- és élőmunkamenet-korlátok ettől független felületi határok maradnak. Aszerint válassza a rögzített fájlos vagy az élő munkafolyamatot, hogy a hang már teljes egészében rendelkezésre áll-e, vagy még rögzítik, és a külön munkamenetek eredményeit a saját bemeneti szakaszaikhoz kapcsolva tárolja.

A Muse Voice Transcribe több mint 70 nyelven kapott tanítást, míg a dokumentált felismerési felület 25 támogatott nyelvet sorol fel. Ezek között szerepel az angol, a francia, a német, a spanyol, az arab, a mandarin kínai, a hindi, a japán, a koreai, az olasz és a portugál. Mondaton belül és mondatok között is felismeri a nyelvváltást. A nyelvi támpont megnevezheti a hangban várható nyelveket, de a felismerést tereli, nem kényszeríti egyetlen nyelvre az átiratot.

A szókincsbeli támpontok segítenek a felvételben fontos terméknevek, betűszók, személynevek vagy helynevek felismerésében. Azokat a tényleges szavakat és írásmódokat adja meg, amelyekre számít. A kulcsszólista befolyásolja a felismerést, de nem garantál pontos írásmódot, ezért a döntő kifejezéseket ellenőrizze a hang alapján. A nyelvi támpontokat és a kulcsszavakat az átírás elején választja ki; az adott felvételhez igazítsa őket, és ne változtassa meg jelentésüket egy folyamatban lévő munkamenet során.

A modell több mint 20 beszélőt tartalmazó beszélgetésekben is támogatja a beszélők elkülönítését. Az A és B jellegű címkék egy átíráson belül azonosítják a beszélőket. Ezek nem ellenőrzött nevek, és nem igazolják, hogy egy címke másik munkamenetben ugyanarra a személyre utal. Egy eredeti megbeszéléselemzési feladatnál kérjen beszélőkhöz rendelt megszólalásokat, őrizze meg a felvételt, és a címkék segítségével rendezze a beszélgetést, mielőtt a kapcsolódó munkafolyamatban tényleges résztvevőneveket rendelne hozzájuk.

Az élő részleges átiratok a további beszéd érkezésével változhatnak. Kumulatív módban minden részleges eredmény felváltja az előző szövegjelöltet, nem pedig annak újabb másolatát fűzi hozzá. A felismert beszédvég határt jelöl, míg a lezárt megszólalás eredménye adja a végleges szöveget, amely eltérhet az utolsó részleges eredménytől. Az átfedő megszólalásokat a megszólalásazonosítóikkal együtt kezelje, és dolgozza fel a lezárt eredményeket, mielőtt befejezettnek tekinti az átiratot. Az élő bemenet végén jelezze a bemenet végét, és fogadja tovább az eredményeket addig, amíg az előállító be nem fejezi a függőben lévő eredmények kiküldését. A kapcsolat azonnali lezárása elveszítheti ezeket az eredményeket; a felismert beszédhatár egy megszólalást zár le, nem a teljes munkamenetet.

Az időzítés megszólalásszintű. Ez a profil nem ad szószintű időbélyegeket vagy megbízhatósági pontszámokat, és a hangfeldolgozás előrehaladása nem egy adott szó időbélyege. A hangesemény-felismerés, az érzelemfelismerés és az átirat újraformázása szintén kívül esik a dokumentált kimeneti profilon. A visszaadott megszólalásintervallumokat használja beszélői idővonalhoz vagy szakaszszintű ellenőrzéshez, és őrizze meg a felismert szavakat, ha egy külön szerkesztési lépés később rendezettebb jegyzeteket készít.

Hasznos eredmény lehet egy teljes diktált szöveg, egy hangalapú kérdés átirata, egy beszélőkhöz rendelt beszélgetés vagy egy megszólalási idővonal. A neveket, számokat és szakkifejezéseket vesse össze az eredeti felvétellel, őrizze meg a módhoz és az időzítéshez tartozó kapcsolatokat, és a teljes megszólalásokat tartsa elérhetően ellenőrzéshez. Az átírás azt rögzíti, amit a modell a hangban felismert; egy elhangzott kérdés megválaszolása, lefordítása vagy megbeszélésjegyzetté alakítása egy későbbi alkalmazáslépés feladata.