Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 je model spoločnosti Meta na vnímanie zvuku, určený na prepis reči, zisťovanie hraníc výpovedí a priraďovanie replík hovoriacim. Patrí do rodiny modelov Muse Spark a v modeli spája rozpoznávanie, diarizáciu a detekciu koncov rečových úsekov. Jeho výstupom je rozpoznaný text s informáciami o časovaní a hovoriacich dostupnými vo vybranom režime.

Model spracúva zvuk v 80-milisekundových blokoch a rozhoduje, kedy pokračovať v počúvaní alebo vyslať text. Jeho adaptívne oneskorenie mu umožňuje počkať na ďalší zvuk, keď je slovo ťažšie rozlíšiteľné. Počas prichádzajúcej reči tak vzniká čiastočný text, po ktorom nasledujú dokončené výsledky prepisu. Čiastočnú hypotézu a dokončenú repliku považujte za odlišné fázy zážitku z počúvania.

Vyberte z troch režimov. Push-to-talk je predvolený pre jednu kontrolovanú výpoveď, napríklad hlasový dopyt alebo krátku diktovanú pasáž. Endpointing umožňuje modelu zisťovať hranice replík a vrátiť jeden dokončený prepis pre každý detegovaný úsek. Diarization priraďuje rozpoznanú reč k označeniam hovoriacich a je určený na nahrávky s viacerými hovoriacimi, nie na najrýchlejšie striedanie hlasových príkazov.

Pri nahratom klipe pracovný postup prepisu súboru vracia úplný prepis v jednej požiadavke. Predvoleným výsledkom je JSON obsahujúci prepis a dĺžku zvuku, s poľom turns v režimoch endpointing a diarization. Každá replika môže obsahovať identifikátor, začiatok a koniec v milisekundách a rozpoznaný text. Označenia hovoriacich sú prítomné v režime diarization. Push-to-talk vytvára úplný prepis bez detegovaných replík v tomto poli. Rozhranie výrobcu pre nahraté súbory môže vracať aj obyčajný text alebo prúd udalostí prepisu. Obyčajný text ponecháva detegované repliky na samostatných riadkoch a môže obsahovať označenia hovoriacich; prúd udalostí končí po poslednej udalosti bez samostatného súhrnu JSON. Jeho čiastočný režim delta vracia prírastkový text, zatiaľ čo konečná udalosť prepisu obsahuje úplné znenie.

Pripravte súbor RIFF/WAVE obsahujúci monofónny zvuk PCM so 16-bitovými celými číslami pri 16 alebo 24 kHz. Natívna frekvencia modelu je 24 kHz a rozhranie prijíma aj 16 kHz. Pred dodaním nahrávky preveďte iné kontajnery alebo kódovania do tejto podporovanej podoby WAV. Profil prepisu súboru povoľuje zvuk dlhý najviac 10 minút a celkové telo požiadavky najviac 32 MB. Pôvodnú nahrávku a každú konverziu uchovajte priradené k vrátenému prepisu pre neskoršiu kontrolu počúvaním.

Pracovný postup so živým zvukom používa nespracovaný monofónny PCM so znamienkovými 16-bitovými hodnotami little-endian, so zvukom pri 16 alebo 24 kHz dodávaným približne v reálnom čase. Jeho zdokumentované okno relácie je 60 minút. Meta opisuje natívny zvukový vstup presahujúci jednu hodinu; zdokumentované limity súboru a živej relácie zostávajú samostatnými hranicami rozhraní. Vyberte postup pre nahratý súbor alebo živý zvuk podľa toho, či je zvuk už úplný alebo sa ešte zaznamenáva, a výsledky samostatných relácií udržujte priradené k vlastným vstupným úsekom.

Muse Voice Transcribe je trénovaný na viac než 70 jazykoch, zatiaľ čo zdokumentované rozhranie rozpoznávania vymenúva 25 podporovaných jazykov. Zahŕňajú angličtinu, francúzštinu, nemčinu, španielčinu, arabčinu, mandarínsku čínštinu, hindčinu, japončinu, kórejčinu, taliančinu a portugalčinu. Rozpoznáva prepínanie jazykov v rámci viet aj medzi nimi. Jazyková nápoveda môže pomenovať jazyky očakávané vo zvuku, ale usmerňuje rozpoznávanie namiesto vynútenia prepisu do jedného jazyka.

Slovníkové nápovedy pomáhajú s produktovými termínmi, skratkami, menami alebo miestami dôležitými v nahrávke. Dodajte skutočné slová a zápisy, ktoré očakávate počuť. Zoznam kľúčových slov ovplyvňuje rozpoznávanie bez záruky presného zápisu, preto rozhodujúce termíny skontrolujte voči zvuku. Jazykové nápovedy a kľúčové slová sa vyberajú na začiatku prepisu; udržujte ich vhodné pre danú nahrávku namiesto zmeny ich významu počas bežiacej relácie.

Model podporuje diarizáciu rozhovorov s viac než 20 hovoriacimi. Označenia ako A a B identifikujú hovoriacich v rámci jedného prepisu. Nie sú overenými menami a nepotvrdzujú, že označenie odkazuje na rovnakú osobu v inej relácii. Pri pôvodnej úlohe analýzy stretnutia žiadajte repliky priradené hovoriacim, zachovajte nahrávku a použite označenia na usporiadanie diskusie pred priradením skutočných mien účastníkov v okolitom pracovnom postupe.

Živé čiastočné prepisy sa môžu meniť s príchodom ďalšej reči. V kumulatívnom režime každá čiastočná verzia nahrádza predchádzajúcu hypotézu namiesto pridania jej ďalšej kópie. Detegovaný koniec reči označuje hranicu, zatiaľ čo výsledok dokončenej repliky dodáva konečný text a môže sa líšiť od poslednej čiastočnej verzie. Prekrývajúce sa repliky udržujte priradené k ich identifikátorom a spracujte dokončené výsledky skôr, než prepis považujete za hotový. Keď živý vstup skončí, signalizujte koniec vstupu a pokračujte v prijímaní, kým producent nedokončí odosielanie čakajúcich výsledkov. Okamžité zatvorenie spojenia môže tieto výsledky zahodiť; detegovaná hranica reči ukončuje repliku, nie celú reláciu.

Časovanie je na úrovni replík. Tento profil neposkytuje časové značky jednotlivých slov ani skóre istoty a priebeh spracovania zvuku nie je časovou značkou konkrétneho slova. Detekcia zvukových udalostí, detekcia emócií a preformátovanie prepisu sú tiež mimo zdokumentovaného výstupného profilu. Vrátené intervaly replík použite na časovú os hovoriacich alebo kontrolu na úrovni úsekov a zachovajte rozpoznané slová, ak neskôr samostatný krok úprav vytvorí uhladenejšie poznámky.

Užitočné artefakty zahŕňajú dokončenú diktovanú pasáž, prepis hlasového dopytu, rozhovor priradený hovoriacim alebo časovú os výpovedí. Mená, čísla a technické termíny porovnajte s pôvodnou nahrávkou, zachovajte režim a časové priradenia a úplné repliky uchovajte dostupné na kontrolu. Prepis stanovuje, čo bolo rozpoznané vo zvuku; odpovedanie na hovorenú otázku, jej preklad alebo premena na poznámky zo stretnutia patrí následnému kroku aplikácie.