Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 je model společnosti Meta pro porozumění zvuku, který přepisuje řeč, detekuje hranice výpovědí a přiřazuje promluvy jednotlivým mluvčím. Patří do rodiny modelů Muse Spark a v samotném modelu spojuje rozpoznávání řeči, diarizaci a detekci konce promluvy. Výstupem je rozpoznaný text spolu s časovými údaji a informacemi o mluvčích dostupnými ve zvoleném režimu.

Model zpracovává zvuk po úsecích dlouhých 80 milisekund a rozhoduje, zda má dále poslouchat, nebo vrátit text. Adaptivní prodleva mu umožňuje počkat na další zvuk, když je rozpoznání slova obtížnější. Během přicházející řeči tak vzniká průběžný text, po němž následují dokončené výsledky přepisu. Průběžný odhad a dokončenou promluvu chápejte jako různé fáze poslechu.

Vyberte si ze tří režimů. Push-to-talk je výchozí režim pro jednu řízenou výpověď, například hlasový dotaz nebo krátký diktovaný úsek. Endpointing umožňuje modelu detekovat hranice promluv a vrátit jeden dokončený přepis pro každý zjištěný segment. Diarizace přiřazuje rozpoznané řeči označení mluvčích a je určena pro nahrávky s více mluvčími, nikoli pro co nejrychlejší střídání hlasových příkazů a odpovědí.

U hotové nahrávky vrátí postup přepisu souboru úplný přepis v jednom požadavku. Výchozím výsledkem je JSON obsahující přepis a délku zvuku; v režimech endpointing a diarizace obsahuje také pole turns. Každá promluva může nést identifikátor, začátek a konec v milisekundách a svůj rozpoznaný text. V režimu diarizace jsou přítomna označení mluvčích. Push-to-talk vytvoří úplný přepis bez detekovaných promluv v tomto poli. Rozhraní výrobce pro nahrané soubory může vracet také prostý text nebo proud událostí přepisu. Prostý text ponechává detekované promluvy na samostatných řádcích a může obsahovat označení mluvčích; proud událostí končí svou poslední událostí bez samostatného souhrnu v JSON. Jeho průběžný režim delta vrací přírůstky textu, zatímco závěrečná událost přepisu obsahuje úplné znění.

Připravte soubor RIFF/WAVE obsahující jednokanálový zvuk PCM s 16bitovými celými čísly při 16 nebo 24 kHz. Nativní vzorkovací frekvence modelu je 24 kHz a rozhraní přijímá také 16 kHz. Před předáním nahrávky převeďte jiné kontejnery nebo kódování do této podporované podoby WAV. Profil přepisu souboru umožňuje zvuk o délce až 10 minut a celkové tělo požadavku do 32 MB. Uchovejte původní nahrávku i případný převod ve spojení s vráceným přepisem pro pozdější kontrolu poslechem.

Postup pro živý zvuk používá surové jednokanálové PCM se znaménkovými 16bitovými hodnotami v pořadí little-endian, při 16 nebo 24 kHz a odesílání přibližně v reálném čase. Zdokumentované trvání relace je 60 minut. Meta popisuje nativní zvukový vstup přesahující jednu hodinu; zdokumentované limity souboru a živé relace zůstávají samostatnými hranicemi rozhraní. Zvolte postup pro nahraný soubor nebo živý zvuk podle toho, zda je zvuk již kompletní, nebo se stále pořizuje, a výsledky samostatných relací uchovávejte ve spojení s jejich vlastními vstupními úseky.

Muse Voice Transcribe je trénován na více než 70 jazycích, zatímco zdokumentované rozhraní rozpoznávání uvádí 25 podporovaných jazyků. Patří mezi ně angličtina, francouzština, němčina, španělština, arabština, mandarínská čínština, hindština, japonština, korejština, italština a portugalština. Rozpoznává střídání jazyků uvnitř vět i mezi nimi. Jazyková nápověda může uvést jazyky očekávané ve zvuku, ale pouze usměrňuje rozpoznávání a nevynucuje přepis do jediného jazyka.

Slovníkové nápovědy pomáhají s produktovými termíny, zkratkami, jmény nebo místy důležitými pro nahrávku. Zadejte skutečná slova a jejich zápis, které očekáváte ve zvuku. Seznam klíčových slov ovlivňuje rozpoznávání, aniž by zaručoval přesný pravopis, proto rozhodující výrazy zkontrolujte proti nahrávce. Jazykové nápovědy a klíčová slova se vybírají na začátku přepisu; ponechte je odpovídající dané nahrávce a neměňte jejich význam v průběhu relace.

Model podporuje diarizaci rozhovorů s více než 20 mluvčími. Označení jako A a B rozlišují mluvčí v rámci jednoho přepisu. Nejde o ověřená jména a nezaručují, že označení v jiné relaci odkazuje na tutéž osobu. Při prvotní analýze schůzky požadujte promluvy přiřazené mluvčím, uchovejte nahrávku a pomocí označení uspořádejte diskusi, než okolní postup přiřadí skutečná jména účastníků.

Průběžné přepisy živého zvuku se mohou s příchodem další řeči měnit. V kumulativním režimu každý průběžný výsledek nahrazuje předchozí odhad, místo aby přidával jeho další kopii. Detekovaný konec řeči vyznačuje hranici, zatímco výsledek dokončené promluvy dodává konečný text, který se může lišit od posledního průběžného výsledku. Překrývající se promluvy uchovávejte ve spojení s jejich identifikátory a před prohlášením přepisu za dokončený zpracujte dokončené výsledky. Když živý vstup skončí, signalizujte konec vstupu a pokračujte v příjmu, dokud producent nedokončí odesílání čekajících výsledků. Okamžité uzavření spojení může tyto výsledky zahodit; detekovaná hranice řeči ukončuje promluvu, nikoli celou relaci.

Časování je dostupné na úrovni promluv. Tento profil neposkytuje časové značky jednotlivých slov ani skóre jistoty a postup zpracování zvuku není časovou značkou konkrétního slova. Detekce zvukových událostí, rozpoznávání emocí a přeformátování přepisu také leží mimo zdokumentovaný profil výstupu. Vrácené intervaly promluv využijte pro časovou osu mluvčích nebo kontrolu jednotlivých segmentů a uchovejte rozpoznaná slova, pokud samostatný následný krok úprav vytvoří přehlednější poznámky.

Mezi užitečné artefakty patří dokončený diktovaný text, přepis hlasového dotazu, rozhovor s přiřazenými mluvčími nebo časová osa výpovědí. Jména, čísla a odborné termíny porovnejte s původní nahrávkou, zachovejte vazby na režim a časování a ponechte úplné promluvy dostupné ke kontrole. Přepis zachycuje to, co bylo ve zvuku rozpoznáno; zodpovězení vyslovené otázky, její překlad nebo vytvoření zápisu ze schůzky patří do následného kroku aplikace.