Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 – Meta garso suvokimo modelis, skirtas kalbai transkribuoti, pasakymų riboms aptikti ir kalbėjimo segmentams priskirti kalbėtojams. Jis priklauso Muse Spark modelių šeimai ir pačiame modelyje sujungia atpažinimą, kalbėtojų atskyrimą bei kalbėjimo pabaigos aptikimą. Jo išvestis – atpažintas tekstas su pasirinktu režimu prieinama laiko ir kalbėtojų informacija.

Modelis apdoroja garsą 80 milisekundžių dalimis ir nusprendžia, kada toliau klausytis, o kada pateikti tekstą. Prisitaikanti delsa leidžia palaukti papildomo garso, kai žodį sunkiau atpažinti. Taip gaunamas dalinis tekstas, kol kalba dar atkeliauja, o paskui – užbaigti transkripcijos rezultatai. Dalinę hipotezę ir užbaigtą kalbėjimo segmentą laikykite skirtingais klausymo proceso etapais.

Rinkitės iš trijų režimų. Push-to-talk yra numatytasis režimas vienam kontroliuojamam pasakymui, pavyzdžiui, balso užklausai ar trumpai diktuojamai ištraukai. Endpointing leidžia modeliui aptikti kalbėjimo segmentų ribas ir kiekvienam aptiktam segmentui grąžinti po vieną užbaigtą transkripciją. Diarization priskiria atpažintą kalbą kalbėtojų žymoms ir yra skirtas įrašams su keliais kalbėtojais, o ne sparčiausiam apsikeitimui balso komandomis.

Įrašyto fragmento failo transkribavimo darbo eiga grąžina visą transkripciją viena užklausa. Numatytasis rezultatas yra JSON su transkripcija ir garso trukme, o režimuose Endpointing ir Diarization jame yra ir turns masyvas. Kiekvienas segmentas gali turėti identifikatorių, pradžią bei pabaigą milisekundėmis ir jo atpažintą tekstą. Kalbėtojų žymos pateikiamos režimu Diarization. Push-to-talk pateikia visą transkripciją be aptiktų segmentų tame masyve. Gamintojo įrašytų failų sąsaja taip pat gali grąžinti paprastą tekstą arba transkribavimo įvykių srautą. Paprastame tekste aptikti segmentai išlaikomi atskirose eilutėse ir gali būti kalbėtojų žymų; įvykių srautas baigiasi po paskutinio įvykio, be atskiros JSON santraukos. Jo delta dalinis režimas grąžina palaipsniui papildomą tekstą, o galutiniame transkripcijos įvykyje pateikiamas visas tekstas.

Paruoškite RIFF/WAVE failą su vieno kanalo, 16 bitų sveikųjų skaičių PCM garsu, kurio diskretizavimo dažnis yra 16 arba 24 kHz. Modelio savasis dažnis yra 24 kHz, o sąsaja taip pat priima 16 kHz. Prieš pateikdami įrašą, kitus konteinerius ar koduotes paverskite šiuo palaikomu WAV formatu. Failų transkribavimo profilis leidžia iki 10 minučių garso ir iki 32 MB bendrą užklausos turinį. Išlaikykite pirminį įrašą ir bet kurią jo konversiją susietus su grąžinta transkripcija, kad vėliau galėtumėte ją patikrinti klausydamiesi.

Tiesioginio garso darbo eiga naudoja neapdorotą vieno kanalo PCM su 16 bitų sveikaisiais skaičiais su ženklu ir little-endian baitų tvarka; 16 arba 24 kHz garsas siunčiamas maždaug realiuoju laiku. Dokumentuota jos sesijos trukmės riba yra 60 minučių. Meta aprašo savąją garso įvestį, ilgesnę nei viena valanda; dokumentuoti failų ir tiesioginių sesijų apribojimai išlieka atskiromis sąsajos ribomis. Įrašyto failo ar tiesioginio garso darbo eigą rinkitės pagal tai, ar garsas jau visas įrašytas, ar dar fiksuojamas, ir skirtingų sesijų rezultatus išlaikykite susietus su jų įvesties segmentais.

Muse Voice Transcribe mokytas daugiau nei 70 kalbų, o dokumentuotoje atpažinimo sąsajoje išvardytos 25 palaikomos kalbos. Tarp jų yra anglų, prancūzų, vokiečių, ispanų, arabų, mandarinų kinų, hindi, japonų, korėjiečių, italų ir portugalų kalbos. Jis atpažįsta kalbų kaitą sakinio viduje arba tarp sakinių. Kalbos užuomina gali nurodyti, kokių kalbų tikimasi garso įraše, tačiau ji nukreipia atpažinimą, o ne priverčia transkripciją būti viena kalba.

Žodyno užuominos padeda atpažinti įrašui svarbius produktų terminus, akronimus, vardus ar vietovardžius. Pateikite tikrus žodžius ir jų rašybą, kuriuos tikitės išgirsti. Raktažodžių sąrašas palenkia atpažinimą jų link, tačiau negarantuoja tikslios rašybos, todėl lemiamus terminus patikrinkite pagal garsą. Kalbos užuominos ir raktažodžiai parenkami transkribavimo pradžioje; išlaikykite juos tinkamus tam įrašui, nekeisdami jų prasmės vykstant sesijai.

Modelis palaiko kalbėtojų atskyrimą pokalbiuose, kuriuose yra daugiau nei 20 kalbėtojų. Tokios žymos kaip A ir B nurodo kalbėtojus vienoje transkripcijoje. Jos nėra patvirtinti vardai ir neįrodo, kad ta pati žyma kitoje sesijoje reiškia tą patį žmogų. Atlikdami pirminę susitikimo analizę, prašykite kalbėtojams priskirtų segmentų, išsaugokite įrašą ir naudokite žymas diskusijai susisteminti, o tik tada per aplinkinę darbo eigą priskirkite tikrus dalyvių vardus.

Tiesioginio garso dalinės transkripcijos gali keistis, kai atkeliauja daugiau kalbos. Kaupiamuoju režimu kiekvienas dalinis rezultatas pakeičia ankstesnę hipotezę, užuot pridėjęs dar vieną jos kopiją. Aptikta kalbėjimo pabaiga pažymi ribą, o užbaigto segmento rezultatas pateikia galutinį tekstą, kuris gali skirtis nuo paskutinio dalinio rezultato. Persidengiančius segmentus išlaikykite susietus su jų identifikatoriais ir apdorokite užbaigtus rezultatus prieš laikydami transkripciją baigta. Kai tiesioginė įvestis baigiasi, praneškite apie įvesties pabaigą ir toliau priimkite rezultatus, kol gamintojo sistema baigs pateikti visus laukiančius rezultatus. Iškart uždarius ryšį, šie rezultatai gali būti prarasti; aptikta kalbėjimo riba užbaigia segmentą, o ne visą sesiją.

Laiko informacija pateikiama segmentų lygmeniu. Šis profilis nepateikia atskirų žodžių laiko žymų ar patikimumo įverčių, o garso apdorojimo eiga nėra konkretaus žodžio laiko žyma. Garso įvykių aptikimas, emocijų aptikimas ir transkripcijos performatavimas taip pat nepatenka į dokumentuotą išvesties profilį. Grąžintus segmentų intervalus naudokite kalbėtojų laiko juostai arba segmentų peržiūrai, o atpažintus žodžius išsaugokite, jei vėliau atskiru redagavimo žingsniu bus parengti aiškesni užrašai.

Naudingi rezultatai yra užbaigta diktuota ištrauka, balso užklausos transkripcija, kalbėtojams priskirtas pokalbis arba pasakymų laiko juosta. Vardus, skaičius ir techninius terminus palyginkite su pirminiu įrašu, išsaugokite režimo ir laiko sąsajas bei palikite visus segmentus prieinamus peržiūrai. Transkripcija parodo, kas buvo atpažinta garse; atsakymas į ištartą klausimą, jo vertimas ar pavertimas susitikimo užrašais priklauso paskesniam programos veiksmui.