Microsoft AI: MAI-Transcribe 1.5

Microsoft AI MAI-Transcribe 1.5 – tai kalbos vertimo tekstu modelis įrašytam garsui paversti rašytiniu turiniu. Tiksli modelio kortelė aprašo 43 kalbų atpažinimą, automatinį kalbos nustatymą ir atsparumą skirtingiems akcentams, tarmėms, kalbėjimo stiliams bei triukšmingoms sąlygoms. Leidimas MAI-Transcribe 1 25 kalbų rinkinį išplečia aštuoniolika kalbų. Naudingas rezultatas – rašytinė paskaitos, interviu, skambučio ar balso pastabos kalba, kurią prieš vėlesnį redagavimą ar analizę galima patikrinti pagal įrašą.

Parenkite visą suprantamą įrašą vienu iš gamintojo nurodytų formatų: WAV, MP3 arba FLAC. Išsaugokite pradinį failą ir visą suskirstymą dalimis, kad transkripciją būtų galima palyginti su garsu. Paskaitoje išlaikykite frazes aplink techninį terminą, užuot iškirpę tik sunkų žodį. Balso pastaboje išsaugokite pataisą, kuri keičia vardą, laiką ar skaičių. Aplinkinė kalba suteikia kontekstą pasakytam tekstui atpažinti, o klausytojo peržiūra gali nustatyti, kur išvestį reikia pataisyti.

Automatinis kalbos nustatymas leidžia apdoroti įrašą nereikalaujant iš anksto pasirinkti kalbos. 43 kalbų rinkinys apima anglų, prancūzų, vokiečių, italų, ispanų, hindi, kinų, japonų, korėjiečių, arabų, indoneziečių, rusų, tajų ir vietnamiečių kalbas. Tarp pridėtų kalbų yra bulgarų, katalonų, graikų, ukrainiečių ir kelios Pietų Azijos kalbos. Patikrinkite, ar numatyta kalba priklauso šio leidimo rinkiniui, užuot perėmę platesnę MAI-Transcribe 2 aprėptį. Daugiakalbiuose rinkiniuose įrašo kalbą išsaugokite su peržiūrėtu tekstu, kad paskesnis redagavimas atitiktų tikrą sakytinį turinį.

1.5 modelio kortelė aprašo raktažodžių ar esinių užuominas su iki 200 terminų, o leidimas paaiškina paskirtį: tikėtinus vardus, akronimus ir specializuotus žodžius pateikti kaip kontekstą. Gamintojas aprašo kontekstines užuominas, o ne aklą pateiktų žodžių priverstinį įtraukimą į rezultatą. Parenkite svarbų žodyną, pavyzdžiui, projekto pavadinimą, techninį instrumentą ar teisingą įraše aptariamo žmogaus vardo rašybą. Šią terminiją naudokite kaip tikro įrašo kontekstą, o atpažintus terminus patikrinkite pagal kalbą.

Įrašytai inžinerijos pamokai parenkite aptariamų instrumentų pavadinimus ir tikslią bet kurio projekto akronimo rašybą. Tikslias jų formas įrašykite į tikslingą terminų sąrašą ir laikykite jį kartu su garsu bei transkripcija. Šiuos atvejus patikrinkite pagal sakytines ištraukas, užuot žodyno įrašą laikę atitikmens įrodymu. Panašiai skambančius vardus vis tiek gali reikėti tikrinti. Rezultatas turėtų išsaugoti iš tikrųjų ištartus žodžius, įskaitant jų prasmę keičiančią pataisą ar patikslinimą.

Gamintojas pabrėžia darbą su realiu garsu, įskaitant foninį triukšmą ir įvairias mikrofonų sąlygas. Praktinę peržiūrą galima sutelkti į ištraukas su vienalaike kalba, tyliais balsais ar kito garso iš dalies uždengtais žodžiais. Neaiškumus susiekite su atitinkama garso ištrauka, užuot užpildę juos temos prielaidomis. Tikėtinas sakinys vis tiek gali turėti neteisingą tikrinį vardą ar skaičių. Skambučio transkripcijai naudingas rezultatas – patikrintas sakytinio turinio įrašas vėlesnei analizei, o ne spėjamas skambintojo ketinimo aprašas.

Tikslioje 1.5 modelio kortelėje nurodytas didžiausias 300 MB failas ir dvi valandos. Susieta sinchroninės transkripcijos REST specifikacija aprašo griežtesnę aptarnavimo įvestį: mažiau nei 250 MB ir trumpiau nei dvi valandas. Tai atskirai nurodytos modelio kortelės ir sąsajos ribos. Failus parenkite pagal numatytos sąsajos apimtį, o ilgesnę medžiagą tvarkykite ties prasmingomis įrašo ribomis. Failo dydžio riba taikoma užkoduotam garsui, o trukmės riba – kalbos įrašo ilgiui; nė viena nenustato tekstinio modelio konteksto lango.

Modelio kortelės pavyzdinė išvestis yra JSON su įrašo trukme ir bendru atpažintu tekstu. Tekstas gali tapti prieinama transkripcija, subtitrų scenarijumi ar vėlesnio apibendrinimo ir paieškos įvestimi. Subtitrų įrašų grupavimas ir sulygiavimas su įrašu yra atskiras parengimas, kai rezultate nėra reikalingų laiko duomenų. Interviu įrašuose replikos priskyrimas įvardytam dalyviui reikalauja atskiro patikrinto įrašo, kas kalbėjo. Atpažintą formuluotę ir garsą išsaugokite kaip šių vėlesnių rezultatų pagrindą.

Planuojant išvestį svarbios leidimo ribos. 1.5 kortelė aiškiai nurodo, kad kalbėtojų atskyrimas nepatenka į palaikomas galimybes, o gamintojo versijų palyginimas žodžių lygmens laiko žymas ir clean/verbatim stiliaus valdiklius priskiria MAI-Transcribe 2. Natyvus srautinis modelis taip pat yra atskiras leidimas. Todėl šis 1.5 variantas sutelktas į iš įrašų atpažintą tekstą ir dokumentuotą srities kontekstą, neperkeliant į rezultatą kito leidimo kalbėtojų, laiko ar tiesioginės įvesties funkcijų. Prieš ruošdami citatą, subtitrų takelį ar išvestinį dokumentą, peržiūrėkite vardus, skaičius, techninius terminus ir neaiškią kalbą.