Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 je Metin model za zaznavanje zvoka, namenjen prepisovanju govora, zaznavanju meja izjav in pripisovanju govornih potez govorcem. Spada v družino modelov Muse Spark ter v modelu združuje prepoznavanje, diarizacijo in zaznavanje konca govorne poteze. Njegov izhod je prepoznano besedilo s časovnimi podatki in podatki o govorcih, ki so na voljo v izbranem načinu.

Model obdeluje zvok v 80-milisekundnih kosih in odloča, kdaj naj nadaljuje poslušanje ali odda besedilo. Prilagodljiva zakasnitev mu omogoča počakati na dodaten zvok, kadar je besedo težje razločiti. Tako med prihajanjem govora ustvarja delno besedilo, ki mu sledijo dokončani rezultati prepisa. Delno hipotezo in dokončano govorno potezo obravnavajte kot različni stopnji poslušanja.

Izberite enega od treh načinov. Push-to-talk je privzeti način za eno nadzorovano izjavo, na primer glasovno poizvedbo ali kratek narekovani odlomek. Endpointing modelu omogoča zaznavanje meja govornih potez in vračanje enega dokončanega prepisa za vsak zaznani segment. Diarization prepoznani govor pripiše oznakam govorcev in je namenjen posnetkom z več govorci, ne najhitrejšemu izmenjevanju govornih potez pri glasovnih ukazih.

Pri posnetem odlomku potek prepisovanja datoteke vrne popoln prepis v eni zahtevi. Privzeti rezultat je JSON s prepisom in trajanjem zvoka, v načinih endpointing in diarization pa tudi s poljem turns. Vsaka govorna poteza lahko vsebuje identifikator, začetek in konec v milisekundah ter prepoznano besedilo. Oznake govorcev so prisotne v načinu diarization. Push-to-talk ustvari celoten prepis brez zaznanih govornih potez v tem polju. Proizvajalčev vmesnik za posnete datoteke lahko vrne tudi golo besedilo ali tok dogodkov prepisa. Golo besedilo ohrani zaznane govorne poteze v ločenih vrsticah in lahko vključuje oznake govorcev; tok dogodkov se zaključi po zadnjem dogodku brez ločenega povzetka JSON. Njegov način delnih rezultatov delta vrača prirastke besedila, dogodek končnega prepisa pa vsebuje celotno besedilo.

Pripravite datoteko RIFF/WAVE z enokanalnim zvokom PCM s 16-bitnimi celimi števili pri 16 ali 24 kHz. Izvorna frekvenca modela je 24 kHz, vmesnik pa sprejema tudi 16 kHz. Druge vsebnike ali kodiranja pred posredovanjem posnetka pretvorite v to podprto obliko WAV. Profil prepisovanja datotek dovoljuje zvok do 10 minut in celotno telo zahteve do 32 MB. Izvorni posnetek in morebitno pretvorbo hranite skupaj z vrnjenim prepisom za poznejši pregled s poslušanjem.

Potek dela z zvokom v živo uporablja neobdelani predznačeni 16-bitni enokanalni PCM z zapisom little-endian, z zvokom pri 16 ali 24 kHz, posredovanim približno v realnem času. Dokumentirano okno seje je 60 minut. Meta opisuje izvorni zvočni vhod, daljši od ene ure; dokumentirane omejitve datotek in sej v živo ostajajo ločene meje vmesnikov. Posneti ali živi potek izberite glede na to, ali je zvok že dokončan ali se še zajema, rezultate različnih sej pa ohranite povezane z njihovimi vhodnimi segmenti.

Muse Voice Transcribe je bil naučen na podatkih v več kot 70 jezikih, dokumentirani vmesnik za prepoznavanje pa našteva 25 podprtih jezikov. Med njimi so angleščina, francoščina, nemščina, španščina, arabščina, mandarinska kitajščina, hindijščina, japonščina, korejščina, italijanščina in portugalščina. Prepoznava preklapljanje med jeziki znotraj povedi ali med njimi. Jezikovni namig lahko poimenuje jezike, pričakovane v zvoku, vendar usmerja prepoznavanje in ne prisili prepisa v en jezik.

Namigi za besedišče pomagajo pri izrazih za izdelke, kraticah, imenih ali krajih, pomembnih v posnetku. Posredujte dejanske besede in zapise, ki jih pričakujete slišati. Seznam ključnih besed vpliva na prepoznavanje, ne zagotavlja pa točnega zapisa, zato odločilne izraze preverite ob zvoku. Jezikovni namigi in ključne besede se izberejo na začetku prepisovanja; naj ostanejo primerni za ta posnetek, namesto da med potekom seje spreminjate njihov pomen.

Model podpira diarizacijo pogovorov z več kot 20 govorci. Oznaki, kot sta A in B, označujeta govorce znotraj enega prepisa. Nista preverjeni imeni in ne dokazujeta, da se oznaka v drugi seji nanaša na isto osebo. Pri izvirni nalogi analize sestanka zahtevajte govorne poteze, pripisane govorcem, ohranite posnetek in z oznakami uredite razpravo, preden prek povezanega poteka dela dodelite dejanska imena udeležencev.

Delni prepisi v živo se lahko ob dodatnem govoru spremenijo. V kumulativnem načinu cumulative vsak delni rezultat zamenja predhodno hipotezo, namesto da bi dodal še eno njeno kopijo. Zaznani konec govora označi mejo, rezultat dokončane govorne poteze pa zagotovi končno besedilo, ki se lahko razlikuje od zadnjega delnega rezultata. Prekrivajoče se govorne poteze ohranite povezane z njihovimi identifikatorji in obdelajte dokončane rezultate, preden prepis obravnavate kot zaključen. Ko se vhod v živo konča, sporočite konec vhoda in nadaljujte prejemanje, dokler niso oddani vsi čakajoči rezultati. Takojšnje zaprtje povezave lahko te rezultate zavrže; zaznana govorna meja zaključi govorno potezo in ne celotne seje.

Časovni podatki so na ravni govornih potez. Ta profil ne zagotavlja časovnih oznak na ravni besed ali ocen zaupanja, napredek obdelave zvoka pa ni časovna oznaka določene besede. Tudi zaznavanje zvočnih dogodkov, zaznavanje čustev in preoblikovanje prepisa so zunaj dokumentiranega izhodnega profila. Vrnjene intervale govornih potez uporabite za časovnico govorcev ali pregled na ravni segmentov in ohranite prepoznane besede, če ločen korak urejanja pozneje ustvari bolj urejene zapiske.

Uporabni izdelki vključujejo dokončan narekovani odlomek, prepis glasovne poizvedbe, pogovor s pripisanimi govorci ali časovnico izjav. Imena, številke in strokovne izraze primerjajte z izvornim posnetkom, ohranite povezave z načinom in časovnimi podatki ter omogočite pregled celotnih govornih potez. Prepis določa, kaj je bilo prepoznano v zvoku; odgovarjanje na izgovorjeno vprašanje, prevajanje ali pretvorba v zapisnik sestanka pripada naslednjemu koraku aplikacije.