Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 is Meta’s model voor audioperceptie dat spraak transcribeert, de grenzen van uitingen detecteert en spreekbeurten aan sprekers toewijst. Het behoort tot de Muse Spark-modelfamilie en combineert spraakherkenning, sprekerdiarisatie en endpointing binnen het model. De uitvoer bestaat uit herkende tekst met de tijds- en sprekerinformatie die in de gekozen modus beschikbaar is.

Het model verwerkt audio in blokken van 80 milliseconden en bepaalt wanneer het verder luistert of tekst uitstuurt. Dankzij een adaptieve vertraging kan het op extra audio wachten wanneer een woord moeilijker te herkennen is. Zo levert het voorlopige tekst terwijl de spraak binnenkomt, gevolgd door voltooide transcriptieresultaten. Behandel de voorlopige hypothese en de voltooide spreekbeurt als verschillende fasen van de luisterervaring.

Kies uit drie modi. Push-to-talk is de standaard voor één afgebakende uiting, zoals een gesproken zoekopdracht of een kort gedicteerd tekstfragment. Met endpointing detecteert het model de grenzen van spreekbeurten en geeft het per gedetecteerd segment één voltooide transcriptie terug. Diarisatie wijst de herkende spraak toe aan sprekerlabels en is bedoeld voor opnames met meerdere sprekers, eerder dan voor de snelst mogelijke beurtwisseling bij spraakopdrachten.

Voor een opgenomen fragment geeft de workflow voor bestandstranscriptie in één verzoek een volledige transcriptie terug. Het standaardresultaat is JSON met de transcriptie en de audioduur, en met een turns-array in de modi endpointing en diarisatie. Elke spreekbeurt kan een identificatie, een begin- en eindtijd in milliseconden en de herkende tekst bevatten. In de diarisatiemodus zijn sprekerlabels aanwezig. Push-to-talk levert de volledige transcriptie zonder gedetecteerde spreekbeurten in die array. De interface van de fabrikant voor opgenomen bestanden kan ook platte tekst of een stroom transcriptiegebeurtenissen teruggeven. Platte tekst plaatst gedetecteerde spreekbeurten op afzonderlijke regels en kan sprekerlabels bevatten; een gebeurtenissenstroom eindigt na de laatste gebeurtenis zonder afzonderlijke JSON-samenvatting. De voorlopige delta-modus geeft tekst stapsgewijs terug, terwijl de laatste transcriptiegebeurtenis de volledige formulering bevat.

Bereid een RIFF/WAVE-bestand voor met mono-audio in 16-bits integer PCM bij 16 of 24 kHz. De native samplefrequentie van het model is 24 kHz en de interface aanvaardt ook 16 kHz. Zet andere containers of coderingen om naar die ondersteunde WAV-vorm voordat u een opname aanbiedt. Het profiel voor bestandstranscriptie staat audio tot 10 minuten en een totale verzoekinhoud tot 32 MB toe. Bewaar de oorspronkelijke opname en eventuele conversie samen met de teruggegeven transcriptie, zodat u die later beluisterend kunt controleren.

De workflow voor liveaudio gebruikt ruwe, signed 16-bits little-endian mono-PCM, met audio van 16 of 24 kHz die ongeveer in realtime wordt aangeleverd. Het gedocumenteerde sessievenster bedraagt 60 minuten. Meta beschrijft native audio-invoer van meer dan één uur; de gedocumenteerde limieten voor bestanden en livesessies blijven afzonderlijke interfacegrenzen. Kies de workflow voor opgenomen bestanden of voor liveaudio naargelang de audio al volledig beschikbaar is of nog wordt opgenomen, en houd resultaten van afzonderlijke sessies verbonden met hun eigen invoersegmenten.

Muse Voice Transcribe is getraind op meer dan 70 talen, terwijl de gedocumenteerde herkenningsinterface 25 ondersteunde talen opsomt. Daaronder vallen Engels, Frans, Duits, Spaans, Arabisch, Mandarijn-Chinees, Hindi, Japans, Koreaans, Italiaans en Portugees. Het herkent taalwissels binnen of tussen zinnen. Een taalhint kan aangeven welke talen in de audio worden verwacht, maar stuurt de herkenning in plaats van de transcriptie in één taal te dwingen.

Woordenschathints helpen bij producttermen, acroniemen, namen of plaatsen die belangrijk zijn in een opname. Geef de werkelijke woorden en schrijfwijzen op die u verwacht te horen. De trefwoordenlijst beïnvloedt de herkenning zonder een exacte spelling te garanderen; controleer doorslaggevende termen daarom aan de hand van de audio. Taalhints en trefwoorden worden bij het begin van de transcriptie gekozen; houd ze passend voor die opname in plaats van hun betekenis tijdens een lopende sessie te veranderen.

Het model ondersteunt diarisatie voor gesprekken met meer dan 20 sprekers. Labels zoals A en B identificeren sprekers binnen één transcriptie. Het zijn geen geverifieerde namen en ze stellen niet vast dat een label in een andere sessie naar dezelfde persoon verwijst. Vraag voor een oorspronkelijke vergaderanalyse spreekbeurten met sprekerstoewijzing op, bewaar de opname en gebruik de labels om de bespreking te ordenen voordat de omliggende workflow er echte deelnemersnamen aan koppelt.

Voorlopige livetranscripties kunnen veranderen wanneer meer spraak binnenkomt. In de cumulatieve modus vervangt elk voorlopig resultaat de vorige hypothese in plaats van er nog een kopie aan toe te voegen. Een gedetecteerd spraakeinde markeert een grens, terwijl het resultaat van de voltooide spreekbeurt de definitieve tekst levert en kan verschillen van het laatste voorlopige resultaat. Houd overlappende spreekbeurten verbonden met hun identificaties en verwerk de voltooide resultaten voordat u een transcriptie als afgerond beschouwt. Signaleer het einde van de invoer wanneer de live-invoer stopt en blijf ontvangen tot de producent de nog wachtende resultaten volledig heeft uitgestuurd. Als u de verbinding onmiddellijk sluit, kunnen die resultaten verloren gaan; een gedetecteerde spraakgrens beëindigt een spreekbeurt, niet de hele sessie.

Tijdsaanduidingen gelden per spreekbeurt. Dit profiel levert geen tijdstempels per woord of betrouwbaarheidsscores, en de voortgang van de audioverwerking is geen tijdstempel voor een bepaald woord. Ook detectie van geluiden, emotiedetectie en herformattering van de transcriptie vallen buiten het gedocumenteerde uitvoerprofiel. Gebruik de teruggegeven intervallen van spreekbeurten voor een sprekerstijdlijn of controle per segment, en bewaar de herkende woorden als een afzonderlijke bewerkingsstap later nettere notities maakt.

Bruikbare resultaten zijn een volledig gedicteerd tekstfragment, een transcriptie van een spraakvraag, een gesprek met sprekerstoewijzing of een tijdlijn van uitingen. Vergelijk namen, getallen en technische termen met de oorspronkelijke opname, bewaar de verbanden met modus en tijdsaanduidingen en houd de volledige spreekbeurten beschikbaar voor controle. De transcriptie legt vast wat in de audio werd herkend; een gesproken vraag beantwoorden, vertalen of omzetten naar vergadernotities behoort tot een volgende applicatiestap.