Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 is het audioperceptiemodel van Meta voor het transcriberen van spraak, het detecteren van uitingsgrenzen en het toewijzen van spreekbeurten aan sprekers. Het behoort tot de Muse Spark-modelfamilie en combineert herkenning, diarization en endpointing binnen het model. De uitvoer bestaat uit herkende tekst met de tijds- en sprekerinformatie die in de gekozen modus beschikbaar is.

Het model verwerkt audio in blokken van 80 milliseconden en beslist wanneer het verder luistert of tekst uitvoert. Dankzij een adaptieve vertraging kan het op extra audio wachten wanneer een woord moeilijker te bepalen is. Daardoor verschijnt gedeeltelijke tekst terwijl de spraak binnenkomt, gevolgd door voltooide transcriptieresultaten. Behandel de voorlopige hypothese en de voltooide spreekbeurt als verschillende fasen van de luisterervaring.

Kies uit drie modi. Push-to-talk is de standaard voor één afgebakende uiting, zoals een gesproken zoekvraag of een kort gedicteerd fragment. Endpointing laat het model grenzen tussen spreekbeurten detecteren en per gedetecteerd segment één voltooide transcriptie teruggeven. Diarization koppelt de herkende spraak aan sprekerlabels en is bedoeld voor opnamen met meerdere sprekers, in plaats van voor de snelst mogelijke beurtwisseling bij spraakopdrachten.

Voor een opgenomen fragment geeft de workflow voor bestandstranscriptie in één verzoek een volledige transcriptie terug. Het standaardresultaat is JSON met de transcriptie en audioduur, met een turns-array in de modi endpointing en diarization. Elke spreekbeurt kan een identifier, een begin- en eindtijd in milliseconden en de herkende tekst bevatten. In de modus diarization zijn sprekerlabels aanwezig. Push-to-talk levert de volledige transcriptie zonder gedetecteerde spreekbeurten in die array. De interface van de fabrikant voor opgenomen bestanden kan ook platte tekst of een stroom transcriptiegebeurtenissen teruggeven. Platte tekst houdt gedetecteerde spreekbeurten op afzonderlijke regels en kan sprekerlabels bevatten; een gebeurtenissenstroom eindigt na de laatste gebeurtenis zonder een afzonderlijke JSON-samenvatting. De gedeeltelijke modus delta geeft incrementele tekst terug, terwijl de laatste transcriptiegebeurtenis de volledige formulering bevat.

Bereid een RIFF/WAVE-bestand voor met mono PCM-audio met 16-bits gehele getallen op 16 of 24 kHz. De native samplefrequentie van het model is 24 kHz; de interface accepteert ook 16 kHz. Zet andere containers of coderingen om naar die ondersteunde WAV-vorm voordat je een opname aanlevert. Het profiel voor bestandstranscriptie staat audio tot 10 minuten en een totale verzoekbody tot 32 MB toe. Bewaar de oorspronkelijke opname en eventuele conversie gekoppeld aan de teruggegeven transcriptie, zodat je deze later al luisterend kunt controleren.

De workflow voor liveaudio gebruikt ruwe mono PCM met signed 16-bits little-endian samples, met audio op 16 of 24 kHz die ongeveer in realtime wordt aangeleverd. Het gedocumenteerde sessievenster is 60 minuten. Meta beschrijft native audio-invoer van meer dan een uur; de gedocumenteerde limieten voor bestanden en livesessies blijven afzonderlijke interfacegrenzen. Kies de workflow voor opgenomen bestanden of liveaudio op basis van de vraag of de audio al volledig beschikbaar is of nog wordt opgenomen, en houd resultaten uit verschillende sessies gekoppeld aan hun eigen invoersegmenten.

Muse Voice Transcribe is getraind op meer dan 70 talen, terwijl de gedocumenteerde herkenningsinterface 25 ondersteunde talen opsomt. Daartoe behoren Engels, Frans, Duits, Spaans, Arabisch, Mandarijn-Chinees, Hindi, Japans, Koreaans, Italiaans en Portugees. Het herkent code-switching binnen en tussen zinnen. Een taalhint kan de talen benoemen die je in de audio verwacht, maar stuurt de herkenning in plaats van de transcriptie tot één taal te dwingen.

Woordenschathints helpen bij producttermen, acroniemen, namen of plaatsen die belangrijk zijn in een opname. Geef de daadwerkelijke woorden en schrijfwijzen op die je verwacht te horen. De trefwoordenlijst beïnvloedt de herkenning zonder een exacte spelling te garanderen; controleer daarom doorslaggevende termen aan de hand van de audio. Taalhints en trefwoorden worden aan het begin van de transcriptie gekozen; houd ze passend bij die opname in plaats van hun betekenis tijdens een lopende sessie te veranderen.

Het model ondersteunt diarization voor gesprekken met meer dan 20 sprekers. Labels zoals A en B duiden sprekers binnen één transcriptie aan. Het zijn geen geverifieerde namen en ze bewijzen niet dat een label in een andere sessie naar dezelfde persoon verwijst. Vraag voor een nieuwe vergaderanalyse om spreekbeurten met sprekerstoewijzing, bewaar de opname en gebruik de labels om de discussie te ordenen voordat je via de omringende workflow echte deelnemersnamen toewijst.

Gedeeltelijke livetranscripties kunnen veranderen naarmate er meer spraak binnenkomt. In de cumulatieve modus vervangt elk gedeeltelijk resultaat de voorgaande hypothese, in plaats van er nog een kopie aan toe te voegen. Een gedetecteerd einde van spraak markeert een grens, terwijl het resultaat voor de voltooide spreekbeurt de definitieve tekst levert en kan afwijken van het laatste gedeeltelijke resultaat. Houd overlappende spreekbeurten gekoppeld aan hun spreekbeurtidentifiers en verwerk de voltooide resultaten voordat je een transcriptie als afgerond beschouwt. Signaleer het einde van de invoer wanneer de live-invoer stopt en blijf resultaten ontvangen totdat de producer alle resterende resultaten heeft uitgestuurd. De verbinding onmiddellijk sluiten kan die resultaten verloren laten gaan; een gedetecteerde spraakgrens beëindigt een spreekbeurt, niet de hele sessie.

Tijdsaanduidingen gelden per spreekbeurt. Dit profiel levert geen tijdstempels per woord of betrouwbaarheidsscores, en de voortgang van de audioverwerking is geen tijdstempel voor een bepaald woord. Ook het detecteren van geluidsgebeurtenissen, emotiedetectie en het herformatteren van transcripties vallen buiten het gedocumenteerde uitvoerprofiel. Gebruik de teruggegeven spreekbeurtintervallen voor een tijdlijn per spreker of controle per segment, en bewaar de herkende woorden als een afzonderlijke bewerkingsstap later nettere notities maakt.

Bruikbare artefacten zijn bijvoorbeeld een voltooid gedicteerd fragment, de transcriptie van een gesproken zoekvraag, een gesprek met sprekerstoewijzing of een tijdlijn van uitingen. Vergelijk namen, getallen en technische termen met de oorspronkelijke opname, behoud de koppeling met de modus en tijdsaanduidingen en houd de volledige spreekbeurten beschikbaar voor controle. De transcriptie legt vast wat in de audio is herkend; een gesproken vraag beantwoorden, deze vertalen of er vergadernotities van maken hoort bij een volgende applicatiestap.