Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 er Metas modell for lydoppfatning, som transkriberer tale, registrerer ytringsgrenser og knytter taleturer til talere. Den tilhører Muse Spark-modellfamilien og kombinerer talegjenkjenning, talersegmentering og deteksjon av ytringsslutt i selve modellen. Resultatet er gjenkjent tekst med tids- og talerinformasjonen som er tilgjengelig i den valgte modusen.

Modellen behandler lyd i blokker på 80 millisekunder og avgjør når den skal fortsette å lytte eller sende ut tekst. Den adaptive forsinkelsen gjør at den kan vente på mer lyd når et ord er vanskeligere å tolke. Dette gir foreløpig tekst mens talen kommer inn, etterfulgt av ferdige transkripsjonsresultater. Behandle den foreløpige hypotesen og den ferdige taleturen som ulike stadier i lytteopplevelsen.

Velg mellom tre moduser. Push-to-talk er standarden for én kontrollert ytring, for eksempel et talesøk eller et kort diktert avsnitt. Endpointing lar modellen oppdage grenser mellom taleturer og returnere én ferdig transkripsjon per registrerte segment. Diarization knytter den gjenkjente talen til taleretiketter og er beregnet på opptak med flere talere, fremfor raskest mulig turtaking med talekommandoer.

For et opptak returnerer filtranskripsjonsflyten en komplett transkripsjon i én forespørsel. Standardresultatet er JSON med transkripsjonen og lydens varighet, samt en turns-matrise i modusene endpointing og diarization. Hver taletur kan ha en identifikator, start og slutt i millisekunder og den gjenkjente teksten. Taleretiketter finnes i diarization-modus. Push-to-talk gir den komplette transkripsjonen uten registrerte taleturer i denne matrisen. Produsentens grensesnitt for opptaksfiler kan også returnere ren tekst eller en strøm av transkripsjonshendelser. Ren tekst beholder registrerte taleturer på separate linjer og kan inneholde taleretiketter; en hendelsesstrøm avsluttes etter den siste hendelsen uten et separat JSON-sammendrag. Strømmens delta-modus for delresultater returnerer teksttillegg, mens den avsluttende transkripsjonshendelsen inneholder hele ordlyden.

Klargjør en RIFF/WAVE-fil med mono PCM-lyd med 16-bits heltallsverdier ved 16 eller 24 kHz. Modellens opprinnelige samplingsfrekvens er 24 kHz, og grensesnittet godtar også 16 kHz. Konverter andre beholdere eller kodinger til dette støttede WAV-formatet før du sender inn et opptak. Filtranskripsjonsprofilen tillater lyd på opptil 10 minutter og en samlet forespørselskropp på opptil 32 MB. Behold originalopptaket og eventuell konvertering knyttet til den returnerte transkripsjonen for senere kontroll ved lytting.

Arbeidsflyten for direktelyd bruker rå mono PCM med fortegn, 16-bits verdier og little-endian-byteorden, med lyd ved 16 eller 24 kHz sendt omtrent i sanntid. Det dokumenterte øktvinduet er 60 minutter. Meta beskriver opprinnelig lydinput på over én time; de dokumenterte grensene for filer og direkteøkter er fortsatt separate grensesnittgrenser. Velg fil- eller direkteflyten ut fra om lyden allerede er ferdig eller fortsatt tas opp, og knytt resultater fra separate økter til sine egne inputsegmenter.

Muse Voice Transcribe er trent på mer enn 70 språk, mens det dokumenterte gjenkjenningsgrensesnittet oppgir 25 støttede språk. Disse omfatter engelsk, fransk, tysk, spansk, arabisk, mandarin, hindi, japansk, koreansk, italiensk og portugisisk. Den gjenkjenner språkveksling innenfor og mellom setninger. Et språkhint kan angi språkene som forventes i lyden, men styrer gjenkjenningen uten å tvinge transkripsjonen over i ett språk.

Ordforrådshint hjelper med produktbegreper, akronymer, navn eller steder som er viktige i et opptak. Oppgi de faktiske ordene og stavemåtene du forventer å høre. Nøkkelordlisten påvirker gjenkjenningen uten å garantere en bestemt stavemåte, så kontroller avgjørende begreper mot lyden. Språkhint og nøkkelord velges ved starten av transkripsjonen; hold dem relevante for opptaket fremfor å endre betydningen deres mens en økt pågår.

Modellen støtter talersegmentering for samtaler med mer enn 20 talere. Etiketter som A og B identifiserer talere innenfor én transkripsjon. De er ikke bekreftede navn og fastslår ikke at en etikett viser til samme person i en annen økt. Ved en analyse av et originalt møte kan du be om talermerkede taleturer, beholde opptaket og bruke etikettene til å organisere diskusjonen før faktiske deltakernavn knyttes til dem gjennom den omkringliggende arbeidsflyten.

Foreløpige direktetranskripsjoner kan endre seg når mer tale kommer inn. I kumulativ modus erstatter hvert delresultat den foregående hypotesen fremfor å legge til enda en kopi av den. En registrert taleslutt markerer en grense, mens resultatet for en ferdig taletur gir den endelige teksten og kan avvike fra siste delresultat. Knytt overlappende taleturer til sine taleturidentifikatorer, og ta imot de ferdige resultatene før du behandler en transkripsjon som avsluttet. Når direkteinput opphører, signaliser slutten på input og fortsett å motta til produsenten har sendt ut alle ventende resultater. En umiddelbar lukking av forbindelsen kan forkaste disse resultatene; en registrert talegrense avslutter en taletur, fremfor hele økten.

Tidsangivelsene gjelder taleturer. Denne profilen gir ikke tidsstempler for enkeltord eller konfidensverdier, og fremdrift i lydbehandlingen er ikke et tidsstempel for et bestemt ord. Deteksjon av lydhendelser, følelsesdeteksjon og omformatering av transkripsjoner ligger også utenfor den dokumenterte resultatprofilen. Bruk de returnerte taleturintervallene til en talertidslinje eller kontroll på segmentnivå, og behold de gjenkjente ordene dersom et separat redigeringstrinn senere lager ryddigere notater.

Nyttige resultater omfatter et ferdig diktert avsnitt, en transkripsjon av et talesøk, en talermerket samtale eller en tidslinje over ytringer. Sammenlign navn, tall og faguttrykk med originalopptaket, bevar koblingene til modus og tidsangivelser, og hold de komplette taleturene tilgjengelige for kontroll. Transkripsjonen fastslår hva som ble gjenkjent i lyden; å besvare et muntlig spørsmål, oversette det eller gjøre det om til møtenotater hører til et senere trinn i applikasjonen.