Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 er Metas model til lydforståelse, som transskriberer tale, registrerer ytringers grænser og knytter taleture til talere. Den tilhører Muse Spark-modelfamilien og kombinerer talegenkendelse, taleradskillelse og registrering af taleturens afslutning i selve modellen. Outputtet er den genkendte tekst med de tids- og taleroplysninger, der er tilgængelige i den valgte tilstand.

Modellen behandler lyd i bidder på 80 millisekunder og beslutter, hvornår den skal fortsætte med at lytte eller udsende tekst. Den adaptive forsinkelse gør det muligt at vente på mere lyd, når et ord er sværere at afklare. Det giver foreløbig tekst, mens talen modtages, efterfulgt af færdige transskriptionsresultater. Betragt den foreløbige hypotese og den afsluttede taletur som forskellige trin i lytteforløbet.

Vælg mellem tre tilstande. Push-to-talk er standardvalget til en enkelt, afgrænset ytring, eksempelvis en stemmeforespørgsel eller en kort dikteret passage. Endpointing lader modellen registrere grænserne mellem taleture og returnere én færdig transskription pr. registreret segment. Diarization knytter den genkendte tale til talerbetegnelser og er beregnet til optagelser med flere talere frem for den hurtigste turtagning ved stemmekommandoer.

Til et optaget klip returnerer arbejdsgangen for filtransskription en komplet transskription i én anmodning. Standardresultatet er JSON med transskriptionen og lydens varighed samt et turns-array i tilstandene endpointing og diarization. Hver taletur kan indeholde en identifikator, start og slut i millisekunder samt den genkendte tekst. Talerbetegnelser er med i diarization-tilstanden. Push-to-talk giver den komplette transskription uden registrerede taleture i dette array. Producentens grænseflade til optagede filer kan også returnere ren tekst eller en strøm af transskriptionshændelser. Ren tekst holder registrerede taleture på separate linjer og kan indeholde talerbetegnelser; en hændelsesstrøm slutter efter sin sidste hændelse uden en separat JSON-opsummering. Dens delta-tilstand for foreløbige resultater returnerer tekst løbende i tilføjelser, mens den afsluttende transskriptionshændelse indeholder den komplette ordlyd.

Klargør en RIFF/WAVE-fil med mono-lyd i 16-bit heltals-PCM ved 16 eller 24 kHz. Modellens native samplingsfrekvens er 24 kHz, og grænsefladen accepterer også 16 kHz. Konvertér andre containere eller kodninger til denne understøttede WAV-form, før du sender en optagelse. Filtransskriptionsprofilen tillader op til 10 minutters lyd og en samlet anmodningskrop på op til 32 MB. Bevar den oprindelige optagelse og en eventuel konvertering sammen med den returnerede transskription, så resultatet senere kan gennemgås ved aflytning.

Arbejdsgangen for live-lyd bruger rå mono-PCM med fortegn, 16 bit og little-endian-byteorden, med lyd ved 16 eller 24 kHz sendt i omtrent realtid. Det dokumenterede sessionsvindue er 60 minutter. Meta beskriver native lydinput på over en time; de dokumenterede grænser for filer og live-sessioner er fortsat separate grænser for grænsefladerne. Vælg arbejdsgangen for optagede filer eller live-lyd efter, om lyden allerede er færdigoptaget eller stadig optages, og hold resultater fra separate sessioner knyttet til deres egne inputsegmenter.

Muse Voice Transcribe er trænet på mere end 70 sprog, mens den dokumenterede genkendelsesgrænseflade angiver 25 understøttede sprog. De omfatter engelsk, fransk, tysk, spansk, arabisk, mandarin-kinesisk, hindi, japansk, koreansk, italiensk og portugisisk. Den genkender sprogskift inden for og mellem sætninger. Et sproghint kan angive de sprog, der forventes i lyden, men det styrer genkendelsen frem for at tvinge transskriptionen til ét sprog.

Ordforrådshints hjælper med produktbetegnelser, akronymer, navne eller steder, der er vigtige i en optagelse. Angiv de faktiske ord og stavemåder, du forventer at høre. Listen med nøgleord påvirker genkendelsen uden at garantere en bestemt stavemåde, så kontrollér afgørende udtryk mod lyden. Sproghints og nøgleord vælges ved transskriptionens start; sørg for, at de passer til optagelsen, frem for at ændre deres betydning, mens en session kører.

Modellen understøtter taleradskillelse i samtaler med mere end 20 talere. Betegnelser som A og B identificerer talere inden for én transskription. De er ikke verificerede navne og fastslår ikke, at en betegnelse henviser til den samme person i en anden session. Til en selvstændig mødeanalyse skal du anmode om taleture med talerangivelse, bevare optagelsen og bruge betegnelserne til at organisere samtalen, før eventuelle faktiske deltagernavne tilføjes gennem den omgivende arbejdsgang.

Foreløbige live-transskriptioner kan ændre sig, efterhånden som mere tale modtages. I kumulativ tilstand erstatter hvert foreløbigt resultat den foregående hypotese i stedet for at tilføje endnu en kopi af den. En registreret afslutning på tale markerer en grænse, mens resultatet for den afsluttede taletur giver den endelige tekst og kan afvige fra det seneste foreløbige resultat. Hold overlappende taleture knyttet til deres taletursidentifikatorer, og behandl de færdige resultater, før en transskription betragtes som afsluttet. Når live-input slutter, skal du signalere, at inputtet er afsluttet, og fortsætte med at modtage, indtil producenten er færdig med at sende udestående resultater. Hvis forbindelsen lukkes med det samme, kan disse resultater gå tabt; en registreret talegrænse afslutter en taletur og ikke hele sessionen.

Tidsangivelserne gælder pr. taletur. Denne profil giver hverken tidsstempler på ordniveau eller konfidensscorer, og fremdriften i lydbehandlingen er ikke et tidsstempel for et bestemt ord. Registrering af lydhændelser, følelsesregistrering og omformatering af transskriptionen ligger også uden for den dokumenterede outputprofil. Brug de returnerede intervaller for taleture til en talertidslinje eller gennemgang på segmentniveau, og bevar de genkendte ord, hvis et separat redigeringstrin senere skaber mere overskuelige noter.

Nyttige resultater omfatter en færdig dikteret passage, en transskriberet stemmeforespørgsel, en samtale med talerangivelse eller en tidslinje over ytringer. Sammenhold navne, tal og fagudtryk med den oprindelige optagelse, bevar tilstands- og tidsforbindelserne, og behold de komplette taleture til gennemgang. Transskriptionen fastslår, hvad der blev genkendt i lyden; at besvare et mundtligt spørgsmål, oversætte det eller omdanne det til mødenoter hører til et efterfølgende trin i applikationen.