Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 är Metas modell för ljudperception, avsedd att transkribera tal, identifiera gränser mellan yttranden och koppla talarturer till talare. Den tillhör modellfamiljen Muse Spark och förenar taligenkänning, talarindelning och detektion av talslut i själva modellen. Utdata består av igenkänd text med den tids- och talarinformation som är tillgänglig i det valda läget.

Modellen bearbetar ljudet i 80 millisekunder långa block och avgör när den ska fortsätta lyssna eller lämna text. Dess adaptiva fördröjning gör att den kan invänta ytterligare ljud när ett ord är svårare att tolka. Det ger preliminär text medan talet kommer in, följt av färdiga transkriptionsresultat. Behandla den preliminära hypotesen och den färdiga talarturen som olika steg i lyssningsupplevelsen.

Välj mellan tre lägen. Push-to-talk är standard för ett enskilt kontrollerat yttrande, till exempel en röstfråga eller ett kort dikterat stycke. Endpointing låter modellen identifiera gränser mellan talarturer och returnera en färdig transkription för varje identifierat segment. Diarization kopplar det igenkända talet till talarmarkörer och är avsett för inspelningar med flera talare snarare än snabbast möjliga turtagning för röstkommandon.

För ett inspelat klipp returnerar arbetsflödet för filtranskription en fullständig transkription i en enda begäran. Standardresultatet är JSON med transkriptionen och ljudets längd, samt en turns-array i lägena endpointing och diarization. Varje tur kan innehålla en identifierare, start och slut i millisekunder samt den igenkända texten. Talarmarkörer finns i diarization-läget. Push-to-talk ger den fullständiga transkriptionen utan identifierade turer i den arrayen. Tillverkarens gränssnitt för inspelade filer kan även returnera ren text eller en ström av transkriptionshändelser. Ren text placerar identifierade turer på separata rader och kan innehålla talarmarkörer; en händelseström avslutas efter sin sista händelse utan en separat JSON-sammanfattning. Dess delta-läge för preliminära resultat returnerar text stegvis, medan den slutliga transkriptionshändelsen innehåller hela ordalydelsen.

Förbered en RIFF/WAVE-fil med enkanaligt, 16-bitars PCM-ljud med heltalssampel vid 16 eller 24 kHz. Modellens ursprungliga samplingsfrekvens är 24 kHz, och gränssnittet accepterar även 16 kHz. Konvertera andra behållarformat eller kodningar till denna WAV-form som stöds innan du skickar in en inspelning. Profilen för filtranskription tillåter ljud på upp till 10 minuter och en total begärandekropp på upp till 32 MB. Behåll originalinspelningen och eventuell konvertering tillsammans med den returnerade transkriptionen för senare granskning genom avlyssning.

Arbetsflödet för direktsänt ljud använder rått enkanaligt PCM-ljud med signerade 16-bitars sampel i little-endian-format, vid 16 eller 24 kHz och med en överföringstakt som ungefär motsvarar realtid. Dess dokumenterade sessionsfönster är 60 minuter. Meta beskriver inbyggt stöd för ljudindata som är längre än en timme; de dokumenterade gränserna för filer och livesessioner förblir separata gränser i gränssnitten. Välj arbetsflödet för inspelade filer eller direktsänt ljud beroende på om ljudet redan är färdigt eller fortfarande spelas in, och håll resultaten från separata sessioner kopplade till sina egna indatasegment.

Muse Voice Transcribe är tränad på fler än 70 språk, medan det dokumenterade igenkänningsgränssnittet räknar upp 25 språk som stöds. Bland dessa finns engelska, franska, tyska, spanska, arabiska, mandarin, hindi, japanska, koreanska, italienska och portugisiska. Den känner igen språkväxling inom eller mellan meningar. Ett språktips kan ange vilka språk som väntas i ljudet, men det styr igenkänningen snarare än att tvinga transkriptionen till ett enda språk.

Vokabulärtips hjälper med produkttermer, akronymer, namn eller platser som är viktiga i en inspelning. Ange de faktiska ord och stavningar som du väntar dig att höra. Nyckelordslistan påverkar igenkänningen utan att garantera exakt stavning, så kontrollera avgörande termer mot ljudet. Språktips och nyckelord väljs när transkriptionen börjar; håll dem anpassade till just den inspelningen i stället för att ändra deras innebörd medan en session pågår.

Modellen stöder talarindelning för samtal med fler än 20 talare. Markörer som A och B identifierar talare inom en och samma transkription. De är inte verifierade namn och fastställer inte att en markör avser samma person i en annan session. När uppgiften är att analysera ett möte kan du begära turer med talartilldelning, behålla inspelningen och använda markörerna för att ordna diskussionen innan verkliga deltagarnamn tilldelas genom det omgivande arbetsflödet.

Preliminära transkriptioner av direktsänt ljud kan ändras när mer tal kommer in. I kumulativt läge ersätter varje preliminärt resultat den föregående hypotesen i stället för att lägga till ännu en kopia av den. Ett identifierat talslut markerar en gräns, medan resultatet för den färdiga turen ger den slutliga texten och kan skilja sig från det sista preliminära resultatet. Håll överlappande turer kopplade till sina turidentifierare och ta emot de färdiga resultaten innan du betraktar en transkription som avslutad. När inmatningen av direktsänt ljud upphör ska du signalera slut på indata och fortsätta ta emot tills producenten har levererat alla väntande resultat. Om anslutningen stängs omedelbart kan dessa resultat gå förlorade; en identifierad talgräns avslutar en tur snarare än hela sessionen.

Tidsangivelserna ligger på turnivå. Den här profilen ger varken tidsstämplar på ordnivå eller konfidensvärden, och ljudbearbetningens förlopp är inte en tidsstämpel för ett visst ord. Detektion av ljudhändelser, känsloidentifiering och omformatering av transkriptionen ligger också utanför den dokumenterade utdataprofilen. Använd de returnerade turintervallen för en talartidslinje eller granskning på segmentnivå, och behåll de igenkända orden om ett separat redigeringssteg senare skapar mer lättlästa anteckningar.

Användbara resultat omfattar ett färdigdikterat stycke, en transkription av en röstfråga, ett samtal med talartilldelning eller en tidslinje över yttranden. Jämför namn, tal och tekniska termer med originalinspelningen, bevara kopplingarna till läge och tidsangivelser, och håll de fullständiga turerna tillgängliga för granskning. Transkriptionen fastställer vad som kändes igen i ljudet; att besvara en talad fråga, översätta den eller omvandla den till mötesanteckningar hör till ett efterföljande steg i applikationen.