AssemblyAI: Universal-3.5 Pro

Universal-3.5 Pro er AssemblyAIs talegjenkjenningsmodell for å konvertere innspilt tale til tekst. I Sync-profilen gir et kort lydklipp en fullført transkripsjon i ett svar. Dette passer til talemeldinger, trykk-og-snakk-inndata og separate samtaleturer der applikasjonen allerede vet når opptaket skal avsluttes.

Klargjør lyden som et avgrenset klipp. AssemblyAIs Sync-krav godtar varigheter fra 80 millisekunder til 120 sekunder, med en maksimal filstørrelse på 40 MB. De støttede formatene er WAV eller rå, fortegnet 16-bits little-endian PCM. Lyden kan være mono eller stereo, og stereo mikses ned internt. De støttede samplingsfrekvensene er 8, 16, 22.05, 24, 32, 44.1 og 48 kHz. Et WAV-hode oppgir samplingsfrekvens og kanalantall; rå PCM trenger at disse verdiene angis separat i transkripsjonskonfigurasjonen.

Ta opp hele ytringen, og behold begynnelsen og slutten av talen intakt. En nyttig selvstendig oppgave er en kort talemelding til produktstøtte som inneholder et produktnavn, en ordreidentifikator og en forespørsel. Behold kildeklippet, slik at transkripsjonen kan kontrolleres mot disse viktige detaljene. For et lengre opptak bør du klargjøre en arbeidsflyt som passer til transkripsjon av lange opptak, i stedet for å behandle varighetsgrensen for korte klipp som en påstand om modellens samlede lydkapasitet.

Resultatet inneholder den fullstendige transkripsjonen, en ordliste med konfidens per ord og en samlet konfidens mellom null og én. Det oppgir også varigheten til den innsendte lyden og en forespørselsidentifikator, slik at teksten kan holdes knyttet til originalklippet. Bruk konfidens per ord til å finne avsnitt som bør kontrolleres ved lytting, særlig navn, tall og fagord som betyr noe for applikasjonen.

Ordtidsstempler er valgfrie og avslått som standard. Når de forespørres, kan hvert tidsjusterte ord ha start og slutt i millisekunder relativt til klippets begynnelse. Produsentens profil lar disse verdiene være fraværende når et ord ikke kan tidsjusteres, i stedet for å finne på en omtrentlig tid. Tidsstemplene er mest nøyaktige for engelsk lyd. Bevar manglende tider uttrykkelig når du klargjør ordmarkering, en søkbar bølgeform eller tekstjustering for undertekster, og sammenlign teksten med opptaket før du bruker den som et ferdig undertekstspor.

En kontekstprompt beskriver hva opptaket handler om. Den kan angi et fagområde, et scenario eller bestemte detaljer som applikasjonen allerede kjenner, og maksimal lengde er 6000 tegn. Begynn med en kort beskrivelse som passer til lyden, som en teknisk støttesamtale om en bestemt enhet. Prompten gir gjenkjenningskontekst; den er ikke en forespørsel om å skrive om talerens melding til et annet dokument.

En separat liste over nøkkeltermer styrer gjenkjenningen mot et bestemt ordforråd. Sync-profilen godtar opptil 100 termer og 8000 tegn samlet i listen. Bruk nøyaktig stavemåte for uvanlige navn, akronymer eller produkttermer, og la vanlige ord som gjenkjennes godt, stå utenfor listen. Store eller unødvendige termlister kan gi overkorrigeringer, så konsentrer listen om ord som betyr noe i opptaket. Kontekstbeskrivelsen og ordforrådslisten kan brukes sammen.

Tidligere samtale kan også hjelpe med å tolke et kort svar. Legg ved tidligere ytringer i kronologisk rekkefølge, fra eldst til nyest, mens den gjeldende lyden fortsatt er turen som transkriberes. Den dokumenterte kontekstrammen er 500 turer eller 16 000 tegn totalt. Hvis den overskrider disse takene eller tilgjengelig modellkontekst, fjernes de eldste oppføringene først. Dette er nyttig når et kort svar inneholder en identifikator eller en henvisning som får betydningen sin fra det foregående spørsmålet.

Språkvalg styrer gjenkjenningen mot ett eller flere forventede språk. Det gjeldende Sync-grensesnittet godtar 32 språkkoder og bruker engelsk som standard når ingen valg oppgis. For lyd med språkbytte bør du liste de forventede språkene. En egendefinert kontekstprompt erstatter den administrerte standarden og overstyrer den separate styringen med språkkoder, så angi de forventede språkene inne i prompten når både språk- og scenariokontekst trengs. Behold transkripsjonen på språkene som faktisk snakkes, i stedet for å behandle transkripsjon som en oversettelsesinstruksjon.

Modellen finnes også i andre transkripsjonsflyter hos AssemblyAI, mens Sync-profilens krav til korte klipp og resultatfelt tilhører dette bestemte grensesnittet. Produsentens Dictation-flyt legger til et separat trinn for tekstopprydding; en transkripsjon og en omskrevet melding er forskjellige artefakter. Bevar den gjenkjente talen hvis et senere redigerings- eller oppsummeringstrinn produserer en bearbeidet versjon, slik at den opprinnelige ordlyden fortsatt er tilgjengelig for sammenligning.

Nyttige leveranser omfatter en transkribert talemelding, en fullført tur for en assistent, kort søkbar lydtekst eller en tidsmerket ordliste for et kontrollgrensesnitt. Kontroller de avgjørende ordene mot opptaket, bevar eventuelle manglende tidsjusteringer, og hold klippet knyttet til den returnerte teksten. Gjenkjenningsresultatet gir neste applikasjonstrinn en kildebasert transkripsjon; besvaring av forespørselen eller redigering av meldingen tilhører den omkringliggende arbeidsflyten.