Deepgram: Flux TTS

Flux TTS er Deepgrams tekst-til-tale-familie til samtaler i realtid og fast talt indhold. Dens afgørende egenskab er samtalekontinuitet: streamingmodellen viderefører prosodien mellem taleture, så fremførelsen kan beholde en ensartet tone, mens interaktionen fortsætter. Den accepterer skriftlig tekst og returnerer talelyd. Flux TTS og den særskilt navngivne Flux-talegenkendelsesmodel udfører forskellige dele af en stemmesamtale.

Vælg en engelsk stemme

Det dokumenterede Flux-katalog taler engelsk med amerikansk, britisk, irsk, australsk, indisk, singaporeansk og filippinsk accent. Stemmebeskrivelser hjælper med at vælge en taler til kundeservice, telefonmenuer, oplæsning eller uformelle samtaler. Producenten angiver eksempelvis Haley som en rolig amerikansk stemme og Jack som en professionel britisk stemme. Vælg stemmen efter publikum og den type ordlyd, den skal læse, og behold den gennem stykket eller samtalen. Tale på andre sprog hører til et særskilt dokumenteret modelvalg.

Taleture i realtid og afbrydelser

I producentens streamingforløb kan tekst ankomme, mens applikationen udformer et svar, og lyd returneres gradvist. En taletur har sine egne start- og afslutningshændelser; afslutning af turen færdiggør den resterende syntese. Kontekst på tværs af taleture bevarer prosodien inden for sessionen. Dette er nyttigt til en talt assistent, der først forklarer et valg og derefter besvarer et uddybende spørgsmål uden at ændre stemmens karakter.

En afbrydelse annullerer den aktive taletur og returnerer den allerede talte del og den resterende tekst. Denne skelnen hjælper applikationen med at fortsætte fra det, lytteren faktisk hørte. Til en praktisk interaktion forberedes et kort svar med den vigtige instruktion først og derefter forklaringen. Hvis lytteren afbryder efter den første instruktion, kan det næste svar forholde sig til det nye spørgsmål frem for at antage, at hele forklaringen blev leveret.

Fast lyd og outputformater

Batchsyntese modtager en fuld tekstblok og returnerer dens lyd i ét svar. Den bruger samme stemmekatalog som streaming og passer til indtalte telefonbeskeder, notifikationer eller oplæsning forberedt på forhånd. Batchforespørgsler er uafhængige; streamingens tilstand for taleture og afbrydelseshændelser gælder ikke for et fast klip.

Streamingoutputtet er rå lyd uden en filcontainer: 16-bit PCM, mu-law eller A-law. Producenten dokumenterer PCM-samplefrekvenser på 8, 16, 24, 32, 44.1 og 48 kHz; mu-law og A-law bruger 8 eller 16 kHz. Batchoutput understøtter desuden MP3, Opus, FLAC og AAC. Vælg en kodning og container, som den tilsigtede afspiller eller telefoniforbindelse kan fortolke, frem for at behandle en strøm af rå samples som en almindelig lydfil.

Indstillinger for fremførelse og grænser

Producenten dokumenterer et talehastighedsinterval fra 0.5 til 1.5 i trin på 0.05. Hastighedsændringer ved streaming anvendes ved en segmentgrænse. En separat betaindstilling for udtryksfuldhed bevæger fremførelsen fra rolig til livlig. Almindelig SSML og genkendte tags fra konkurrenter fjernes frem for at blive brugt som udtryksinstruktioner; de indbyggede Flux-indstillinger har deres egen betydning.

Indlejrede pauser hører til batchsyntese med varigheder på 500–3.000 ms i trin på 100 ms og højst otte markører pr. forespørgsel. Der skal være tekst mellem tilstødende pauser, og hastigheden begrænses til 1.15, når en pause er til stede. Udtaleoverstyringer bruger IPA og er i Early Access; producenten bemærker, at en ønsket udtale kan variere fra generering til generering. Udtale kan ikke kombineres med en hastighed, der afviger fra standarden, eller med pauseindstillinger. Til et manuskript med særlige fagnavne lyttes til disse termer med den valgte stemme, og den talte ordlyd holdes udtrykkelig.

Deepgrams dokumenterede streamingsession varer op til én time og lukkes efter tres sekunder uden en indgående meddelelse, medmindre den holdes aktiv via den understøttede forbindelsesmekanisme. Disse sessionsgrænser vedrører forløbet til syntese i realtid. En nyttig leverance er et bevidst stemmevalg, lyttervenlig tekst og lyd tilpasset anvendelsesstedet, hvor applikationer i realtid registrerer, hvad der faktisk blev sagt, når en taletur afbrydes.