ElevenLabs: Eleven v4 Turbo

Eleven v4 Turbo er ElevenLabs' udgave til udtryksfuld talesyntese, udviklet til samtaler i realtid og svar fra stemmeagenter. Den modtager tekst og returnerer talt lyd og fører v4-familiens følelsesmæssige spænd ind i en interaktiv arbejdsgang. Producenten skelner dens formål fra almindelig v4, som er tilpasset produceret indhold og fortælling. Supportsvar, assistentforklaringer og interaktive figurreplikker er de nævnte Turbo-anvendelser.

Producentens tovejs-streaming kan modtage tekst, efterhånden som den genereres, og returnere lyd, før hele ytringen er ankommet. Det mindsker behovet for at vente på et færdigt afsnit, før talen begynder. Det er et tekst-til-lyd-trin: svarets ord leveres til syntesemodellen. At lytte til en opkalder, beslutte en handling og registrere afbrydelser er særskilte funktioner i den omgivende stemmeagentapplikation.

Den dokumenterede Text to Dialogue WebSocket-profil registrerer præcis én stemme til v4 Turbo. Det adskiller sig fra v4's profil, der understøtter op til ti registrerede stemmer. En forbindelse kan overføre successive replikker med den valgte stemme, og et signal om ny replik nulstiller prosodien ved replikgrænsen. Forbered én tydelig taleridentitet til en assistent, og behold den, mens indhold og tone skifter gennem samtalen.

Streaming kræver stadig nok tekst til at danne et nyttigt talesegment. Vejledningen beskriver en producentbuffer på cirka 40 tegn og otte ord, før delvis lyd begynder; kortere buffere kan tømmes bevidst uden at afslutte forbindelsen. Lyden ankommer i Base64-kodede bidder, som en applikation kan afkode til afspilning eller samle i en fil. Oplysninger om tidsmæssig sammenkobling af tekst og lyd kan følge med bidderne, når de er anmodet om og tilgængelige. Det er detaljer om producentens arbejdsgang, ikke en garanti for fast svartid eller præcis varighed af den enkelte ytring.

Lydtags og samtalekontekst styrer fremførelsen. En bekræftelse kan lyde glad, en forklaring opmærksom og en rettelse rolig med samme stemme. Angiv den hørbare anvisning tæt på de relevante ord. En illustrativ replik kan være: »[warm] Det trin er færdigt. [pause] Lad os kontrollere det næste punkt.« Ordene skal allerede kommunikere det korrekte resultat; tags former, hvordan resultatet høres, frem for at tilføje manglende fakta.

V4-modelfamilien understøtter mere end 90 sprog, og engelsk, fransk, tysk, japansk, spansk, portugisisk og russisk er blandt de dokumenterede eksempler. ElevenLabs beskriver stabil taleridentitet på tværs af replikker og sprog og understøtter Professional Voice Clones i både v4 og v4 Turbo. Stemmeforberedelse eller kloning er et særskilt trin fra syntesen af et svar. Vælg stemme og målsprog eksplicit, og behold ensartede navne, fagudtryk og foretrukne talte former gennem dialogen.

ElevenLabs' dokumenterede formatmuligheder omfatter MP3 til almindelig lytning, ukomprimeret PCM eller WAV til produktionslyd og μ-law til telefoni. Det valgte outputformat bestemmer den samplerate og kodning, som producentens arbejdsgang bruger. Til en assistent skal formatet vælges efter afspilningsdestinationen frem for at bede manuskriptet angive en kodning. Gennemgå vigtige navne og forkortelser med den valgte stemme, og skriv den ønskede talte ordlyd tydeligt i teksten. Producenten beskriver Stability og Similarity som stemmeindstillingerne for begge v4-varianter; skyderne Style og Speed er ikke tilgængelige i denne profil. Brug den talte tekst og lydanvisningerne til at forme fremførelsen.

En praktisk samtalebrief starter med et kort svar, der indeholder ét resultat og ét tydeligt næste trin. For eksempel: »Bekræft, at dokumentet er modtaget, og forklar derefter den ene oplysning, der stadig mangler. Brug en rolig, venlig fremførelse, og bevar dokumentnavnet præcist.« Del et langt svar ved meningsfulde grænser, og bevar den omgivende samtalekontekst. Vurder klarhed, starten og slutningen af hver replik, og om følelsen passer til beskeden. Leverancen er streamet eller samlet tale til den leverede tekst og den valgte stemme, adskilt fra applikationens ræsonnerings- og lyttetrin.