Fish Audio: S2.1 Pro

S2.1 Pro è il successivo modello text-to-speech della generazione S2 di Fish Audio, per narrazioni espressive e applicazioni vocali conversazionali. Migliora S2 Pro nella qualità del parlato, nella latenza e nel throughput, mantenendo il controllo della resa in linguaggio naturale e il dialogo nativo con più parlanti. S2.1 Pro e S2.1 Pro Free condividono il modello vocale sottostante.

Per una spiegazione narrata, fornisci la formulazione definitiva, la voce desiderata e i momenti in cui devono cambiare ritmo o enfasi. Per un’applicazione conversazionale, sintetizza la risposta selezionata dall’applicazione e mantieni il contenuto fattuale separato dalle indicazioni di interpretazione. Per uno scambio scritto, definisci i parlanti e le loro voci prima di scriverne i turni. Un risultato utile è un passaggio audio completo o un flusso riproducibile le cui parole, interpretazione e ruoli dei parlanti corrispondano al brief.

Scrivi le parole che devono essere effettivamente pronunciate, poi colloca un’istruzione immediatamente prima del passaggio la cui resa deve cambiare. Le indicazioni tra parentesi quadre possono esprimere un sussurro, una pausa, una reazione, enfasi o uno stile di parlato descritto liberamente. Inserisci un cambiamento a metà frase nel punto in cui serve alla recitazione e fai seguire alle indicazioni descrittive del parlato effettivo. Un brief utile per una spiegazione distingue la formulazione dei fatti dal calore, dal ritmo o dall’enfasi desiderati per l’ascoltatore.

Per un solo parlante, seleziona un identificatore vocale salvato oppure fornisci una registrazione di riferimento con la sua trascrizione. La guida vocale del produttore consiglia un campione pulito di 10–30 secondi per il condizionamento vocale istantaneo. Scegli un riferimento con tono e qualità di registrazione adatti al copione e conserva lo stesso riferimento nei passaggi correlati. Il riferimento vocale fornisce il suono del parlante; il testo e le indicazioni al suo interno forniscono il contenuto e la sua interpretazione.

La sintesi nativa con più parlanti usa marcatori quali <|speaker:0|> e <|speaker:1|> con un array ordinato di identificatori vocali o gruppi di riferimenti separati. Mantieni le etichette numeriche dei parlanti allineate a tale ordine. Per uno scambio didattico, scrivi la battuta di ciascun parlante e colloca l’indicazione di resa dopo il marcatore del parlante, nel punto appropriato. Questo genera un dialogo all’interno di una sola richiesta; è un flusso diverso dai segmenti separati a singolo parlante di S1 e dal loro successivo assemblaggio.

Il flusso del produttore offre output MP3, WAV, PCM grezzo e Opus, con MP3 come formato predefinito. MP3 supporta 64, 128 e 192 kbps; WAV e PCM usano i formati di campionamento mono a 16 bit documentati, mentre Opus usa 48 kHz. Scegli il formato per un file di narrazione da conservare, una riproduzione in streaming o una pipeline audio successiva. Conserva il copione completo e la scelta delle voci insieme all’audio, così una modifica successiva potrà intervenire su una battuta senza perdere l’interpretazione voluta.

La velocità può essere regolata da 0,5 a 2,0, con controlli del volume. La normalizzazione del testo espande i numeri inglesi e cinesi per una lettura naturale. La normalizzazione del volume percepito dell’output ha valore predefinito true e viene applicata alla famiglia S2; lo stesso campo non aveva effetto su S1. Il parametro repetition_penalty di S1 non modifica l’audio di S2.1 Pro, quindi una vecchia impostazione non deve essere considerata un controllo efficace per questo modello. Esamina direttamente suoni e parole ripetuti, anziché affidarti a un parametro ereditato per accertare il risultato.

I copioni più lunghi vengono elaborati in blocchi. L’intervallo documentato della lunghezza dei blocchi è 100–300 e max_new_tokens è un budget di token audio per blocco, anziché una garanzia sulla durata totale. Il condizionamento sul blocco precedente può trasmettere il contesto vocale ai successivi. Il flusso di consegna del produttore descrive audio completo, blocchi audio incrementali e streaming del testo in tempo reale quando il copione arriva progressivamente. Scegli la modalità di fruizione adatta all’applicazione e conserva abbastanza contesto del copione per la pronuncia e il tono del passaggio successivo.

Per ottenere un risultato finale utile, ascolta eventuali parole omesse o ripetute, la pronuncia dei numeri, i cambi di parlante, le pause e l’intensità delle indicazioni. Riferimenti vocali diversi possono interpretare una stessa indicazione con intensità diverse: comincia quindi con una semplice battuta guidata prima di aggiungere tag in competizione. Nel lavoro multilingue, fornisci il copione nella lingua di destinazione, anziché chiedere al modello vocale di inventarne o tradurne il contenuto. Una revisione mirata modifica la battuta, l’indicazione o il riferimento responsabile della discrepanza, conservando le parti dell’interpretazione che già corrispondono al brief.