Fish Audio: S2 Pro

S2 Pro è il modello text-to-speech di seconda generazione di Fish Audio per narrazioni espressive, dialoghi di personaggi e output vocali conversazionali. Trasforma un copione scritto in audio e supporta indicazioni in linguaggio naturale a livello di parola o frase. La precedente generazione S1 usa indicazioni tra parentesi tonde, mentre S2 Pro usa nativamente parentesi quadre e supporta più parlanti all’interno di una sola richiesta di sintesi. Il produttore rilascia i pesi di S2 Pro e il codice di fine-tuning per attività separate di personalizzazione; una normale richiesta vocale usa il modello selezionato, anziché addestrarne uno nuovo.

Scrivi prima il contenuto da pronunciare, poi colloca un’istruzione di resa immediatamente prima della parola o frase a cui deve applicarsi. Le indicazioni possono descrivere un sussurro, una reazione, una pausa, un cambiamento emotivo o uno stile di parlato descritto liberamente. Per una breve spiegazione di prodotto, mantieni chiara la frase fattuale e inserisci enfasi soltanto dove l’ascoltatore deve cogliere una distinzione. Per la battuta di un personaggio, descrivi il cambiamento emotivo nel momento in cui si verifica, anziché assegnare a tutto il passaggio un unico stato d’animo fisso.

I tag tra parentesi quadre sono descrizioni aperte, anziché un menu chiuso. Tra gli esempi vi sono [whispering], [sigh], [long pause] e una frase come [speaking slowly, almost hesitant]. I tag possono comparire a metà frase e influenzano il parlato successivo. Un tag descrittivo necessita di testo effettivo dopo di esso; un’istruzione isolata può produrre output imprevedibile. Comincia con una o due indicazioni utili prima di aggiungere livelli, perché tag in competizione possono oscurare l’interpretazione voluta. Riferimenti vocali diversi possono rispondere alla stessa indicazione con intensità diverse.

La presentazione di S2 descrive circa 80 lingue e offre esempi di indicazioni di resa scritte nella stessa lingua del copione. Prepara la formulazione nella lingua da pronunciare e conserva nomi, unità e abbreviazioni che richiedono una lettura particolare. Una narrazione multilingue può mantenere la voce voluta cambiando la lingua del copione, ma il risultato finale richiede comunque un ascolto per controllare pronuncia e continuità. La sintesi produce come parlato il contenuto fornito, anziché decidere quali informazioni l’applicazione debba comunicare.

Per un solo parlante, scegli un identificatore vocale salvato oppure fornisci un audio di riferimento con la trascrizione corrispondente. Il produttore consiglia un campione pulito di 10–30 secondi per il condizionamento istantaneo. Per il dialogo, usa marcatori dei parlanti quali <|speaker:0|> e <|speaker:1|>, con un elenco ordinato di identificatori vocali o gruppi di riferimenti separati per i parlanti. Il marcatore numerico seleziona la voce corrispondente; mantieni fisso l’ordine man mano che la conversazione si sviluppa. Le indicazioni di interpretazione in linguaggio naturale e la selezione del parlante hanno ruoli diversi nel copione.

L’output audio può essere MP3, WAV, PCM grezzo o Opus. MP3 usa per impostazione predefinita 128 kbps e offre 64 o 192 kbps; l’output Opus usa 48 kHz, mentre WAV e PCM supportano le scelte di frequenza di campionamento documentate in formato mono a 16 bit. Scegli il formato in base alla sua destinazione effettiva: un file da conservare per la narrazione o blocchi audio adatti alla riproduzione. Il flusso vocale del produttore descrive anche lo streaming del testo in tempo reale quando il copione arriva progressivamente. Il risultato generato deve rimanere associato al copione completo e alle voci selezionate.

La velocità può essere regolata tra 0,5 e 2,0, con controlli del volume e della normalizzazione del volume percepito dell’output. La normalizzazione del testo migliora la lettura dei numeri inglesi e cinesi. L’elaborazione usa blocchi nell’intervallo 100–300 e un budget di token audio per blocco, quindi queste impostazioni non devono essere interpretate come una lunghezza massima fissa per un’intera narrazione. Il condizionamento sul blocco precedente può trasferire il contesto vocale al segmento successivo. Controlli di campionamento quali temperature e top-p influenzano la variazione; una battuta guidata intenzionalmente necessita comunque di testo e contesto sufficienti a sostenere il suono desiderato.

Un brief di produzione utile distingue narrazione, dialogo e indicazioni di resa, poi specifica la voce e il formato del risultato. Ascolta eventuali parole mancanti, audio ripetuto, pronuncia dei numeri, cambi di parlante e temporizzazione delle reazioni. Rivedi la battuta o il riferimento vocale responsabile della discrepanza, anziché presumere che più tag migliorino ogni passaggio. S2 Pro rimane un modello S2 distinto della generazione precedente; S2.1 Pro è l’edizione successiva con i propri miglioramenti e comportamenti delle impostazioni specifici del modello.