Canopy Labs: Orpheus 3B

Orpheus 3B 0.1 Fine-Tuned é o modelo da Canopy Labs de conversão de texto em fala em inglês para síntese quotidiana. Pertence à família Orpheus, construída sobre uma base Llama 3B, e centra-se na entoação natural, no ritmo e na elocução expressiva. A entrada é o texto a pronunciar, com um locutor selecionado; a saída é áudio de fala. O fabricante também apresenta a clonagem de voz zero-shot para este modelo específico com ajuste fino. O exemplo publicado de síntese com ajuste fino usa locutores predefinidos, enquanto os prompts de texto e fala condicionados por uma referência são documentados separadamente para a edição pré-treinada. Esta edição com ajuste fino é distinta do modelo pré-treinado e dos modelos multilingues de investigação publicados separadamente.

Escolher um locutor e preparar a frase

O fabricante apresenta oito vozes predefinidas em inglês: tara, leah, jess, leo, dan, mia, zac e zoe. A sua convenção de prompt coloca o nome do locutor antes do texto falado, separado por dois-pontos. O fluxo de referência para geração de fala pode acrescentar essa formatação quando a voz é fornecida separadamente. Selecione um locutor para a peça pretendida e mantenha essa escolha consistente entre trechos ligados.

Para uma explicação curta, escreva a narração final, em vez de uma instrução a pedir ao modelo que invente a explicação. Uma frase falada útil é: «Choose the folder you want to share, check who can open it, and save the changes.» Para um diálogo, prepare explicitamente a fala de cada locutor e conserve a pontuação que ajuda a elocução. Uma abreviatura, uma data ou um nome de produto deve ser escrito na forma que pretende que o ouvinte ouça, sobretudo quando a forma abreviada escrita possa ser ambígua.

Indicações expressivas e não verbais

O Orpheus documenta as etiquetas <laugh>, <chuckle>, <sigh>, <cough>, <sniffle>, <groan>, <yawn> e <gasp>. Estas introduzem no texto um evento não verbal explícito no ponto relevante. Um trecho conversacional curto pode colocar uma risada discreta antes de uma observação ligeira ou um suspiro antes de uma frase reflexiva. Use a indicação no ponto em que faz sentido na interpretação e mantenha claras as palavras efetivas da fala.

Estas são indicações para gerar fala, e não uma linguagem geral de instruções para editar uma gravação existente. Numa voz-off, comece por um texto legível e acrescente apenas os eventos expressivos de que a cena precisa. Ouça a frase completa para avaliar se o evento, a ênfase e o ritmo apoiam o significado. Uma tarefa de narração pode exigir uma voz estável, enquanto a fala de uma personagem pode beneficiar de uma indicação não verbal específica.

Streaming e resultado de áudio

O fabricante fornece um notebook sem streaming e um exemplo de fala em streaming. O streaming devolve blocos sucessivos de áudio à medida que o trecho é gerado. No exemplo publicado, esses blocos são escritos num ficheiro WAV mono a 24 000 Hz, com amostras de 16 bits. Estas definições de ficheiro descrevem o fluxo de referência; o resultado útil é uma gravação reproduzível cujas palavras, voz e elocução podem ser verificadas face ao guião.

Para uma narração mais longa, prepare trechos coerentes com limites de frase claros e mantenha uma cópia do guião final junto do áudio. Reveja o início e o fim de cada trecho, a pronúncia dos nomes importantes e a transição entre gravações adjacentes. As orientações de amostragem do fabricante especificam uma penalização de repetição de pelo menos 1.1 para uma geração estável na sua implementação de referência e indicam que as escolhas de amostragem podem afetar a velocidade da fala. O comprimento do modelo configurado no exemplo é uma definição de inferência, e não uma duração máxima estabelecida para a narração.

Limites entre edições

Este perfil diz respeito ao modelo em inglês com ajuste fino e aos seus locutores predefinidos documentados. O modelo pré-treinado tem o seu próprio fluxo de condicionamento com texto e fala; as versões multilingues têm locutores e etiquetas específicos de cada idioma. Selecionar esta edição em inglês não combina esses perfis separados. Uma entrega prática reúne um guião falado, uma voz predefinida escolhida intencionalmente e áudio revisto quanto à redação e à interpretação exigidas pela peça.