OpenAI: Whisper Large V3

Whisper large-v3 é um checkpoint de reconhecimento de fala publicado pela OpenAI, com aproximadamente 1,55 mil milhões de parâmetros. É um modelo multilingue com codificador e descodificador: o áudio entra no codificador e o descodificador prevê texto e tokens relacionados com a tarefa. As principais tarefas são a transcrição da fala no idioma de origem e a tradução da fala para inglês. Trata-se da identidade de um modelo com pesos abertos, distinta do identificador de modelo de um serviço alojado ou das regras desse serviço para carregamentos e formatos de resposta.

O large-v3 mantém a arquitetura dos checkpoints Whisper large anteriores, com duas alterações declaradas: a entrada do espectrograma usa 128 bandas de frequência Mel em vez de 80, e acrescenta um token de idioma cantonês. A ficha do modelo do produtor descreve um treino com um milhão de horas de áudio com rótulos de supervisão fraca e quatro milhões de horas de áudio com pseudorrótulos preparados com Whisper large-v2. Esta mistura foi usada durante duas épocas de treino. A versão publicada é um checkpoint large-v3 específico, e não um nome genérico para todos os modelos da família Whisper.

O fluxo de inferência documentado realiza transcrição por predefinição, preservando o idioma falado na gravação. Pode detetar automaticamente o idioma de origem ou aceitar a seleção de um idioma conhecido. Para tradução, o modelo large multilingue fornece um resultado textual em inglês a partir de fala noutro idioma. Escolha explicitamente essa tarefa: uma transcrição no mesmo idioma e uma tradução para inglês são artefactos diferentes. Numa entrevista, mantenha a redação no idioma original; num documento de referência em inglês, especifique que o resultado pretendido é uma tradução do conteúdo falado.

A preparação do áudio faz parte do percurso de entrada. O carregador da OpenAI descodifica a gravação para uma forma de onda mono e reamostra-a a 16 kHz. O campo recetivo acústico do modelo é de 30 segundos. Trata-se de uma janela de processamento, e não de uma duração máxima para uma entrevista ou aula inteira. A inferência de gravações longas pode avançar sequencialmente por janelas deslizantes ou dividir uma gravação longa em blocos sobrepostos e juntar as respetivas transcrições. A ficha do modelo do produtor descreve o processamento sequencial quando a prioridade é a precisão e o processamento por blocos quando é mais importante obter rapidamente o resultado de uma única gravação longa.

A configuração publicada indica 448 posições do descodificador para uma sequência de descodificação individual. As gravações mais longas são tratadas pelo processo para gravações longas, em vez de se considerar esse número um limite universal de transcrição. O fluxo documentado pode devolver marcas temporais ao nível do segmento ou da palavra junto do texto reconhecido. Estas informações temporais são úteis para navegar nas gravações e preparar legendas, enquanto o contentor final de legendas ou o formato do ficheiro de transcrição constitui uma escolha separada de formatação da saída. Preserve a temporização da gravação ao preparar o áudio se a transcrição for alinhada com o material original.

A função prevista do Whisper é reconhecer e traduzir fala. A transcrição de uma aula, o registo de uma entrevista ou uma coleção pesquisável de material falado são resultados práticos; o resumo ou a interpretação podem seguir-se como outro passo sobre o texto. A ficha do modelo não estabelece a classificação automática robusta de locutores nem a diarização como saída padrão do checkpoint de base. Se uma tarefa precisar de etiquetas de locutor, esse requisito deve ser tratado separadamente de uma afirmação de transcrição precisa. Um pedido bem definido identifica o idioma de origem, se é necessária transcrição ou tradução para inglês e se são exigidas informações temporais.

Entre as limitações importantes encontram-se texto inventado que nunca foi pronunciado e texto repetitivo, associados ao treino com supervisão fraca em dados ruidosos e à arquitetura de sequência para sequência. A qualidade do reconhecimento varia entre idiomas, sotaques e dialetos, com resultados mais fracos onde existe menos material de treino. Por isso, o ruído, o vocabulário especializado e a fala sobreposta devem estar representados na amostra usada para avaliar a adequação. Compare nomes, quantidades e afirmações importantes com a gravação e inspecione os trechos sem fala ou as linhas repetidas, em vez de tratar uma transcrição fluente como prova de que todas as palavras foram ouvidas.

Um resultado completo conserva o texto reconhecido, o seu idioma e quaisquer informações temporais pedidas, com uma referência à gravação original. Mantenha a transcrição separada da edição posterior: uma transcrição corrigida para publicação pode remover expressões de preenchimento, enquanto a transcrição reconhecida preserva o que o modelo efetivamente devolveu. A identidade do large-v3 e a sua capacidade de tradução devem também manter-se separadas da edição Turbo, mais rápida. A velocidade real de processamento depende do idioma, da velocidade de fala, do hardware e do método de inferência; o nome do checkpoint, por si só, não implica uma determinada latência de serviço alojado, um tamanho máximo de carregamento ou uma rota de aplicação ativa.