Whisper large-v3 é um checkpoint de reconhecimento de fala publicado pela OpenAI, com aproximadamente 1,55 mil milhões de parâmetros. É um modelo multilingue com codificador e descodificador: o áudio entra no codificador e o descodificador prevê texto e tokens relacionados com a tarefa. As principais tarefas são a transcrição da fala no idioma de origem e a tradução da fala para inglês. Trata-se da identidade de um modelo com pesos abertos, distinta do identificador de modelo de um serviço alojado ou das regras desse serviço para carregamentos e formatos de resposta.
O large-v3 mantém a arquitetura dos checkpoints Whisper large anteriores, com duas alterações declaradas: a entrada do espectrograma usa 128 bandas de frequência Mel em vez de 80, e acrescenta um token de idioma cantonês. A ficha do modelo do produtor descreve um treino com um milhão de horas de áudio com rótulos de supervisão fraca e quatro milhões de horas de áudio com pseudorrótulos preparados com Whisper large-v2. Esta mistura foi usada durante duas épocas de treino. A versão publicada é um checkpoint large-v3 específico, e não um nome genérico para todos os modelos da família Whisper.
O fluxo de inferência documentado realiza transcrição por predefinição, preservando o idioma falado na gravação. Pode detetar automaticamente o idioma de origem ou aceitar a seleção de um idioma conhecido. Para tradução, o modelo large multilingue fornece um resultado textual em inglês a partir de fala noutro idioma. Escolha explicitamente essa tarefa: uma transcrição no mesmo idioma e uma tradução para inglês são artefactos diferentes. Numa entrevista, mantenha a redação no idioma original; num documento de referência em inglês, especifique que o resultado pretendido é uma tradução do conteúdo falado.
A preparação do áudio faz parte do percurso de entrada. O carregador da OpenAI descodifica a gravação para uma forma de onda mono e reamostra-a a 16 kHz. O campo recetivo acústico do modelo é de 30 segundos. Trata-se de uma janela de processamento, e não de uma duração máxima para uma entrevista ou aula inteira. A inferência de gravações longas pode avançar sequencialmente por janelas deslizantes ou dividir uma gravação longa em blocos sobrepostos e juntar as respetivas transcrições. A ficha do modelo do produtor descreve o processamento sequencial quando a prioridade é a precisão e o processamento por blocos quando é mais importante obter rapidamente o resultado de uma única gravação longa.
A configuração publicada indica 448 posições do descodificador para uma sequência de descodificação individual. As gravações mais longas são tratadas pelo processo para gravações longas, em vez de se considerar esse número um limite universal de transcrição. O fluxo documentado pode devolver marcas temporais ao nível do segmento ou da palavra junto do texto reconhecido. Estas informações temporais são úteis para navegar nas gravações e preparar legendas, enquanto o contentor final de legendas ou o formato do ficheiro de transcrição constitui uma escolha separada de formatação da saída. Preserve a temporização da gravação ao preparar o áudio se a transcrição for alinhada com o material original.
A função prevista do Whisper é reconhecer e traduzir fala. A transcrição de uma aula, o registo de uma entrevista ou uma coleção pesquisável de material falado são resultados práticos; o resumo ou a interpretação podem seguir-se como outro passo sobre o texto. A ficha do modelo não estabelece a classificação automática robusta de locutores nem a diarização como saída padrão do checkpoint de base. Se uma tarefa precisar de etiquetas de locutor, esse requisito deve ser tratado separadamente de uma afirmação de transcrição precisa. Um pedido bem definido identifica o idioma de origem, se é necessária transcrição ou tradução para inglês e se são exigidas informações temporais.
Entre as limitações importantes encontram-se texto inventado que nunca foi pronunciado e texto repetitivo, associados ao treino com supervisão fraca em dados ruidosos e à arquitetura de sequência para sequência. A qualidade do reconhecimento varia entre idiomas, sotaques e dialetos, com resultados mais fracos onde existe menos material de treino. Por isso, o ruído, o vocabulário especializado e a fala sobreposta devem estar representados na amostra usada para avaliar a adequação. Compare nomes, quantidades e afirmações importantes com a gravação e inspecione os trechos sem fala ou as linhas repetidas, em vez de tratar uma transcrição fluente como prova de que todas as palavras foram ouvidas.
Um resultado completo conserva o texto reconhecido, o seu idioma e quaisquer informações temporais pedidas, com uma referência à gravação original. Mantenha a transcrição separada da edição posterior: uma transcrição corrigida para publicação pode remover expressões de preenchimento, enquanto a transcrição reconhecida preserva o que o modelo efetivamente devolveu. A identidade do large-v3 e a sua capacidade de tradução devem também manter-se separadas da edição Turbo, mais rápida. A velocidade real de processamento depende do idioma, da velocidade de fala, do hardware e do método de inferência; o nome do checkpoint, por si só, não implica uma determinada latência de serviço alojado, um tamanho máximo de carregamento ou uma rota de aplicação ativa.
", "aboutText": "Whisper large-v3 é um checkpoint de reconhecimento de fala publicado pela OpenAI, com aproximadamente 1,55 mil milhões de parâmetros. É um modelo multilingue com codificador e descodificador: o áudio entra no codificador e o descodificador prevê texto e tokens relacionados com a tarefa. As principais tarefas são a transcrição da fala no idioma de origem e a tradução da fala para inglês. Trata-se da identidade de um modelo com pesos abertos, distinta do identificador de modelo de um serviço alojado ou das regras desse serviço para carregamentos e formatos de resposta.\n\nO large-v3 mantém a arquitetura dos checkpoints Whisper large anteriores, com duas alterações declaradas: a entrada do espectrograma usa 128 bandas de frequência Mel em vez de 80, e acrescenta um token de idioma cantonês. A ficha do modelo do produtor descreve um treino com um milhão de horas de áudio com rótulos de supervisão fraca e quatro milhões de horas de áudio com pseudorrótulos preparados com Whisper large-v2. Esta mistura foi usada durante duas épocas de treino. A versão publicada é um checkpoint large-v3 específico, e não um nome genérico para todos os modelos da família Whisper.\n\nO fluxo de inferência documentado realiza transcrição por predefinição, preservando o idioma falado na gravação. Pode detetar automaticamente o idioma de origem ou aceitar a seleção de um idioma conhecido. Para tradução, o modelo large multilingue fornece um resultado textual em inglês a partir de fala noutro idioma. Escolha explicitamente essa tarefa: uma transcrição no mesmo idioma e uma tradução para inglês são artefactos diferentes. Numa entrevista, mantenha a redação no idioma original; num documento de referência em inglês, especifique que o resultado pretendido é uma tradução do conteúdo falado.\n\nA preparação do áudio faz parte do percurso de entrada. O carregador da OpenAI descodifica a gravação para uma forma de onda mono e reamostra-a a 16 kHz. O campo recetivo acústico do modelo é de 30 segundos. Trata-se de uma janela de processamento, e não de uma duração máxima para uma entrevista ou aula inteira. A inferência de gravações longas pode avançar sequencialmente por janelas deslizantes ou dividir uma gravação longa em blocos sobrepostos e juntar as respetivas transcrições. A ficha do modelo do produtor descreve o processamento sequencial quando a prioridade é a precisão e o processamento por blocos quando é mais importante obter rapidamente o resultado de uma única gravação longa.\n\nA configuração publicada indica 448 posições do descodificador para uma sequência de descodificação individual. As gravações mais longas são tratadas pelo processo para gravações longas, em vez de se considerar esse número um limite universal de transcrição. O fluxo documentado pode devolver marcas temporais ao nível do segmento ou da palavra junto do texto reconhecido. Estas informações temporais são úteis para navegar nas gravações e preparar legendas, enquanto o contentor final de legendas ou o formato do ficheiro de transcrição constitui uma escolha separada de formatação da saída. Preserve a temporização da gravação ao preparar o áudio se a transcrição for alinhada com o material original.\n\nA função prevista do Whisper é reconhecer e traduzir fala. A transcrição de uma aula, o registo de uma entrevista ou uma coleção pesquisável de material falado são resultados práticos; o resumo ou a interpretação podem seguir-se como outro passo sobre o texto. A ficha do modelo não estabelece a classificação automática robusta de locutores nem a diarização como saída padrão do checkpoint de base. Se uma tarefa precisar de etiquetas de locutor, esse requisito deve ser tratado separadamente de uma afirmação de transcrição precisa. Um pedido bem definido identifica o idioma de origem, se é necessária transcrição ou tradução para inglês e se são exigidas informações temporais.\n\nEntre as limitações importantes encontram-se texto inventado que nunca foi pronunciado e texto repetitivo, associados ao treino com supervisão fraca em dados ruidosos e à arquitetura de sequência para sequência. A qualidade do reconhecimento varia entre idiomas, sotaques e dialetos, com resultados mais fracos onde existe menos material de treino. Por isso, o ruído, o vocabulário especializado e a fala sobreposta devem estar representados na amostra usada para avaliar a adequação. Compare nomes, quantidades e afirmações importantes com a gravação e inspecione os trechos sem fala ou as linhas repetidas, em vez de tratar uma transcrição fluente como prova de que todas as palavras foram ouvidas.\n\nUm resultado completo conserva o texto reconhecido, o seu idioma e quaisquer informações temporais pedidas, com uma referência à gravação original. Mantenha a transcrição separada da edição posterior: uma transcrição corrigida para publicação pode remover expressões de preenchimento, enquanto a transcrição reconhecida preserva o que o modelo efetivamente devolveu. A identidade do large-v3 e a sua capacidade de tradução devem também manter-se separadas da edição Turbo, mais rápida. A velocidade real de processamento depende do idioma, da velocidade de fala, do hardware e do método de inferência; o nome do checkpoint, por si só, não implica uma determinada latência de serviço alojado, um tamanho máximo de carregamento ou uma rota de aplicação ativa.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "af5bd70732eaa521a030b31482249082e499687d6dd621ea5e74186f3ab36753", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "pt-pt", "methods": [ { "html": "openai/whisper-large-v3Whisper large-v3 é o checkpoint multilingue da OpenAI com pesos abertos para reconhecimento de fala, transcrição e tradução de fala para inglês. Converte fala gravada em texto, com seleção de idioma, marcas temporais e processamento de gravações longas para além da sua janela acústica de 30 segundos, conforme documentado.
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
Whisper large-v3 é um checkpoint de reconhecimento de fala publicado pela OpenAI, com aproximadamente 1,55 mil milhões de parâmetros. É um modelo multilingue com codificador e descodificador: o áudio entra no codificador e o descodificador prevê texto e tokens relacionados com a tarefa. As principais tarefas são a transcrição da fala no idioma de origem e a tradução da fala para inglês. Trata-se da identidade de um modelo com pesos abertos, distinta do identificador de modelo de um serviço alojado ou das regras desse serviço para carregamentos e formatos de resposta.
O large-v3 mantém a arquitetura dos checkpoints Whisper large anteriores, com duas alterações declaradas: a entrada do espectrograma usa 128 bandas de frequência Mel em vez de 80, e acrescenta um token de idioma cantonês. A ficha do modelo do produtor descreve um treino com um milhão de horas de áudio com rótulos de supervisão fraca e quatro milhões de horas de áudio com pseudorrótulos preparados com Whisper large-v2. Esta mistura foi usada durante duas épocas de treino. A versão publicada é um checkpoint large-v3 específico, e não um nome genérico para todos os modelos da família Whisper.
O fluxo de inferência documentado realiza transcrição por predefinição, preservando o idioma falado na gravação. Pode detetar automaticamente o idioma de origem ou aceitar a seleção de um idioma conhecido. Para tradução, o modelo large multilingue fornece um resultado textual em inglês a partir de fala noutro idioma. Escolha explicitamente essa tarefa: uma transcrição no mesmo idioma e uma tradução para inglês são artefactos diferentes. Numa entrevista, mantenha a redação no idioma original; num documento de referência em inglês, especifique que o resultado pretendido é uma tradução do conteúdo falado.
A preparação do áudio faz parte do percurso de entrada. O carregador da OpenAI descodifica a gravação para uma forma de onda mono e reamostra-a a 16 kHz. O campo recetivo acústico do modelo é de 30 segundos. Trata-se de uma janela de processamento, e não de uma duração máxima para uma entrevista ou aula inteira. A inferência de gravações longas pode avançar sequencialmente por janelas deslizantes ou dividir uma gravação longa em blocos sobrepostos e juntar as respetivas transcrições. A ficha do modelo do produtor descreve o processamento sequencial quando a prioridade é a precisão e o processamento por blocos quando é mais importante obter rapidamente o resultado de uma única gravação longa.
A configuração publicada indica 448 posições do descodificador para uma sequência de descodificação individual. As gravações mais longas são tratadas pelo processo para gravações longas, em vez de se considerar esse número um limite universal de transcrição. O fluxo documentado pode devolver marcas temporais ao nível do segmento ou da palavra junto do texto reconhecido. Estas informações temporais são úteis para navegar nas gravações e preparar legendas, enquanto o contentor final de legendas ou o formato do ficheiro de transcrição constitui uma escolha separada de formatação da saída. Preserve a temporização da gravação ao preparar o áudio se a transcrição for alinhada com o material original.
A função prevista do Whisper é reconhecer e traduzir fala. A transcrição de uma aula, o registo de uma entrevista ou uma coleção pesquisável de material falado são resultados práticos; o resumo ou a interpretação podem seguir-se como outro passo sobre o texto. A ficha do modelo não estabelece a classificação automática robusta de locutores nem a diarização como saída padrão do checkpoint de base. Se uma tarefa precisar de etiquetas de locutor, esse requisito deve ser tratado separadamente de uma afirmação de transcrição precisa. Um pedido bem definido identifica o idioma de origem, se é necessária transcrição ou tradução para inglês e se são exigidas informações temporais.
Entre as limitações importantes encontram-se texto inventado que nunca foi pronunciado e texto repetitivo, associados ao treino com supervisão fraca em dados ruidosos e à arquitetura de sequência para sequência. A qualidade do reconhecimento varia entre idiomas, sotaques e dialetos, com resultados mais fracos onde existe menos material de treino. Por isso, o ruído, o vocabulário especializado e a fala sobreposta devem estar representados na amostra usada para avaliar a adequação. Compare nomes, quantidades e afirmações importantes com a gravação e inspecione os trechos sem fala ou as linhas repetidas, em vez de tratar uma transcrição fluente como prova de que todas as palavras foram ouvidas.
Um resultado completo conserva o texto reconhecido, o seu idioma e quaisquer informações temporais pedidas, com uma referência à gravação original. Mantenha a transcrição separada da edição posterior: uma transcrição corrigida para publicação pode remover expressões de preenchimento, enquanto a transcrição reconhecida preserva o que o modelo efetivamente devolveu. A identidade do large-v3 e a sua capacidade de tradução devem também manter-se separadas da edição Turbo, mais rápida. A velocidade real de processamento depende do idioma, da velocidade de fala, do hardware e do método de inferência; o nome do checkpoint, por si só, não implica uma determinada latência de serviço alojado, um tamanho máximo de carregamento ou uma rota de aplicação ativa.
POST /v1/audio/transcriptionsaudiotranscription| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites openai/whisper-large-v3 | Predefinição— |
Campoinput_audio | Tipoobject | RequisitoObrigatório | Valores e limites | Predefinição— |
Campolanguage | Tipostring | RequisitoOpcional | Valores e limites | Predefinição— |
Campotemperature | Tiponumber | RequisitoOpcional | Valores e limites Mínimo: 0 Máximo: 1 | Predefinição— |
Camporesponse_format | Tipostring | RequisitoOpcional | Valores e limites json, verbose_json | Predefiniçãojson |
Campotimestamp_granularities | Tipoarray | RequisitoOpcional | Valores e limites | Predefinição— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores e limites | Predefinição— |
speech_to_text · Obrigatório: actual matching-format audio file
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_types | Contratoapplication/json, multipart/form-data |
Parâmetrorequired | Contratomodel, input_audio |
Parâmetromaterial_types | Contratoaudio |
ParâmetroJSON_audio | Contratobytes reais de áudio bruto em base64 e formato correspondente |
Parâmetromultipart_required | Contratomodel, file |
Parâmetromultipart_cap_bytes | Contrato26214400 |
Parâmetrooptional_controls | Contratolanguage, temperature, response_format, timestamp_granularities, provider |
Parâmetrodefault_response_format | Contratojson |
Parâmetrooptional_features | ContratoA saída detalhada, diarize/keyterms e o áudio por URL ou áudio incorporado de maior dimensão exigem a capacidade e o tarifário exatos do modelo/fornecedor. |
Ciclo de vida: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · task_id efetivamente devolvido ou registo na biblioteca de multimédia
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Utilize o modelo exato e os campos de entrada documentados.
Conserve a resposta completa, todos os resultados reais e os IDs originais devolvidos.
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
Associe cada custo às condições apresentadas. Use uma única tarifa para cada conjunto de configurações alternativas.
| Configuração | Tabela de tarifas | Unidade de faturação | Custo |
|---|---|---|---|
| ConfiguraçãoTarifas base por token | Tabela de tarifasTarifa base | Unidade de faturação— | Custo Entrada · Tokens de entrada — / 1K tokens Saída · Tokens de saída — / 1K tokens Entrada · Leitura da cache — / 1K tokens Entrada · Escrita na cache — / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
| ConfiguraçãoUltra | Tabela de tarifas— | Unidade de faturaçãopor segundo de áudio de entrada | Custo Entrada · segundo de áudio de entrada $0.000015 por segundo de áudio de entrada |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
As tabelas de referência do modelo não alteram a seleção do método, as cotações ou os custos. Os custos ativos usam as tarifas do método Ailoot selecionado.
| Configuração | Condições de faturação | Custo |
|---|---|---|
| ConfiguraçãoOpenAI: Whisper Large V3 · Configuração predefinida | Condições de faturaçãoConfiguração predefinida | Custo Entrada · Segundos de áudio de entrada 0,000015 US$ por segundo de áudio de entrada |
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\nimport base64\naudio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()\nif not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')\nif len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')\nrequest={'model': 'openai/whisper-large-v3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}\nrequest['input_audio']['data']=base64.b64encode(audio).decode('ascii')\nPath('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o response.bin\n# Keep the complete original response and headers. Read every returned segment, word and usage field.\n# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.\njson
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
JSON original completo, todo o texto/segmentos/palavras/intervenientes/marcas temporais disponíveis e a utilização.
Conserve operation_id/X-Client-Request-ID originais e a resposta original. Consulte os registos reais de tarefas/recursos pertencentes ao utilizador sem voltar a enviar; não é construído qualquer URL específico de consulta periódica de áudio.
| Campo | Tipo |
|---|---|
Campotext | Tipostring |
Campousage | Tipoobject |
Camposegments[] | Tipoobject |
Campowords[] | Tipoobject |
Ailoot Ultra openai/whisper-large-v3
Use os caminhos dos métodos indicados acima.