Visão geral: compreensão de conteúdos multimédia e respostas faladas
O Qwen-Omni-Turbo é o modelo de compreensão e geração multimodais da Qwen. Aceita texto, imagens, fala e vídeo, incluindo combinações destas entradas, e produz texto ou texto acompanhado de fala natural. O fabricante descreve a transmissão simultânea de texto e fala em streaming, com quatro opções de voz natural para conversação. Isto torna o modelo adequado a tarefas em que a pergunta e os elementos que a sustentam chegam em formatos diferentes, como uma pergunta falada sobre uma fotografia ou a explicação de uma cena audiovisual.
O nome exato e as suas versões
A página atual do modelo do fabricante descreve qwen-omni-turbo como funcionalmente equivalente ao snapshot qwen-omni-turbo-2025-03-26. Apresenta separadamente qwen-omni-turbo-latest como um nome atualizado dinamicamente e distingue o snapshot anterior qwen-omni-turbo-2025-01-19. O snapshot de março é descrito como uma melhoria das capacidades visuais face ao de janeiro. Estas são relações entre versões estabelecidas pelo fabricante, não uma prova de que todas as rotas de aplicação com nomes semelhantes utilizam pesos ou definições idênticos. Conserve o nome de um snapshot datado quando a tarefa exigir uma versão exata.
O nome Turbo não identifica a versão separada em tempo real, uma geração mais recente do Qwen-Omni ou o checkpoint aberto Qwen2.5-Omni-7B. As respetivas regras de entrada, vozes e interfaces exigem documentação própria. Em particular, as quatro opções de voz descritas para o Omni-Turbo não devem ser copiadas para a descrição do checkpoint aberto com duas vozes.
Preparar uma tarefa com vários tipos de conteúdo
Indique o que o modelo deve relacionar entre as entradas. Para uma pergunta falada sobre um diagrama, forneça o diagrama e a pergunta em conjunto e peça uma explicação do elemento visível em discussão. Para um vídeo com fala, indique se o resultado pretendido é um resumo do que se vê, do que se diz ou da relação entre ambos. Uma saída útil pode separar as observações visuais das observações de áudio antes da conclusão.
Para uma análise multimédia, forneça o excerto curto relevante em vez de vários ficheiros sem relação. Identifique as imagens e explique a sua função se houver mais do que uma. Preserve o áudio e a informação temporal que sejam importantes para a pergunta. Peça um resultado focado, como uma explicação falada para um ouvinte ou uma lista textual concisa dos pormenores da cena. Estes são exemplos de aplicação elaborados a partir das capacidades documentadas de entrada combinada, não afirmações de que um excerto específico já tenha sido analisado.
Saída de texto e fala
A descrição do modelo pelo fabricante prevê respostas de texto e a transmissão simultânea de texto e fala em streaming. Uma explicação falada pode fazer sentido numa assistência por conversação, enquanto o texto é mais fácil de inspecionar, pesquisar e comparar com o material de origem. O modo de saída escolhido e os controlos da voz dependem da interface que disponibiliza o modelo. Streaming descreve a entrega em partes sucessivas; não garante um tempo de resposta nem comprova a disponibilidade de um protocolo separado de conversação em tempo real.
Limites de contexto e saída
A especificação dedicada indica uma janela de contexto de 32 768 tokens, um comprimento máximo de entrada de 30 720 tokens e um comprimento máximo de saída de 2 048 tokens. Prepare o material de origem e a resposta pretendida tendo em conta estes limites distintos. A entrada multimodal tem de caber no orçamento para a sua representação, não apenas numa contagem de caracteres escritos. Um pedido de narração longa deve ser limitado a uma explicação breve que caiba na capacidade de saída.
Estes limites de tokens não estabelecem uma duração universal em minutos nem um número universal de imagens. O pré-processamento dos conteúdos multimédia e a versão selecionada influenciam a quantidade de material que cabe. A página do modelo não publica a arquitetura de um checkpoint nem o número de parâmetros, pelo que o rótulo Turbo não deve servir para inventar um tamanho ou importar a arquitetura de outro modelo Omni.
Ferramentas e limitações relevantes
A matriz de capacidades deste modelo exato não suporta chamadas de funções, pesquisa integrada na Web ou saídas estruturadas com esquema imposto. Indica inferência em lote em algumas configurações do fabricante e colocação do contexto em cache noutra. Pedir uma lista ou uma resposta em formato JSON é um pedido de formatação textual, não uma garantia de cumprimento de um esquema. A capacidade do modelo para compreender uma tarefa visual ou falada também não lhe dá acesso a informação atual ou a sistemas externos.
Verifique se a resposta distingue os elementos visíveis, o conteúdo audível e a interpretação. As citações da fala, as pequenas etiquetas visuais e as relações inferidas devem ser comparadas com o material fornecido. Para um resultado falado, conserve o texto que o acompanha quando estiver disponível, para que um revisor possa examinar a explicação. A vantagem prática é relacionar várias modalidades numa única resposta, com uma saída concisa dimensionada para a versão documentada.
", "aboutText": "Visão geral: compreensão de conteúdos multimédia e respostas faladas\n\nO Qwen-Omni-Turbo é o modelo de compreensão e geração multimodais da Qwen. Aceita texto, imagens, fala e vídeo, incluindo combinações destas entradas, e produz texto ou texto acompanhado de fala natural. O fabricante descreve a transmissão simultânea de texto e fala em streaming, com quatro opções de voz natural para conversação. Isto torna o modelo adequado a tarefas em que a pergunta e os elementos que a sustentam chegam em formatos diferentes, como uma pergunta falada sobre uma fotografia ou a explicação de uma cena audiovisual.\n\nO nome exato e as suas versões\n\nA página atual do modelo do fabricante descreve qwen-omni-turbo como funcionalmente equivalente ao snapshot qwen-omni-turbo-2025-03-26. Apresenta separadamente qwen-omni-turbo-latest como um nome atualizado dinamicamente e distingue o snapshot anterior qwen-omni-turbo-2025-01-19. O snapshot de março é descrito como uma melhoria das capacidades visuais face ao de janeiro. Estas são relações entre versões estabelecidas pelo fabricante, não uma prova de que todas as rotas de aplicação com nomes semelhantes utilizam pesos ou definições idênticos. Conserve o nome de um snapshot datado quando a tarefa exigir uma versão exata.\n\nO nome Turbo não identifica a versão separada em tempo real, uma geração mais recente do Qwen-Omni ou o checkpoint aberto Qwen2.5-Omni-7B. As respetivas regras de entrada, vozes e interfaces exigem documentação própria. Em particular, as quatro opções de voz descritas para o Omni-Turbo não devem ser copiadas para a descrição do checkpoint aberto com duas vozes.\n\nPreparar uma tarefa com vários tipos de conteúdo\n\nIndique o que o modelo deve relacionar entre as entradas. Para uma pergunta falada sobre um diagrama, forneça o diagrama e a pergunta em conjunto e peça uma explicação do elemento visível em discussão. Para um vídeo com fala, indique se o resultado pretendido é um resumo do que se vê, do que se diz ou da relação entre ambos. Uma saída útil pode separar as observações visuais das observações de áudio antes da conclusão.\n\nPara uma análise multimédia, forneça o excerto curto relevante em vez de vários ficheiros sem relação. Identifique as imagens e explique a sua função se houver mais do que uma. Preserve o áudio e a informação temporal que sejam importantes para a pergunta. Peça um resultado focado, como uma explicação falada para um ouvinte ou uma lista textual concisa dos pormenores da cena. Estes são exemplos de aplicação elaborados a partir das capacidades documentadas de entrada combinada, não afirmações de que um excerto específico já tenha sido analisado.\n\nSaída de texto e fala\n\nA descrição do modelo pelo fabricante prevê respostas de texto e a transmissão simultânea de texto e fala em streaming. Uma explicação falada pode fazer sentido numa assistência por conversação, enquanto o texto é mais fácil de inspecionar, pesquisar e comparar com o material de origem. O modo de saída escolhido e os controlos da voz dependem da interface que disponibiliza o modelo. Streaming descreve a entrega em partes sucessivas; não garante um tempo de resposta nem comprova a disponibilidade de um protocolo separado de conversação em tempo real.\n\nLimites de contexto e saída\n\nA especificação dedicada indica uma janela de contexto de 32 768 tokens, um comprimento máximo de entrada de 30 720 tokens e um comprimento máximo de saída de 2 048 tokens. Prepare o material de origem e a resposta pretendida tendo em conta estes limites distintos. A entrada multimodal tem de caber no orçamento para a sua representação, não apenas numa contagem de caracteres escritos. Um pedido de narração longa deve ser limitado a uma explicação breve que caiba na capacidade de saída.\n\nEstes limites de tokens não estabelecem uma duração universal em minutos nem um número universal de imagens. O pré-processamento dos conteúdos multimédia e a versão selecionada influenciam a quantidade de material que cabe. A página do modelo não publica a arquitetura de um checkpoint nem o número de parâmetros, pelo que o rótulo Turbo não deve servir para inventar um tamanho ou importar a arquitetura de outro modelo Omni.\n\nFerramentas e limitações relevantes\n\nA matriz de capacidades deste modelo exato não suporta chamadas de funções, pesquisa integrada na Web ou saídas estruturadas com esquema imposto. Indica inferência em lote em algumas configurações do fabricante e colocação do contexto em cache noutra. Pedir uma lista ou uma resposta em formato JSON é um pedido de formatação textual, não uma garantia de cumprimento de um esquema. A capacidade do modelo para compreender uma tarefa visual ou falada também não lhe dá acesso a informação atual ou a sistemas externos.\n\nVerifique se a resposta distingue os elementos visíveis, o conteúdo audível e a interpretação. As citações da fala, as pequenas etiquetas visuais e as relações inferidas devem ser comparadas com o material fornecido. Para um resultado falado, conserve o texto que o acompanha quando estiver disponível, para que um revisor possa examinar a explicação. A vantagem prática é relacionar várias modalidades numa única resposta, com uma saída concisa dimensionada para a versão documentada.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemplo técnico em inglês
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.qwen-omni-turboQwen-Omni-Turbo combina texto, imagens, áudio e vídeo numa tarefa multimodal e pode transmitir texto em streaming com respostas faladas. Utilize-o para associar uma pergunta falada a evidência visual ou explicar um excerto audiovisual, dentro dos limites do fabricante: 32 768 tokens de contexto e 2 048 de saída.
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
Visão geral: compreensão de conteúdos multimédia e respostas faladas
O Qwen-Omni-Turbo é o modelo de compreensão e geração multimodais da Qwen. Aceita texto, imagens, fala e vídeo, incluindo combinações destas entradas, e produz texto ou texto acompanhado de fala natural. O fabricante descreve a transmissão simultânea de texto e fala em streaming, com quatro opções de voz natural para conversação. Isto torna o modelo adequado a tarefas em que a pergunta e os elementos que a sustentam chegam em formatos diferentes, como uma pergunta falada sobre uma fotografia ou a explicação de uma cena audiovisual.
O nome exato e as suas versões
A página atual do modelo do fabricante descreve qwen-omni-turbo como funcionalmente equivalente ao snapshot qwen-omni-turbo-2025-03-26. Apresenta separadamente qwen-omni-turbo-latest como um nome atualizado dinamicamente e distingue o snapshot anterior qwen-omni-turbo-2025-01-19. O snapshot de março é descrito como uma melhoria das capacidades visuais face ao de janeiro. Estas são relações entre versões estabelecidas pelo fabricante, não uma prova de que todas as rotas de aplicação com nomes semelhantes utilizam pesos ou definições idênticos. Conserve o nome de um snapshot datado quando a tarefa exigir uma versão exata.
O nome Turbo não identifica a versão separada em tempo real, uma geração mais recente do Qwen-Omni ou o checkpoint aberto Qwen2.5-Omni-7B. As respetivas regras de entrada, vozes e interfaces exigem documentação própria. Em particular, as quatro opções de voz descritas para o Omni-Turbo não devem ser copiadas para a descrição do checkpoint aberto com duas vozes.
Preparar uma tarefa com vários tipos de conteúdo
Indique o que o modelo deve relacionar entre as entradas. Para uma pergunta falada sobre um diagrama, forneça o diagrama e a pergunta em conjunto e peça uma explicação do elemento visível em discussão. Para um vídeo com fala, indique se o resultado pretendido é um resumo do que se vê, do que se diz ou da relação entre ambos. Uma saída útil pode separar as observações visuais das observações de áudio antes da conclusão.
Para uma análise multimédia, forneça o excerto curto relevante em vez de vários ficheiros sem relação. Identifique as imagens e explique a sua função se houver mais do que uma. Preserve o áudio e a informação temporal que sejam importantes para a pergunta. Peça um resultado focado, como uma explicação falada para um ouvinte ou uma lista textual concisa dos pormenores da cena. Estes são exemplos de aplicação elaborados a partir das capacidades documentadas de entrada combinada, não afirmações de que um excerto específico já tenha sido analisado.
Saída de texto e fala
A descrição do modelo pelo fabricante prevê respostas de texto e a transmissão simultânea de texto e fala em streaming. Uma explicação falada pode fazer sentido numa assistência por conversação, enquanto o texto é mais fácil de inspecionar, pesquisar e comparar com o material de origem. O modo de saída escolhido e os controlos da voz dependem da interface que disponibiliza o modelo. Streaming descreve a entrega em partes sucessivas; não garante um tempo de resposta nem comprova a disponibilidade de um protocolo separado de conversação em tempo real.
Limites de contexto e saída
A especificação dedicada indica uma janela de contexto de 32 768 tokens, um comprimento máximo de entrada de 30 720 tokens e um comprimento máximo de saída de 2 048 tokens. Prepare o material de origem e a resposta pretendida tendo em conta estes limites distintos. A entrada multimodal tem de caber no orçamento para a sua representação, não apenas numa contagem de caracteres escritos. Um pedido de narração longa deve ser limitado a uma explicação breve que caiba na capacidade de saída.
Estes limites de tokens não estabelecem uma duração universal em minutos nem um número universal de imagens. O pré-processamento dos conteúdos multimédia e a versão selecionada influenciam a quantidade de material que cabe. A página do modelo não publica a arquitetura de um checkpoint nem o número de parâmetros, pelo que o rótulo Turbo não deve servir para inventar um tamanho ou importar a arquitetura de outro modelo Omni.
Ferramentas e limitações relevantes
A matriz de capacidades deste modelo exato não suporta chamadas de funções, pesquisa integrada na Web ou saídas estruturadas com esquema imposto. Indica inferência em lote em algumas configurações do fabricante e colocação do contexto em cache noutra. Pedir uma lista ou uma resposta em formato JSON é um pedido de formatação textual, não uma garantia de cumprimento de um esquema. A capacidade do modelo para compreender uma tarefa visual ou falada também não lhe dá acesso a informação atual ou a sistemas externos.
Verifique se a resposta distingue os elementos visíveis, o conteúdo audível e a interpretação. As citações da fala, as pequenas etiquetas visuais e as relações inferidas devem ser comparadas com o material fornecido. Para um resultado falado, conserve o texto que o acompanha quando estiver disponível, para que um revisor possa examinar a explicação. A vantagem prática é relacionar várias modalidades numa única resposta, com uma saída concisa dimensionada para a versão documentada.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites qwen-omni-turbo | Predefinição— |
Campomessages | Tipomessage[] | RequisitoObrigatório | Valores e limites Número mínimo de elementos: 1 | Predefinição— |
Campomessages[].role | Tipostring | RequisitoObrigatório | Valores e limites Exemplos: system, user, assistant, tool, function Condições: Estes papéis são representados explicitamente pelos tipos de compatibilidade do código-fonte; o conjunto exato de papéis continua específico do modelo. Depende do modelo | Predefinição— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].tool_call_id | Tipostring | RequisitoOpcional | Valores e limites Aplica-se quando: role=tool; use o ID realmente devolvido | Predefinição— |
Campomessages[].name | Tipostring | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].reasoning_content | Tipostring | RequisitoOpcional | Valores e limites Aplica-se quando: Reintroduza o raciocínio realmente devolvido quando este modelo o utiliza | Predefinição— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campomax_tokens | Tipointeger | RequisitoOpcional | Valores e limites Mínimo: 1 Depende do modelo | Predefinição— |
Campomax_completion_tokens | Tipointeger | RequisitoOpcional | Valores e limites Mínimo: 1 Depende do modelo | Predefinição— |
Campostream | Tipoboolean | RequisitoOpcional | Valores e limites | Predefiniçãofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotemperature | Tiponumber | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotop_p | Tiponumber | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campostop | Tipostring|string[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotools | Tipofunction_tool[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotools[].type | Tipostring | RequisitoOpcional | Valores e limites function Depende do modelo | Predefinição— |
Campotools[].function.name | Tipostring | RequisitoObrigatório | Valores e limites Aplica-se quando: Função fornecida como ferramenta | Predefinição— |
Campotools[].function.description | Tipostring | RequisitoOpcional | Valores e limites | Predefinição— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoOpcional | Valores e limites | Predefinição— |
Campotool_choice | Tipostring|object | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoparallel_tool_calls | Tipoboolean | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporesponse_format | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporeasoning_effort | Tipostring | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporeasoning | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camposervice_tier | Tipostring | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoinstructions | Tipostring | RequisitoOpcional | Valores e limites Campo de compatibilidade | Predefinição— |
Campofunctions | Tipofunction[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campofunction_call | Tipostring|object | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoprompt_cache_options | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campomodalities | Tipostring[] | RequisitoOpcional | Valores e limites text | Predefinição— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores e limites Condições: provider.options é rejeitado nesta rota textual Ultra | Predefinição— |
Campocache_control.ttl | Tipostring | RequisitoOpcional | Valores e limites Condições: 1h é rejeitado nos locais efetivos da cache de prompts | Predefinição— |
Texto · Texto UTF8
messages[].content
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, messages |
Parâmetromaterial_types | Contratotext |
Parâmetromessages | ContratoLista de mensagens com estrutura role/content |
Parâmetrofile_material | ContratoDocumento UTF-8 real inserido como texto literal; nenhum ID de ficheiro inferido |
Parâmetrooptional_controls | Contratostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parâmetrocontrol_scope | ContratoEspecífico do modelo; as ferramentas de funções do utilizador diferem das ferramentas alojadas |
Parâmetrooutput_modalities | Contratotext |
Parâmetrohosted_operations | Contratofalse |
Parâmetromultimodal_input_binding | Contratonull |
Ciclo de vida: synchronous_or_streamed
Envie o ID exato do modelo com messages.
O comprimento do contexto não é um limite de saída.
Um ficheiro de texto pode fornecer texto literal; as entradas de imagem/áudio/objeto de ficheiro exigem uma associação exata.
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
| Configuração | Tabela de tarifas | Custo |
|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Custo Entrada · Tokens de entrada $0.0046 / 1K tokens Saída · Tokens de saída $0.0138 / 1K tokens Entrada · Leitura da cache $0 / 1K tokens Entrada · Escrita na cache $0 / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen-omni-turbo", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Conserve cada opção com o conteúdo, as chamadas de ferramentas e o raciocínio. Em SSE, junte os deltas por índice de opção e ferramenta e mantenha o motivo final de conclusão e os dados de utilização.
Conserve os ID e cabeçalhos de pedido/resposta. Não é fornecido um URL genérico para obter uma tarefa textual.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Ailoot Ultra qwen-omni-turbo
Use os caminhos dos métodos indicados acima.
qwen-omni-turboQwen-Omni-Turbo combina texto, imagens, áudio e vídeo numa tarefa multimodal e pode transmitir texto em streaming com respostas faladas. Utilize-o para associar uma pergunta falada a evidência visual ou explicar um excerto audiovisual, dentro dos limites do fabricante: 32 768 tokens de contexto e 2 048 de saída.
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
Visão geral: compreensão de conteúdos multimédia e respostas faladas
O Qwen-Omni-Turbo é o modelo de compreensão e geração multimodais da Qwen. Aceita texto, imagens, fala e vídeo, incluindo combinações destas entradas, e produz texto ou texto acompanhado de fala natural. O fabricante descreve a transmissão simultânea de texto e fala em streaming, com quatro opções de voz natural para conversação. Isto torna o modelo adequado a tarefas em que a pergunta e os elementos que a sustentam chegam em formatos diferentes, como uma pergunta falada sobre uma fotografia ou a explicação de uma cena audiovisual.
O nome exato e as suas versões
A página atual do modelo do fabricante descreve qwen-omni-turbo como funcionalmente equivalente ao snapshot qwen-omni-turbo-2025-03-26. Apresenta separadamente qwen-omni-turbo-latest como um nome atualizado dinamicamente e distingue o snapshot anterior qwen-omni-turbo-2025-01-19. O snapshot de março é descrito como uma melhoria das capacidades visuais face ao de janeiro. Estas são relações entre versões estabelecidas pelo fabricante, não uma prova de que todas as rotas de aplicação com nomes semelhantes utilizam pesos ou definições idênticos. Conserve o nome de um snapshot datado quando a tarefa exigir uma versão exata.
O nome Turbo não identifica a versão separada em tempo real, uma geração mais recente do Qwen-Omni ou o checkpoint aberto Qwen2.5-Omni-7B. As respetivas regras de entrada, vozes e interfaces exigem documentação própria. Em particular, as quatro opções de voz descritas para o Omni-Turbo não devem ser copiadas para a descrição do checkpoint aberto com duas vozes.
Preparar uma tarefa com vários tipos de conteúdo
Indique o que o modelo deve relacionar entre as entradas. Para uma pergunta falada sobre um diagrama, forneça o diagrama e a pergunta em conjunto e peça uma explicação do elemento visível em discussão. Para um vídeo com fala, indique se o resultado pretendido é um resumo do que se vê, do que se diz ou da relação entre ambos. Uma saída útil pode separar as observações visuais das observações de áudio antes da conclusão.
Para uma análise multimédia, forneça o excerto curto relevante em vez de vários ficheiros sem relação. Identifique as imagens e explique a sua função se houver mais do que uma. Preserve o áudio e a informação temporal que sejam importantes para a pergunta. Peça um resultado focado, como uma explicação falada para um ouvinte ou uma lista textual concisa dos pormenores da cena. Estes são exemplos de aplicação elaborados a partir das capacidades documentadas de entrada combinada, não afirmações de que um excerto específico já tenha sido analisado.
Saída de texto e fala
A descrição do modelo pelo fabricante prevê respostas de texto e a transmissão simultânea de texto e fala em streaming. Uma explicação falada pode fazer sentido numa assistência por conversação, enquanto o texto é mais fácil de inspecionar, pesquisar e comparar com o material de origem. O modo de saída escolhido e os controlos da voz dependem da interface que disponibiliza o modelo. Streaming descreve a entrega em partes sucessivas; não garante um tempo de resposta nem comprova a disponibilidade de um protocolo separado de conversação em tempo real.
Limites de contexto e saída
A especificação dedicada indica uma janela de contexto de 32 768 tokens, um comprimento máximo de entrada de 30 720 tokens e um comprimento máximo de saída de 2 048 tokens. Prepare o material de origem e a resposta pretendida tendo em conta estes limites distintos. A entrada multimodal tem de caber no orçamento para a sua representação, não apenas numa contagem de caracteres escritos. Um pedido de narração longa deve ser limitado a uma explicação breve que caiba na capacidade de saída.
Estes limites de tokens não estabelecem uma duração universal em minutos nem um número universal de imagens. O pré-processamento dos conteúdos multimédia e a versão selecionada influenciam a quantidade de material que cabe. A página do modelo não publica a arquitetura de um checkpoint nem o número de parâmetros, pelo que o rótulo Turbo não deve servir para inventar um tamanho ou importar a arquitetura de outro modelo Omni.
Ferramentas e limitações relevantes
A matriz de capacidades deste modelo exato não suporta chamadas de funções, pesquisa integrada na Web ou saídas estruturadas com esquema imposto. Indica inferência em lote em algumas configurações do fabricante e colocação do contexto em cache noutra. Pedir uma lista ou uma resposta em formato JSON é um pedido de formatação textual, não uma garantia de cumprimento de um esquema. A capacidade do modelo para compreender uma tarefa visual ou falada também não lhe dá acesso a informação atual ou a sistemas externos.
Verifique se a resposta distingue os elementos visíveis, o conteúdo audível e a interpretação. As citações da fala, as pequenas etiquetas visuais e as relações inferidas devem ser comparadas com o material fornecido. Para um resultado falado, conserve o texto que o acompanha quando estiver disponível, para que um revisor possa examinar a explicação. A vantagem prática é relacionar várias modalidades numa única resposta, com uma saída concisa dimensionada para a versão documentada.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites qwen-omni-turbo | Predefinição— |
Campomessages | Tipomessage[] | RequisitoObrigatório | Valores e limites | Predefinição— |
Campomessages[].role | Tipostring | RequisitoObrigatório | Valores e limites user, assistant | Predefinição— |
Campomessages[].content | Tipostring | RequisitoObrigatório | Valores e limites | Predefinição— |
Campomax_tokens | Tipointeger | RequisitoObrigatório | Valores e limites | Predefinição— |
Campostream | Tipoboolean | RequisitoOpcional | Valores e limites | Predefiniçãofalse |
Texto · Texto UTF-8
Cadeia de caracteres messages[].content
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, messages, max_tokens |
Parâmetrooptional_controls | Contratostream |
Parâmetromaterial_types | Contratotext |
Parâmetrotext_file_material | ContratoLeia o documento UTF-8 real e coloque o texto na entrada indicada ou na cadeia de conteúdo da mensagem. |
Ciclo de vida: synchronous_or_streamed
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
| Configuração | Tabela de tarifas | Custo |
|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Custo Entrada · Tokens de entrada $0.0046 / 1K tokens Saída · Tokens de saída $0.0138 / 1K tokens Entrada · Leitura da cache $0 / 1K tokens Entrada · Escrita na cache $0 / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
{\n "model": "qwen-omni-turbo",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Conserve todos os blocos de conteúdo, as assinaturas de raciocínio e os ID reais de utilização de ferramentas. Junte todos os deltas de blocos SSE; o primeiro bloco de texto não é a saída completa.
Conserve os ID e cabeçalhos de pedido/resposta. Não é fornecido um URL genérico para obter uma tarefa textual.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Ailoot Ultra qwen-omni-turbo
Use os caminhos dos métodos indicados acima.
Exemplo técnico em inglês
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.