Visão geral: um modelo para várias modalidades de entrada
Qwen2.5-Omni-7B é o modelo multimodal de ponta a ponta da Qwen para texto, imagens, áudio e vídeo. Pode compreender estas entradas em conjunto e gerar texto com fala natural num fluxo contínuo. Utilize-o quando uma tarefa depender do que é visível e audível, ou quando o utilizador der a instrução por voz em vez de a escrever. Este é o checkpoint exato 7B; o Omni-Turbo comercial e as versões Omni posteriores têm os seus próprios contratos.
Principais características e arquitetura
O desenho Thinker-Talker combina compreensão com geração de fala. Thinker processa a tarefa multimodal e produz conteúdo textual, enquanto Talker participa na formação da resposta falada. TMRoPE, o esquema posicional multimodal do fabricante alinhado no tempo, sincroniza os tempos do vídeo com o áudio. A arquitetura foi concebida para entrada por blocos e interação de voz ou vídeo com resposta ágil; este objetivo de desenho não é uma garantia de tempo de resposta fixo em todas as interfaces.
As tarefas abrangidas pelo fabricante incluem reconhecimento e tradução de fala, compreensão de áudio, raciocínio sobre imagens, compreensão de vídeo e geração de fala. As instruções faladas podem, por isso, participar diretamente numa pergunta multimodal, sem exigir sempre uma transcrição escrita fornecida separadamente. Mantenha a tarefa-alvo clara: compreender um excerto de áudio, responder a uma pergunta falada e gerar uma resposta falada são utilizações distintas, embora o modelo suporte todas essas formas de entrada ou saída.
Preparar uma conversa multimodal
Forneça os conteúdos multimédia relevantes e indique como a resposta os deve relacionar. Numa demonstração narrada, peça ao modelo que distinga as etapas visíveis da explicação do orador e identifique onde coincidem. Para uma imagem com uma pergunta áudio, identifique o papel da imagem e peça uma resposta concisa fundamentada no conteúdo visível. Num excerto só de áudio, indique se o objetivo é reconhecer fala, explicar sons ou responder a uma pergunta sobre o conteúdo. São aplicações aqui propostas das tarefas documentadas.
Os exemplos do fabricante mostram conversas só de texto, só de áudio, só de vídeo e com multimédia misturada. Preserve a ordem e os tempos originais do vídeo. Identifique os elementos separados para que o modelo os possa referir sem tratar provas sem relação como um único evento. O resultado pode ser apenas texto ou texto com fala; escolha o artefacto útil antes de preparar o pedido.
Preparação da saída de fala
A receita do checkpoint Qwen exige o pedido de sistema documentado para capacidades áudio quando é necessária saída de fala. Esse pedido identifica Qwen e as suas capacidades auditivas, visuais, textuais e de fala; uma substituição sem relação pode impedir o comportamento áudio esperado. É uma orientação para o fluxo do checkpoint do fabricante, não uma afirmação de que todas as aplicações expõem controlos do pedido de sistema ou de geração de áudio.
O checkpoint exato oferece duas vozes: Chelsie, uma voz feminina calorosa, e Ethan, uma voz masculina animada. Chelsie é a predefinição documentada quando não se seleciona um locutor. O exemplo de geração grava fala a uma taxa de amostragem de 24,000 Hz. Estas duas vozes não devem ser substituídas pela descrição de quatro vozes de um modelo comercial com outro nome.
Utilizar áudio de vídeo
A faixa sonora de um vídeo pode ser relevante para o seu significado, como instruções faladas ou um som produzido por uma ação visível. A Qwen disponibiliza use_audio_in_video na preparação, no processamento e na geração de multimédia. A definição deve manter-se consistente nas três etapas e ao longo de uma conversa de vários turnos; definições inconsistentes podem produzir resultados inesperados. Uma interpretação apenas visual de vídeo é, por isso, diferente de uma interpretação audiovisual, mesmo quando o ficheiro é o mesmo.
Saída só de texto e processamento em lote
O fabricante suporta saída só de texto através de return_audio=False. Permite também desativar Talker após o carregamento, reduzindo a memória GPU em aproximadamente 2 GB, mas tornando a saída áudio indisponível nessa instância. O exemplo documentado de lote com amostras mistas exige return_audio=False e combina pedidos de texto, imagem, áudio e vídeo. Esse exemplo de lote não deve ser convertido numa afirmação de geração de fala em lote.
Contexto e limites substantivos
A configuração do componente textual central do checkpoint define as posições máximas em 32,768. Texto, representações de multimédia e respostas geradas consomem espaço de sequência; este valor não define, de forma independente, uma duração universal de áudio ou vídeo. Os exemplos de recursos do fabricante mostram que vídeos mais longos precisam de substancialmente mais memória, pelo que um excerto breve e relevante é frequentemente mais prático do que uma gravação extensa sem relação. Os exemplos não publicam um comprimento máximo rígido separado de resposta nem uma duração de multimédia universalmente garantida.
Confira as citações da fala e as conclusões com a fonte, preserve o pormenor visual suficiente para a pergunta e mantenha um resultado textual quando quem revê precisar de inspecionar a explicação falada. O valor documentado do modelo é a compreensão conjunta e a resposta em texto/fala, enquanto os controlos exatos de voz, o processamento de multimédia e a entrega da saída continuam a ser características da interface escolhida.
", "aboutText": "Visão geral: um modelo para várias modalidades de entrada\n\nQwen2.5-Omni-7B é o modelo multimodal de ponta a ponta da Qwen para texto, imagens, áudio e vídeo. Pode compreender estas entradas em conjunto e gerar texto com fala natural num fluxo contínuo. Utilize-o quando uma tarefa depender do que é visível e audível, ou quando o utilizador der a instrução por voz em vez de a escrever. Este é o checkpoint exato 7B; o Omni-Turbo comercial e as versões Omni posteriores têm os seus próprios contratos.\n\nPrincipais características e arquitetura\n\nO desenho Thinker-Talker combina compreensão com geração de fala. Thinker processa a tarefa multimodal e produz conteúdo textual, enquanto Talker participa na formação da resposta falada. TMRoPE, o esquema posicional multimodal do fabricante alinhado no tempo, sincroniza os tempos do vídeo com o áudio. A arquitetura foi concebida para entrada por blocos e interação de voz ou vídeo com resposta ágil; este objetivo de desenho não é uma garantia de tempo de resposta fixo em todas as interfaces.\n\nAs tarefas abrangidas pelo fabricante incluem reconhecimento e tradução de fala, compreensão de áudio, raciocínio sobre imagens, compreensão de vídeo e geração de fala. As instruções faladas podem, por isso, participar diretamente numa pergunta multimodal, sem exigir sempre uma transcrição escrita fornecida separadamente. Mantenha a tarefa-alvo clara: compreender um excerto de áudio, responder a uma pergunta falada e gerar uma resposta falada são utilizações distintas, embora o modelo suporte todas essas formas de entrada ou saída.\n\nPreparar uma conversa multimodal\n\nForneça os conteúdos multimédia relevantes e indique como a resposta os deve relacionar. Numa demonstração narrada, peça ao modelo que distinga as etapas visíveis da explicação do orador e identifique onde coincidem. Para uma imagem com uma pergunta áudio, identifique o papel da imagem e peça uma resposta concisa fundamentada no conteúdo visível. Num excerto só de áudio, indique se o objetivo é reconhecer fala, explicar sons ou responder a uma pergunta sobre o conteúdo. São aplicações aqui propostas das tarefas documentadas.\n\nOs exemplos do fabricante mostram conversas só de texto, só de áudio, só de vídeo e com multimédia misturada. Preserve a ordem e os tempos originais do vídeo. Identifique os elementos separados para que o modelo os possa referir sem tratar provas sem relação como um único evento. O resultado pode ser apenas texto ou texto com fala; escolha o artefacto útil antes de preparar o pedido.\n\nPreparação da saída de fala\n\nA receita do checkpoint Qwen exige o pedido de sistema documentado para capacidades áudio quando é necessária saída de fala. Esse pedido identifica Qwen e as suas capacidades auditivas, visuais, textuais e de fala; uma substituição sem relação pode impedir o comportamento áudio esperado. É uma orientação para o fluxo do checkpoint do fabricante, não uma afirmação de que todas as aplicações expõem controlos do pedido de sistema ou de geração de áudio.\n\nO checkpoint exato oferece duas vozes: Chelsie, uma voz feminina calorosa, e Ethan, uma voz masculina animada. Chelsie é a predefinição documentada quando não se seleciona um locutor. O exemplo de geração grava fala a uma taxa de amostragem de 24,000 Hz. Estas duas vozes não devem ser substituídas pela descrição de quatro vozes de um modelo comercial com outro nome.\n\nUtilizar áudio de vídeo\n\nA faixa sonora de um vídeo pode ser relevante para o seu significado, como instruções faladas ou um som produzido por uma ação visível. A Qwen disponibiliza use_audio_in_video na preparação, no processamento e na geração de multimédia. A definição deve manter-se consistente nas três etapas e ao longo de uma conversa de vários turnos; definições inconsistentes podem produzir resultados inesperados. Uma interpretação apenas visual de vídeo é, por isso, diferente de uma interpretação audiovisual, mesmo quando o ficheiro é o mesmo.\n\nSaída só de texto e processamento em lote\n\nO fabricante suporta saída só de texto através de return_audio=False. Permite também desativar Talker após o carregamento, reduzindo a memória GPU em aproximadamente 2 GB, mas tornando a saída áudio indisponível nessa instância. O exemplo documentado de lote com amostras mistas exige return_audio=False e combina pedidos de texto, imagem, áudio e vídeo. Esse exemplo de lote não deve ser convertido numa afirmação de geração de fala em lote.\n\nContexto e limites substantivos\n\nA configuração do componente textual central do checkpoint define as posições máximas em 32,768. Texto, representações de multimédia e respostas geradas consomem espaço de sequência; este valor não define, de forma independente, uma duração universal de áudio ou vídeo. Os exemplos de recursos do fabricante mostram que vídeos mais longos precisam de substancialmente mais memória, pelo que um excerto breve e relevante é frequentemente mais prático do que uma gravação extensa sem relação. Os exemplos não publicam um comprimento máximo rígido separado de resposta nem uma duração de multimédia universalmente garantida.\n\nConfira as citações da fala e as conclusões com a fonte, preserve o pormenor visual suficiente para a pergunta e mantenha um resultado textual quando quem revê precisar de inspecionar a explicação falada. O valor documentado do modelo é a compreensão conjunta e a resposta em texto/fala, enquanto os controlos exatos de voz, o processamento de multimédia e a entrega da saída continuam a ser características da interface escolhida.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemplo técnico em inglês
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.qwen2.5-omni-7bQwen2.5-Omni-7B combina compreensão de texto, imagens, áudio e vídeo com saída de texto e fala natural. A arquitetura Thinker-Talker alinha o áudio com os tempos do vídeo, suporta interação em fluxo contínuo e oferece duas vozes documentadas neste checkpoint aberto exato.
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
Visão geral: um modelo para várias modalidades de entrada
Qwen2.5-Omni-7B é o modelo multimodal de ponta a ponta da Qwen para texto, imagens, áudio e vídeo. Pode compreender estas entradas em conjunto e gerar texto com fala natural num fluxo contínuo. Utilize-o quando uma tarefa depender do que é visível e audível, ou quando o utilizador der a instrução por voz em vez de a escrever. Este é o checkpoint exato 7B; o Omni-Turbo comercial e as versões Omni posteriores têm os seus próprios contratos.
Principais características e arquitetura
O desenho Thinker-Talker combina compreensão com geração de fala. Thinker processa a tarefa multimodal e produz conteúdo textual, enquanto Talker participa na formação da resposta falada. TMRoPE, o esquema posicional multimodal do fabricante alinhado no tempo, sincroniza os tempos do vídeo com o áudio. A arquitetura foi concebida para entrada por blocos e interação de voz ou vídeo com resposta ágil; este objetivo de desenho não é uma garantia de tempo de resposta fixo em todas as interfaces.
As tarefas abrangidas pelo fabricante incluem reconhecimento e tradução de fala, compreensão de áudio, raciocínio sobre imagens, compreensão de vídeo e geração de fala. As instruções faladas podem, por isso, participar diretamente numa pergunta multimodal, sem exigir sempre uma transcrição escrita fornecida separadamente. Mantenha a tarefa-alvo clara: compreender um excerto de áudio, responder a uma pergunta falada e gerar uma resposta falada são utilizações distintas, embora o modelo suporte todas essas formas de entrada ou saída.
Preparar uma conversa multimodal
Forneça os conteúdos multimédia relevantes e indique como a resposta os deve relacionar. Numa demonstração narrada, peça ao modelo que distinga as etapas visíveis da explicação do orador e identifique onde coincidem. Para uma imagem com uma pergunta áudio, identifique o papel da imagem e peça uma resposta concisa fundamentada no conteúdo visível. Num excerto só de áudio, indique se o objetivo é reconhecer fala, explicar sons ou responder a uma pergunta sobre o conteúdo. São aplicações aqui propostas das tarefas documentadas.
Os exemplos do fabricante mostram conversas só de texto, só de áudio, só de vídeo e com multimédia misturada. Preserve a ordem e os tempos originais do vídeo. Identifique os elementos separados para que o modelo os possa referir sem tratar provas sem relação como um único evento. O resultado pode ser apenas texto ou texto com fala; escolha o artefacto útil antes de preparar o pedido.
Preparação da saída de fala
A receita do checkpoint Qwen exige o pedido de sistema documentado para capacidades áudio quando é necessária saída de fala. Esse pedido identifica Qwen e as suas capacidades auditivas, visuais, textuais e de fala; uma substituição sem relação pode impedir o comportamento áudio esperado. É uma orientação para o fluxo do checkpoint do fabricante, não uma afirmação de que todas as aplicações expõem controlos do pedido de sistema ou de geração de áudio.
O checkpoint exato oferece duas vozes: Chelsie, uma voz feminina calorosa, e Ethan, uma voz masculina animada. Chelsie é a predefinição documentada quando não se seleciona um locutor. O exemplo de geração grava fala a uma taxa de amostragem de 24,000 Hz. Estas duas vozes não devem ser substituídas pela descrição de quatro vozes de um modelo comercial com outro nome.
Utilizar áudio de vídeo
A faixa sonora de um vídeo pode ser relevante para o seu significado, como instruções faladas ou um som produzido por uma ação visível. A Qwen disponibiliza use_audio_in_video na preparação, no processamento e na geração de multimédia. A definição deve manter-se consistente nas três etapas e ao longo de uma conversa de vários turnos; definições inconsistentes podem produzir resultados inesperados. Uma interpretação apenas visual de vídeo é, por isso, diferente de uma interpretação audiovisual, mesmo quando o ficheiro é o mesmo.
Saída só de texto e processamento em lote
O fabricante suporta saída só de texto através de return_audio=False. Permite também desativar Talker após o carregamento, reduzindo a memória GPU em aproximadamente 2 GB, mas tornando a saída áudio indisponível nessa instância. O exemplo documentado de lote com amostras mistas exige return_audio=False e combina pedidos de texto, imagem, áudio e vídeo. Esse exemplo de lote não deve ser convertido numa afirmação de geração de fala em lote.
Contexto e limites substantivos
A configuração do componente textual central do checkpoint define as posições máximas em 32,768. Texto, representações de multimédia e respostas geradas consomem espaço de sequência; este valor não define, de forma independente, uma duração universal de áudio ou vídeo. Os exemplos de recursos do fabricante mostram que vídeos mais longos precisam de substancialmente mais memória, pelo que um excerto breve e relevante é frequentemente mais prático do que uma gravação extensa sem relação. Os exemplos não publicam um comprimento máximo rígido separado de resposta nem uma duração de multimédia universalmente garantida.
Confira as citações da fala e as conclusões com a fonte, preserve o pormenor visual suficiente para a pergunta e mantenha um resultado textual quando quem revê precisar de inspecionar a explicação falada. O valor documentado do modelo é a compreensão conjunta e a resposta em texto/fala, enquanto os controlos exatos de voz, o processamento de multimédia e a entrega da saída continuam a ser características da interface escolhida.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites qwen2.5-omni-7b | Predefinição— |
Campomessages | Tipomessage[] | RequisitoObrigatório | Valores e limites Número mínimo de elementos: 1 | Predefinição— |
Campomessages[].role | Tipostring | RequisitoObrigatório | Valores e limites Exemplos: system, user, assistant, tool, function Condições: Estes papéis são representados explicitamente pelos tipos de compatibilidade do código-fonte; o conjunto exato de papéis continua específico do modelo. Depende do modelo | Predefinição— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].tool_call_id | Tipostring | RequisitoOpcional | Valores e limites Aplica-se quando: role=tool; use o ID realmente devolvido | Predefinição— |
Campomessages[].name | Tipostring | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].reasoning_content | Tipostring | RequisitoOpcional | Valores e limites Aplica-se quando: Reintroduza o raciocínio realmente devolvido quando este modelo o utiliza | Predefinição— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campomax_tokens | Tipointeger | RequisitoOpcional | Valores e limites Mínimo: 1 Depende do modelo | Predefinição— |
Campomax_completion_tokens | Tipointeger | RequisitoOpcional | Valores e limites Mínimo: 1 Depende do modelo | Predefinição— |
Campostream | Tipoboolean | RequisitoOpcional | Valores e limites | Predefiniçãofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotemperature | Tiponumber | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotop_p | Tiponumber | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campostop | Tipostring|string[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotools | Tipofunction_tool[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotools[].type | Tipostring | RequisitoOpcional | Valores e limites function Depende do modelo | Predefinição— |
Campotools[].function.name | Tipostring | RequisitoObrigatório | Valores e limites Aplica-se quando: Função fornecida como ferramenta | Predefinição— |
Campotools[].function.description | Tipostring | RequisitoOpcional | Valores e limites | Predefinição— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoOpcional | Valores e limites | Predefinição— |
Campotool_choice | Tipostring|object | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoparallel_tool_calls | Tipoboolean | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporesponse_format | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporeasoning_effort | Tipostring | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporeasoning | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camposervice_tier | Tipostring | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoinstructions | Tipostring | RequisitoOpcional | Valores e limites Campo de compatibilidade | Predefinição— |
Campofunctions | Tipofunction[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campofunction_call | Tipostring|object | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoprompt_cache_options | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campomodalities | Tipostring[] | RequisitoOpcional | Valores e limites text | Predefinição— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores e limites Condições: provider.options é rejeitado nesta rota textual Ultra | Predefinição— |
Campocache_control.ttl | Tipostring | RequisitoOpcional | Valores e limites Condições: 1h é rejeitado nos locais efetivos da cache de prompts | Predefinição— |
Texto · Texto UTF8
messages[].content
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, messages |
Parâmetromaterial_types | Contratotext |
Parâmetromessages | ContratoLista de mensagens com estrutura role/content |
Parâmetrofile_material | ContratoDocumento UTF-8 real inserido como texto literal; nenhum ID de ficheiro inferido |
Parâmetrooptional_controls | Contratostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parâmetrocontrol_scope | ContratoEspecífico do modelo; as ferramentas de funções do utilizador diferem das ferramentas alojadas |
Parâmetrooutput_modalities | Contratotext |
Parâmetrohosted_operations | Contratofalse |
Parâmetromultimodal_input_binding | Contratonull |
Ciclo de vida: synchronous_or_streamed
Envie o ID exato do modelo com messages.
O comprimento do contexto não é um limite de saída.
Um ficheiro de texto pode fornecer texto literal; as entradas de imagem/áudio/objeto de ficheiro exigem uma associação exata.
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
| Configuração | Tabela de tarifas | Custo |
|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Custo Entrada · Tokens de entrada $0.0046 / 1K tokens Saída · Tokens de saída $0.0138 / 1K tokens Entrada · Leitura da cache $0 / 1K tokens Entrada · Escrita na cache $0 / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen2.5-omni-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Conserve cada opção com o conteúdo, as chamadas de ferramentas e o raciocínio. Em SSE, junte os deltas por índice de opção e ferramenta e mantenha o motivo final de conclusão e os dados de utilização.
Conserve os ID e cabeçalhos de pedido/resposta. Não é fornecido um URL genérico para obter uma tarefa textual.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Ailoot Ultra qwen2.5-omni-7b
Use os caminhos dos métodos indicados acima.
qwen2.5-omni-7bQwen2.5-Omni-7B combina compreensão de texto, imagens, áudio e vídeo com saída de texto e fala natural. A arquitetura Thinker-Talker alinha o áudio com os tempos do vídeo, suporta interação em fluxo contínuo e oferece duas vozes documentadas neste checkpoint aberto exato.
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
Visão geral: um modelo para várias modalidades de entrada
Qwen2.5-Omni-7B é o modelo multimodal de ponta a ponta da Qwen para texto, imagens, áudio e vídeo. Pode compreender estas entradas em conjunto e gerar texto com fala natural num fluxo contínuo. Utilize-o quando uma tarefa depender do que é visível e audível, ou quando o utilizador der a instrução por voz em vez de a escrever. Este é o checkpoint exato 7B; o Omni-Turbo comercial e as versões Omni posteriores têm os seus próprios contratos.
Principais características e arquitetura
O desenho Thinker-Talker combina compreensão com geração de fala. Thinker processa a tarefa multimodal e produz conteúdo textual, enquanto Talker participa na formação da resposta falada. TMRoPE, o esquema posicional multimodal do fabricante alinhado no tempo, sincroniza os tempos do vídeo com o áudio. A arquitetura foi concebida para entrada por blocos e interação de voz ou vídeo com resposta ágil; este objetivo de desenho não é uma garantia de tempo de resposta fixo em todas as interfaces.
As tarefas abrangidas pelo fabricante incluem reconhecimento e tradução de fala, compreensão de áudio, raciocínio sobre imagens, compreensão de vídeo e geração de fala. As instruções faladas podem, por isso, participar diretamente numa pergunta multimodal, sem exigir sempre uma transcrição escrita fornecida separadamente. Mantenha a tarefa-alvo clara: compreender um excerto de áudio, responder a uma pergunta falada e gerar uma resposta falada são utilizações distintas, embora o modelo suporte todas essas formas de entrada ou saída.
Preparar uma conversa multimodal
Forneça os conteúdos multimédia relevantes e indique como a resposta os deve relacionar. Numa demonstração narrada, peça ao modelo que distinga as etapas visíveis da explicação do orador e identifique onde coincidem. Para uma imagem com uma pergunta áudio, identifique o papel da imagem e peça uma resposta concisa fundamentada no conteúdo visível. Num excerto só de áudio, indique se o objetivo é reconhecer fala, explicar sons ou responder a uma pergunta sobre o conteúdo. São aplicações aqui propostas das tarefas documentadas.
Os exemplos do fabricante mostram conversas só de texto, só de áudio, só de vídeo e com multimédia misturada. Preserve a ordem e os tempos originais do vídeo. Identifique os elementos separados para que o modelo os possa referir sem tratar provas sem relação como um único evento. O resultado pode ser apenas texto ou texto com fala; escolha o artefacto útil antes de preparar o pedido.
Preparação da saída de fala
A receita do checkpoint Qwen exige o pedido de sistema documentado para capacidades áudio quando é necessária saída de fala. Esse pedido identifica Qwen e as suas capacidades auditivas, visuais, textuais e de fala; uma substituição sem relação pode impedir o comportamento áudio esperado. É uma orientação para o fluxo do checkpoint do fabricante, não uma afirmação de que todas as aplicações expõem controlos do pedido de sistema ou de geração de áudio.
O checkpoint exato oferece duas vozes: Chelsie, uma voz feminina calorosa, e Ethan, uma voz masculina animada. Chelsie é a predefinição documentada quando não se seleciona um locutor. O exemplo de geração grava fala a uma taxa de amostragem de 24,000 Hz. Estas duas vozes não devem ser substituídas pela descrição de quatro vozes de um modelo comercial com outro nome.
Utilizar áudio de vídeo
A faixa sonora de um vídeo pode ser relevante para o seu significado, como instruções faladas ou um som produzido por uma ação visível. A Qwen disponibiliza use_audio_in_video na preparação, no processamento e na geração de multimédia. A definição deve manter-se consistente nas três etapas e ao longo de uma conversa de vários turnos; definições inconsistentes podem produzir resultados inesperados. Uma interpretação apenas visual de vídeo é, por isso, diferente de uma interpretação audiovisual, mesmo quando o ficheiro é o mesmo.
Saída só de texto e processamento em lote
O fabricante suporta saída só de texto através de return_audio=False. Permite também desativar Talker após o carregamento, reduzindo a memória GPU em aproximadamente 2 GB, mas tornando a saída áudio indisponível nessa instância. O exemplo documentado de lote com amostras mistas exige return_audio=False e combina pedidos de texto, imagem, áudio e vídeo. Esse exemplo de lote não deve ser convertido numa afirmação de geração de fala em lote.
Contexto e limites substantivos
A configuração do componente textual central do checkpoint define as posições máximas em 32,768. Texto, representações de multimédia e respostas geradas consomem espaço de sequência; este valor não define, de forma independente, uma duração universal de áudio ou vídeo. Os exemplos de recursos do fabricante mostram que vídeos mais longos precisam de substancialmente mais memória, pelo que um excerto breve e relevante é frequentemente mais prático do que uma gravação extensa sem relação. Os exemplos não publicam um comprimento máximo rígido separado de resposta nem uma duração de multimédia universalmente garantida.
Confira as citações da fala e as conclusões com a fonte, preserve o pormenor visual suficiente para a pergunta e mantenha um resultado textual quando quem revê precisar de inspecionar a explicação falada. O valor documentado do modelo é a compreensão conjunta e a resposta em texto/fala, enquanto os controlos exatos de voz, o processamento de multimédia e a entrega da saída continuam a ser características da interface escolhida.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites qwen2.5-omni-7b | Predefinição— |
Campomessages | Tipomessage[] | RequisitoObrigatório | Valores e limites | Predefinição— |
Campomessages[].role | Tipostring | RequisitoObrigatório | Valores e limites user, assistant | Predefinição— |
Campomessages[].content | Tipostring | RequisitoObrigatório | Valores e limites | Predefinição— |
Campomax_tokens | Tipointeger | RequisitoObrigatório | Valores e limites | Predefinição— |
Campostream | Tipoboolean | RequisitoOpcional | Valores e limites | Predefiniçãofalse |
Texto · Texto UTF-8
Cadeia de caracteres messages[].content
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, messages, max_tokens |
Parâmetrooptional_controls | Contratostream |
Parâmetromaterial_types | Contratotext |
Parâmetrotext_file_material | ContratoLeia o documento UTF-8 real e coloque o texto na entrada indicada ou na cadeia de conteúdo da mensagem. |
Ciclo de vida: synchronous_or_streamed
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
| Configuração | Tabela de tarifas | Custo |
|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Custo Entrada · Tokens de entrada $0.0046 / 1K tokens Saída · Tokens de saída $0.0138 / 1K tokens Entrada · Leitura da cache $0 / 1K tokens Entrada · Escrita na cache $0 / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
{\n "model": "qwen2.5-omni-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Conserve todos os blocos de conteúdo, as assinaturas de raciocínio e os ID reais de utilização de ferramentas. Junte todos os deltas de blocos SSE; o primeiro bloco de texto não é a saída completa.
Conserve os ID e cabeçalhos de pedido/resposta. Não é fornecido um URL genérico para obter uma tarefa textual.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Ailoot Ultra qwen2.5-omni-7b
Use os caminhos dos métodos indicados acima.
Exemplo técnico em inglês
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.