MiMo-V2-Omni é o modelo da Xiaomi para compreender texto, imagens, áudio e vídeo em conjunto e utilizar essa compreensão numa tarefa de agente. A sua arquitetura integra codificadores dedicados de imagem, vídeo e áudio numa estrutura principal partilhada. A distinção central é a perceção conjunta: uma pergunta pode depender do que é visível, do que é audível e do que diz o texto acompanhante, em vez de exigir que cada fonte seja interpretada isoladamente. As suas saídas suportam análise escrita e pedidos estruturados de ferramentas.
A Xiaomi descreve o modelo como aprendendo a relacionar perceção, antecipação e ação. Interpreta a cena atual, raciocina sobre o que pode acontecer a seguir e seleciona um próximo passo útil. Isto é particularmente relevante para material gravado em que o significado de um acontecimento depende de mais de uma modalidade. Por exemplo, forneça um clipe e peça que identifique a sequência de ações visíveis, os sons relevantes e a relação entre ambos. Especifique se necessita de um resumo do acontecimento, uma explicação da cena ou uma lista de observações para revisão posterior. Mantenha os factos observados separados das previsões: uma interpretação do que poderá acontecer não é prova de que o acontecimento ocorrerá.
Na descrição do fabricante, a compreensão de áudio vai além da transcrição. A Xiaomi destaca classificação de sons ambientais, distinção entre vários intervenientes e raciocínio conjunto sobre áudio e imagens. Demonstra também um resumo estruturado de um podcast longo e ininterrupto. Para uma tarefa de áudio, indique os temas ou perguntas importantes e a saída de que necessita, como uma estrutura de argumentos, pontos de discordância ou um resumo por tema. Para um vídeo com fala, peça ao modelo que relacione uma afirmação com a ação ou o material no ecrã que a acompanha. Se a formulação exata ou a atribuição a um interveniente for importante, peça que assinale ambiguidades em vez de as resolver silenciosamente.
Na componente visual, o produtor destaca raciocínio multidisciplinar sobre imagens e análise de gráficos complexos. Forneça um gráfico legível e explique a pergunta analítica, incluindo o significado dos eixos, unidades e categorias quando essa informação não for clara na imagem. Um pedido ilustrativo é descrever o padrão principal, identificar uma alteração aparente e distinguir valores diretamente visíveis no gráfico de uma explicação proposta. Para uma comparação de imagens, defina as diferenças que lhe interessam e peça uma tabela ligada a evidências visíveis. Prepare o material de origem para que os rótulos e pormenores relevantes sejam legíveis; uma análise útil depende do que a entrada efetivamente contém.
MiMo-V2-Omni suporta também chamadas estruturadas de ferramentas e identificação fundamentada de elementos de interface. As demonstrações do fabricante ligam o modelo a um ambiente de agente que disponibiliza controlo do navegador, acesso a ficheiros e interação com o terminal. O modelo interpreta o estado atual, decide o que fazer e emite uma ação; o ambiente executa-a e devolve o estado atualizado. Para uma tarefa deste tipo, forneça um objetivo claro, o ecrã ou material relevante e descrições das ações permitidas. Peça ao modelo que relacione cada passo seguinte com o estado observado e utilize o resultado devolvido antes de continuar. Um pedido de ferramenta e o resultado da ação executada são elementos de informação separados.
O exemplo de produção multimédia da Xiaomi segue a mesma divisão de trabalho: o modelo concebe o conteúdo e orienta um processo programático, enquanto as ferramentas criam e tratam os ficheiros multimédia efetivos. Pode utilizar o modelo para preparar um plano de cenas, uma explicação escrita de uma gravação ou uma sequência de ações de ferramentas. O resultado específico deve ser definido no início, incluindo os conteúdos exigidos e a forma de reconhecer a conclusão. Mantenha a criação de ficheiros, a renderização e as operações de aplicação ligadas às ferramentas que as executam, em vez de tratar uma resposta em texto como um recurso já criado.
Para trabalho prático com vídeo, forneça clipes gravados e uma pergunta focada. A Xiaomi distingue este fluxo de processamento de clipes da perceção em tempo real no seu plano de investigação, pelo que não se deve presumir controlo contínuo em direto a partir de uma demonstração gravada. Os seus exemplos mostram também tarefas prolongadas através de um ambiente de agente, em vez de estabelecerem um horizonte de planeamento ilimitado ou uma promessa universal de tempo de conclusão. Confira interpretações de cenas, valores de gráficos, associações de intervenientes e ações propostas com as entradas originais. A função útil de MiMo-V2-Omni é reunir as modalidades numa interpretação fundamentada da tarefa, com um resultado cujas evidências e consequências das ações possam ser examinadas.
", "aboutText": "MiMo-V2-Omni é o modelo da Xiaomi para compreender texto, imagens, áudio e vídeo em conjunto e utilizar essa compreensão numa tarefa de agente. A sua arquitetura integra codificadores dedicados de imagem, vídeo e áudio numa estrutura principal partilhada. A distinção central é a perceção conjunta: uma pergunta pode depender do que é visível, do que é audível e do que diz o texto acompanhante, em vez de exigir que cada fonte seja interpretada isoladamente. As suas saídas suportam análise escrita e pedidos estruturados de ferramentas.\n\nA Xiaomi descreve o modelo como aprendendo a relacionar perceção, antecipação e ação. Interpreta a cena atual, raciocina sobre o que pode acontecer a seguir e seleciona um próximo passo útil. Isto é particularmente relevante para material gravado em que o significado de um acontecimento depende de mais de uma modalidade. Por exemplo, forneça um clipe e peça que identifique a sequência de ações visíveis, os sons relevantes e a relação entre ambos. Especifique se necessita de um resumo do acontecimento, uma explicação da cena ou uma lista de observações para revisão posterior. Mantenha os factos observados separados das previsões: uma interpretação do que poderá acontecer não é prova de que o acontecimento ocorrerá.\n\nNa descrição do fabricante, a compreensão de áudio vai além da transcrição. A Xiaomi destaca classificação de sons ambientais, distinção entre vários intervenientes e raciocínio conjunto sobre áudio e imagens. Demonstra também um resumo estruturado de um podcast longo e ininterrupto. Para uma tarefa de áudio, indique os temas ou perguntas importantes e a saída de que necessita, como uma estrutura de argumentos, pontos de discordância ou um resumo por tema. Para um vídeo com fala, peça ao modelo que relacione uma afirmação com a ação ou o material no ecrã que a acompanha. Se a formulação exata ou a atribuição a um interveniente for importante, peça que assinale ambiguidades em vez de as resolver silenciosamente.\n\nNa componente visual, o produtor destaca raciocínio multidisciplinar sobre imagens e análise de gráficos complexos. Forneça um gráfico legível e explique a pergunta analítica, incluindo o significado dos eixos, unidades e categorias quando essa informação não for clara na imagem. Um pedido ilustrativo é descrever o padrão principal, identificar uma alteração aparente e distinguir valores diretamente visíveis no gráfico de uma explicação proposta. Para uma comparação de imagens, defina as diferenças que lhe interessam e peça uma tabela ligada a evidências visíveis. Prepare o material de origem para que os rótulos e pormenores relevantes sejam legíveis; uma análise útil depende do que a entrada efetivamente contém.\n\nMiMo-V2-Omni suporta também chamadas estruturadas de ferramentas e identificação fundamentada de elementos de interface. As demonstrações do fabricante ligam o modelo a um ambiente de agente que disponibiliza controlo do navegador, acesso a ficheiros e interação com o terminal. O modelo interpreta o estado atual, decide o que fazer e emite uma ação; o ambiente executa-a e devolve o estado atualizado. Para uma tarefa deste tipo, forneça um objetivo claro, o ecrã ou material relevante e descrições das ações permitidas. Peça ao modelo que relacione cada passo seguinte com o estado observado e utilize o resultado devolvido antes de continuar. Um pedido de ferramenta e o resultado da ação executada são elementos de informação separados.\n\nO exemplo de produção multimédia da Xiaomi segue a mesma divisão de trabalho: o modelo concebe o conteúdo e orienta um processo programático, enquanto as ferramentas criam e tratam os ficheiros multimédia efetivos. Pode utilizar o modelo para preparar um plano de cenas, uma explicação escrita de uma gravação ou uma sequência de ações de ferramentas. O resultado específico deve ser definido no início, incluindo os conteúdos exigidos e a forma de reconhecer a conclusão. Mantenha a criação de ficheiros, a renderização e as operações de aplicação ligadas às ferramentas que as executam, em vez de tratar uma resposta em texto como um recurso já criado.\n\nPara trabalho prático com vídeo, forneça clipes gravados e uma pergunta focada. A Xiaomi distingue este fluxo de processamento de clipes da perceção em tempo real no seu plano de investigação, pelo que não se deve presumir controlo contínuo em direto a partir de uma demonstração gravada. Os seus exemplos mostram também tarefas prolongadas através de um ambiente de agente, em vez de estabelecerem um horizonte de planeamento ilimitado ou uma promessa universal de tempo de conclusão. Confira interpretações de cenas, valores de gráficos, associações de intervenientes e ações propostas com as entradas originais. A função útil de MiMo-V2-Omni é reunir as modalidades numa interpretação fundamentada da tarefa, com um resultado cujas evidências e consequências das ações possam ser examinadas.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemplo técnico em inglês
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.mimo-v2-omniMiMo-V2-Omni é o modelo da Xiaomi para compreensão conjunta de texto, imagens, áudio e vídeo. Liga a perceção a pedidos estruturados de ferramentas e à identificação de elementos de interface, suportando análise de cenas, interpretação de gráficos e fluxos de agentes que utilizam resultados efetivos das ferramentas.
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
MiMo-V2-Omni é o modelo da Xiaomi para compreender texto, imagens, áudio e vídeo em conjunto e utilizar essa compreensão numa tarefa de agente. A sua arquitetura integra codificadores dedicados de imagem, vídeo e áudio numa estrutura principal partilhada. A distinção central é a perceção conjunta: uma pergunta pode depender do que é visível, do que é audível e do que diz o texto acompanhante, em vez de exigir que cada fonte seja interpretada isoladamente. As suas saídas suportam análise escrita e pedidos estruturados de ferramentas.
A Xiaomi descreve o modelo como aprendendo a relacionar perceção, antecipação e ação. Interpreta a cena atual, raciocina sobre o que pode acontecer a seguir e seleciona um próximo passo útil. Isto é particularmente relevante para material gravado em que o significado de um acontecimento depende de mais de uma modalidade. Por exemplo, forneça um clipe e peça que identifique a sequência de ações visíveis, os sons relevantes e a relação entre ambos. Especifique se necessita de um resumo do acontecimento, uma explicação da cena ou uma lista de observações para revisão posterior. Mantenha os factos observados separados das previsões: uma interpretação do que poderá acontecer não é prova de que o acontecimento ocorrerá.
Na descrição do fabricante, a compreensão de áudio vai além da transcrição. A Xiaomi destaca classificação de sons ambientais, distinção entre vários intervenientes e raciocínio conjunto sobre áudio e imagens. Demonstra também um resumo estruturado de um podcast longo e ininterrupto. Para uma tarefa de áudio, indique os temas ou perguntas importantes e a saída de que necessita, como uma estrutura de argumentos, pontos de discordância ou um resumo por tema. Para um vídeo com fala, peça ao modelo que relacione uma afirmação com a ação ou o material no ecrã que a acompanha. Se a formulação exata ou a atribuição a um interveniente for importante, peça que assinale ambiguidades em vez de as resolver silenciosamente.
Na componente visual, o produtor destaca raciocínio multidisciplinar sobre imagens e análise de gráficos complexos. Forneça um gráfico legível e explique a pergunta analítica, incluindo o significado dos eixos, unidades e categorias quando essa informação não for clara na imagem. Um pedido ilustrativo é descrever o padrão principal, identificar uma alteração aparente e distinguir valores diretamente visíveis no gráfico de uma explicação proposta. Para uma comparação de imagens, defina as diferenças que lhe interessam e peça uma tabela ligada a evidências visíveis. Prepare o material de origem para que os rótulos e pormenores relevantes sejam legíveis; uma análise útil depende do que a entrada efetivamente contém.
MiMo-V2-Omni suporta também chamadas estruturadas de ferramentas e identificação fundamentada de elementos de interface. As demonstrações do fabricante ligam o modelo a um ambiente de agente que disponibiliza controlo do navegador, acesso a ficheiros e interação com o terminal. O modelo interpreta o estado atual, decide o que fazer e emite uma ação; o ambiente executa-a e devolve o estado atualizado. Para uma tarefa deste tipo, forneça um objetivo claro, o ecrã ou material relevante e descrições das ações permitidas. Peça ao modelo que relacione cada passo seguinte com o estado observado e utilize o resultado devolvido antes de continuar. Um pedido de ferramenta e o resultado da ação executada são elementos de informação separados.
O exemplo de produção multimédia da Xiaomi segue a mesma divisão de trabalho: o modelo concebe o conteúdo e orienta um processo programático, enquanto as ferramentas criam e tratam os ficheiros multimédia efetivos. Pode utilizar o modelo para preparar um plano de cenas, uma explicação escrita de uma gravação ou uma sequência de ações de ferramentas. O resultado específico deve ser definido no início, incluindo os conteúdos exigidos e a forma de reconhecer a conclusão. Mantenha a criação de ficheiros, a renderização e as operações de aplicação ligadas às ferramentas que as executam, em vez de tratar uma resposta em texto como um recurso já criado.
Para trabalho prático com vídeo, forneça clipes gravados e uma pergunta focada. A Xiaomi distingue este fluxo de processamento de clipes da perceção em tempo real no seu plano de investigação, pelo que não se deve presumir controlo contínuo em direto a partir de uma demonstração gravada. Os seus exemplos mostram também tarefas prolongadas através de um ambiente de agente, em vez de estabelecerem um horizonte de planeamento ilimitado ou uma promessa universal de tempo de conclusão. Confira interpretações de cenas, valores de gráficos, associações de intervenientes e ações propostas com as entradas originais. A função útil de MiMo-V2-Omni é reunir as modalidades numa interpretação fundamentada da tarefa, com um resultado cujas evidências e consequências das ações possam ser examinadas.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites mimo-v2-omni | Predefinição— |
Campomessages | Tipomessage[] | RequisitoObrigatório | Valores e limites Número mínimo de elementos: 1 | Predefinição— |
Campomessages[].role | Tipostring | RequisitoObrigatório | Valores e limites Exemplos: system, user, assistant, tool, function Condições: Estes papéis são representados explicitamente pelos tipos de compatibilidade do código-fonte; o conjunto exato de papéis continua específico do modelo. Depende do modelo | Predefinição— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].tool_call_id | Tipostring | RequisitoOpcional | Valores e limites Aplica-se quando: role=tool; use o ID realmente devolvido | Predefinição— |
Campomessages[].name | Tipostring | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].reasoning_content | Tipostring | RequisitoOpcional | Valores e limites Aplica-se quando: Reintroduza o raciocínio realmente devolvido quando este modelo o utiliza | Predefinição— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campomax_tokens | Tipointeger | RequisitoOpcional | Valores e limites Mínimo: 1 Depende do modelo | Predefinição— |
Campomax_completion_tokens | Tipointeger | RequisitoOpcional | Valores e limites Mínimo: 1 Depende do modelo | Predefinição— |
Campostream | Tipoboolean | RequisitoOpcional | Valores e limites | Predefiniçãofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotemperature | Tiponumber | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotop_p | Tiponumber | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campostop | Tipostring|string[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotools | Tipofunction_tool[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotools[].type | Tipostring | RequisitoOpcional | Valores e limites function Depende do modelo | Predefinição— |
Campotools[].function.name | Tipostring | RequisitoObrigatório | Valores e limites Aplica-se quando: Função fornecida como ferramenta | Predefinição— |
Campotools[].function.description | Tipostring | RequisitoOpcional | Valores e limites | Predefinição— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoOpcional | Valores e limites | Predefinição— |
Campotool_choice | Tipostring|object | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoparallel_tool_calls | Tipoboolean | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporesponse_format | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporeasoning_effort | Tipostring | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporeasoning | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camposervice_tier | Tipostring | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoinstructions | Tipostring | RequisitoOpcional | Valores e limites Campo de compatibilidade | Predefinição— |
Campofunctions | Tipofunction[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campofunction_call | Tipostring|object | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoprompt_cache_options | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campomodalities | Tipostring[] | RequisitoOpcional | Valores e limites text | Predefinição— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores e limites Condições: provider.options é rejeitado nesta rota textual Ultra | Predefinição— |
Campocache_control.ttl | Tipostring | RequisitoOpcional | Valores e limites Condições: 1h é rejeitado nos locais efetivos da cache de prompts | Predefinição— |
Texto · Texto UTF8
messages[].content
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, messages |
Parâmetromaterial_types | Contratotext |
Parâmetromessages | ContratoLista de mensagens com estrutura role/content |
Parâmetrofile_material | ContratoDocumento UTF-8 real inserido como texto literal; nenhum ID de ficheiro inferido |
Parâmetrooptional_controls | Contratostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parâmetrocontrol_scope | ContratoEspecífico do modelo; as ferramentas de funções do utilizador diferem das ferramentas alojadas |
Parâmetrooutput_modalities | Contratotext |
Parâmetrohosted_operations | Contratofalse |
Parâmetromultimodal_input_binding | Contratonull |
Ciclo de vida: synchronous_or_streamed
Envie o ID exato do modelo com messages.
O comprimento do contexto não é um limite de saída.
Um ficheiro de texto pode fornecer texto literal; as entradas de imagem/áudio/objeto de ficheiro exigem uma associação exata.
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
| Configuração | Tabela de tarifas | Custo |
|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Custo Entrada · Tokens de entrada $0.00088 / 1K tokens Saída · Tokens de saída $0.0044 / 1K tokens Entrada · Leitura da cache $0 / 1K tokens Entrada · Escrita na cache $0 / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "mimo-v2-omni", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Conserve cada opção com o conteúdo, as chamadas de ferramentas e o raciocínio. Em SSE, junte os deltas por índice de opção e ferramenta e mantenha o motivo final de conclusão e os dados de utilização.
Conserve os ID e cabeçalhos de pedido/resposta. Não é fornecido um URL genérico para obter uma tarefa textual.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Ailoot Ultra mimo-v2-omni
Use os caminhos dos métodos indicados acima.
mimo-v2-omniMiMo-V2-Omni é o modelo da Xiaomi para compreensão conjunta de texto, imagens, áudio e vídeo. Liga a perceção a pedidos estruturados de ferramentas e à identificação de elementos de interface, suportando análise de cenas, interpretação de gráficos e fluxos de agentes que utilizam resultados efetivos das ferramentas.
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
MiMo-V2-Omni é o modelo da Xiaomi para compreender texto, imagens, áudio e vídeo em conjunto e utilizar essa compreensão numa tarefa de agente. A sua arquitetura integra codificadores dedicados de imagem, vídeo e áudio numa estrutura principal partilhada. A distinção central é a perceção conjunta: uma pergunta pode depender do que é visível, do que é audível e do que diz o texto acompanhante, em vez de exigir que cada fonte seja interpretada isoladamente. As suas saídas suportam análise escrita e pedidos estruturados de ferramentas.
A Xiaomi descreve o modelo como aprendendo a relacionar perceção, antecipação e ação. Interpreta a cena atual, raciocina sobre o que pode acontecer a seguir e seleciona um próximo passo útil. Isto é particularmente relevante para material gravado em que o significado de um acontecimento depende de mais de uma modalidade. Por exemplo, forneça um clipe e peça que identifique a sequência de ações visíveis, os sons relevantes e a relação entre ambos. Especifique se necessita de um resumo do acontecimento, uma explicação da cena ou uma lista de observações para revisão posterior. Mantenha os factos observados separados das previsões: uma interpretação do que poderá acontecer não é prova de que o acontecimento ocorrerá.
Na descrição do fabricante, a compreensão de áudio vai além da transcrição. A Xiaomi destaca classificação de sons ambientais, distinção entre vários intervenientes e raciocínio conjunto sobre áudio e imagens. Demonstra também um resumo estruturado de um podcast longo e ininterrupto. Para uma tarefa de áudio, indique os temas ou perguntas importantes e a saída de que necessita, como uma estrutura de argumentos, pontos de discordância ou um resumo por tema. Para um vídeo com fala, peça ao modelo que relacione uma afirmação com a ação ou o material no ecrã que a acompanha. Se a formulação exata ou a atribuição a um interveniente for importante, peça que assinale ambiguidades em vez de as resolver silenciosamente.
Na componente visual, o produtor destaca raciocínio multidisciplinar sobre imagens e análise de gráficos complexos. Forneça um gráfico legível e explique a pergunta analítica, incluindo o significado dos eixos, unidades e categorias quando essa informação não for clara na imagem. Um pedido ilustrativo é descrever o padrão principal, identificar uma alteração aparente e distinguir valores diretamente visíveis no gráfico de uma explicação proposta. Para uma comparação de imagens, defina as diferenças que lhe interessam e peça uma tabela ligada a evidências visíveis. Prepare o material de origem para que os rótulos e pormenores relevantes sejam legíveis; uma análise útil depende do que a entrada efetivamente contém.
MiMo-V2-Omni suporta também chamadas estruturadas de ferramentas e identificação fundamentada de elementos de interface. As demonstrações do fabricante ligam o modelo a um ambiente de agente que disponibiliza controlo do navegador, acesso a ficheiros e interação com o terminal. O modelo interpreta o estado atual, decide o que fazer e emite uma ação; o ambiente executa-a e devolve o estado atualizado. Para uma tarefa deste tipo, forneça um objetivo claro, o ecrã ou material relevante e descrições das ações permitidas. Peça ao modelo que relacione cada passo seguinte com o estado observado e utilize o resultado devolvido antes de continuar. Um pedido de ferramenta e o resultado da ação executada são elementos de informação separados.
O exemplo de produção multimédia da Xiaomi segue a mesma divisão de trabalho: o modelo concebe o conteúdo e orienta um processo programático, enquanto as ferramentas criam e tratam os ficheiros multimédia efetivos. Pode utilizar o modelo para preparar um plano de cenas, uma explicação escrita de uma gravação ou uma sequência de ações de ferramentas. O resultado específico deve ser definido no início, incluindo os conteúdos exigidos e a forma de reconhecer a conclusão. Mantenha a criação de ficheiros, a renderização e as operações de aplicação ligadas às ferramentas que as executam, em vez de tratar uma resposta em texto como um recurso já criado.
Para trabalho prático com vídeo, forneça clipes gravados e uma pergunta focada. A Xiaomi distingue este fluxo de processamento de clipes da perceção em tempo real no seu plano de investigação, pelo que não se deve presumir controlo contínuo em direto a partir de uma demonstração gravada. Os seus exemplos mostram também tarefas prolongadas através de um ambiente de agente, em vez de estabelecerem um horizonte de planeamento ilimitado ou uma promessa universal de tempo de conclusão. Confira interpretações de cenas, valores de gráficos, associações de intervenientes e ações propostas com as entradas originais. A função útil de MiMo-V2-Omni é reunir as modalidades numa interpretação fundamentada da tarefa, com um resultado cujas evidências e consequências das ações possam ser examinadas.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites mimo-v2-omni | Predefinição— |
Campomessages | Tipomessage[] | RequisitoObrigatório | Valores e limites | Predefinição— |
Campomessages[].role | Tipostring | RequisitoObrigatório | Valores e limites user, assistant | Predefinição— |
Campomessages[].content | Tipostring | RequisitoObrigatório | Valores e limites | Predefinição— |
Campomax_tokens | Tipointeger | RequisitoObrigatório | Valores e limites | Predefinição— |
Campostream | Tipoboolean | RequisitoOpcional | Valores e limites | Predefiniçãofalse |
Texto · Texto UTF-8
Cadeia de caracteres messages[].content
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, messages, max_tokens |
Parâmetrooptional_controls | Contratostream |
Parâmetromaterial_types | Contratotext |
Parâmetrotext_file_material | ContratoLeia o documento UTF-8 real e coloque o texto na entrada indicada ou na cadeia de conteúdo da mensagem. |
Ciclo de vida: synchronous_or_streamed
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
| Configuração | Tabela de tarifas | Custo |
|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Custo Entrada · Tokens de entrada $0.00088 / 1K tokens Saída · Tokens de saída $0.0044 / 1K tokens Entrada · Leitura da cache $0 / 1K tokens Entrada · Escrita na cache $0 / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
{\n "model": "mimo-v2-omni",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Conserve todos os blocos de conteúdo, as assinaturas de raciocínio e os ID reais de utilização de ferramentas. Junte todos os deltas de blocos SSE; o primeiro bloco de texto não é a saída completa.
Conserve os ID e cabeçalhos de pedido/resposta. Não é fornecido um URL genérico para obter uma tarefa textual.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Ailoot Ultra mimo-v2-omni
Use os caminhos dos métodos indicados acima.
Exemplo técnico em inglês
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.