MiMo-V2-Omni est le modèle de Xiaomi pour comprendre ensemble le texte, les images, l’audio et la vidéo et utiliser cette compréhension dans une tâche agentique. Son architecture réunit des encodeurs dédiés aux images, à la vidéo et à l’audio dans un socle commun. Sa distinction centrale est la perception conjointe : une question peut dépendre de ce qui est visible, de ce qui est audible et de ce que dit le texte associé, sans imposer une interprétation isolée de chaque source. Ses sorties permettent l’analyse écrite et les demandes d’outils structurées.
Xiaomi décrit le modèle comme apprenant à relier perception, anticipation et action. Il interprète la scène actuelle, raisonne sur la suite possible et choisit une prochaine étape utile. Cela convient particulièrement aux enregistrements dont le sens d’un événement dépend de plusieurs modalités. Par exemple, fournissez un extrait et demandez d’identifier la séquence des actions visibles, les sons pertinents et leurs relations. Précisez si vous voulez un résumé des événements, une explication de la scène ou une liste d’observations pour une révision ultérieure. Distinguez les faits observés des prévisions : une interprétation de ce qui pourrait arriver ne prouve pas que l’événement se produira.
Dans la description du fabricant, la compréhension audio dépasse la transcription. Xiaomi met en avant la classification des sons ambiants, la distinction de plusieurs locuteurs et le raisonnement conjoint sur l’audio et le visuel. Il montre aussi un résumé structuré d’un long podcast ininterrompu. Pour une tâche audio, précisez les sujets ou questions importants et la sortie nécessaire : plan des arguments, points de désaccord ou résumé thématique. Pour une vidéo parlée, demandez au modèle de relier une déclaration à l’action ou au contenu affiché qui l’accompagne. Si les mots exacts ou l’attribution des locuteurs comptent, demandez de signaler l’ambiguïté plutôt que de la résoudre silencieusement.
Côté visuel, le fabricant met en avant le raisonnement multidisciplinaire sur les images et l’analyse de graphiques complexes. Fournissez un graphique lisible et expliquez la question analytique, notamment le sens des axes, unités et catégories lorsqu’il n’est pas clair dans l’image. Une demande peut consister à décrire la tendance principale, identifier un changement apparent et distinguer les valeurs directement visibles d’une explication proposée. Pour comparer des images, définissez les différences importantes et demandez un tableau relié aux preuves visibles. Préparez les sources pour rendre lisibles les étiquettes et détails pertinents ; l’utilité de l’analyse dépend du contenu réel de l’entrée.
MiMo-V2-Omni prend aussi en charge les appels d’outils structurés et l’ancrage dans l’interface. Les démonstrations du fabricant connectent le modèle à un environnement d’agent fournissant le contrôle du navigateur, l’accès aux fichiers et l’interaction avec le terminal. Le modèle interprète l’état actuel, décide de l’action et l’émet ; l’environnement l’exécute et renvoie l’état actualisé. Pour une telle tâche, fournissez un objectif clair, l’écran ou les documents pertinents et la description des actions autorisées. Demandez au modèle de relier chaque prochaine étape à l’état observé et d’utiliser le résultat retourné avant de continuer. Une demande d’outil et le résultat de l’action exécutée sont deux informations distinctes.
L’exemple de production multimédia de Xiaomi suit le même partage : le modèle conçoit le contenu et dirige un processus programmatique, tandis que les outils créent et gèrent les fichiers multimédias réels. Vous pouvez l’utiliser pour préparer un plan de scène, une explication écrite d’un enregistrement ou une séquence d’actions d’outils. Définissez dès le départ le livrable précis, son contenu requis et les critères permettant de reconnaître son achèvement. Reliez création de fichiers, rendu et opérations applicatives aux outils qui les effectuent, au lieu de considérer une réponse textuelle comme un élément déjà créé.
Pour un travail vidéo pratique, fournissez des extraits enregistrés et une question ciblée. Dans sa feuille de route de recherche, Xiaomi distingue ce traitement d’extraits de la perception en temps réel ; ne supposez donc pas un contrôle continu en direct à partir d’une démonstration enregistrée. Ses exemples montrent aussi des tâches prolongées dans un environnement d’agent, sans établir une durée de planification illimitée ni une promesse universelle de délai. Vérifiez les interprétations de scènes, valeurs des graphiques, associations de locuteurs et actions proposées dans les entrées originales. Le rôle utile de MiMo-V2-Omni est de réunir les modalités dans une interprétation raisonnée de la tâche, avec un résultat dont les preuves et effets des actions restent examinables.
", "aboutText": "MiMo-V2-Omni est le modèle de Xiaomi pour comprendre ensemble le texte, les images, l’audio et la vidéo et utiliser cette compréhension dans une tâche agentique. Son architecture réunit des encodeurs dédiés aux images, à la vidéo et à l’audio dans un socle commun. Sa distinction centrale est la perception conjointe : une question peut dépendre de ce qui est visible, de ce qui est audible et de ce que dit le texte associé, sans imposer une interprétation isolée de chaque source. Ses sorties permettent l’analyse écrite et les demandes d’outils structurées.\n\nXiaomi décrit le modèle comme apprenant à relier perception, anticipation et action. Il interprète la scène actuelle, raisonne sur la suite possible et choisit une prochaine étape utile. Cela convient particulièrement aux enregistrements dont le sens d’un événement dépend de plusieurs modalités. Par exemple, fournissez un extrait et demandez d’identifier la séquence des actions visibles, les sons pertinents et leurs relations. Précisez si vous voulez un résumé des événements, une explication de la scène ou une liste d’observations pour une révision ultérieure. Distinguez les faits observés des prévisions : une interprétation de ce qui pourrait arriver ne prouve pas que l’événement se produira.\n\nDans la description du fabricant, la compréhension audio dépasse la transcription. Xiaomi met en avant la classification des sons ambiants, la distinction de plusieurs locuteurs et le raisonnement conjoint sur l’audio et le visuel. Il montre aussi un résumé structuré d’un long podcast ininterrompu. Pour une tâche audio, précisez les sujets ou questions importants et la sortie nécessaire : plan des arguments, points de désaccord ou résumé thématique. Pour une vidéo parlée, demandez au modèle de relier une déclaration à l’action ou au contenu affiché qui l’accompagne. Si les mots exacts ou l’attribution des locuteurs comptent, demandez de signaler l’ambiguïté plutôt que de la résoudre silencieusement.\n\nCôté visuel, le fabricant met en avant le raisonnement multidisciplinaire sur les images et l’analyse de graphiques complexes. Fournissez un graphique lisible et expliquez la question analytique, notamment le sens des axes, unités et catégories lorsqu’il n’est pas clair dans l’image. Une demande peut consister à décrire la tendance principale, identifier un changement apparent et distinguer les valeurs directement visibles d’une explication proposée. Pour comparer des images, définissez les différences importantes et demandez un tableau relié aux preuves visibles. Préparez les sources pour rendre lisibles les étiquettes et détails pertinents ; l’utilité de l’analyse dépend du contenu réel de l’entrée.\n\nMiMo-V2-Omni prend aussi en charge les appels d’outils structurés et l’ancrage dans l’interface. Les démonstrations du fabricant connectent le modèle à un environnement d’agent fournissant le contrôle du navigateur, l’accès aux fichiers et l’interaction avec le terminal. Le modèle interprète l’état actuel, décide de l’action et l’émet ; l’environnement l’exécute et renvoie l’état actualisé. Pour une telle tâche, fournissez un objectif clair, l’écran ou les documents pertinents et la description des actions autorisées. Demandez au modèle de relier chaque prochaine étape à l’état observé et d’utiliser le résultat retourné avant de continuer. Une demande d’outil et le résultat de l’action exécutée sont deux informations distinctes.\n\nL’exemple de production multimédia de Xiaomi suit le même partage : le modèle conçoit le contenu et dirige un processus programmatique, tandis que les outils créent et gèrent les fichiers multimédias réels. Vous pouvez l’utiliser pour préparer un plan de scène, une explication écrite d’un enregistrement ou une séquence d’actions d’outils. Définissez dès le départ le livrable précis, son contenu requis et les critères permettant de reconnaître son achèvement. Reliez création de fichiers, rendu et opérations applicatives aux outils qui les effectuent, au lieu de considérer une réponse textuelle comme un élément déjà créé.\n\nPour un travail vidéo pratique, fournissez des extraits enregistrés et une question ciblée. Dans sa feuille de route de recherche, Xiaomi distingue ce traitement d’extraits de la perception en temps réel ; ne supposez donc pas un contrôle continu en direct à partir d’une démonstration enregistrée. Ses exemples montrent aussi des tâches prolongées dans un environnement d’agent, sans établir une durée de planification illimitée ni une promesse universelle de délai. Vérifiez les interprétations de scènes, valeurs des graphiques, associations de locuteurs et actions proposées dans les entrées originales. Le rôle utile de MiMo-V2-Omni est de réunir les modalités dans une interprétation raisonnée de la tâche, avec un résultat dont les preuves et effets des actions restent examinables.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemple technique en anglais
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.mimo-v2-omniMiMo-V2-Omni est le modèle de Xiaomi pour comprendre conjointement le texte, les images, l’audio et la vidéo. Il relie la perception à des demandes d’outils structurées et à l’ancrage dans l’interface, pour l’analyse de scènes, l’interprétation de graphiques et les flux agentiques utilisant les résultats réels des outils.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
MiMo-V2-Omni est le modèle de Xiaomi pour comprendre ensemble le texte, les images, l’audio et la vidéo et utiliser cette compréhension dans une tâche agentique. Son architecture réunit des encodeurs dédiés aux images, à la vidéo et à l’audio dans un socle commun. Sa distinction centrale est la perception conjointe : une question peut dépendre de ce qui est visible, de ce qui est audible et de ce que dit le texte associé, sans imposer une interprétation isolée de chaque source. Ses sorties permettent l’analyse écrite et les demandes d’outils structurées.
Xiaomi décrit le modèle comme apprenant à relier perception, anticipation et action. Il interprète la scène actuelle, raisonne sur la suite possible et choisit une prochaine étape utile. Cela convient particulièrement aux enregistrements dont le sens d’un événement dépend de plusieurs modalités. Par exemple, fournissez un extrait et demandez d’identifier la séquence des actions visibles, les sons pertinents et leurs relations. Précisez si vous voulez un résumé des événements, une explication de la scène ou une liste d’observations pour une révision ultérieure. Distinguez les faits observés des prévisions : une interprétation de ce qui pourrait arriver ne prouve pas que l’événement se produira.
Dans la description du fabricant, la compréhension audio dépasse la transcription. Xiaomi met en avant la classification des sons ambiants, la distinction de plusieurs locuteurs et le raisonnement conjoint sur l’audio et le visuel. Il montre aussi un résumé structuré d’un long podcast ininterrompu. Pour une tâche audio, précisez les sujets ou questions importants et la sortie nécessaire : plan des arguments, points de désaccord ou résumé thématique. Pour une vidéo parlée, demandez au modèle de relier une déclaration à l’action ou au contenu affiché qui l’accompagne. Si les mots exacts ou l’attribution des locuteurs comptent, demandez de signaler l’ambiguïté plutôt que de la résoudre silencieusement.
Côté visuel, le fabricant met en avant le raisonnement multidisciplinaire sur les images et l’analyse de graphiques complexes. Fournissez un graphique lisible et expliquez la question analytique, notamment le sens des axes, unités et catégories lorsqu’il n’est pas clair dans l’image. Une demande peut consister à décrire la tendance principale, identifier un changement apparent et distinguer les valeurs directement visibles d’une explication proposée. Pour comparer des images, définissez les différences importantes et demandez un tableau relié aux preuves visibles. Préparez les sources pour rendre lisibles les étiquettes et détails pertinents ; l’utilité de l’analyse dépend du contenu réel de l’entrée.
MiMo-V2-Omni prend aussi en charge les appels d’outils structurés et l’ancrage dans l’interface. Les démonstrations du fabricant connectent le modèle à un environnement d’agent fournissant le contrôle du navigateur, l’accès aux fichiers et l’interaction avec le terminal. Le modèle interprète l’état actuel, décide de l’action et l’émet ; l’environnement l’exécute et renvoie l’état actualisé. Pour une telle tâche, fournissez un objectif clair, l’écran ou les documents pertinents et la description des actions autorisées. Demandez au modèle de relier chaque prochaine étape à l’état observé et d’utiliser le résultat retourné avant de continuer. Une demande d’outil et le résultat de l’action exécutée sont deux informations distinctes.
L’exemple de production multimédia de Xiaomi suit le même partage : le modèle conçoit le contenu et dirige un processus programmatique, tandis que les outils créent et gèrent les fichiers multimédias réels. Vous pouvez l’utiliser pour préparer un plan de scène, une explication écrite d’un enregistrement ou une séquence d’actions d’outils. Définissez dès le départ le livrable précis, son contenu requis et les critères permettant de reconnaître son achèvement. Reliez création de fichiers, rendu et opérations applicatives aux outils qui les effectuent, au lieu de considérer une réponse textuelle comme un élément déjà créé.
Pour un travail vidéo pratique, fournissez des extraits enregistrés et une question ciblée. Dans sa feuille de route de recherche, Xiaomi distingue ce traitement d’extraits de la perception en temps réel ; ne supposez donc pas un contrôle continu en direct à partir d’une démonstration enregistrée. Ses exemples montrent aussi des tâches prolongées dans un environnement d’agent, sans établir une durée de planification illimitée ni une promesse universelle de délai. Vérifiez les interprétations de scènes, valeurs des graphiques, associations de locuteurs et actions proposées dans les entrées originales. Le rôle utile de MiMo-V2-Omni est de réunir les modalités dans une interprétation raisonnée de la tâche, avec un résultat dont les preuves et effets des actions restent examinables.
POST /v1/chat/completionstexttext| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites mimo-v2-omni | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites Nombre minimal d’éléments: 1 | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites Exemples : system, user, assistant, tool, function Conditions: Ces rôles sont explicitement représentés par les types de compatibilité du code source ; l’ensemble exact des rôles reste propre à chaque modèle. Selon le modèle | Par défaut— |
Champmessages[].content | Typestring|content_part[]|null | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_calls | Typetool_call[] | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_call_id | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: role=tool ; utilisez l’identifiant réellement renvoyé | Par défaut— |
Champmessages[].name | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].reasoning_content | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: Réinjectez le raisonnement réellement renvoyé lorsque ce modèle l’utilise | Par défaut— |
Champmessages[].reasoning_details | Typeobject|array | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champmax_completion_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Champstream_options.include_usage | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtemperature | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtop_p | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champstop | Typestring|string[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools | Typefunction_tool[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools[].type | Typestring | ExigenceFacultatif | Valeurs et limites function Selon le modèle | Par défaut— |
Champtools[].function.name | Typestring | ExigenceObligatoire | Valeurs et limites S’applique lorsque: outil de fonction fourni | Par défaut— |
Champtools[].function.description | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtools[].function.parameters | TypeJSON_schema | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtool_choice | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champparallel_tool_calls | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champresponse_format | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning_effort | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champservice_tier | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champinstructions | Typestring | ExigenceFacultatif | Valeurs et limites Champ de compatibilité | Par défaut— |
Champfunctions | Typefunction[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champfunction_call | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champprompt_cache_options | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmodalities | Typestring[] | ExigenceFacultatif | Valeurs et limites text | Par défaut— |
Champprovider | Typeobject | ExigenceFacultatif | Valeurs et limites Conditions: provider.options est rejeté sur cette route textuelle Ultra | Par défaut— |
Champcache_control.ttl | Typestring | ExigenceFacultatif | Valeurs et limites Conditions: 1h est rejeté dans les emplacements réels du cache de prompt | Par défaut— |
Texte · Texte UTF8
messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages |
Paramètrematerial_types | Contrattext |
Paramètremessages | Contrattableau de messages avec une structure role/content |
Paramètrefile_material | Contratdocument UTF-8 réel inséré sous forme de texte littéral ; aucun identifiant de fichier déduit |
Paramètreoptional_controls | Contratstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Paramètrecontrol_scope | Contratpropre au modèle ; les outils de fonctions de l’utilisateur diffèrent des outils hébergés |
Paramètreoutput_modalities | Contrattext |
Paramètrehosted_operations | Contratfalse |
Paramètremultimodal_input_binding | Contratnull |
Cycle de vie : synchronous_or_streamed
Envoyez l’identifiant exact du modèle avec messages.
La longueur du contexte n’est pas un plafond de sortie.
Un fichier texte peut fournir du texte littéral ; les entrées image/audio/objets fichier nécessitent une liaison exacte.
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
| Configuration | Barème tarifaire | Coût |
|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Coût Entrée · Tokens en entrée $0.00088 / 1K tokens Sortie · Tokens en sortie $0.0044 / 1K tokens Entrée · Lecture du cache $0 / 1K tokens Entrée · Écriture dans le cache $0 / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "mimo-v2-omni", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez chaque choix avec son contenu, ses appels d’outils et son raisonnement. En SSE, assemblez les deltas par index de choix et d’outil, puis conservez le motif final de terminaison et les données d’utilisation.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champchoices[].index | Typeinteger |
Champchoices[].message.content | Typestring|null |
Champchoices[].message.tool_calls | Typetool_call[] |
Champchoices[].message.reasoning_content | Typestring |
Champchoices[].message.reasoning_details | Typeobject|array |
Champchoices[].finish_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra mimo-v2-omni
Utilisez les chemins de méthode indiqués ci-dessus.
mimo-v2-omniMiMo-V2-Omni est le modèle de Xiaomi pour comprendre conjointement le texte, les images, l’audio et la vidéo. Il relie la perception à des demandes d’outils structurées et à l’ancrage dans l’interface, pour l’analyse de scènes, l’interprétation de graphiques et les flux agentiques utilisant les résultats réels des outils.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
MiMo-V2-Omni est le modèle de Xiaomi pour comprendre ensemble le texte, les images, l’audio et la vidéo et utiliser cette compréhension dans une tâche agentique. Son architecture réunit des encodeurs dédiés aux images, à la vidéo et à l’audio dans un socle commun. Sa distinction centrale est la perception conjointe : une question peut dépendre de ce qui est visible, de ce qui est audible et de ce que dit le texte associé, sans imposer une interprétation isolée de chaque source. Ses sorties permettent l’analyse écrite et les demandes d’outils structurées.
Xiaomi décrit le modèle comme apprenant à relier perception, anticipation et action. Il interprète la scène actuelle, raisonne sur la suite possible et choisit une prochaine étape utile. Cela convient particulièrement aux enregistrements dont le sens d’un événement dépend de plusieurs modalités. Par exemple, fournissez un extrait et demandez d’identifier la séquence des actions visibles, les sons pertinents et leurs relations. Précisez si vous voulez un résumé des événements, une explication de la scène ou une liste d’observations pour une révision ultérieure. Distinguez les faits observés des prévisions : une interprétation de ce qui pourrait arriver ne prouve pas que l’événement se produira.
Dans la description du fabricant, la compréhension audio dépasse la transcription. Xiaomi met en avant la classification des sons ambiants, la distinction de plusieurs locuteurs et le raisonnement conjoint sur l’audio et le visuel. Il montre aussi un résumé structuré d’un long podcast ininterrompu. Pour une tâche audio, précisez les sujets ou questions importants et la sortie nécessaire : plan des arguments, points de désaccord ou résumé thématique. Pour une vidéo parlée, demandez au modèle de relier une déclaration à l’action ou au contenu affiché qui l’accompagne. Si les mots exacts ou l’attribution des locuteurs comptent, demandez de signaler l’ambiguïté plutôt que de la résoudre silencieusement.
Côté visuel, le fabricant met en avant le raisonnement multidisciplinaire sur les images et l’analyse de graphiques complexes. Fournissez un graphique lisible et expliquez la question analytique, notamment le sens des axes, unités et catégories lorsqu’il n’est pas clair dans l’image. Une demande peut consister à décrire la tendance principale, identifier un changement apparent et distinguer les valeurs directement visibles d’une explication proposée. Pour comparer des images, définissez les différences importantes et demandez un tableau relié aux preuves visibles. Préparez les sources pour rendre lisibles les étiquettes et détails pertinents ; l’utilité de l’analyse dépend du contenu réel de l’entrée.
MiMo-V2-Omni prend aussi en charge les appels d’outils structurés et l’ancrage dans l’interface. Les démonstrations du fabricant connectent le modèle à un environnement d’agent fournissant le contrôle du navigateur, l’accès aux fichiers et l’interaction avec le terminal. Le modèle interprète l’état actuel, décide de l’action et l’émet ; l’environnement l’exécute et renvoie l’état actualisé. Pour une telle tâche, fournissez un objectif clair, l’écran ou les documents pertinents et la description des actions autorisées. Demandez au modèle de relier chaque prochaine étape à l’état observé et d’utiliser le résultat retourné avant de continuer. Une demande d’outil et le résultat de l’action exécutée sont deux informations distinctes.
L’exemple de production multimédia de Xiaomi suit le même partage : le modèle conçoit le contenu et dirige un processus programmatique, tandis que les outils créent et gèrent les fichiers multimédias réels. Vous pouvez l’utiliser pour préparer un plan de scène, une explication écrite d’un enregistrement ou une séquence d’actions d’outils. Définissez dès le départ le livrable précis, son contenu requis et les critères permettant de reconnaître son achèvement. Reliez création de fichiers, rendu et opérations applicatives aux outils qui les effectuent, au lieu de considérer une réponse textuelle comme un élément déjà créé.
Pour un travail vidéo pratique, fournissez des extraits enregistrés et une question ciblée. Dans sa feuille de route de recherche, Xiaomi distingue ce traitement d’extraits de la perception en temps réel ; ne supposez donc pas un contrôle continu en direct à partir d’une démonstration enregistrée. Ses exemples montrent aussi des tâches prolongées dans un environnement d’agent, sans établir une durée de planification illimitée ni une promesse universelle de délai. Vérifiez les interprétations de scènes, valeurs des graphiques, associations de locuteurs et actions proposées dans les entrées originales. Le rôle utile de MiMo-V2-Omni est de réunir les modalités dans une interprétation raisonnée de la tâche, avec un résultat dont les preuves et effets des actions restent examinables.
POST /v1/messagestextjson, sse| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites mimo-v2-omni | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites user, assistant | Par défaut— |
Champmessages[].content | Typestring | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Texte · Texte UTF-8
chaîne messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages, max_tokens |
Paramètreoptional_controls | Contratstream |
Paramètrematerial_types | Contrattext |
Paramètretext_file_material | ContratLisez le document UTF-8 réel et placez son texte dans l’entrée indiquée ou dans la chaîne de contenu du message. |
Cycle de vie : synchronous_or_streamed
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
| Configuration | Barème tarifaire | Coût |
|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Coût Entrée · Tokens en entrée $0.00088 / 1K tokens Sortie · Tokens en sortie $0.0044 / 1K tokens Entrée · Lecture du cache $0 / 1K tokens Entrée · Écriture dans le cache $0 / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
{\n "model": "mimo-v2-omni",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez tous les blocs de contenu, les signatures de raisonnement et les identifiants réels d’utilisation d’outils. Assemblez tous les deltas de blocs SSE ; un premier bloc de texte ne constitue pas la sortie complète.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champid | Typestring |
Champmodel | Typestring |
Champcontent[] | Typetext|thinking|tool_use|other content block |
Champstop_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra mimo-v2-omni
Utilisez les chemins de méthode indiqués ci-dessus.
Exemple technique en anglais
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.