MiMo-V2-Omni ist Xiaomis Modell, das Text, Bilder, Audio und Video gemeinsam versteht und dieses Verständnis in einer agentischen Aufgabe nutzt. Seine Architektur verbindet eigene Bild-, Video- und Audioencoder mit einem gemeinsamen Grundmodell. Das zentrale Merkmal ist die gemeinsame Wahrnehmung: Eine Frage kann davon abhängen, was sichtbar und hörbar ist und was der begleitende Text aussagt, statt jede Quelle isoliert interpretieren zu müssen. Seine Ausgaben unterstützen schriftliche Analysen und strukturierte Werkzeuganfragen.
Xiaomi beschreibt das Modell als ein System, das lernt, Wahrnehmung, Vorausschau und Handlung zu verbinden. Es interpretiert die aktuelle Szene, überlegt, was als Nächstes geschehen könnte, und wählt einen nützlichen nächsten Schritt. Das ist besonders für Aufzeichnungen relevant, bei denen die Bedeutung eines Ereignisses von mehreren Modalitäten abhängt. Stellen Sie beispielsweise einen Clip bereit und lassen Sie die Abfolge sichtbarer Handlungen, die relevanten Geräusche und deren Zusammenhänge bestimmen. Geben Sie an, ob Sie eine Ereigniszusammenfassung, eine Erklärung der Szene oder eine Liste von Beobachtungen für eine spätere Prüfung benötigen. Trennen Sie beobachtete Fakten von Vorhersagen: Eine Interpretation dessen, was geschehen könnte, beweist nicht, dass das Ereignis eintreten wird.
Das Audioverständnis geht in der Herstellerbeschreibung über die Transkription hinaus. Xiaomi hebt die Klassifikation von Umgebungsgeräuschen, die Unterscheidung mehrerer Sprecher und gemeinsames Schlussfolgern über Audio und Bildmaterial hervor. Ausserdem zeigt Xiaomi eine strukturierte Zusammenfassung eines langen, ununterbrochenen Podcasts. Benennen Sie bei einer Audioaufgabe die wichtigen Themen oder Fragen und das benötigte Ergebnis, etwa eine Gliederung der Argumente, Streitpunkte oder eine thematische Zusammenfassung. Lassen Sie bei einem Video mit Sprache eine Aussage mit der begleitenden Handlung oder dem Bildschirminhalt verbinden. Wenn genauer Wortlaut oder Sprecherzuordnung wichtig sind, soll das Modell Mehrdeutigkeiten kennzeichnen, statt sie stillschweigend aufzulösen.
Im visuellen Bereich hebt der Hersteller fachübergreifendes Schlussfolgern über Bilder und die Analyse komplexer Diagramme hervor. Stellen Sie ein lesbares Diagramm bereit und erläutern Sie die analytische Frage, einschliesslich der Bedeutung von Achsen, Einheiten und Kategorien, falls diese Informationen im Bild nicht eindeutig sind. Eine Beispielanfrage verlangt, das Hauptmuster zu beschreiben, eine erkennbare Veränderung zu bestimmen und direkt sichtbare Diagrammwerte von einem Erklärungsvorschlag zu unterscheiden. Definieren Sie bei einem Bildvergleich die relevanten Unterschiede und verlangen Sie eine Tabelle mit Bezug zu sichtbaren Belegen. Bereiten Sie das Quellmaterial so vor, dass Beschriftungen und relevante Details lesbar sind; eine nützliche Analyse hängt davon ab, was die Eingabe tatsächlich enthält.
MiMo-V2-Omni unterstützt zudem strukturierte Werkzeugaufrufe und die Zuordnung von Handlungen zu Elementen einer Benutzeroberfläche. Die Vorführungen des Herstellers verbinden das Modell mit einer Agentenumgebung, die Browsersteuerung, Dateizugriff und Terminalinteraktion bereitstellt. Das Modell interpretiert den aktuellen Zustand, entscheidet über den nächsten Schritt und gibt eine Handlung aus; die Umgebung führt sie aus und meldet den aktualisierten Zustand zurück. Geben Sie für eine solche Aufgabe ein klares Ziel, den relevanten Bildschirm oder das Material und Beschreibungen der erlaubten Handlungen an. Lassen Sie jeden nächsten Schritt mit dem beobachteten Zustand verbinden und das zurückgegebene Ergebnis vor dem Fortfahren verwenden. Eine Werkzeuganfrage und das Ergebnis der ausgeführten Handlung sind getrennte Informationen.
Xiaomis Beispiel zur Multimediaproduktion folgt derselben Arbeitsteilung: Das Modell entwirft den Inhalt und steuert einen programmatischen Ablauf, während Werkzeuge die tatsächlichen Mediendateien erstellen und verarbeiten. Sie können mit dem Modell einen Szenenplan, eine schriftliche Erklärung einer Aufnahme oder eine Folge von Werkzeughandlungen vorbereiten. Definieren Sie das konkrete Ergebnis zu Beginn, einschliesslich seiner erforderlichen Inhalte und der Kriterien, an denen die Fertigstellung erkennbar ist. Ordnen Sie Dateierstellung, Rendering und Anwendungsvorgänge den ausführenden Werkzeugen zu, statt eine Textantwort als bereits erstellte Datei zu behandeln.
Stellen Sie für praktische Videoarbeit aufgezeichnete Clips und eine gezielte Frage bereit. Xiaomi unterscheidet diesen Ablauf zur Clipverarbeitung in seiner Forschungsplanung von der Echtzeitwahrnehmung; eine aufgezeichnete Vorführung begründet daher keine Annahme kontinuierlicher Livesteuerung. Seine Beispiele zeigen zudem länger laufende Aufgaben über eine Agentenumgebung, ohne damit einen unbegrenzten Planungshorizont oder eine allgemeingültige Zusage zur Fertigstellungszeit zu begründen. Prüfen Sie Szeneninterpretationen, Diagrammwerte, Sprecherzuordnungen und vorgeschlagene Handlungen anhand der ursprünglichen Eingaben. MiMo-V2-Omni führt die Modalitäten zu einer begründeten Interpretation der Aufgabe zusammen und liefert ein Ergebnis, dessen Belege und Handlungsergebnisse überprüfbar bleiben.
", "aboutText": "MiMo-V2-Omni ist Xiaomis Modell, das Text, Bilder, Audio und Video gemeinsam versteht und dieses Verständnis in einer agentischen Aufgabe nutzt. Seine Architektur verbindet eigene Bild-, Video- und Audioencoder mit einem gemeinsamen Grundmodell. Das zentrale Merkmal ist die gemeinsame Wahrnehmung: Eine Frage kann davon abhängen, was sichtbar und hörbar ist und was der begleitende Text aussagt, statt jede Quelle isoliert interpretieren zu müssen. Seine Ausgaben unterstützen schriftliche Analysen und strukturierte Werkzeuganfragen.\n\nXiaomi beschreibt das Modell als ein System, das lernt, Wahrnehmung, Vorausschau und Handlung zu verbinden. Es interpretiert die aktuelle Szene, überlegt, was als Nächstes geschehen könnte, und wählt einen nützlichen nächsten Schritt. Das ist besonders für Aufzeichnungen relevant, bei denen die Bedeutung eines Ereignisses von mehreren Modalitäten abhängt. Stellen Sie beispielsweise einen Clip bereit und lassen Sie die Abfolge sichtbarer Handlungen, die relevanten Geräusche und deren Zusammenhänge bestimmen. Geben Sie an, ob Sie eine Ereigniszusammenfassung, eine Erklärung der Szene oder eine Liste von Beobachtungen für eine spätere Prüfung benötigen. Trennen Sie beobachtete Fakten von Vorhersagen: Eine Interpretation dessen, was geschehen könnte, beweist nicht, dass das Ereignis eintreten wird.\n\nDas Audioverständnis geht in der Herstellerbeschreibung über die Transkription hinaus. Xiaomi hebt die Klassifikation von Umgebungsgeräuschen, die Unterscheidung mehrerer Sprecher und gemeinsames Schlussfolgern über Audio und Bildmaterial hervor. Ausserdem zeigt Xiaomi eine strukturierte Zusammenfassung eines langen, ununterbrochenen Podcasts. Benennen Sie bei einer Audioaufgabe die wichtigen Themen oder Fragen und das benötigte Ergebnis, etwa eine Gliederung der Argumente, Streitpunkte oder eine thematische Zusammenfassung. Lassen Sie bei einem Video mit Sprache eine Aussage mit der begleitenden Handlung oder dem Bildschirminhalt verbinden. Wenn genauer Wortlaut oder Sprecherzuordnung wichtig sind, soll das Modell Mehrdeutigkeiten kennzeichnen, statt sie stillschweigend aufzulösen.\n\nIm visuellen Bereich hebt der Hersteller fachübergreifendes Schlussfolgern über Bilder und die Analyse komplexer Diagramme hervor. Stellen Sie ein lesbares Diagramm bereit und erläutern Sie die analytische Frage, einschliesslich der Bedeutung von Achsen, Einheiten und Kategorien, falls diese Informationen im Bild nicht eindeutig sind. Eine Beispielanfrage verlangt, das Hauptmuster zu beschreiben, eine erkennbare Veränderung zu bestimmen und direkt sichtbare Diagrammwerte von einem Erklärungsvorschlag zu unterscheiden. Definieren Sie bei einem Bildvergleich die relevanten Unterschiede und verlangen Sie eine Tabelle mit Bezug zu sichtbaren Belegen. Bereiten Sie das Quellmaterial so vor, dass Beschriftungen und relevante Details lesbar sind; eine nützliche Analyse hängt davon ab, was die Eingabe tatsächlich enthält.\n\nMiMo-V2-Omni unterstützt zudem strukturierte Werkzeugaufrufe und die Zuordnung von Handlungen zu Elementen einer Benutzeroberfläche. Die Vorführungen des Herstellers verbinden das Modell mit einer Agentenumgebung, die Browsersteuerung, Dateizugriff und Terminalinteraktion bereitstellt. Das Modell interpretiert den aktuellen Zustand, entscheidet über den nächsten Schritt und gibt eine Handlung aus; die Umgebung führt sie aus und meldet den aktualisierten Zustand zurück. Geben Sie für eine solche Aufgabe ein klares Ziel, den relevanten Bildschirm oder das Material und Beschreibungen der erlaubten Handlungen an. Lassen Sie jeden nächsten Schritt mit dem beobachteten Zustand verbinden und das zurückgegebene Ergebnis vor dem Fortfahren verwenden. Eine Werkzeuganfrage und das Ergebnis der ausgeführten Handlung sind getrennte Informationen.\n\nXiaomis Beispiel zur Multimediaproduktion folgt derselben Arbeitsteilung: Das Modell entwirft den Inhalt und steuert einen programmatischen Ablauf, während Werkzeuge die tatsächlichen Mediendateien erstellen und verarbeiten. Sie können mit dem Modell einen Szenenplan, eine schriftliche Erklärung einer Aufnahme oder eine Folge von Werkzeughandlungen vorbereiten. Definieren Sie das konkrete Ergebnis zu Beginn, einschliesslich seiner erforderlichen Inhalte und der Kriterien, an denen die Fertigstellung erkennbar ist. Ordnen Sie Dateierstellung, Rendering und Anwendungsvorgänge den ausführenden Werkzeugen zu, statt eine Textantwort als bereits erstellte Datei zu behandeln.\n\nStellen Sie für praktische Videoarbeit aufgezeichnete Clips und eine gezielte Frage bereit. Xiaomi unterscheidet diesen Ablauf zur Clipverarbeitung in seiner Forschungsplanung von der Echtzeitwahrnehmung; eine aufgezeichnete Vorführung begründet daher keine Annahme kontinuierlicher Livesteuerung. Seine Beispiele zeigen zudem länger laufende Aufgaben über eine Agentenumgebung, ohne damit einen unbegrenzten Planungshorizont oder eine allgemeingültige Zusage zur Fertigstellungszeit zu begründen. Prüfen Sie Szeneninterpretationen, Diagrammwerte, Sprecherzuordnungen und vorgeschlagene Handlungen anhand der ursprünglichen Eingaben. MiMo-V2-Omni führt die Modalitäten zu einer begründeten Interpretation der Aufgabe zusammen und liefert ein Ergebnis, dessen Belege und Handlungsergebnisse überprüfbar bleiben.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisches Beispiel auf Englisch
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.mimo-v2-omniMiMo-V2-Omni ist Xiaomis Modell für das gemeinsame Verständnis von Text, Bildern, Audio und Video. Es verbindet Wahrnehmung mit strukturierten Werkzeuganfragen und der Zuordnung zu Oberflächenelementen und unterstützt Szenenanalysen, Diagramminterpretation und agentische Abläufe, die tatsächliche Werkzeugergebnisse verwenden.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
MiMo-V2-Omni ist Xiaomis Modell, das Text, Bilder, Audio und Video gemeinsam versteht und dieses Verständnis in einer agentischen Aufgabe nutzt. Seine Architektur verbindet eigene Bild-, Video- und Audioencoder mit einem gemeinsamen Grundmodell. Das zentrale Merkmal ist die gemeinsame Wahrnehmung: Eine Frage kann davon abhängen, was sichtbar und hörbar ist und was der begleitende Text aussagt, statt jede Quelle isoliert interpretieren zu müssen. Seine Ausgaben unterstützen schriftliche Analysen und strukturierte Werkzeuganfragen.
Xiaomi beschreibt das Modell als ein System, das lernt, Wahrnehmung, Vorausschau und Handlung zu verbinden. Es interpretiert die aktuelle Szene, überlegt, was als Nächstes geschehen könnte, und wählt einen nützlichen nächsten Schritt. Das ist besonders für Aufzeichnungen relevant, bei denen die Bedeutung eines Ereignisses von mehreren Modalitäten abhängt. Stellen Sie beispielsweise einen Clip bereit und lassen Sie die Abfolge sichtbarer Handlungen, die relevanten Geräusche und deren Zusammenhänge bestimmen. Geben Sie an, ob Sie eine Ereigniszusammenfassung, eine Erklärung der Szene oder eine Liste von Beobachtungen für eine spätere Prüfung benötigen. Trennen Sie beobachtete Fakten von Vorhersagen: Eine Interpretation dessen, was geschehen könnte, beweist nicht, dass das Ereignis eintreten wird.
Das Audioverständnis geht in der Herstellerbeschreibung über die Transkription hinaus. Xiaomi hebt die Klassifikation von Umgebungsgeräuschen, die Unterscheidung mehrerer Sprecher und gemeinsames Schlussfolgern über Audio und Bildmaterial hervor. Ausserdem zeigt Xiaomi eine strukturierte Zusammenfassung eines langen, ununterbrochenen Podcasts. Benennen Sie bei einer Audioaufgabe die wichtigen Themen oder Fragen und das benötigte Ergebnis, etwa eine Gliederung der Argumente, Streitpunkte oder eine thematische Zusammenfassung. Lassen Sie bei einem Video mit Sprache eine Aussage mit der begleitenden Handlung oder dem Bildschirminhalt verbinden. Wenn genauer Wortlaut oder Sprecherzuordnung wichtig sind, soll das Modell Mehrdeutigkeiten kennzeichnen, statt sie stillschweigend aufzulösen.
Im visuellen Bereich hebt der Hersteller fachübergreifendes Schlussfolgern über Bilder und die Analyse komplexer Diagramme hervor. Stellen Sie ein lesbares Diagramm bereit und erläutern Sie die analytische Frage, einschliesslich der Bedeutung von Achsen, Einheiten und Kategorien, falls diese Informationen im Bild nicht eindeutig sind. Eine Beispielanfrage verlangt, das Hauptmuster zu beschreiben, eine erkennbare Veränderung zu bestimmen und direkt sichtbare Diagrammwerte von einem Erklärungsvorschlag zu unterscheiden. Definieren Sie bei einem Bildvergleich die relevanten Unterschiede und verlangen Sie eine Tabelle mit Bezug zu sichtbaren Belegen. Bereiten Sie das Quellmaterial so vor, dass Beschriftungen und relevante Details lesbar sind; eine nützliche Analyse hängt davon ab, was die Eingabe tatsächlich enthält.
MiMo-V2-Omni unterstützt zudem strukturierte Werkzeugaufrufe und die Zuordnung von Handlungen zu Elementen einer Benutzeroberfläche. Die Vorführungen des Herstellers verbinden das Modell mit einer Agentenumgebung, die Browsersteuerung, Dateizugriff und Terminalinteraktion bereitstellt. Das Modell interpretiert den aktuellen Zustand, entscheidet über den nächsten Schritt und gibt eine Handlung aus; die Umgebung führt sie aus und meldet den aktualisierten Zustand zurück. Geben Sie für eine solche Aufgabe ein klares Ziel, den relevanten Bildschirm oder das Material und Beschreibungen der erlaubten Handlungen an. Lassen Sie jeden nächsten Schritt mit dem beobachteten Zustand verbinden und das zurückgegebene Ergebnis vor dem Fortfahren verwenden. Eine Werkzeuganfrage und das Ergebnis der ausgeführten Handlung sind getrennte Informationen.
Xiaomis Beispiel zur Multimediaproduktion folgt derselben Arbeitsteilung: Das Modell entwirft den Inhalt und steuert einen programmatischen Ablauf, während Werkzeuge die tatsächlichen Mediendateien erstellen und verarbeiten. Sie können mit dem Modell einen Szenenplan, eine schriftliche Erklärung einer Aufnahme oder eine Folge von Werkzeughandlungen vorbereiten. Definieren Sie das konkrete Ergebnis zu Beginn, einschliesslich seiner erforderlichen Inhalte und der Kriterien, an denen die Fertigstellung erkennbar ist. Ordnen Sie Dateierstellung, Rendering und Anwendungsvorgänge den ausführenden Werkzeugen zu, statt eine Textantwort als bereits erstellte Datei zu behandeln.
Stellen Sie für praktische Videoarbeit aufgezeichnete Clips und eine gezielte Frage bereit. Xiaomi unterscheidet diesen Ablauf zur Clipverarbeitung in seiner Forschungsplanung von der Echtzeitwahrnehmung; eine aufgezeichnete Vorführung begründet daher keine Annahme kontinuierlicher Livesteuerung. Seine Beispiele zeigen zudem länger laufende Aufgaben über eine Agentenumgebung, ohne damit einen unbegrenzten Planungshorizont oder eine allgemeingültige Zusage zur Fertigstellungszeit zu begründen. Prüfen Sie Szeneninterpretationen, Diagrammwerte, Sprecherzuordnungen und vorgeschlagene Handlungen anhand der ursprünglichen Eingaben. MiMo-V2-Omni führt die Modalitäten zu einer begründeten Interpretation der Aufgabe zusammen und liefert ein Ergebnis, dessen Belege und Handlungsergebnisse überprüfbar bleiben.
POST /v1/chat/completionstexttext| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits mimo-v2-omni | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits Beispiele: system, user, assistant, tool, function Bedingungen: Diese Rollen sind in den Kompatibilitätstypen des Quellcodes ausdrücklich dargestellt; der genaue Rollenumfang bleibt modellspezifisch. Modellabhängig | Standard— |
Feldmessages[].content | Typstring|content_part[]|null | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_calls | Typtool_call[] | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_call_id | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: role=tool; die tatsächlich zurückgegebene ID verwenden | Standard— |
Feldmessages[].name | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].reasoning_content | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: Tatsächlich zurückgegebene Reasoning-Daten erneut übermitteln, sofern dieses Modell sie verwendet | Standard— |
Feldmessages[].reasoning_details | Typobject|array | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmax_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldmax_completion_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Feldstream_options.include_usage | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtemperature | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtop_p | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldstop | Typstring|string[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools | Typfunction_tool[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools[].type | Typstring | AnforderungOptional | Werte und Limits function Modellabhängig | Standard— |
Feldtools[].function.name | Typstring | AnforderungErforderlich | Werte und Limits Gilt, wenn: Funktionswerkzeug bereitgestellt | Standard— |
Feldtools[].function.description | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldtools[].function.parameters | TypJSON_schema | AnforderungOptional | Werte und Limits | Standard— |
Feldtool_choice | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldparallel_tool_calls | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldresponse_format | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning_effort | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldservice_tier | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldinstructions | Typstring | AnforderungOptional | Werte und Limits Kompatibilitätsfeld | Standard— |
Feldfunctions | Typfunction[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldfunction_call | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldprompt_cache_options | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmodalities | Typstring[] | AnforderungOptional | Werte und Limits text | Standard— |
Feldprovider | Typobject | AnforderungOptional | Werte und Limits Bedingungen: provider.options wird auf dieser Ultra-Textroute abgelehnt | Standard— |
Feldcache_control.ttl | Typstring | AnforderungOptional | Werte und Limits Bedingungen: 1h wird in den tatsächlichen Prompt-Cache-Feldern abgelehnt | Standard— |
Text · UTF8-Text
messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages |
Parametermaterial_types | Vertragtext |
Parametermessages | VertragNachrichtenarray mit role/content-Struktur |
Parameterfile_material | VertragTatsächliches UTF-8-Dokument als wörtlicher Text eingefügt; keine Datei-ID abgeleitet |
Parameteroptional_controls | Vertragstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | VertragModellspezifisch; benutzerseitige Funktionswerkzeuge unterscheiden sich von gehosteten Werkzeugen |
Parameteroutput_modalities | Vertragtext |
Parameterhosted_operations | Vertragfalse |
Parametermultimodal_input_binding | Vertragnull |
Lebenszyklus: synchronous_or_streamed
Die genaue Modell-ID zusammen mit messages senden.
Die Kontextlänge ist keine Ausgabeobergrenze.
Eine Textdatei kann wörtlichen Text liefern; Bild-, Audio- und Dateiobjekteingaben benötigen eine exakte Zuordnung.
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
| Konfiguration | Tarifstaffel | Gebühr |
|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Gebühr Eingabe · Eingabetoken $0.00088 / 1K Tokens Ausgabe · Ausgabetoken $0.0044 / 1K Tokens Eingabe · Cache lesen $0 / 1K Tokens Eingabe · Cache schreiben $0 / 1K Tokens Eingabe · Cache schreiben, 1 Stunde — / 1K Tokens |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschliessenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "mimo-v2-omni", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Antwortvarianten mit ihren Inhalten, Werkzeugaufrufen und Reasoning-Daten beibehalten. In SSE die Deltas nach Varianten- und Werkzeugindex zusammensetzen; endgültigen Beendigungsgrund und Verbrauchsdaten beibehalten.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldchoices[].index | Typinteger |
Feldchoices[].message.content | Typstring|null |
Feldchoices[].message.tool_calls | Typtool_call[] |
Feldchoices[].message.reasoning_content | Typstring |
Feldchoices[].message.reasoning_details | Typobject|array |
Feldchoices[].finish_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra mimo-v2-omni
Verwenden Sie die oben angezeigten Methodenpfade.
mimo-v2-omniMiMo-V2-Omni ist Xiaomis Modell für das gemeinsame Verständnis von Text, Bildern, Audio und Video. Es verbindet Wahrnehmung mit strukturierten Werkzeuganfragen und der Zuordnung zu Oberflächenelementen und unterstützt Szenenanalysen, Diagramminterpretation und agentische Abläufe, die tatsächliche Werkzeugergebnisse verwenden.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
MiMo-V2-Omni ist Xiaomis Modell, das Text, Bilder, Audio und Video gemeinsam versteht und dieses Verständnis in einer agentischen Aufgabe nutzt. Seine Architektur verbindet eigene Bild-, Video- und Audioencoder mit einem gemeinsamen Grundmodell. Das zentrale Merkmal ist die gemeinsame Wahrnehmung: Eine Frage kann davon abhängen, was sichtbar und hörbar ist und was der begleitende Text aussagt, statt jede Quelle isoliert interpretieren zu müssen. Seine Ausgaben unterstützen schriftliche Analysen und strukturierte Werkzeuganfragen.
Xiaomi beschreibt das Modell als ein System, das lernt, Wahrnehmung, Vorausschau und Handlung zu verbinden. Es interpretiert die aktuelle Szene, überlegt, was als Nächstes geschehen könnte, und wählt einen nützlichen nächsten Schritt. Das ist besonders für Aufzeichnungen relevant, bei denen die Bedeutung eines Ereignisses von mehreren Modalitäten abhängt. Stellen Sie beispielsweise einen Clip bereit und lassen Sie die Abfolge sichtbarer Handlungen, die relevanten Geräusche und deren Zusammenhänge bestimmen. Geben Sie an, ob Sie eine Ereigniszusammenfassung, eine Erklärung der Szene oder eine Liste von Beobachtungen für eine spätere Prüfung benötigen. Trennen Sie beobachtete Fakten von Vorhersagen: Eine Interpretation dessen, was geschehen könnte, beweist nicht, dass das Ereignis eintreten wird.
Das Audioverständnis geht in der Herstellerbeschreibung über die Transkription hinaus. Xiaomi hebt die Klassifikation von Umgebungsgeräuschen, die Unterscheidung mehrerer Sprecher und gemeinsames Schlussfolgern über Audio und Bildmaterial hervor. Ausserdem zeigt Xiaomi eine strukturierte Zusammenfassung eines langen, ununterbrochenen Podcasts. Benennen Sie bei einer Audioaufgabe die wichtigen Themen oder Fragen und das benötigte Ergebnis, etwa eine Gliederung der Argumente, Streitpunkte oder eine thematische Zusammenfassung. Lassen Sie bei einem Video mit Sprache eine Aussage mit der begleitenden Handlung oder dem Bildschirminhalt verbinden. Wenn genauer Wortlaut oder Sprecherzuordnung wichtig sind, soll das Modell Mehrdeutigkeiten kennzeichnen, statt sie stillschweigend aufzulösen.
Im visuellen Bereich hebt der Hersteller fachübergreifendes Schlussfolgern über Bilder und die Analyse komplexer Diagramme hervor. Stellen Sie ein lesbares Diagramm bereit und erläutern Sie die analytische Frage, einschliesslich der Bedeutung von Achsen, Einheiten und Kategorien, falls diese Informationen im Bild nicht eindeutig sind. Eine Beispielanfrage verlangt, das Hauptmuster zu beschreiben, eine erkennbare Veränderung zu bestimmen und direkt sichtbare Diagrammwerte von einem Erklärungsvorschlag zu unterscheiden. Definieren Sie bei einem Bildvergleich die relevanten Unterschiede und verlangen Sie eine Tabelle mit Bezug zu sichtbaren Belegen. Bereiten Sie das Quellmaterial so vor, dass Beschriftungen und relevante Details lesbar sind; eine nützliche Analyse hängt davon ab, was die Eingabe tatsächlich enthält.
MiMo-V2-Omni unterstützt zudem strukturierte Werkzeugaufrufe und die Zuordnung von Handlungen zu Elementen einer Benutzeroberfläche. Die Vorführungen des Herstellers verbinden das Modell mit einer Agentenumgebung, die Browsersteuerung, Dateizugriff und Terminalinteraktion bereitstellt. Das Modell interpretiert den aktuellen Zustand, entscheidet über den nächsten Schritt und gibt eine Handlung aus; die Umgebung führt sie aus und meldet den aktualisierten Zustand zurück. Geben Sie für eine solche Aufgabe ein klares Ziel, den relevanten Bildschirm oder das Material und Beschreibungen der erlaubten Handlungen an. Lassen Sie jeden nächsten Schritt mit dem beobachteten Zustand verbinden und das zurückgegebene Ergebnis vor dem Fortfahren verwenden. Eine Werkzeuganfrage und das Ergebnis der ausgeführten Handlung sind getrennte Informationen.
Xiaomis Beispiel zur Multimediaproduktion folgt derselben Arbeitsteilung: Das Modell entwirft den Inhalt und steuert einen programmatischen Ablauf, während Werkzeuge die tatsächlichen Mediendateien erstellen und verarbeiten. Sie können mit dem Modell einen Szenenplan, eine schriftliche Erklärung einer Aufnahme oder eine Folge von Werkzeughandlungen vorbereiten. Definieren Sie das konkrete Ergebnis zu Beginn, einschliesslich seiner erforderlichen Inhalte und der Kriterien, an denen die Fertigstellung erkennbar ist. Ordnen Sie Dateierstellung, Rendering und Anwendungsvorgänge den ausführenden Werkzeugen zu, statt eine Textantwort als bereits erstellte Datei zu behandeln.
Stellen Sie für praktische Videoarbeit aufgezeichnete Clips und eine gezielte Frage bereit. Xiaomi unterscheidet diesen Ablauf zur Clipverarbeitung in seiner Forschungsplanung von der Echtzeitwahrnehmung; eine aufgezeichnete Vorführung begründet daher keine Annahme kontinuierlicher Livesteuerung. Seine Beispiele zeigen zudem länger laufende Aufgaben über eine Agentenumgebung, ohne damit einen unbegrenzten Planungshorizont oder eine allgemeingültige Zusage zur Fertigstellungszeit zu begründen. Prüfen Sie Szeneninterpretationen, Diagrammwerte, Sprecherzuordnungen und vorgeschlagene Handlungen anhand der ursprünglichen Eingaben. MiMo-V2-Omni führt die Modalitäten zu einer begründeten Interpretation der Aufgabe zusammen und liefert ein Ergebnis, dessen Belege und Handlungsergebnisse überprüfbar bleiben.
POST /v1/messagestextjson, sse| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits mimo-v2-omni | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits user, assistant | Standard— |
Feldmessages[].content | Typstring | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmax_tokens | Typinteger | AnforderungErforderlich | Werte und Limits | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Text · UTF-8-Text
Zeichenfolge messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages, max_tokens |
Parameteroptional_controls | Vertragstream |
Parametermaterial_types | Vertragtext |
Parametertext_file_material | VertragDas tatsächliche UTF-8-Dokument lesen und seinen Text in die angegebene Zeichenfolge für Eingabe oder Nachrichteninhalt einfügen. |
Lebenszyklus: synchronous_or_streamed
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
| Konfiguration | Tarifstaffel | Gebühr |
|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Gebühr Eingabe · Eingabetoken $0.00088 / 1K Tokens Ausgabe · Ausgabetoken $0.0044 / 1K Tokens Eingabe · Cache lesen $0 / 1K Tokens Eingabe · Cache schreiben $0 / 1K Tokens Eingabe · Cache schreiben, 1 Stunde — / 1K Tokens |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschliessenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
{\n "model": "mimo-v2-omni",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Inhaltsblöcke, Thinking-Signaturen und tatsächlichen Werkzeugaufruf-IDs beibehalten. Alle SSE-Blockdeltas zusammensetzen; der erste Textblock ist nicht die vollständige Ausgabe.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldid | Typstring |
Feldmodel | Typstring |
Feldcontent[] | Typtext|thinking|tool_use|other content block |
Feldstop_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra mimo-v2-omni
Verwenden Sie die oben angezeigten Methodenpfade.
Technisches Beispiel auf Englisch
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.