MiMo-V2-Omni è il modello di Xiaomi per comprendere insieme testo, immagini, audio e video e usare tale comprensione in un compito agentico. La sua architettura riunisce encoder dedicati per immagini, video e audio in una struttura portante condivisa. La distinzione centrale è la percezione congiunta: una domanda può dipendere da ciò che è visibile, da ciò che è udibile e da ciò che dice il testo di accompagnamento, anziché richiedere l’interpretazione isolata di ogni fonte. I suoi output supportano analisi scritte e richieste strutturate di strumenti.
Xiaomi descrive il modello come capace di imparare a collegare percezione, anticipazione e azione. Interpreta la scena corrente, ragiona su ciò che potrebbe accadere in seguito e seleziona un passaggio successivo utile. Questo è particolarmente pertinente al materiale registrato in cui il significato di un evento dipende da più di una modalità. Per esempio, fornisci una clip e chiedi di identificare la sequenza delle azioni visibili, i suoni pertinenti e il modo in cui si collegano. Specifica se serve un riepilogo degli eventi, una spiegazione della scena o un elenco di osservazioni per una verifica successiva. Mantieni i fatti osservati separati dalle previsioni: un’interpretazione di ciò che potrebbe accadere non è una prova che l’evento avverrà.
Nella descrizione del produttore, la comprensione audio è più ampia della trascrizione. Xiaomi evidenzia la classificazione dei suoni ambientali, la distinzione tra più parlanti e il ragionamento congiunto su audio e immagini. Mostra anche un riepilogo strutturato di un podcast lungo e ininterrotto. Per un compito audio, specifica gli argomenti o le domande che contano e l’output necessario, come una struttura degli argomenti, i punti di disaccordo o un riepilogo per tema. Per un video con parlato, chiedi al modello di collegare un’affermazione all’azione o al materiale sullo schermo che accompagna. Se contano la formulazione esatta o l’attribuzione al parlante, chiedi di segnalare l’ambiguità, anziché risolverla silenziosamente.
Sul piano visivo, il produttore evidenzia il ragionamento multidisciplinare sulle immagini e l’analisi di grafici complessi. Fornisci un grafico leggibile e spiega la domanda analitica, indicando anche il significato di assi, unità e categorie quando tali informazioni non sono chiare nell’immagine. Una richiesta esemplificativa consiste nel descrivere l’andamento principale, identificare un cambiamento apparente e distinguere i valori direttamente visibili nel grafico da una spiegazione proposta. Per un confronto tra immagini, definisci le differenze che interessano e chiedi una tabella collegata a prove visibili. Prepara il materiale di origine affinché etichette e dettagli pertinenti siano leggibili; un’analisi utile dipende da ciò che l’input contiene effettivamente.
MiMo-V2-Omni supporta anche chiamate strutturate a strumenti e ancoraggio all’interfaccia utente. Le dimostrazioni del produttore collegano il modello a un ambiente agentico che fornisce controllo del browser, accesso ai file e interazione con il terminale. Il modello interpreta lo stato corrente, decide che cosa fare ed emette un’azione; l’ambiente la esegue e restituisce lo stato aggiornato. Per un compito di questo tipo, fornisci un obiettivo chiaro, la schermata o il materiale pertinente e le descrizioni delle azioni consentite. Chiedi al modello di collegare ogni passaggio successivo allo stato osservato e di usare il risultato restituito prima di proseguire. Una richiesta di strumento e l’esito dell’azione eseguita sono informazioni separate.
L’esempio di produzione multimediale di Xiaomi segue la stessa divisione del lavoro: il modello progetta il contenuto e dirige un processo programmatico, mentre gli strumenti creano e gestiscono i file multimediali effettivi. Puoi usare il modello per preparare un piano di scene, una spiegazione scritta di una registrazione o una sequenza di azioni di strumenti. Il risultato specifico deve essere definito all’inizio, compresi i contenuti richiesti e il modo di riconoscere il completamento. Mantieni la creazione di file, il rendering e le operazioni applicative collegati agli strumenti che li eseguono, anziché considerare una risposta testuale come un contenuto già creato.
Per il lavoro pratico sui video, fornisci clip registrate e una domanda mirata. Xiaomi distingue questo flusso di elaborazione delle clip dalla percezione in tempo reale nella propria roadmap di ricerca, quindi non si deve presumere il controllo continuo dal vivo a partire da una dimostrazione registrata. I suoi esempi mostrano inoltre compiti prolungati attraverso un ambiente agentico, anziché stabilire un orizzonte di pianificazione illimitato o una promessa universale sui tempi di completamento. Verifica interpretazioni delle scene, valori dei grafici, associazioni dei parlanti e azioni proposte rispetto agli input originali. Il ruolo utile di MiMo-V2-Omni è riunire le modalità in un’unica interpretazione ragionata del compito, con un risultato di cui si possano esaminare prove ed esiti delle azioni.
", "aboutText": "MiMo-V2-Omni è il modello di Xiaomi per comprendere insieme testo, immagini, audio e video e usare tale comprensione in un compito agentico. La sua architettura riunisce encoder dedicati per immagini, video e audio in una struttura portante condivisa. La distinzione centrale è la percezione congiunta: una domanda può dipendere da ciò che è visibile, da ciò che è udibile e da ciò che dice il testo di accompagnamento, anziché richiedere l’interpretazione isolata di ogni fonte. I suoi output supportano analisi scritte e richieste strutturate di strumenti.\n\nXiaomi descrive il modello come capace di imparare a collegare percezione, anticipazione e azione. Interpreta la scena corrente, ragiona su ciò che potrebbe accadere in seguito e seleziona un passaggio successivo utile. Questo è particolarmente pertinente al materiale registrato in cui il significato di un evento dipende da più di una modalità. Per esempio, fornisci una clip e chiedi di identificare la sequenza delle azioni visibili, i suoni pertinenti e il modo in cui si collegano. Specifica se serve un riepilogo degli eventi, una spiegazione della scena o un elenco di osservazioni per una verifica successiva. Mantieni i fatti osservati separati dalle previsioni: un’interpretazione di ciò che potrebbe accadere non è una prova che l’evento avverrà.\n\nNella descrizione del produttore, la comprensione audio è più ampia della trascrizione. Xiaomi evidenzia la classificazione dei suoni ambientali, la distinzione tra più parlanti e il ragionamento congiunto su audio e immagini. Mostra anche un riepilogo strutturato di un podcast lungo e ininterrotto. Per un compito audio, specifica gli argomenti o le domande che contano e l’output necessario, come una struttura degli argomenti, i punti di disaccordo o un riepilogo per tema. Per un video con parlato, chiedi al modello di collegare un’affermazione all’azione o al materiale sullo schermo che accompagna. Se contano la formulazione esatta o l’attribuzione al parlante, chiedi di segnalare l’ambiguità, anziché risolverla silenziosamente.\n\nSul piano visivo, il produttore evidenzia il ragionamento multidisciplinare sulle immagini e l’analisi di grafici complessi. Fornisci un grafico leggibile e spiega la domanda analitica, indicando anche il significato di assi, unità e categorie quando tali informazioni non sono chiare nell’immagine. Una richiesta esemplificativa consiste nel descrivere l’andamento principale, identificare un cambiamento apparente e distinguere i valori direttamente visibili nel grafico da una spiegazione proposta. Per un confronto tra immagini, definisci le differenze che interessano e chiedi una tabella collegata a prove visibili. Prepara il materiale di origine affinché etichette e dettagli pertinenti siano leggibili; un’analisi utile dipende da ciò che l’input contiene effettivamente.\n\nMiMo-V2-Omni supporta anche chiamate strutturate a strumenti e ancoraggio all’interfaccia utente. Le dimostrazioni del produttore collegano il modello a un ambiente agentico che fornisce controllo del browser, accesso ai file e interazione con il terminale. Il modello interpreta lo stato corrente, decide che cosa fare ed emette un’azione; l’ambiente la esegue e restituisce lo stato aggiornato. Per un compito di questo tipo, fornisci un obiettivo chiaro, la schermata o il materiale pertinente e le descrizioni delle azioni consentite. Chiedi al modello di collegare ogni passaggio successivo allo stato osservato e di usare il risultato restituito prima di proseguire. Una richiesta di strumento e l’esito dell’azione eseguita sono informazioni separate.\n\nL’esempio di produzione multimediale di Xiaomi segue la stessa divisione del lavoro: il modello progetta il contenuto e dirige un processo programmatico, mentre gli strumenti creano e gestiscono i file multimediali effettivi. Puoi usare il modello per preparare un piano di scene, una spiegazione scritta di una registrazione o una sequenza di azioni di strumenti. Il risultato specifico deve essere definito all’inizio, compresi i contenuti richiesti e il modo di riconoscere il completamento. Mantieni la creazione di file, il rendering e le operazioni applicative collegati agli strumenti che li eseguono, anziché considerare una risposta testuale come un contenuto già creato.\n\nPer il lavoro pratico sui video, fornisci clip registrate e una domanda mirata. Xiaomi distingue questo flusso di elaborazione delle clip dalla percezione in tempo reale nella propria roadmap di ricerca, quindi non si deve presumere il controllo continuo dal vivo a partire da una dimostrazione registrata. I suoi esempi mostrano inoltre compiti prolungati attraverso un ambiente agentico, anziché stabilire un orizzonte di pianificazione illimitato o una promessa universale sui tempi di completamento. Verifica interpretazioni delle scene, valori dei grafici, associazioni dei parlanti e azioni proposte rispetto agli input originali. Il ruolo utile di MiMo-V2-Omni è riunire le modalità in un’unica interpretazione ragionata del compito, con un risultato di cui si possano esaminare prove ed esiti delle azioni.", "editorialOverlay": { "copy_fields": { "practical_html": "Esempio tecnico in inglese
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.mimo-v2-omniMiMo-V2-Omni è il modello di Xiaomi per comprendere congiuntamente testo, immagini, audio e video. Collega la percezione a richieste strutturate di strumenti e all’ancoraggio agli elementi dell’interfaccia, supportando analisi di scene, interpretazione di grafici e flussi agentici che usano risultati effettivi degli strumenti.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
MiMo-V2-Omni è il modello di Xiaomi per comprendere insieme testo, immagini, audio e video e usare tale comprensione in un compito agentico. La sua architettura riunisce encoder dedicati per immagini, video e audio in una struttura portante condivisa. La distinzione centrale è la percezione congiunta: una domanda può dipendere da ciò che è visibile, da ciò che è udibile e da ciò che dice il testo di accompagnamento, anziché richiedere l’interpretazione isolata di ogni fonte. I suoi output supportano analisi scritte e richieste strutturate di strumenti.
Xiaomi descrive il modello come capace di imparare a collegare percezione, anticipazione e azione. Interpreta la scena corrente, ragiona su ciò che potrebbe accadere in seguito e seleziona un passaggio successivo utile. Questo è particolarmente pertinente al materiale registrato in cui il significato di un evento dipende da più di una modalità. Per esempio, fornisci una clip e chiedi di identificare la sequenza delle azioni visibili, i suoni pertinenti e il modo in cui si collegano. Specifica se serve un riepilogo degli eventi, una spiegazione della scena o un elenco di osservazioni per una verifica successiva. Mantieni i fatti osservati separati dalle previsioni: un’interpretazione di ciò che potrebbe accadere non è una prova che l’evento avverrà.
Nella descrizione del produttore, la comprensione audio è più ampia della trascrizione. Xiaomi evidenzia la classificazione dei suoni ambientali, la distinzione tra più parlanti e il ragionamento congiunto su audio e immagini. Mostra anche un riepilogo strutturato di un podcast lungo e ininterrotto. Per un compito audio, specifica gli argomenti o le domande che contano e l’output necessario, come una struttura degli argomenti, i punti di disaccordo o un riepilogo per tema. Per un video con parlato, chiedi al modello di collegare un’affermazione all’azione o al materiale sullo schermo che accompagna. Se contano la formulazione esatta o l’attribuzione al parlante, chiedi di segnalare l’ambiguità, anziché risolverla silenziosamente.
Sul piano visivo, il produttore evidenzia il ragionamento multidisciplinare sulle immagini e l’analisi di grafici complessi. Fornisci un grafico leggibile e spiega la domanda analitica, indicando anche il significato di assi, unità e categorie quando tali informazioni non sono chiare nell’immagine. Una richiesta esemplificativa consiste nel descrivere l’andamento principale, identificare un cambiamento apparente e distinguere i valori direttamente visibili nel grafico da una spiegazione proposta. Per un confronto tra immagini, definisci le differenze che interessano e chiedi una tabella collegata a prove visibili. Prepara il materiale di origine affinché etichette e dettagli pertinenti siano leggibili; un’analisi utile dipende da ciò che l’input contiene effettivamente.
MiMo-V2-Omni supporta anche chiamate strutturate a strumenti e ancoraggio all’interfaccia utente. Le dimostrazioni del produttore collegano il modello a un ambiente agentico che fornisce controllo del browser, accesso ai file e interazione con il terminale. Il modello interpreta lo stato corrente, decide che cosa fare ed emette un’azione; l’ambiente la esegue e restituisce lo stato aggiornato. Per un compito di questo tipo, fornisci un obiettivo chiaro, la schermata o il materiale pertinente e le descrizioni delle azioni consentite. Chiedi al modello di collegare ogni passaggio successivo allo stato osservato e di usare il risultato restituito prima di proseguire. Una richiesta di strumento e l’esito dell’azione eseguita sono informazioni separate.
L’esempio di produzione multimediale di Xiaomi segue la stessa divisione del lavoro: il modello progetta il contenuto e dirige un processo programmatico, mentre gli strumenti creano e gestiscono i file multimediali effettivi. Puoi usare il modello per preparare un piano di scene, una spiegazione scritta di una registrazione o una sequenza di azioni di strumenti. Il risultato specifico deve essere definito all’inizio, compresi i contenuti richiesti e il modo di riconoscere il completamento. Mantieni la creazione di file, il rendering e le operazioni applicative collegati agli strumenti che li eseguono, anziché considerare una risposta testuale come un contenuto già creato.
Per il lavoro pratico sui video, fornisci clip registrate e una domanda mirata. Xiaomi distingue questo flusso di elaborazione delle clip dalla percezione in tempo reale nella propria roadmap di ricerca, quindi non si deve presumere il controllo continuo dal vivo a partire da una dimostrazione registrata. I suoi esempi mostrano inoltre compiti prolungati attraverso un ambiente agentico, anziché stabilire un orizzonte di pianificazione illimitato o una promessa universale sui tempi di completamento. Verifica interpretazioni delle scene, valori dei grafici, associazioni dei parlanti e azioni proposte rispetto agli input originali. Il ruolo utile di MiMo-V2-Omni è riunire le modalità in un’unica interpretazione ragionata del compito, con un risultato di cui si possano esaminare prove ed esiti delle azioni.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti mimo-v2-omni | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti Numero minimo di elementi: 1 | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti Esempi: system, user, assistant, tool, function Condizioni: Questi ruoli sono rappresentati esplicitamente dai tipi di compatibilità del codice sorgente; l’insieme esatto dei ruoli rimane specifico del modello. Dipende dal modello | Predefinito— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_call_id | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: role=tool; usa l’ID effettivamente restituito | Predefinito— |
Campomessages[].name | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].reasoning_content | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: Reinserisci il ragionamento effettivamente restituito quando il modello lo utilizza | Predefinito— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campomax_completion_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotemperature | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotop_p | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campostop | Tipostring|string[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools | Tipofunction_tool[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools[].type | Tipostring | RequisitoFacoltativo | Valori e limiti function Dipende dal modello | Predefinito— |
Campotools[].function.name | Tipostring | RequisitoObbligatorio | Valori e limiti Si applica quando: Funzione fornita come strumento | Predefinito— |
Campotools[].function.description | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotool_choice | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoparallel_tool_calls | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporesponse_format | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning_effort | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camposervice_tier | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoinstructions | Tipostring | RequisitoFacoltativo | Valori e limiti Campo di compatibilità | Predefinito— |
Campofunctions | Tipofunction[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campofunction_call | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoprompt_cache_options | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomodalities | Tipostring[] | RequisitoFacoltativo | Valori e limiti text | Predefinito— |
Campoprovider | Tipoobject | RequisitoFacoltativo | Valori e limiti Condizioni: provider.options viene rifiutato su questa rotta testuale Ultra | Predefinito— |
Campocache_control.ttl | Tipostring | RequisitoFacoltativo | Valori e limiti Condizioni: 1h viene rifiutato nelle posizioni effettive della cache dei prompt | Predefinito— |
Testo · Testo UTF8
messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages |
Parametromaterial_types | Contrattotext |
Parametromessages | ContrattoArray di messaggi con struttura role/content |
Parametrofile_material | ContrattoDocumento UTF-8 effettivo inserito come testo letterale; nessun ID di file dedotto |
Parametrooptional_controls | Contrattostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrocontrol_scope | ContrattoSpecifico del modello; gli strumenti di funzione dell’utente differiscono dagli strumenti ospitati |
Parametrooutput_modalities | Contrattotext |
Parametrohosted_operations | Contrattofalse |
Parametromultimodal_input_binding | Contrattonull |
Ciclo di vita: synchronous_or_streamed
Invia l’ID esatto del modello con messages.
La lunghezza del contesto non è un limite di uscita.
Un file di testo può fornire testo letterale; gli ingressi immagine/audio/oggetto file richiedono un’associazione esatta.
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
| Configurazione | Listino delle tariffe | Costo |
|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Costo Input · Token in input $0.00088 / 1K token Output · Token in output $0.0044 / 1K token Input · Lettura dalla cache $0 / 1K token Input · Scrittura nella cache $0 / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "mimo-v2-omni", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva ogni scelta con contenuto, chiamate agli strumenti e ragionamento. In SSE assembla i delta per indice di scelta e strumento e conserva il motivo finale di completamento e i dati di utilizzo.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra mimo-v2-omni
Usa i percorsi dei metodi indicati sopra.
mimo-v2-omniMiMo-V2-Omni è il modello di Xiaomi per comprendere congiuntamente testo, immagini, audio e video. Collega la percezione a richieste strutturate di strumenti e all’ancoraggio agli elementi dell’interfaccia, supportando analisi di scene, interpretazione di grafici e flussi agentici che usano risultati effettivi degli strumenti.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
MiMo-V2-Omni è il modello di Xiaomi per comprendere insieme testo, immagini, audio e video e usare tale comprensione in un compito agentico. La sua architettura riunisce encoder dedicati per immagini, video e audio in una struttura portante condivisa. La distinzione centrale è la percezione congiunta: una domanda può dipendere da ciò che è visibile, da ciò che è udibile e da ciò che dice il testo di accompagnamento, anziché richiedere l’interpretazione isolata di ogni fonte. I suoi output supportano analisi scritte e richieste strutturate di strumenti.
Xiaomi descrive il modello come capace di imparare a collegare percezione, anticipazione e azione. Interpreta la scena corrente, ragiona su ciò che potrebbe accadere in seguito e seleziona un passaggio successivo utile. Questo è particolarmente pertinente al materiale registrato in cui il significato di un evento dipende da più di una modalità. Per esempio, fornisci una clip e chiedi di identificare la sequenza delle azioni visibili, i suoni pertinenti e il modo in cui si collegano. Specifica se serve un riepilogo degli eventi, una spiegazione della scena o un elenco di osservazioni per una verifica successiva. Mantieni i fatti osservati separati dalle previsioni: un’interpretazione di ciò che potrebbe accadere non è una prova che l’evento avverrà.
Nella descrizione del produttore, la comprensione audio è più ampia della trascrizione. Xiaomi evidenzia la classificazione dei suoni ambientali, la distinzione tra più parlanti e il ragionamento congiunto su audio e immagini. Mostra anche un riepilogo strutturato di un podcast lungo e ininterrotto. Per un compito audio, specifica gli argomenti o le domande che contano e l’output necessario, come una struttura degli argomenti, i punti di disaccordo o un riepilogo per tema. Per un video con parlato, chiedi al modello di collegare un’affermazione all’azione o al materiale sullo schermo che accompagna. Se contano la formulazione esatta o l’attribuzione al parlante, chiedi di segnalare l’ambiguità, anziché risolverla silenziosamente.
Sul piano visivo, il produttore evidenzia il ragionamento multidisciplinare sulle immagini e l’analisi di grafici complessi. Fornisci un grafico leggibile e spiega la domanda analitica, indicando anche il significato di assi, unità e categorie quando tali informazioni non sono chiare nell’immagine. Una richiesta esemplificativa consiste nel descrivere l’andamento principale, identificare un cambiamento apparente e distinguere i valori direttamente visibili nel grafico da una spiegazione proposta. Per un confronto tra immagini, definisci le differenze che interessano e chiedi una tabella collegata a prove visibili. Prepara il materiale di origine affinché etichette e dettagli pertinenti siano leggibili; un’analisi utile dipende da ciò che l’input contiene effettivamente.
MiMo-V2-Omni supporta anche chiamate strutturate a strumenti e ancoraggio all’interfaccia utente. Le dimostrazioni del produttore collegano il modello a un ambiente agentico che fornisce controllo del browser, accesso ai file e interazione con il terminale. Il modello interpreta lo stato corrente, decide che cosa fare ed emette un’azione; l’ambiente la esegue e restituisce lo stato aggiornato. Per un compito di questo tipo, fornisci un obiettivo chiaro, la schermata o il materiale pertinente e le descrizioni delle azioni consentite. Chiedi al modello di collegare ogni passaggio successivo allo stato osservato e di usare il risultato restituito prima di proseguire. Una richiesta di strumento e l’esito dell’azione eseguita sono informazioni separate.
L’esempio di produzione multimediale di Xiaomi segue la stessa divisione del lavoro: il modello progetta il contenuto e dirige un processo programmatico, mentre gli strumenti creano e gestiscono i file multimediali effettivi. Puoi usare il modello per preparare un piano di scene, una spiegazione scritta di una registrazione o una sequenza di azioni di strumenti. Il risultato specifico deve essere definito all’inizio, compresi i contenuti richiesti e il modo di riconoscere il completamento. Mantieni la creazione di file, il rendering e le operazioni applicative collegati agli strumenti che li eseguono, anziché considerare una risposta testuale come un contenuto già creato.
Per il lavoro pratico sui video, fornisci clip registrate e una domanda mirata. Xiaomi distingue questo flusso di elaborazione delle clip dalla percezione in tempo reale nella propria roadmap di ricerca, quindi non si deve presumere il controllo continuo dal vivo a partire da una dimostrazione registrata. I suoi esempi mostrano inoltre compiti prolungati attraverso un ambiente agentico, anziché stabilire un orizzonte di pianificazione illimitato o una promessa universale sui tempi di completamento. Verifica interpretazioni delle scene, valori dei grafici, associazioni dei parlanti e azioni proposte rispetto agli input originali. Il ruolo utile di MiMo-V2-Omni è riunire le modalità in un’unica interpretazione ragionata del compito, con un risultato di cui si possano esaminare prove ed esiti delle azioni.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti mimo-v2-omni | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti user, assistant | Predefinito— |
Campomessages[].content | Tipostring | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Testo · Testo UTF-8
Stringa messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages, max_tokens |
Parametrooptional_controls | Contrattostream |
Parametromaterial_types | Contrattotext |
Parametrotext_file_material | ContrattoLeggi il documento UTF-8 effettivo e inserisci il testo nell’ingresso indicato o nella stringa del contenuto del messaggio. |
Ciclo di vita: synchronous_or_streamed
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
| Configurazione | Listino delle tariffe | Costo |
|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Costo Input · Token in input $0.00088 / 1K token Output · Token in output $0.0044 / 1K token Input · Lettura dalla cache $0 / 1K token Input · Scrittura nella cache $0 / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
{\n "model": "mimo-v2-omni",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva tutti i blocchi di contenuto, le firme di ragionamento e gli ID effettivi di utilizzo degli strumenti. Assembla tutti i delta dei blocchi SSE; il primo blocco di testo non è l’uscita completa.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra mimo-v2-omni
Usa i percorsi dei metodi indicati sopra.
Esempio tecnico in inglese
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.