MiMo-V2-Omni je model Xiaomi na spoločné porozumenie textu, obrázkom, zvuku a videu a použitie tohto porozumenia v agentovej úlohe. Jeho architektúra prepája vyhradené obrazové, video a zvukové enkodéry so spoločným jadrom. Hlavným rozdielom je spoločné vnímanie: otázka môže závisieť od viditeľného obsahu, počuteľného obsahu aj sprievodného textu, bez potreby interpretovať každý zdroj izolovane. Výstupy podporujú písomnú analýzu a štruktúrované požiadavky na nástroje.
Xiaomi opisuje model ako systém, ktorý sa učí prepájať vnímanie, predvídanie a konanie. Interpretuje aktuálnu scénu, uvažuje o tom, čo môže nasledovať, a vyberá užitočný ďalší krok. To je zvlášť relevantné pri zaznamenanom materiáli, kde význam udalosti závisí od viac než jednej modality. Napríklad dodajte klip a žiadajte identifikovať postupnosť viditeľných akcií, relevantné zvuky a ich vzájomný vzťah. Určte, či potrebujete súhrn udalostí, vysvetlenie scény alebo zoznam pozorovaní na neskoršiu kontrolu. Pozorované fakty oddeľujte od predpovedí: interpretácia toho, čo by sa mohlo stať, nie je dôkazom, že udalosť nastane.
Porozumenie zvuku je v opise výrobcu širšie než prepis. Xiaomi zdôrazňuje klasifikáciu zvukov prostredia, rozlišovanie viacerých hovoriacich a spoločné uvažovanie nad zvukom a obrazom. Predvádza aj štruktúrované zhrnutie dlhého neprerušovaného podcastu. Pri zvukovej úlohe uveďte dôležité témy alebo otázky a potrebný výstup, napríklad osnovu argumentov, body nezhody alebo tematické zhrnutie. Pri videu s rečou žiadajte model prepojiť výrok s akciou alebo materiálom na obrazovke, ktorý ho sprevádza. Ak záleží na presnom znení alebo priradení hovoriaceho, žiadajte označenie nejednoznačnosti namiesto jej tichého vyriešenia.
Vo vizuálnej oblasti výrobca zdôrazňuje multidisciplinárne uvažovanie nad obrázkami a analýzu komplexných grafov. Dodajte čitateľný graf a vysvetlite analytickú otázku vrátane významu osí, jednotiek a kategórií, ak tieto informácie nie sú na obrázku jasné. Ilustračnou požiadavkou je opísať hlavný vzor, identifikovať zdanlivú zmenu a odlíšiť hodnoty priamo viditeľné v grafe od navrhnutého vysvetlenia. Pri porovnaní obrázkov definujte rozdiely, ktoré vás zaujímajú, a žiadajte tabuľku viazanú na viditeľné dôkazy. Zdrojový materiál pripravte tak, aby označenia a relevantné detaily boli čitateľné; užitočná analýza závisí od skutočného obsahu vstupu.
MiMo-V2-Omni podporuje aj štruktúrované volanie nástrojov a ukotvenie v používateľskom rozhraní. Ukážky výrobcu prepájajú model s agentovým prostredím poskytujúcim ovládanie prehliadača, prístup k súborom a interakciu s terminálom. Model interpretuje aktuálny stav, rozhoduje o postupe a vydáva akciu; prostredie ju vykonáva a vracia aktualizovaný stav. Pri takejto úlohe dodajte jasný cieľ, relevantnú obrazovku alebo materiál a opisy povolených akcií. Žiadajte model prepojiť každý ďalší krok s pozorovaným stavom a pred pokračovaním použiť vrátený výsledok. Požiadavka na nástroj a výsledok vykonanej akcie sú samostatné informácie.
Príklad multimediálnej produkcie Xiaomi dodržiava rovnaké rozdelenie práce: model navrhuje obsah a riadi programový proces, zatiaľ čo nástroje vytvárajú a spracúvajú skutočné mediálne súbory. Model možno použiť na prípravu plánu scén, písomné vysvetlenie nahrávky alebo postupnosť akcií nástrojov. Konkrétny výstup treba definovať na začiatku vrátane povinného obsahu a spôsobu rozpoznania dokončenia. Tvorbu súborov, vykresľovanie a aplikačné operácie prepájajte s nástrojmi, ktoré ich vykonávajú, namiesto považovania textovej odpovede za už vytvorený súbor.
Pri praktickej práci s videom dodajte zaznamenané klipy a cielenú otázku. Xiaomi vo svojom výskumnom pláne odlišuje tento postup spracovania klipov od vnímania v reálnom čase, preto zo zaznamenanej ukážky nemožno predpokladať nepretržité živé ovládanie. Príklady tiež ukazujú dlhšie úlohy cez agentové prostredie, nie neobmedzený plánovací horizont ani univerzálny prísľub času dokončenia. Interpretácie scén, hodnoty grafov, priradenia hovoriacich a navrhnuté akcie kontrolujte podľa pôvodných vstupov. Užitočnou úlohou MiMo-V2-Omni je spojiť modality do jednej odôvodnenej interpretácie úlohy s výsledkom, ktorého dôkazy a výsledky akcií možno preskúmať.
", "aboutText": "MiMo-V2-Omni je model Xiaomi na spoločné porozumenie textu, obrázkom, zvuku a videu a použitie tohto porozumenia v agentovej úlohe. Jeho architektúra prepája vyhradené obrazové, video a zvukové enkodéry so spoločným jadrom. Hlavným rozdielom je spoločné vnímanie: otázka môže závisieť od viditeľného obsahu, počuteľného obsahu aj sprievodného textu, bez potreby interpretovať každý zdroj izolovane. Výstupy podporujú písomnú analýzu a štruktúrované požiadavky na nástroje.\n\nXiaomi opisuje model ako systém, ktorý sa učí prepájať vnímanie, predvídanie a konanie. Interpretuje aktuálnu scénu, uvažuje o tom, čo môže nasledovať, a vyberá užitočný ďalší krok. To je zvlášť relevantné pri zaznamenanom materiáli, kde význam udalosti závisí od viac než jednej modality. Napríklad dodajte klip a žiadajte identifikovať postupnosť viditeľných akcií, relevantné zvuky a ich vzájomný vzťah. Určte, či potrebujete súhrn udalostí, vysvetlenie scény alebo zoznam pozorovaní na neskoršiu kontrolu. Pozorované fakty oddeľujte od predpovedí: interpretácia toho, čo by sa mohlo stať, nie je dôkazom, že udalosť nastane.\n\nPorozumenie zvuku je v opise výrobcu širšie než prepis. Xiaomi zdôrazňuje klasifikáciu zvukov prostredia, rozlišovanie viacerých hovoriacich a spoločné uvažovanie nad zvukom a obrazom. Predvádza aj štruktúrované zhrnutie dlhého neprerušovaného podcastu. Pri zvukovej úlohe uveďte dôležité témy alebo otázky a potrebný výstup, napríklad osnovu argumentov, body nezhody alebo tematické zhrnutie. Pri videu s rečou žiadajte model prepojiť výrok s akciou alebo materiálom na obrazovke, ktorý ho sprevádza. Ak záleží na presnom znení alebo priradení hovoriaceho, žiadajte označenie nejednoznačnosti namiesto jej tichého vyriešenia.\n\nVo vizuálnej oblasti výrobca zdôrazňuje multidisciplinárne uvažovanie nad obrázkami a analýzu komplexných grafov. Dodajte čitateľný graf a vysvetlite analytickú otázku vrátane významu osí, jednotiek a kategórií, ak tieto informácie nie sú na obrázku jasné. Ilustračnou požiadavkou je opísať hlavný vzor, identifikovať zdanlivú zmenu a odlíšiť hodnoty priamo viditeľné v grafe od navrhnutého vysvetlenia. Pri porovnaní obrázkov definujte rozdiely, ktoré vás zaujímajú, a žiadajte tabuľku viazanú na viditeľné dôkazy. Zdrojový materiál pripravte tak, aby označenia a relevantné detaily boli čitateľné; užitočná analýza závisí od skutočného obsahu vstupu.\n\nMiMo-V2-Omni podporuje aj štruktúrované volanie nástrojov a ukotvenie v používateľskom rozhraní. Ukážky výrobcu prepájajú model s agentovým prostredím poskytujúcim ovládanie prehliadača, prístup k súborom a interakciu s terminálom. Model interpretuje aktuálny stav, rozhoduje o postupe a vydáva akciu; prostredie ju vykonáva a vracia aktualizovaný stav. Pri takejto úlohe dodajte jasný cieľ, relevantnú obrazovku alebo materiál a opisy povolených akcií. Žiadajte model prepojiť každý ďalší krok s pozorovaným stavom a pred pokračovaním použiť vrátený výsledok. Požiadavka na nástroj a výsledok vykonanej akcie sú samostatné informácie.\n\nPríklad multimediálnej produkcie Xiaomi dodržiava rovnaké rozdelenie práce: model navrhuje obsah a riadi programový proces, zatiaľ čo nástroje vytvárajú a spracúvajú skutočné mediálne súbory. Model možno použiť na prípravu plánu scén, písomné vysvetlenie nahrávky alebo postupnosť akcií nástrojov. Konkrétny výstup treba definovať na začiatku vrátane povinného obsahu a spôsobu rozpoznania dokončenia. Tvorbu súborov, vykresľovanie a aplikačné operácie prepájajte s nástrojmi, ktoré ich vykonávajú, namiesto považovania textovej odpovede za už vytvorený súbor.\n\nPri praktickej práci s videom dodajte zaznamenané klipy a cielenú otázku. Xiaomi vo svojom výskumnom pláne odlišuje tento postup spracovania klipov od vnímania v reálnom čase, preto zo zaznamenanej ukážky nemožno predpokladať nepretržité živé ovládanie. Príklady tiež ukazujú dlhšie úlohy cez agentové prostredie, nie neobmedzený plánovací horizont ani univerzálny prísľub času dokončenia. Interpretácie scén, hodnoty grafov, priradenia hovoriacich a navrhnuté akcie kontrolujte podľa pôvodných vstupov. Užitočnou úlohou MiMo-V2-Omni je spojiť modality do jednej odôvodnenej interpretácie úlohy s výsledkom, ktorého dôkazy a výsledky akcií možno preskúmať.", "editorialOverlay": { "copy_fields": { "practical_html": "Technický príklad v angličtine
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.mimo-v2-omniMiMo-V2-Omni je model Xiaomi na spoločné porozumenie textu, obrázkom, zvuku a videu. Prepája vnímanie so štruktúrovanými požiadavkami na nástroje a ukotvením v rozhraní a podporuje analýzu scén, interpretáciu grafov a agentové postupy používajúce skutočné výsledky nástrojov.
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
MiMo-V2-Omni je model Xiaomi na spoločné porozumenie textu, obrázkom, zvuku a videu a použitie tohto porozumenia v agentovej úlohe. Jeho architektúra prepája vyhradené obrazové, video a zvukové enkodéry so spoločným jadrom. Hlavným rozdielom je spoločné vnímanie: otázka môže závisieť od viditeľného obsahu, počuteľného obsahu aj sprievodného textu, bez potreby interpretovať každý zdroj izolovane. Výstupy podporujú písomnú analýzu a štruktúrované požiadavky na nástroje.
Xiaomi opisuje model ako systém, ktorý sa učí prepájať vnímanie, predvídanie a konanie. Interpretuje aktuálnu scénu, uvažuje o tom, čo môže nasledovať, a vyberá užitočný ďalší krok. To je zvlášť relevantné pri zaznamenanom materiáli, kde význam udalosti závisí od viac než jednej modality. Napríklad dodajte klip a žiadajte identifikovať postupnosť viditeľných akcií, relevantné zvuky a ich vzájomný vzťah. Určte, či potrebujete súhrn udalostí, vysvetlenie scény alebo zoznam pozorovaní na neskoršiu kontrolu. Pozorované fakty oddeľujte od predpovedí: interpretácia toho, čo by sa mohlo stať, nie je dôkazom, že udalosť nastane.
Porozumenie zvuku je v opise výrobcu širšie než prepis. Xiaomi zdôrazňuje klasifikáciu zvukov prostredia, rozlišovanie viacerých hovoriacich a spoločné uvažovanie nad zvukom a obrazom. Predvádza aj štruktúrované zhrnutie dlhého neprerušovaného podcastu. Pri zvukovej úlohe uveďte dôležité témy alebo otázky a potrebný výstup, napríklad osnovu argumentov, body nezhody alebo tematické zhrnutie. Pri videu s rečou žiadajte model prepojiť výrok s akciou alebo materiálom na obrazovke, ktorý ho sprevádza. Ak záleží na presnom znení alebo priradení hovoriaceho, žiadajte označenie nejednoznačnosti namiesto jej tichého vyriešenia.
Vo vizuálnej oblasti výrobca zdôrazňuje multidisciplinárne uvažovanie nad obrázkami a analýzu komplexných grafov. Dodajte čitateľný graf a vysvetlite analytickú otázku vrátane významu osí, jednotiek a kategórií, ak tieto informácie nie sú na obrázku jasné. Ilustračnou požiadavkou je opísať hlavný vzor, identifikovať zdanlivú zmenu a odlíšiť hodnoty priamo viditeľné v grafe od navrhnutého vysvetlenia. Pri porovnaní obrázkov definujte rozdiely, ktoré vás zaujímajú, a žiadajte tabuľku viazanú na viditeľné dôkazy. Zdrojový materiál pripravte tak, aby označenia a relevantné detaily boli čitateľné; užitočná analýza závisí od skutočného obsahu vstupu.
MiMo-V2-Omni podporuje aj štruktúrované volanie nástrojov a ukotvenie v používateľskom rozhraní. Ukážky výrobcu prepájajú model s agentovým prostredím poskytujúcim ovládanie prehliadača, prístup k súborom a interakciu s terminálom. Model interpretuje aktuálny stav, rozhoduje o postupe a vydáva akciu; prostredie ju vykonáva a vracia aktualizovaný stav. Pri takejto úlohe dodajte jasný cieľ, relevantnú obrazovku alebo materiál a opisy povolených akcií. Žiadajte model prepojiť každý ďalší krok s pozorovaným stavom a pred pokračovaním použiť vrátený výsledok. Požiadavka na nástroj a výsledok vykonanej akcie sú samostatné informácie.
Príklad multimediálnej produkcie Xiaomi dodržiava rovnaké rozdelenie práce: model navrhuje obsah a riadi programový proces, zatiaľ čo nástroje vytvárajú a spracúvajú skutočné mediálne súbory. Model možno použiť na prípravu plánu scén, písomné vysvetlenie nahrávky alebo postupnosť akcií nástrojov. Konkrétny výstup treba definovať na začiatku vrátane povinného obsahu a spôsobu rozpoznania dokončenia. Tvorbu súborov, vykresľovanie a aplikačné operácie prepájajte s nástrojmi, ktoré ich vykonávajú, namiesto považovania textovej odpovede za už vytvorený súbor.
Pri praktickej práci s videom dodajte zaznamenané klipy a cielenú otázku. Xiaomi vo svojom výskumnom pláne odlišuje tento postup spracovania klipov od vnímania v reálnom čase, preto zo zaznamenanej ukážky nemožno predpokladať nepretržité živé ovládanie. Príklady tiež ukazujú dlhšie úlohy cez agentové prostredie, nie neobmedzený plánovací horizont ani univerzálny prísľub času dokončenia. Interpretácie scén, hodnoty grafov, priradenia hovoriacich a navrhnuté akcie kontrolujte podľa pôvodných vstupov. Užitočnou úlohou MiMo-V2-Omni je spojiť modality do jednej odôvodnenej interpretácie úlohy s výsledkom, ktorého dôkazy a výsledky akcií možno preskúmať.
POST /v1/chat/completionstexttext| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity mimo-v2-omni | Predvolené— |
Polemessages | Typmessage[] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 | Predvolené— |
Polemessages[].role | Typstring | PožiadavkaPovinné | Hodnoty a limity Príklady: system, user, assistant, tool, function Podmienky: Tieto roly sú výslovne zastúpené typmi kompatibility v zdrojovom kóde; presný súbor rolí zostáva závislý od modelu. Závisí od modelu | Predvolené— |
Polemessages[].content | Typstring|content_part[]|null | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Polemessages[].tool_calls | Typtool_call[] | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Polemessages[].tool_call_id | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Platí, keď: role=tool; použite skutočne vrátené ID | Predvolené— |
Polemessages[].name | Typstring | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Polemessages[].reasoning_content | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Platí, keď: Posielajte späť skutočne vrátené uvažovanie, ak ho tento model používa | Predvolené— |
Polemessages[].reasoning_details | Typobject|array | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polemax_tokens | Typinteger | PožiadavkaVoliteľné | Hodnoty a limity Minimum: 1 Závisí od modelu | Predvolené— |
Polemax_completion_tokens | Typinteger | PožiadavkaVoliteľné | Hodnoty a limity Minimum: 1 Závisí od modelu | Predvolené— |
Polestream | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity | Predvolenéfalse |
Polestream_options.include_usage | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletemperature | Typnumber | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletop_p | Typnumber | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polestop | Typstring|string[] | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletools | Typfunction_tool[] | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletools[].type | Typstring | PožiadavkaVoliteľné | Hodnoty a limity function Závisí od modelu | Predvolené— |
Poletools[].function.name | Typstring | PožiadavkaPovinné | Hodnoty a limity Platí, keď: poskytnutý nástroj typu funkcia | Predvolené— |
Poletools[].function.description | Typstring | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Poletools[].function.parameters | TypJSON_schema | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Poletool_choice | Typstring|object | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleparallel_tool_calls | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleresponse_format | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polereasoning_effort | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polereasoning | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleservice_tier | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleinstructions | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Pole kompatibility | Predvolené— |
Polefunctions | Typfunction[] | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polefunction_call | Typstring|object | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleprompt_cache_options | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polemodalities | Typstring[] | PožiadavkaVoliteľné | Hodnoty a limity text | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa na tejto textovej trase Ultra odmieta | Predvolené— |
Polecache_control.ttl | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Hodnota 1h sa v skutočne používaných poliach cache promptov odmieta | Predvolené— |
Text · Text UTF8
messages[].content
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, messages |
Parametermaterial_types | Špecifikáciatext |
Parametermessages | Špecifikáciapole správ so štruktúrou role/content |
Parameterfile_material | Špecifikáciaskutočný dokument UTF-8 vložený ako doslovný text; ID súboru sa neodvodzuje |
Parameteroptional_controls | Špecifikáciastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Špecifikáciazávisí od modelu; používateľské nástroje typu funkcia sa líšia od nástrojov prevádzkovaných službou |
Parameteroutput_modalities | Špecifikáciatext |
Parameterhosted_operations | Špecifikáciafalse |
Parametermultimodal_input_binding | Špecifikácianull |
Životný cyklus: synchronous_or_streamed
Pošlite presné ID modelu spolu s messages.
Dĺžka kontextu nie je horná hranica výstupu.
Textový súbor môže poskytnúť doslovný text; obrazové a zvukové vstupy a vstupy so súborovými objektmi potrebujú presné naviazanie.
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00088 / 1K tokenov Výstup · Výstupné tokeny $0.0044 / 1K tokenov Vstup · Čítanie cache $0 / 1K tokenov Vstup · Zápis do cache $0 / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "mimo-v2-omni", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson alebo SSE
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Zachovajte každý variant odpovede a jeho obsah, volania nástrojov a uvažovanie. V SSE zostavujte čiastkové zmeny podľa indexu variantu/nástroja a zachovajte konečný dôvod ukončenia aj údaje o spotrebe.
Zachovajte ID požiadaviek/odpovedí aj hlavičky. Všeobecná URL na načítanie textovej úlohy nie je poskytnutá.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Ailoot Ultra mimo-v2-omni
Použite cesty metód uvedené vyššie.
mimo-v2-omniMiMo-V2-Omni je model Xiaomi na spoločné porozumenie textu, obrázkom, zvuku a videu. Prepája vnímanie so štruktúrovanými požiadavkami na nástroje a ukotvením v rozhraní a podporuje analýzu scén, interpretáciu grafov a agentové postupy používajúce skutočné výsledky nástrojov.
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
MiMo-V2-Omni je model Xiaomi na spoločné porozumenie textu, obrázkom, zvuku a videu a použitie tohto porozumenia v agentovej úlohe. Jeho architektúra prepája vyhradené obrazové, video a zvukové enkodéry so spoločným jadrom. Hlavným rozdielom je spoločné vnímanie: otázka môže závisieť od viditeľného obsahu, počuteľného obsahu aj sprievodného textu, bez potreby interpretovať každý zdroj izolovane. Výstupy podporujú písomnú analýzu a štruktúrované požiadavky na nástroje.
Xiaomi opisuje model ako systém, ktorý sa učí prepájať vnímanie, predvídanie a konanie. Interpretuje aktuálnu scénu, uvažuje o tom, čo môže nasledovať, a vyberá užitočný ďalší krok. To je zvlášť relevantné pri zaznamenanom materiáli, kde význam udalosti závisí od viac než jednej modality. Napríklad dodajte klip a žiadajte identifikovať postupnosť viditeľných akcií, relevantné zvuky a ich vzájomný vzťah. Určte, či potrebujete súhrn udalostí, vysvetlenie scény alebo zoznam pozorovaní na neskoršiu kontrolu. Pozorované fakty oddeľujte od predpovedí: interpretácia toho, čo by sa mohlo stať, nie je dôkazom, že udalosť nastane.
Porozumenie zvuku je v opise výrobcu širšie než prepis. Xiaomi zdôrazňuje klasifikáciu zvukov prostredia, rozlišovanie viacerých hovoriacich a spoločné uvažovanie nad zvukom a obrazom. Predvádza aj štruktúrované zhrnutie dlhého neprerušovaného podcastu. Pri zvukovej úlohe uveďte dôležité témy alebo otázky a potrebný výstup, napríklad osnovu argumentov, body nezhody alebo tematické zhrnutie. Pri videu s rečou žiadajte model prepojiť výrok s akciou alebo materiálom na obrazovke, ktorý ho sprevádza. Ak záleží na presnom znení alebo priradení hovoriaceho, žiadajte označenie nejednoznačnosti namiesto jej tichého vyriešenia.
Vo vizuálnej oblasti výrobca zdôrazňuje multidisciplinárne uvažovanie nad obrázkami a analýzu komplexných grafov. Dodajte čitateľný graf a vysvetlite analytickú otázku vrátane významu osí, jednotiek a kategórií, ak tieto informácie nie sú na obrázku jasné. Ilustračnou požiadavkou je opísať hlavný vzor, identifikovať zdanlivú zmenu a odlíšiť hodnoty priamo viditeľné v grafe od navrhnutého vysvetlenia. Pri porovnaní obrázkov definujte rozdiely, ktoré vás zaujímajú, a žiadajte tabuľku viazanú na viditeľné dôkazy. Zdrojový materiál pripravte tak, aby označenia a relevantné detaily boli čitateľné; užitočná analýza závisí od skutočného obsahu vstupu.
MiMo-V2-Omni podporuje aj štruktúrované volanie nástrojov a ukotvenie v používateľskom rozhraní. Ukážky výrobcu prepájajú model s agentovým prostredím poskytujúcim ovládanie prehliadača, prístup k súborom a interakciu s terminálom. Model interpretuje aktuálny stav, rozhoduje o postupe a vydáva akciu; prostredie ju vykonáva a vracia aktualizovaný stav. Pri takejto úlohe dodajte jasný cieľ, relevantnú obrazovku alebo materiál a opisy povolených akcií. Žiadajte model prepojiť každý ďalší krok s pozorovaným stavom a pred pokračovaním použiť vrátený výsledok. Požiadavka na nástroj a výsledok vykonanej akcie sú samostatné informácie.
Príklad multimediálnej produkcie Xiaomi dodržiava rovnaké rozdelenie práce: model navrhuje obsah a riadi programový proces, zatiaľ čo nástroje vytvárajú a spracúvajú skutočné mediálne súbory. Model možno použiť na prípravu plánu scén, písomné vysvetlenie nahrávky alebo postupnosť akcií nástrojov. Konkrétny výstup treba definovať na začiatku vrátane povinného obsahu a spôsobu rozpoznania dokončenia. Tvorbu súborov, vykresľovanie a aplikačné operácie prepájajte s nástrojmi, ktoré ich vykonávajú, namiesto považovania textovej odpovede za už vytvorený súbor.
Pri praktickej práci s videom dodajte zaznamenané klipy a cielenú otázku. Xiaomi vo svojom výskumnom pláne odlišuje tento postup spracovania klipov od vnímania v reálnom čase, preto zo zaznamenanej ukážky nemožno predpokladať nepretržité živé ovládanie. Príklady tiež ukazujú dlhšie úlohy cez agentové prostredie, nie neobmedzený plánovací horizont ani univerzálny prísľub času dokončenia. Interpretácie scén, hodnoty grafov, priradenia hovoriacich a navrhnuté akcie kontrolujte podľa pôvodných vstupov. Užitočnou úlohou MiMo-V2-Omni je spojiť modality do jednej odôvodnenej interpretácie úlohy s výsledkom, ktorého dôkazy a výsledky akcií možno preskúmať.
POST /v1/messagestextjson, sse| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity mimo-v2-omni | Predvolené— |
Polemessages | Typmessage[] | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
Polemessages[].role | Typstring | PožiadavkaPovinné | Hodnoty a limity user, assistant | Predvolené— |
Polemessages[].content | Typstring | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
Polemax_tokens | Typinteger | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
Polestream | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity | Predvolenéfalse |
Text · Text UTF-8
reťazec messages[].content
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, messages, max_tokens |
Parameteroptional_controls | Špecifikáciastream |
Parametermaterial_types | Špecifikáciatext |
Parametertext_file_material | ŠpecifikáciaPrečítajte skutočný dokument UTF-8 a vložte jeho text do uvedeného vstupného reťazca alebo reťazca obsahu správy. |
Životný cyklus: synchronous_or_streamed
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00088 / 1K tokenov Výstup · Výstupné tokeny $0.0044 / 1K tokenov Vstup · Čítanie cache $0 / 1K tokenov Vstup · Zápis do cache $0 / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
{\n "model": "mimo-v2-omni",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON alebo SSE
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Zachovajte všetky bloky obsahu, podpisy uvažovania a skutočné ID volaní nástrojov. Zostavte všetky čiastkové zmeny blokov SSE; prvý textový blok nie je celý výstup.
Zachovajte ID požiadaviek/odpovedí aj hlavičky. Všeobecná URL na načítanie textovej úlohy nie je poskytnutá.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Ailoot Ultra mimo-v2-omni
Použite cesty metód uvedené vyššie.
Technický príklad v angličtine
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.