MiMo-V2-Omni to model Xiaomi do wspólnego rozumienia tekstu, obrazów, dźwięku i wideo oraz wykorzystywania tego rozumienia w zadaniu agentowym. Jego architektura wprowadza dedykowane enkodery obrazów, wideo i dźwięku do wspólnego szkieletu. Kluczową cechą jest łączna percepcja: pytanie może zależeć od tego, co widać, co słychać i co mówi towarzyszący tekst, zamiast wymagać interpretowania każdego źródła osobno. Wyniki wspierają analizę pisemną i strukturalne żądania narzędzi.
Xiaomi opisuje model jako uczący się łączenia percepcji, przewidywania i działania. Interpretuje bieżącą scenę, rozumuje o tym, co może nastąpić dalej, i wybiera użyteczny następny krok. Ma to szczególne znaczenie dla nagrań, w których sens zdarzenia zależy od więcej niż jednej modalności. Na przykład dostarcz klip i poproś o wskazanie sekwencji widocznych działań, istotnych dźwięków oraz relacji między nimi. Określ, czy potrzebujesz podsumowania zdarzeń, wyjaśnienia sceny czy listy obserwacji do późniejszej kontroli. Oddzielaj zaobserwowane fakty od przewidywań: interpretacja tego, co mogłoby nastąpić, nie dowodzi, że zdarzenie wystąpi.
W opisie producenta rozumienie dźwięku wykracza poza transkrypcję. Xiaomi podkreśla klasyfikację dźwięków otoczenia, rozróżnianie wielu mówców i łączne rozumowanie nad dźwiękiem oraz obrazem. Demonstruje także strukturalne podsumowanie długiego, nieprzerwanego podcastu. Dla zadania audio określ istotne tematy lub pytania i potrzebne wyjście, takie jak plan argumentów, punkty rozbieżności lub podsumowanie tematyczne. Dla wideo z mową poproś model o powiązanie wypowiedzi z towarzyszącym działaniem lub materiałem ekranowym. Jeśli znaczenie ma dokładne brzmienie lub przypisanie mówcy, poproś o oznaczanie niejednoznaczności zamiast cichego ich rozstrzygania.
Po stronie wizualnej producent podkreśla wielodziedzinowe rozumowanie obrazowe i analizę złożonych wykresów. Dostarcz czytelny wykres i wyjaśnij pytanie analityczne, w tym znaczenie osi, jednostek i kategorii, gdy nie jest ono jasne na obrazie. Przykładowe żądanie może wymagać opisania głównego wzorca, wskazania widocznej zmiany i odróżnienia wartości bezpośrednio widocznych na wykresie od proponowanego wyjaśnienia. Dla porównania obrazów określ istotne różnice i poproś o tabelę powiązaną z widocznymi dowodami. Przygotuj materiał źródłowy tak, aby etykiety i ważne szczegóły były czytelne; użyteczna analiza zależy od tego, co wejście rzeczywiście zawiera.
MiMo-V2-Omni obsługuje także strukturalne wywoływanie narzędzi i powiązanie działań z interfejsem użytkownika. Demonstracje producenta łączą model ze środowiskiem agentowym zapewniającym sterowanie przeglądarką, dostęp do plików i interakcję z terminalem. Model interpretuje bieżący stan, decyduje o działaniu i wydaje polecenie; środowisko je wykonuje i zwraca zaktualizowany stan. Dla takiego zadania podaj jasny cel, odpowiedni ekran lub materiał i opisy dozwolonych działań. Poproś model o powiązanie każdego kolejnego kroku z zaobserwowanym stanem i wykorzystanie zwróconego wyniku przed kontynuowaniem. Żądanie narzędzia i rezultat wykonanego działania to odrębne informacje.
Przykład produkcji multimedialnej Xiaomi stosuje ten sam podział pracy: model projektuje treść i kieruje procesem programowym, a narzędzia tworzą i obsługują rzeczywiste pliki multimedialne. Możesz użyć modelu do przygotowania planu scen, pisemnego wyjaśnienia nagrania lub sekwencji działań narzędziowych. Konkretny rezultat należy określić na początku, wraz z wymaganą zawartością i sposobem rozpoznania ukończenia. Powiąż tworzenie plików, renderowanie i operacje aplikacji z narzędziami, które je wykonują, zamiast traktować odpowiedź tekstową jako już utworzony zasób.
W praktycznej pracy z wideo dostarczaj nagrane klipy i skoncentrowane pytanie. Xiaomi odróżnia ten proces przetwarzania klipów od percepcji w czasie rzeczywistym w swoim planie badań, dlatego nagrana demonstracja nie uzasadnia zakładania ciągłego sterowania na żywo. Przykłady pokazują również długotrwałe zadania przez środowisko agentowe, zamiast ustanawiać nieograniczony horyzont planowania lub uniwersalną obietnicę czasu ukończenia. Sprawdzaj interpretacje scen, wartości wykresów, powiązania mówców i proponowane działania względem pierwotnych wejść. Użyteczną rolą MiMo-V2-Omni jest połączenie modalności w jedną przemyślaną interpretację zadania z wynikiem, którego dowody i rezultaty działań można skontrolować.
", "aboutText": "MiMo-V2-Omni to model Xiaomi do wspólnego rozumienia tekstu, obrazów, dźwięku i wideo oraz wykorzystywania tego rozumienia w zadaniu agentowym. Jego architektura wprowadza dedykowane enkodery obrazów, wideo i dźwięku do wspólnego szkieletu. Kluczową cechą jest łączna percepcja: pytanie może zależeć od tego, co widać, co słychać i co mówi towarzyszący tekst, zamiast wymagać interpretowania każdego źródła osobno. Wyniki wspierają analizę pisemną i strukturalne żądania narzędzi.\n\nXiaomi opisuje model jako uczący się łączenia percepcji, przewidywania i działania. Interpretuje bieżącą scenę, rozumuje o tym, co może nastąpić dalej, i wybiera użyteczny następny krok. Ma to szczególne znaczenie dla nagrań, w których sens zdarzenia zależy od więcej niż jednej modalności. Na przykład dostarcz klip i poproś o wskazanie sekwencji widocznych działań, istotnych dźwięków oraz relacji między nimi. Określ, czy potrzebujesz podsumowania zdarzeń, wyjaśnienia sceny czy listy obserwacji do późniejszej kontroli. Oddzielaj zaobserwowane fakty od przewidywań: interpretacja tego, co mogłoby nastąpić, nie dowodzi, że zdarzenie wystąpi.\n\nW opisie producenta rozumienie dźwięku wykracza poza transkrypcję. Xiaomi podkreśla klasyfikację dźwięków otoczenia, rozróżnianie wielu mówców i łączne rozumowanie nad dźwiękiem oraz obrazem. Demonstruje także strukturalne podsumowanie długiego, nieprzerwanego podcastu. Dla zadania audio określ istotne tematy lub pytania i potrzebne wyjście, takie jak plan argumentów, punkty rozbieżności lub podsumowanie tematyczne. Dla wideo z mową poproś model o powiązanie wypowiedzi z towarzyszącym działaniem lub materiałem ekranowym. Jeśli znaczenie ma dokładne brzmienie lub przypisanie mówcy, poproś o oznaczanie niejednoznaczności zamiast cichego ich rozstrzygania.\n\nPo stronie wizualnej producent podkreśla wielodziedzinowe rozumowanie obrazowe i analizę złożonych wykresów. Dostarcz czytelny wykres i wyjaśnij pytanie analityczne, w tym znaczenie osi, jednostek i kategorii, gdy nie jest ono jasne na obrazie. Przykładowe żądanie może wymagać opisania głównego wzorca, wskazania widocznej zmiany i odróżnienia wartości bezpośrednio widocznych na wykresie od proponowanego wyjaśnienia. Dla porównania obrazów określ istotne różnice i poproś o tabelę powiązaną z widocznymi dowodami. Przygotuj materiał źródłowy tak, aby etykiety i ważne szczegóły były czytelne; użyteczna analiza zależy od tego, co wejście rzeczywiście zawiera.\n\nMiMo-V2-Omni obsługuje także strukturalne wywoływanie narzędzi i powiązanie działań z interfejsem użytkownika. Demonstracje producenta łączą model ze środowiskiem agentowym zapewniającym sterowanie przeglądarką, dostęp do plików i interakcję z terminalem. Model interpretuje bieżący stan, decyduje o działaniu i wydaje polecenie; środowisko je wykonuje i zwraca zaktualizowany stan. Dla takiego zadania podaj jasny cel, odpowiedni ekran lub materiał i opisy dozwolonych działań. Poproś model o powiązanie każdego kolejnego kroku z zaobserwowanym stanem i wykorzystanie zwróconego wyniku przed kontynuowaniem. Żądanie narzędzia i rezultat wykonanego działania to odrębne informacje.\n\nPrzykład produkcji multimedialnej Xiaomi stosuje ten sam podział pracy: model projektuje treść i kieruje procesem programowym, a narzędzia tworzą i obsługują rzeczywiste pliki multimedialne. Możesz użyć modelu do przygotowania planu scen, pisemnego wyjaśnienia nagrania lub sekwencji działań narzędziowych. Konkretny rezultat należy określić na początku, wraz z wymaganą zawartością i sposobem rozpoznania ukończenia. Powiąż tworzenie plików, renderowanie i operacje aplikacji z narzędziami, które je wykonują, zamiast traktować odpowiedź tekstową jako już utworzony zasób.\n\nW praktycznej pracy z wideo dostarczaj nagrane klipy i skoncentrowane pytanie. Xiaomi odróżnia ten proces przetwarzania klipów od percepcji w czasie rzeczywistym w swoim planie badań, dlatego nagrana demonstracja nie uzasadnia zakładania ciągłego sterowania na żywo. Przykłady pokazują również długotrwałe zadania przez środowisko agentowe, zamiast ustanawiać nieograniczony horyzont planowania lub uniwersalną obietnicę czasu ukończenia. Sprawdzaj interpretacje scen, wartości wykresów, powiązania mówców i proponowane działania względem pierwotnych wejść. Użyteczną rolą MiMo-V2-Omni jest połączenie modalności w jedną przemyślaną interpretację zadania z wynikiem, którego dowody i rezultaty działań można skontrolować.", "editorialOverlay": { "copy_fields": { "practical_html": "Przykład techniczny po angielsku
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.mimo-v2-omniMiMo-V2-Omni to model Xiaomi do łącznego rozumienia tekstu, obrazów, dźwięku i wideo. Łączy percepcję ze strukturalnymi żądaniami narzędzi i powiązaniem działań z interfejsem, wspierając analizę scen, interpretację wykresów i procesy agentowe wykorzystujące rzeczywiste wyniki narzędzi.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
MiMo-V2-Omni to model Xiaomi do wspólnego rozumienia tekstu, obrazów, dźwięku i wideo oraz wykorzystywania tego rozumienia w zadaniu agentowym. Jego architektura wprowadza dedykowane enkodery obrazów, wideo i dźwięku do wspólnego szkieletu. Kluczową cechą jest łączna percepcja: pytanie może zależeć od tego, co widać, co słychać i co mówi towarzyszący tekst, zamiast wymagać interpretowania każdego źródła osobno. Wyniki wspierają analizę pisemną i strukturalne żądania narzędzi.
Xiaomi opisuje model jako uczący się łączenia percepcji, przewidywania i działania. Interpretuje bieżącą scenę, rozumuje o tym, co może nastąpić dalej, i wybiera użyteczny następny krok. Ma to szczególne znaczenie dla nagrań, w których sens zdarzenia zależy od więcej niż jednej modalności. Na przykład dostarcz klip i poproś o wskazanie sekwencji widocznych działań, istotnych dźwięków oraz relacji między nimi. Określ, czy potrzebujesz podsumowania zdarzeń, wyjaśnienia sceny czy listy obserwacji do późniejszej kontroli. Oddzielaj zaobserwowane fakty od przewidywań: interpretacja tego, co mogłoby nastąpić, nie dowodzi, że zdarzenie wystąpi.
W opisie producenta rozumienie dźwięku wykracza poza transkrypcję. Xiaomi podkreśla klasyfikację dźwięków otoczenia, rozróżnianie wielu mówców i łączne rozumowanie nad dźwiękiem oraz obrazem. Demonstruje także strukturalne podsumowanie długiego, nieprzerwanego podcastu. Dla zadania audio określ istotne tematy lub pytania i potrzebne wyjście, takie jak plan argumentów, punkty rozbieżności lub podsumowanie tematyczne. Dla wideo z mową poproś model o powiązanie wypowiedzi z towarzyszącym działaniem lub materiałem ekranowym. Jeśli znaczenie ma dokładne brzmienie lub przypisanie mówcy, poproś o oznaczanie niejednoznaczności zamiast cichego ich rozstrzygania.
Po stronie wizualnej producent podkreśla wielodziedzinowe rozumowanie obrazowe i analizę złożonych wykresów. Dostarcz czytelny wykres i wyjaśnij pytanie analityczne, w tym znaczenie osi, jednostek i kategorii, gdy nie jest ono jasne na obrazie. Przykładowe żądanie może wymagać opisania głównego wzorca, wskazania widocznej zmiany i odróżnienia wartości bezpośrednio widocznych na wykresie od proponowanego wyjaśnienia. Dla porównania obrazów określ istotne różnice i poproś o tabelę powiązaną z widocznymi dowodami. Przygotuj materiał źródłowy tak, aby etykiety i ważne szczegóły były czytelne; użyteczna analiza zależy od tego, co wejście rzeczywiście zawiera.
MiMo-V2-Omni obsługuje także strukturalne wywoływanie narzędzi i powiązanie działań z interfejsem użytkownika. Demonstracje producenta łączą model ze środowiskiem agentowym zapewniającym sterowanie przeglądarką, dostęp do plików i interakcję z terminalem. Model interpretuje bieżący stan, decyduje o działaniu i wydaje polecenie; środowisko je wykonuje i zwraca zaktualizowany stan. Dla takiego zadania podaj jasny cel, odpowiedni ekran lub materiał i opisy dozwolonych działań. Poproś model o powiązanie każdego kolejnego kroku z zaobserwowanym stanem i wykorzystanie zwróconego wyniku przed kontynuowaniem. Żądanie narzędzia i rezultat wykonanego działania to odrębne informacje.
Przykład produkcji multimedialnej Xiaomi stosuje ten sam podział pracy: model projektuje treść i kieruje procesem programowym, a narzędzia tworzą i obsługują rzeczywiste pliki multimedialne. Możesz użyć modelu do przygotowania planu scen, pisemnego wyjaśnienia nagrania lub sekwencji działań narzędziowych. Konkretny rezultat należy określić na początku, wraz z wymaganą zawartością i sposobem rozpoznania ukończenia. Powiąż tworzenie plików, renderowanie i operacje aplikacji z narzędziami, które je wykonują, zamiast traktować odpowiedź tekstową jako już utworzony zasób.
W praktycznej pracy z wideo dostarczaj nagrane klipy i skoncentrowane pytanie. Xiaomi odróżnia ten proces przetwarzania klipów od percepcji w czasie rzeczywistym w swoim planie badań, dlatego nagrana demonstracja nie uzasadnia zakładania ciągłego sterowania na żywo. Przykłady pokazują również długotrwałe zadania przez środowisko agentowe, zamiast ustanawiać nieograniczony horyzont planowania lub uniwersalną obietnicę czasu ukończenia. Sprawdzaj interpretacje scen, wartości wykresów, powiązania mówców i proponowane działania względem pierwotnych wejść. Użyteczną rolą MiMo-V2-Omni jest połączenie modalności w jedną przemyślaną interpretację zadania z wynikiem, którego dowody i rezultaty działań można skontrolować.
POST /v1/chat/completionstexttext| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity mimo-v2-omni | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity Minimalna liczba elementów: 1 | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity Przykłady: system, user, assistant, tool, function Warunki: Te role są jawnie reprezentowane przez typy zgodności w kodzie źródłowym; dokładny zestaw ról pozostaje właściwy dla danego modelu. Zależy od modelu | Domyślnie— |
Polemessages[].content | Typstring|content_part[]|null | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_calls | Typtool_call[] | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_call_id | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: role=tool; użyj rzeczywiście zwróconego ID | Domyślnie— |
Polemessages[].name | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].reasoning_content | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: Przekazuj z powrotem rzeczywiście zwróconą treść rozumowania, gdy ten model jej używa | Domyślnie— |
Polemessages[].reasoning_details | Typobject|array | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polemax_completion_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Polestream_options.include_usage | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletemperature | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletop_p | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polestop | Typstring|string[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools | Typfunction_tool[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools[].type | Typstring | WymaganieOpcjonalne | Wartości i limity function Zależy od modelu | Domyślnie— |
Poletools[].function.name | Typstring | WymaganieWymagane | Wartości i limity Obowiązuje, gdy: udostępnione narzędzie funkcji | Domyślnie— |
Poletools[].function.description | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletools[].function.parameters | TypJSON_schema | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletool_choice | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleparallel_tool_calls | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleresponse_format | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning_effort | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleservice_tier | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleinstructions | Typstring | WymaganieOpcjonalne | Wartości i limity Pole zgodności | Domyślnie— |
Polefunctions | Typfunction[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polefunction_call | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleprompt_cache_options | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemodalities | Typstring[] | WymaganieOpcjonalne | Wartości i limity text | Domyślnie— |
Poleprovider | Typobject | WymaganieOpcjonalne | Wartości i limity Warunki: provider.options jest odrzucane na tej tekstowej trasie Ultra | Domyślnie— |
Polecache_control.ttl | Typstring | WymaganieOpcjonalne | Wartości i limity Warunki: 1h jest odrzucane w rzeczywistych miejscach pamięci podręcznej promptów | Domyślnie— |
Tekst · tekst UTF8
messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages |
Parametrmaterial_types | Kontrakttext |
Parametrmessages | Kontrakttablica wiadomości o strukturze role/content |
Parametrfile_material | Kontraktrzeczywisty dokument UTF-8 wstawiony jako dosłowny tekst; bez wywnioskowanego ID pliku |
Parametroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrcontrol_scope | Kontraktwłaściwe dla modelu; narzędzia funkcji użytkownika różnią się od narzędzi hostowanych |
Parametroutput_modalities | Kontrakttext |
Parametrhosted_operations | Kontraktfalse |
Parametrmultimodal_input_binding | Kontraktnull |
Cykl życia: synchronous_or_streamed
Wyślij dokładne ID modelu wraz z messages.
Długość kontekstu nie jest limitem wyjścia.
Plik tekstowy może dostarczyć dosłowny tekst; wejścia obrazowe/dźwiękowe/obiekty plików wymagają dokładnego powiązania.
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
| Konfiguracja | Tabela stawek | Opłata |
|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Opłata Wejście · Tokeny wejściowe $0.00088 / 1K tokenów Wyjście · Tokeny wyjściowe $0.0044 / 1K tokenów Wejście · Odczyt cache $0 / 1K tokenów Wejście · Zapis do cache $0 / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "mimo-v2-omni", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj każdy wariant i jego treść/wywołania narzędzi/rozumowanie. W SSE składaj przyrosty według indeksu wariantu/narzędzia, zachowując końcowy powód zakończenia i dane użycia.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra mimo-v2-omni
Użyj ścieżek metod podanych powyżej.
mimo-v2-omniMiMo-V2-Omni to model Xiaomi do łącznego rozumienia tekstu, obrazów, dźwięku i wideo. Łączy percepcję ze strukturalnymi żądaniami narzędzi i powiązaniem działań z interfejsem, wspierając analizę scen, interpretację wykresów i procesy agentowe wykorzystujące rzeczywiste wyniki narzędzi.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
MiMo-V2-Omni to model Xiaomi do wspólnego rozumienia tekstu, obrazów, dźwięku i wideo oraz wykorzystywania tego rozumienia w zadaniu agentowym. Jego architektura wprowadza dedykowane enkodery obrazów, wideo i dźwięku do wspólnego szkieletu. Kluczową cechą jest łączna percepcja: pytanie może zależeć od tego, co widać, co słychać i co mówi towarzyszący tekst, zamiast wymagać interpretowania każdego źródła osobno. Wyniki wspierają analizę pisemną i strukturalne żądania narzędzi.
Xiaomi opisuje model jako uczący się łączenia percepcji, przewidywania i działania. Interpretuje bieżącą scenę, rozumuje o tym, co może nastąpić dalej, i wybiera użyteczny następny krok. Ma to szczególne znaczenie dla nagrań, w których sens zdarzenia zależy od więcej niż jednej modalności. Na przykład dostarcz klip i poproś o wskazanie sekwencji widocznych działań, istotnych dźwięków oraz relacji między nimi. Określ, czy potrzebujesz podsumowania zdarzeń, wyjaśnienia sceny czy listy obserwacji do późniejszej kontroli. Oddzielaj zaobserwowane fakty od przewidywań: interpretacja tego, co mogłoby nastąpić, nie dowodzi, że zdarzenie wystąpi.
W opisie producenta rozumienie dźwięku wykracza poza transkrypcję. Xiaomi podkreśla klasyfikację dźwięków otoczenia, rozróżnianie wielu mówców i łączne rozumowanie nad dźwiękiem oraz obrazem. Demonstruje także strukturalne podsumowanie długiego, nieprzerwanego podcastu. Dla zadania audio określ istotne tematy lub pytania i potrzebne wyjście, takie jak plan argumentów, punkty rozbieżności lub podsumowanie tematyczne. Dla wideo z mową poproś model o powiązanie wypowiedzi z towarzyszącym działaniem lub materiałem ekranowym. Jeśli znaczenie ma dokładne brzmienie lub przypisanie mówcy, poproś o oznaczanie niejednoznaczności zamiast cichego ich rozstrzygania.
Po stronie wizualnej producent podkreśla wielodziedzinowe rozumowanie obrazowe i analizę złożonych wykresów. Dostarcz czytelny wykres i wyjaśnij pytanie analityczne, w tym znaczenie osi, jednostek i kategorii, gdy nie jest ono jasne na obrazie. Przykładowe żądanie może wymagać opisania głównego wzorca, wskazania widocznej zmiany i odróżnienia wartości bezpośrednio widocznych na wykresie od proponowanego wyjaśnienia. Dla porównania obrazów określ istotne różnice i poproś o tabelę powiązaną z widocznymi dowodami. Przygotuj materiał źródłowy tak, aby etykiety i ważne szczegóły były czytelne; użyteczna analiza zależy od tego, co wejście rzeczywiście zawiera.
MiMo-V2-Omni obsługuje także strukturalne wywoływanie narzędzi i powiązanie działań z interfejsem użytkownika. Demonstracje producenta łączą model ze środowiskiem agentowym zapewniającym sterowanie przeglądarką, dostęp do plików i interakcję z terminalem. Model interpretuje bieżący stan, decyduje o działaniu i wydaje polecenie; środowisko je wykonuje i zwraca zaktualizowany stan. Dla takiego zadania podaj jasny cel, odpowiedni ekran lub materiał i opisy dozwolonych działań. Poproś model o powiązanie każdego kolejnego kroku z zaobserwowanym stanem i wykorzystanie zwróconego wyniku przed kontynuowaniem. Żądanie narzędzia i rezultat wykonanego działania to odrębne informacje.
Przykład produkcji multimedialnej Xiaomi stosuje ten sam podział pracy: model projektuje treść i kieruje procesem programowym, a narzędzia tworzą i obsługują rzeczywiste pliki multimedialne. Możesz użyć modelu do przygotowania planu scen, pisemnego wyjaśnienia nagrania lub sekwencji działań narzędziowych. Konkretny rezultat należy określić na początku, wraz z wymaganą zawartością i sposobem rozpoznania ukończenia. Powiąż tworzenie plików, renderowanie i operacje aplikacji z narzędziami, które je wykonują, zamiast traktować odpowiedź tekstową jako już utworzony zasób.
W praktycznej pracy z wideo dostarczaj nagrane klipy i skoncentrowane pytanie. Xiaomi odróżnia ten proces przetwarzania klipów od percepcji w czasie rzeczywistym w swoim planie badań, dlatego nagrana demonstracja nie uzasadnia zakładania ciągłego sterowania na żywo. Przykłady pokazują również długotrwałe zadania przez środowisko agentowe, zamiast ustanawiać nieograniczony horyzont planowania lub uniwersalną obietnicę czasu ukończenia. Sprawdzaj interpretacje scen, wartości wykresów, powiązania mówców i proponowane działania względem pierwotnych wejść. Użyteczną rolą MiMo-V2-Omni jest połączenie modalności w jedną przemyślaną interpretację zadania z wynikiem, którego dowody i rezultaty działań można skontrolować.
POST /v1/messagestextjson, sse| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity mimo-v2-omni | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity user, assistant | Domyślnie— |
Polemessages[].content | Typstring | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Tekst · tekst UTF-8
ciąg messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages, max_tokens |
Parametroptional_controls | Kontraktstream |
Parametrmaterial_types | Kontrakttext |
Parametrtext_file_material | KontraktOdczytaj rzeczywisty dokument UTF-8 i umieść jego tekst we wskazanym polu input lub w ciągu treści wiadomości. |
Cykl życia: synchronous_or_streamed
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
| Konfiguracja | Tabela stawek | Opłata |
|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Opłata Wejście · Tokeny wejściowe $0.00088 / 1K tokenów Wyjście · Tokeny wyjściowe $0.0044 / 1K tokenów Wejście · Odczyt cache $0 / 1K tokenów Wejście · Zapis do cache $0 / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
{\n "model": "mimo-v2-omni",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj wszystkie bloki treści, sygnatury myślenia i rzeczywiste ID użycia narzędzi. Złóż wszystkie przyrosty bloków SSE; pierwszy blok tekstowy nie jest pełnym wyjściem.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra mimo-v2-omni
Użyj ścieżek metod podanych powyżej.
Przykład techniczny po angielsku
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.