MiMo-V2-Omni on Xiaomin malli tekstin, kuvien, äänen ja videon yhteiseen ymmärtämiseen ja tämän ymmärryksen käyttämiseen agenttitehtävässä. Sen arkkitehtuuri yhdistää erilliset kuva-, video- ja äänikooderit yhteiseen runkoon. Keskeinen ero on yhteinen havainnointi: kysymys voi riippua siitä, mitä näkyy, mitä kuuluu ja mitä mukana oleva teksti sanoo, sen sijaan että jokainen lähde pitäisi tulkita erillään. Sen tulosteet tukevat kirjallista analyysia ja rakenteisia työkalupyyntöjä.
Xiaomi kuvaa mallin oppivan yhdistämään havainnoinnin, ennakoinnin ja toiminnan. Se tulkitsee nykyisen kohtauksen, päättelee, mitä voi tapahtua seuraavaksi, ja valitsee hyödyllisen seuraavan vaiheen. Tämä on erityisen olennaista tallennetussa aineistossa, jossa tapahtuman merkitys riippuu useammasta kuin yhdestä modaliteetista. Toimita esimerkiksi katkelma ja pyydä yksilöimään näkyvien toimintojen sarja, olennaiset äänet ja niiden väliset suhteet. Määritä, tarvitsetko tapahtumatiivistelmän, kohtauksen selityksen vai havaintoluettelon myöhempään tarkasteluun. Pidä havaitut tosiasiat erillään ennusteista: tulkinta siitä, mitä voisi tapahtua, ei todista tapahtuman toteutuvan.
Valmistajan kuvauksessa äänen ymmärtäminen on litterointia laajempaa. Xiaomi korostaa ympäristöäänten luokittelua, useiden puhujien erottamista sekä äänen ja kuvan yhteistä päättelyä. Se esittelee myös pitkän keskeytymättömän podcastin rakenteisen tiivistelmän. Ilmoita äänitehtävässä olennaiset aiheet tai kysymykset ja tarvittava tuloste, kuten argumenttirunko, erimielisyyksien kohdat tai teemakohtainen yhteenveto. Pyydä puhetta sisältävässä videossa mallia yhdistämään lausuma sen yhteydessä tapahtuvaan toimintaan tai näkyvään ruutuaineistoon. Jos tarkka sanamuoto tai puhujan tunnistaminen on olennaista, pyydä merkitsemään epäselvyys sen huomaamattoman ratkaisemisen sijaan.
Visuaalisella puolella valmistaja korostaa monialaista kuvapäättelyä ja monimutkaisten kaavioiden analyysia. Toimita luettava kaavio ja selitä analyysikysymys, mukaan lukien akselien, yksiköiden ja luokkien merkitys, jos se ei käy kuvasta selvästi ilmi. Esimerkkipyyntö voi kuvata pääsuuntauksen, yksilöidä ilmeisen muutoksen ja erottaa kaaviossa suoraan näkyvät arvot ehdotetusta selityksestä. Määritä kuvavertailussa olennaiset erot ja pyydä näkyvään näyttöön sidottu taulukko. Valmistele lähdeaineisto niin, että merkinnät ja olennaiset yksityiskohdat ovat luettavia; hyödyllinen analyysi riippuu siitä, mitä syöte todella sisältää.
MiMo-V2-Omni tukee myös rakenteisia työkalukutsuja ja käyttöliittymäankkurointia. Valmistajan esittelyt yhdistävät mallin agenttiympäristöön, joka tarjoaa selaimen hallinnan, tiedostopääsyn ja päätevuorovaikutuksen. Malli tulkitsee nykytilan, päättää toimenpiteen ja antaa toimintopyynnön; ympäristö suorittaa sen ja palauttaa päivitetyn tilan. Toimita tällaisen tehtävän yhteydessä selkeä tavoite, olennainen näkymä tai aineisto ja sallittujen toimintojen kuvaukset. Pyydä mallia yhdistämään jokainen seuraava vaihe havaittuun tilaan ja käyttämään palautettua tulosta ennen jatkamista. Työkalupyyntö ja suoritetun toiminnon lopputulos ovat erillisiä tietoja.
Xiaomin multimediatuotantoesimerkki noudattaa samaa työnjakoa: malli suunnittelee sisällön ja ohjaa ohjelmallista prosessia, kun taas työkalut luovat ja käsittelevät varsinaiset mediatiedostot. Mallilla voi valmistella kohtaussuunnitelman, tallenteen kirjallisen selityksen tai työkalutoimintojen sarjan. Täsmällinen tuotos tulee määrittää alussa sisältäen vaaditun sisällön ja valmistumisen tunnistamistavan. Pidä tiedoston luonti, renderöinti ja sovellusoperaatiot yhteydessä ne suorittaviin työkaluihin sen sijaan, että pitäisit tekstivastausta jo luotuna aineistona.
Toimita käytännön videotyöhön tallennetut katkelmat ja rajattu kysymys. Xiaomi erottaa tutkimussuunnitelmassaan tämän katkelmien käsittelytyönkulun reaaliaikaisesta havainnoinnista, joten jatkuvaa reaaliaikaista ohjausta ei pidä olettaa tallennetun esittelyn perusteella. Sen esimerkit näyttävät myös pitkäkestoisia tehtäviä agenttiympäristössä eivätkä vahvista rajatonta suunnitteluhorisonttia tai yleispätevää valmistumisaikalupausta. Tarkista kohtaustulkinnat, kaavioarvot, puhujayhteydet ja ehdotetut toiminnot alkuperäisiä syötteitä vasten. MiMo-V2-Omnin hyödyllinen rooli on tuoda modaliteetit yhteen perusteltuun tehtävätulkintaan, jonka näyttöä ja toimintatuloksia voidaan tarkastella.
", "aboutText": "MiMo-V2-Omni on Xiaomin malli tekstin, kuvien, äänen ja videon yhteiseen ymmärtämiseen ja tämän ymmärryksen käyttämiseen agenttitehtävässä. Sen arkkitehtuuri yhdistää erilliset kuva-, video- ja äänikooderit yhteiseen runkoon. Keskeinen ero on yhteinen havainnointi: kysymys voi riippua siitä, mitä näkyy, mitä kuuluu ja mitä mukana oleva teksti sanoo, sen sijaan että jokainen lähde pitäisi tulkita erillään. Sen tulosteet tukevat kirjallista analyysia ja rakenteisia työkalupyyntöjä.\n\nXiaomi kuvaa mallin oppivan yhdistämään havainnoinnin, ennakoinnin ja toiminnan. Se tulkitsee nykyisen kohtauksen, päättelee, mitä voi tapahtua seuraavaksi, ja valitsee hyödyllisen seuraavan vaiheen. Tämä on erityisen olennaista tallennetussa aineistossa, jossa tapahtuman merkitys riippuu useammasta kuin yhdestä modaliteetista. Toimita esimerkiksi katkelma ja pyydä yksilöimään näkyvien toimintojen sarja, olennaiset äänet ja niiden väliset suhteet. Määritä, tarvitsetko tapahtumatiivistelmän, kohtauksen selityksen vai havaintoluettelon myöhempään tarkasteluun. Pidä havaitut tosiasiat erillään ennusteista: tulkinta siitä, mitä voisi tapahtua, ei todista tapahtuman toteutuvan.\n\nValmistajan kuvauksessa äänen ymmärtäminen on litterointia laajempaa. Xiaomi korostaa ympäristöäänten luokittelua, useiden puhujien erottamista sekä äänen ja kuvan yhteistä päättelyä. Se esittelee myös pitkän keskeytymättömän podcastin rakenteisen tiivistelmän. Ilmoita äänitehtävässä olennaiset aiheet tai kysymykset ja tarvittava tuloste, kuten argumenttirunko, erimielisyyksien kohdat tai teemakohtainen yhteenveto. Pyydä puhetta sisältävässä videossa mallia yhdistämään lausuma sen yhteydessä tapahtuvaan toimintaan tai näkyvään ruutuaineistoon. Jos tarkka sanamuoto tai puhujan tunnistaminen on olennaista, pyydä merkitsemään epäselvyys sen huomaamattoman ratkaisemisen sijaan.\n\nVisuaalisella puolella valmistaja korostaa monialaista kuvapäättelyä ja monimutkaisten kaavioiden analyysia. Toimita luettava kaavio ja selitä analyysikysymys, mukaan lukien akselien, yksiköiden ja luokkien merkitys, jos se ei käy kuvasta selvästi ilmi. Esimerkkipyyntö voi kuvata pääsuuntauksen, yksilöidä ilmeisen muutoksen ja erottaa kaaviossa suoraan näkyvät arvot ehdotetusta selityksestä. Määritä kuvavertailussa olennaiset erot ja pyydä näkyvään näyttöön sidottu taulukko. Valmistele lähdeaineisto niin, että merkinnät ja olennaiset yksityiskohdat ovat luettavia; hyödyllinen analyysi riippuu siitä, mitä syöte todella sisältää.\n\nMiMo-V2-Omni tukee myös rakenteisia työkalukutsuja ja käyttöliittymäankkurointia. Valmistajan esittelyt yhdistävät mallin agenttiympäristöön, joka tarjoaa selaimen hallinnan, tiedostopääsyn ja päätevuorovaikutuksen. Malli tulkitsee nykytilan, päättää toimenpiteen ja antaa toimintopyynnön; ympäristö suorittaa sen ja palauttaa päivitetyn tilan. Toimita tällaisen tehtävän yhteydessä selkeä tavoite, olennainen näkymä tai aineisto ja sallittujen toimintojen kuvaukset. Pyydä mallia yhdistämään jokainen seuraava vaihe havaittuun tilaan ja käyttämään palautettua tulosta ennen jatkamista. Työkalupyyntö ja suoritetun toiminnon lopputulos ovat erillisiä tietoja.\n\nXiaomin multimediatuotantoesimerkki noudattaa samaa työnjakoa: malli suunnittelee sisällön ja ohjaa ohjelmallista prosessia, kun taas työkalut luovat ja käsittelevät varsinaiset mediatiedostot. Mallilla voi valmistella kohtaussuunnitelman, tallenteen kirjallisen selityksen tai työkalutoimintojen sarjan. Täsmällinen tuotos tulee määrittää alussa sisältäen vaaditun sisällön ja valmistumisen tunnistamistavan. Pidä tiedoston luonti, renderöinti ja sovellusoperaatiot yhteydessä ne suorittaviin työkaluihin sen sijaan, että pitäisit tekstivastausta jo luotuna aineistona.\n\nToimita käytännön videotyöhön tallennetut katkelmat ja rajattu kysymys. Xiaomi erottaa tutkimussuunnitelmassaan tämän katkelmien käsittelytyönkulun reaaliaikaisesta havainnoinnista, joten jatkuvaa reaaliaikaista ohjausta ei pidä olettaa tallennetun esittelyn perusteella. Sen esimerkit näyttävät myös pitkäkestoisia tehtäviä agenttiympäristössä eivätkä vahvista rajatonta suunnitteluhorisonttia tai yleispätevää valmistumisaikalupausta. Tarkista kohtaustulkinnat, kaavioarvot, puhujayhteydet ja ehdotetut toiminnot alkuperäisiä syötteitä vasten. MiMo-V2-Omnin hyödyllinen rooli on tuoda modaliteetit yhteen perusteltuun tehtävätulkintaan, jonka näyttöä ja toimintatuloksia voidaan tarkastella.", "editorialOverlay": { "copy_fields": { "practical_html": "Tekninen esimerkki englanniksi
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.mimo-v2-omniMiMo-V2-Omni on Xiaomin malli tekstin, kuvien, äänen ja videon yhteiseen ymmärtämiseen. Se yhdistää havainnoinnin rakenteisiin työkalupyyntöihin ja käyttöliittymäankkurointiin tukien kohtausanalyysia, kaavioiden tulkintaa ja todellisia työkalutuloksia käyttäviä agenttityönkulkuja.
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
MiMo-V2-Omni on Xiaomin malli tekstin, kuvien, äänen ja videon yhteiseen ymmärtämiseen ja tämän ymmärryksen käyttämiseen agenttitehtävässä. Sen arkkitehtuuri yhdistää erilliset kuva-, video- ja äänikooderit yhteiseen runkoon. Keskeinen ero on yhteinen havainnointi: kysymys voi riippua siitä, mitä näkyy, mitä kuuluu ja mitä mukana oleva teksti sanoo, sen sijaan että jokainen lähde pitäisi tulkita erillään. Sen tulosteet tukevat kirjallista analyysia ja rakenteisia työkalupyyntöjä.
Xiaomi kuvaa mallin oppivan yhdistämään havainnoinnin, ennakoinnin ja toiminnan. Se tulkitsee nykyisen kohtauksen, päättelee, mitä voi tapahtua seuraavaksi, ja valitsee hyödyllisen seuraavan vaiheen. Tämä on erityisen olennaista tallennetussa aineistossa, jossa tapahtuman merkitys riippuu useammasta kuin yhdestä modaliteetista. Toimita esimerkiksi katkelma ja pyydä yksilöimään näkyvien toimintojen sarja, olennaiset äänet ja niiden väliset suhteet. Määritä, tarvitsetko tapahtumatiivistelmän, kohtauksen selityksen vai havaintoluettelon myöhempään tarkasteluun. Pidä havaitut tosiasiat erillään ennusteista: tulkinta siitä, mitä voisi tapahtua, ei todista tapahtuman toteutuvan.
Valmistajan kuvauksessa äänen ymmärtäminen on litterointia laajempaa. Xiaomi korostaa ympäristöäänten luokittelua, useiden puhujien erottamista sekä äänen ja kuvan yhteistä päättelyä. Se esittelee myös pitkän keskeytymättömän podcastin rakenteisen tiivistelmän. Ilmoita äänitehtävässä olennaiset aiheet tai kysymykset ja tarvittava tuloste, kuten argumenttirunko, erimielisyyksien kohdat tai teemakohtainen yhteenveto. Pyydä puhetta sisältävässä videossa mallia yhdistämään lausuma sen yhteydessä tapahtuvaan toimintaan tai näkyvään ruutuaineistoon. Jos tarkka sanamuoto tai puhujan tunnistaminen on olennaista, pyydä merkitsemään epäselvyys sen huomaamattoman ratkaisemisen sijaan.
Visuaalisella puolella valmistaja korostaa monialaista kuvapäättelyä ja monimutkaisten kaavioiden analyysia. Toimita luettava kaavio ja selitä analyysikysymys, mukaan lukien akselien, yksiköiden ja luokkien merkitys, jos se ei käy kuvasta selvästi ilmi. Esimerkkipyyntö voi kuvata pääsuuntauksen, yksilöidä ilmeisen muutoksen ja erottaa kaaviossa suoraan näkyvät arvot ehdotetusta selityksestä. Määritä kuvavertailussa olennaiset erot ja pyydä näkyvään näyttöön sidottu taulukko. Valmistele lähdeaineisto niin, että merkinnät ja olennaiset yksityiskohdat ovat luettavia; hyödyllinen analyysi riippuu siitä, mitä syöte todella sisältää.
MiMo-V2-Omni tukee myös rakenteisia työkalukutsuja ja käyttöliittymäankkurointia. Valmistajan esittelyt yhdistävät mallin agenttiympäristöön, joka tarjoaa selaimen hallinnan, tiedostopääsyn ja päätevuorovaikutuksen. Malli tulkitsee nykytilan, päättää toimenpiteen ja antaa toimintopyynnön; ympäristö suorittaa sen ja palauttaa päivitetyn tilan. Toimita tällaisen tehtävän yhteydessä selkeä tavoite, olennainen näkymä tai aineisto ja sallittujen toimintojen kuvaukset. Pyydä mallia yhdistämään jokainen seuraava vaihe havaittuun tilaan ja käyttämään palautettua tulosta ennen jatkamista. Työkalupyyntö ja suoritetun toiminnon lopputulos ovat erillisiä tietoja.
Xiaomin multimediatuotantoesimerkki noudattaa samaa työnjakoa: malli suunnittelee sisällön ja ohjaa ohjelmallista prosessia, kun taas työkalut luovat ja käsittelevät varsinaiset mediatiedostot. Mallilla voi valmistella kohtaussuunnitelman, tallenteen kirjallisen selityksen tai työkalutoimintojen sarjan. Täsmällinen tuotos tulee määrittää alussa sisältäen vaaditun sisällön ja valmistumisen tunnistamistavan. Pidä tiedoston luonti, renderöinti ja sovellusoperaatiot yhteydessä ne suorittaviin työkaluihin sen sijaan, että pitäisit tekstivastausta jo luotuna aineistona.
Toimita käytännön videotyöhön tallennetut katkelmat ja rajattu kysymys. Xiaomi erottaa tutkimussuunnitelmassaan tämän katkelmien käsittelytyönkulun reaaliaikaisesta havainnoinnista, joten jatkuvaa reaaliaikaista ohjausta ei pidä olettaa tallennetun esittelyn perusteella. Sen esimerkit näyttävät myös pitkäkestoisia tehtäviä agenttiympäristössä eivätkä vahvista rajatonta suunnitteluhorisonttia tai yleispätevää valmistumisaikalupausta. Tarkista kohtaustulkinnat, kaavioarvot, puhujayhteydet ja ehdotetut toiminnot alkuperäisiä syötteitä vasten. MiMo-V2-Omnin hyödyllinen rooli on tuoda modaliteetit yhteen perusteltuun tehtävätulkintaan, jonka näyttöä ja toimintatuloksia voidaan tarkastella.
POST /v1/chat/completionstexttext| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat mimo-v2-omni | Oletus— |
Kenttämessages | Tyyppimessage[] | VaatimusPakollinen | Arvot & rajat Kohteiden vähimmäismäärä: 1 | Oletus— |
Kenttämessages[].role | Tyyppistring | VaatimusPakollinen | Arvot & rajat Esimerkit: system, user, assistant, tool, function Ehdot: Nämä roolit esitetään nimenomaisesti lähdekoodin yhteensopivuustyypeissä; mallin täsmällinen roolijoukko pysyy mallikohtaisena. Riippuu mallista | Oletus— |
Kenttämessages[].content | Tyyppistring|content_part[]|null | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttämessages[].tool_calls | Tyyppitool_call[] | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttämessages[].tool_call_id | Tyyppistring | VaatimusValinnainen | Arvot & rajat Sovelletaan, kun: role=tool; käytä todella palautettua ID:tä | Oletus— |
Kenttämessages[].name | Tyyppistring | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttämessages[].reasoning_content | Tyyppistring | VaatimusValinnainen | Arvot & rajat Sovelletaan, kun: Palauta todella saatu päättely takaisin mallille, kun kyseinen malli käyttää sitä | Oletus— |
Kenttämessages[].reasoning_details | Tyyppiobject|array | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttämax_tokens | Tyyppiinteger | VaatimusValinnainen | Arvot & rajat Vähimmäismäärä: 1 Riippuu mallista | Oletus— |
Kenttämax_completion_tokens | Tyyppiinteger | VaatimusValinnainen | Arvot & rajat Vähimmäismäärä: 1 Riippuu mallista | Oletus— |
Kenttästream | Tyyppiboolean | VaatimusValinnainen | Arvot & rajat | Oletusfalse |
Kenttästream_options.include_usage | Tyyppiboolean | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttätemperature | Tyyppinumber | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttätop_p | Tyyppinumber | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttästop | Tyyppistring|string[] | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttätools | Tyyppifunction_tool[] | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttätools[].type | Tyyppistring | VaatimusValinnainen | Arvot & rajat function Riippuu mallista | Oletus— |
Kenttätools[].function.name | Tyyppistring | VaatimusPakollinen | Arvot & rajat Sovelletaan, kun: funktiotyökalu annettu | Oletus— |
Kenttätools[].function.description | Tyyppistring | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttätools[].function.parameters | TyyppiJSON_schema | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttätool_choice | Tyyppistring|object | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäparallel_tool_calls | Tyyppiboolean | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäresponse_format | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäreasoning_effort | Tyyppistring | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäreasoning | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäservice_tier | Tyyppistring | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäinstructions | Tyyppistring | VaatimusValinnainen | Arvot & rajat Yhteensopivuuskenttä | Oletus— |
Kenttäfunctions | Tyyppifunction[] | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäfunction_call | Tyyppistring|object | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäprompt_cache_options | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttämodalities | Tyyppistring[] | VaatimusValinnainen | Arvot & rajat text | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Ehdot: provider.options hylätään tällä Ultran tekstireitillä | Oletus— |
Kenttäcache_control.ttl | Tyyppistring | VaatimusValinnainen | Arvot & rajat Ehdot: 1h hylätään varsinaisissa kehotevälimuistin kohdissa | Oletus— |
Teksti · UTF8-teksti
messages[].content
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, messages |
Parametrimaterial_types | Sopimustext |
Parametrimessages | Sopimusviestitaulukko role/content-rakenteella |
Parametrifile_material | Sopimusvarsinainen UTF-8-asiakirja lisätään sellaisenaan tekstinä; tiedoston ID:tä ei päätellä |
Parametrioptional_controls | Sopimusstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametricontrol_scope | Sopimusmallikohtainen; käyttäjän funktiotyökalut eroavat palvelun isännöimistä työkaluista |
Parametrioutput_modalities | Sopimustext |
Parametrihosted_operations | Sopimusfalse |
Parametrimultimodal_input_binding | Sopimusnull |
Elinkaari: synchronous_or_streamed
Lähetä mallin täsmällinen ID yhdessä messages-kentän kanssa.
Kontekstin pituus ei ole tuloksen yläraja.
Tekstitiedosto voi antaa tekstiä sellaisenaan; kuva-, ääni- ja tiedosto-objektisyötteet tarvitsevat täsmällisen sidonnan.
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
| Asetukset | Hinnasto | Veloitus |
|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Veloitus Syöte · Syötetokenit $0.00088 / 1K tokenia Tuloste · Tulostokenit $0.0044 / 1K tokenia Syöte · Välimuistin luku $0 / 1K tokenia Syöte · Välimuistiin kirjoitus $0 / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "mimo-v2-omni", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='mimo-v2-omni',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson tai SSE
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä jokainen vastausvaihtoehto sisältöineen, työkalukutsuineen ja päättelyineen. Kokoa SSE:ssä muutokset vastausvaihtoehdon ja työkalun indeksin mukaan ja säilytä lopullinen päättymissyy sekä käyttötiedot.
Säilytä pyyntöjen/vastausten ID:t ja otsakkeet. Yleistä tekstityön haku-URL:ää ei anneta.
| Kenttä | Tyyppi |
|---|---|
Kenttächoices[].index | Tyyppiinteger |
Kenttächoices[].message.content | Tyyppistring|null |
Kenttächoices[].message.tool_calls | Tyyppitool_call[] |
Kenttächoices[].message.reasoning_content | Tyyppistring |
Kenttächoices[].message.reasoning_details | Tyyppiobject|array |
Kenttächoices[].finish_reason | Tyyppistring|null |
Kenttäusage | Tyyppiobject |
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Ailoot Ultra mimo-v2-omni
Käytä yllä näytettyjä menetelmäpolkuja.
mimo-v2-omniMiMo-V2-Omni on Xiaomin malli tekstin, kuvien, äänen ja videon yhteiseen ymmärtämiseen. Se yhdistää havainnoinnin rakenteisiin työkalupyyntöihin ja käyttöliittymäankkurointiin tukien kohtausanalyysia, kaavioiden tulkintaa ja todellisia työkalutuloksia käyttäviä agenttityönkulkuja.
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
MiMo-V2-Omni on Xiaomin malli tekstin, kuvien, äänen ja videon yhteiseen ymmärtämiseen ja tämän ymmärryksen käyttämiseen agenttitehtävässä. Sen arkkitehtuuri yhdistää erilliset kuva-, video- ja äänikooderit yhteiseen runkoon. Keskeinen ero on yhteinen havainnointi: kysymys voi riippua siitä, mitä näkyy, mitä kuuluu ja mitä mukana oleva teksti sanoo, sen sijaan että jokainen lähde pitäisi tulkita erillään. Sen tulosteet tukevat kirjallista analyysia ja rakenteisia työkalupyyntöjä.
Xiaomi kuvaa mallin oppivan yhdistämään havainnoinnin, ennakoinnin ja toiminnan. Se tulkitsee nykyisen kohtauksen, päättelee, mitä voi tapahtua seuraavaksi, ja valitsee hyödyllisen seuraavan vaiheen. Tämä on erityisen olennaista tallennetussa aineistossa, jossa tapahtuman merkitys riippuu useammasta kuin yhdestä modaliteetista. Toimita esimerkiksi katkelma ja pyydä yksilöimään näkyvien toimintojen sarja, olennaiset äänet ja niiden väliset suhteet. Määritä, tarvitsetko tapahtumatiivistelmän, kohtauksen selityksen vai havaintoluettelon myöhempään tarkasteluun. Pidä havaitut tosiasiat erillään ennusteista: tulkinta siitä, mitä voisi tapahtua, ei todista tapahtuman toteutuvan.
Valmistajan kuvauksessa äänen ymmärtäminen on litterointia laajempaa. Xiaomi korostaa ympäristöäänten luokittelua, useiden puhujien erottamista sekä äänen ja kuvan yhteistä päättelyä. Se esittelee myös pitkän keskeytymättömän podcastin rakenteisen tiivistelmän. Ilmoita äänitehtävässä olennaiset aiheet tai kysymykset ja tarvittava tuloste, kuten argumenttirunko, erimielisyyksien kohdat tai teemakohtainen yhteenveto. Pyydä puhetta sisältävässä videossa mallia yhdistämään lausuma sen yhteydessä tapahtuvaan toimintaan tai näkyvään ruutuaineistoon. Jos tarkka sanamuoto tai puhujan tunnistaminen on olennaista, pyydä merkitsemään epäselvyys sen huomaamattoman ratkaisemisen sijaan.
Visuaalisella puolella valmistaja korostaa monialaista kuvapäättelyä ja monimutkaisten kaavioiden analyysia. Toimita luettava kaavio ja selitä analyysikysymys, mukaan lukien akselien, yksiköiden ja luokkien merkitys, jos se ei käy kuvasta selvästi ilmi. Esimerkkipyyntö voi kuvata pääsuuntauksen, yksilöidä ilmeisen muutoksen ja erottaa kaaviossa suoraan näkyvät arvot ehdotetusta selityksestä. Määritä kuvavertailussa olennaiset erot ja pyydä näkyvään näyttöön sidottu taulukko. Valmistele lähdeaineisto niin, että merkinnät ja olennaiset yksityiskohdat ovat luettavia; hyödyllinen analyysi riippuu siitä, mitä syöte todella sisältää.
MiMo-V2-Omni tukee myös rakenteisia työkalukutsuja ja käyttöliittymäankkurointia. Valmistajan esittelyt yhdistävät mallin agenttiympäristöön, joka tarjoaa selaimen hallinnan, tiedostopääsyn ja päätevuorovaikutuksen. Malli tulkitsee nykytilan, päättää toimenpiteen ja antaa toimintopyynnön; ympäristö suorittaa sen ja palauttaa päivitetyn tilan. Toimita tällaisen tehtävän yhteydessä selkeä tavoite, olennainen näkymä tai aineisto ja sallittujen toimintojen kuvaukset. Pyydä mallia yhdistämään jokainen seuraava vaihe havaittuun tilaan ja käyttämään palautettua tulosta ennen jatkamista. Työkalupyyntö ja suoritetun toiminnon lopputulos ovat erillisiä tietoja.
Xiaomin multimediatuotantoesimerkki noudattaa samaa työnjakoa: malli suunnittelee sisällön ja ohjaa ohjelmallista prosessia, kun taas työkalut luovat ja käsittelevät varsinaiset mediatiedostot. Mallilla voi valmistella kohtaussuunnitelman, tallenteen kirjallisen selityksen tai työkalutoimintojen sarjan. Täsmällinen tuotos tulee määrittää alussa sisältäen vaaditun sisällön ja valmistumisen tunnistamistavan. Pidä tiedoston luonti, renderöinti ja sovellusoperaatiot yhteydessä ne suorittaviin työkaluihin sen sijaan, että pitäisit tekstivastausta jo luotuna aineistona.
Toimita käytännön videotyöhön tallennetut katkelmat ja rajattu kysymys. Xiaomi erottaa tutkimussuunnitelmassaan tämän katkelmien käsittelytyönkulun reaaliaikaisesta havainnoinnista, joten jatkuvaa reaaliaikaista ohjausta ei pidä olettaa tallennetun esittelyn perusteella. Sen esimerkit näyttävät myös pitkäkestoisia tehtäviä agenttiympäristössä eivätkä vahvista rajatonta suunnitteluhorisonttia tai yleispätevää valmistumisaikalupausta. Tarkista kohtaustulkinnat, kaavioarvot, puhujayhteydet ja ehdotetut toiminnot alkuperäisiä syötteitä vasten. MiMo-V2-Omnin hyödyllinen rooli on tuoda modaliteetit yhteen perusteltuun tehtävätulkintaan, jonka näyttöä ja toimintatuloksia voidaan tarkastella.
POST /v1/messagestextjson, sse| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat mimo-v2-omni | Oletus— |
Kenttämessages | Tyyppimessage[] | VaatimusPakollinen | Arvot & rajat | Oletus— |
Kenttämessages[].role | Tyyppistring | VaatimusPakollinen | Arvot & rajat user, assistant | Oletus— |
Kenttämessages[].content | Tyyppistring | VaatimusPakollinen | Arvot & rajat | Oletus— |
Kenttämax_tokens | Tyyppiinteger | VaatimusPakollinen | Arvot & rajat | Oletus— |
Kenttästream | Tyyppiboolean | VaatimusValinnainen | Arvot & rajat | Oletusfalse |
Teksti · UTF-8-teksti
messages[].content-merkkijono
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, messages, max_tokens |
Parametrioptional_controls | Sopimusstream |
Parametrimaterial_types | Sopimustext |
Parametritext_file_material | SopimusLue varsinainen UTF-8-asiakirja ja sijoita sen teksti ilmoitettuun syöte- tai viestisisällön merkkijonoon. |
Elinkaari: synchronous_or_streamed
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
| Asetukset | Hinnasto | Veloitus |
|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Veloitus Syöte · Syötetokenit $0.00088 / 1K tokenia Tuloste · Tulostokenit $0.0044 / 1K tokenia Syöte · Välimuistin luku $0 / 1K tokenia Syöte · Välimuistiin kirjoitus $0 / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
{\n "model": "mimo-v2-omni",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'mimo-v2-omni', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON tai SSE
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä kaikki sisältölohkot, päättelyallekirjoitukset ja todelliset työkalukäytön ID:t. Kokoa kaikki SSE-lohkomuutokset; ensimmäinen tekstilohko ei ole koko tulos.
Säilytä pyyntöjen/vastausten ID:t ja otsakkeet. Yleistä tekstityön haku-URL:ää ei anneta.
| Kenttä | Tyyppi |
|---|---|
Kenttäid | Tyyppistring |
Kenttämodel | Tyyppistring |
Kenttäcontent[] | Tyyppitext|thinking|tool_use|other content block |
Kenttästop_reason | Tyyppistring|null |
Kenttäusage | Tyyppiobject |
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Ailoot Ultra mimo-v2-omni
Käytä yllä näytettyjä menetelmäpolkuja.
Tekninen esimerkki englanniksi
Summarize a supplied podcast transcript\n\nSummarize this podcast transcript by theme. Speaker A: Smaller batches reduced our queue, but we measured only one week. Speaker B: Returns rose that week; we have not linked them to batch size. Speaker A: We should compare another week before expanding. Return agreements, unresolved relationships and the proposed next step, preserving speaker attribution.A theme-based summary with speaker labels, the agreed next step and unresolved causal claims.Check that the summary does not attribute the rise in returns to batch size or report a multi-week measurement.