UI-TARS-1.5-7B je vydaný multimodálny model ByteDance pre agentov GUI so 7B parametrami, zameraný na všeobecné používanie počítača. Spája vizuálne vnímanie rozhrania s uvažovaním pred akciou a stavia na natívnej architektúre UI-TARS s posilňovaným učením. Vstupmi v oficiálnom postupe použitia sú pokyn, snímky obrazovky a história akcií; výstup opisuje nasledujúcu akciu rozhrania, často s Thought vysvetľujúcim zamýšľaný krok. Okolitá aplikácia akciu vykoná a dodá ďalšiu snímku obrazovky, aby úloha mohla pokračovať.
Výrobca odlišuje tento stiahnuteľný checkpoint 7B od väčšieho výskumného modelu UI-TARS-1.5. Vydanie 7B nie je osobitne optimalizované na herné scenáre, preto sa ukážky a výsledky väčšieho výskumného modelu nemajú považovať za rovnocenné schopnosti tejto edície. Jeho praktickou úlohou je interakcia s viditeľnými ovládacími prvkami aplikácií: navigácia prehliadača, kancelársky softvér, správa súborov a podobné pracovné postupy na počítači. Čítanie snímky obrazovky a výber akcie sa líšia od generovania videa alebo získania neviditeľného stavu aplikácie.
Oficiálny repozitár opisuje šablóny akcií pre počítač a mobil. Akcie na počítači zahŕňajú kliknutia, dvojité kliknutia a kliknutia pravým tlačidlom, ťahanie, klávesové skratky, zadávanie textu a posúvanie, spolu s akciami wait a finished na kontrolu meniacej sa obrazovky alebo ukončenie úlohy. Mobilná šablóna pridáva operácie ako dlhé stlačenie, otvorenie aplikácie a prechod domov alebo späť. Samostatná šablóna ukotvenia žiada Action bez Thought a je určená na jednoduché úlohy s akčným výstupom. Vyberte slovník akcií, ktorému vykonávacie prostredie skutočne rozumie, namiesto považovania všetkých šablón za zameniteľné.
Užitočné zadanie pomenuje cieľ, dodá aktuálnu snímku obrazovky a relevantnú históriu akcií a definuje podobu dokončenia. Napríklad pôvodné redakčné zadanie môže žiadať model, aby našiel pomenované nastavenie, zmenil ho na určenú hodnotu a zastavil po zobrazení nového stavu. Žiadajte ďalší krok podľa aktuálnej obrazovky namiesto dlhého špekulatívneho sledu. Pokyny aj limity povolených operácií uvádzajte výslovne; po vykonanom kroku vráťte výslednú obrazovku, aby ďalšie uvažovanie využívalo pozorovania namiesto predpokladov o tom, čo sa stalo.
Spracovanie súradníc je podstatnou časťou oficiálneho postupu. Repozitár oddeľuje predikciu modelu od následného spracovania, ktoré parsuje akciu a mapuje jej cieľ na obrazovku. Jeho sprievodca súradnicami ukazuje prevod súradníc zo zmenšeného alebo zväčšeného obrázka späť na pôvodné rozmery. Zachovajte pôvodnú šírku a výšku snímky obrazovky a používajte súradnicovú konvenciu presnej šablóny akcií a parsera. Poloha pôsobiaca správne na obrázku so zmenenou veľkosťou môže pri priamom použití na obrazovke v pôvodnej mierke ukazovať na iný ovládací prvok. Text akcie modelu je preto pokyn na interpretáciu, nie už vykonaná udalosť myši.
Sprievodca nasadením poskytuje konkrétny jednokrokový príklad s výsledkom obsahujúcim Thought a Action, zatiaľ čo počítačová aplikácia repozitára je samostatným vykonávacím prostredím. Nakonfigurovaná dĺžka vstupu a vzorový rozpočet výstupu sprievodcu sú nastavenia nasadenia, nie univerzálne tvrdenie o kontexte alebo limite akcií každej integrácie. Pri praktickej práci s GUI posielajte jasné a čitateľné snímky obrazovky s ovládacími prvkami a okolitým kontextom potrebným na ďalšie rozhodnutie. UI-TARS môže nesprávne identifikovať prvky, chybne opísať neznáme rozhranie alebo vybrať nevhodnú akciu, najmä pri nejednoznačnej obrazovke; kontrola novej snímky po každej akcii udržuje tieto chyby prepojené so skutočným stavom úlohy.
", "aboutText": "UI-TARS-1.5-7B je vydaný multimodálny model ByteDance pre agentov GUI so 7B parametrami, zameraný na všeobecné používanie počítača. Spája vizuálne vnímanie rozhrania s uvažovaním pred akciou a stavia na natívnej architektúre UI-TARS s posilňovaným učením. Vstupmi v oficiálnom postupe použitia sú pokyn, snímky obrazovky a história akcií; výstup opisuje nasledujúcu akciu rozhrania, často s Thought vysvetľujúcim zamýšľaný krok. Okolitá aplikácia akciu vykoná a dodá ďalšiu snímku obrazovky, aby úloha mohla pokračovať.\n\nVýrobca odlišuje tento stiahnuteľný checkpoint 7B od väčšieho výskumného modelu UI-TARS-1.5. Vydanie 7B nie je osobitne optimalizované na herné scenáre, preto sa ukážky a výsledky väčšieho výskumného modelu nemajú považovať za rovnocenné schopnosti tejto edície. Jeho praktickou úlohou je interakcia s viditeľnými ovládacími prvkami aplikácií: navigácia prehliadača, kancelársky softvér, správa súborov a podobné pracovné postupy na počítači. Čítanie snímky obrazovky a výber akcie sa líšia od generovania videa alebo získania neviditeľného stavu aplikácie.\n\nOficiálny repozitár opisuje šablóny akcií pre počítač a mobil. Akcie na počítači zahŕňajú kliknutia, dvojité kliknutia a kliknutia pravým tlačidlom, ťahanie, klávesové skratky, zadávanie textu a posúvanie, spolu s akciami wait a finished na kontrolu meniacej sa obrazovky alebo ukončenie úlohy. Mobilná šablóna pridáva operácie ako dlhé stlačenie, otvorenie aplikácie a prechod domov alebo späť. Samostatná šablóna ukotvenia žiada Action bez Thought a je určená na jednoduché úlohy s akčným výstupom. Vyberte slovník akcií, ktorému vykonávacie prostredie skutočne rozumie, namiesto považovania všetkých šablón za zameniteľné.\n\nUžitočné zadanie pomenuje cieľ, dodá aktuálnu snímku obrazovky a relevantnú históriu akcií a definuje podobu dokončenia. Napríklad pôvodné redakčné zadanie môže žiadať model, aby našiel pomenované nastavenie, zmenil ho na určenú hodnotu a zastavil po zobrazení nového stavu. Žiadajte ďalší krok podľa aktuálnej obrazovky namiesto dlhého špekulatívneho sledu. Pokyny aj limity povolených operácií uvádzajte výslovne; po vykonanom kroku vráťte výslednú obrazovku, aby ďalšie uvažovanie využívalo pozorovania namiesto predpokladov o tom, čo sa stalo.\n\nSpracovanie súradníc je podstatnou časťou oficiálneho postupu. Repozitár oddeľuje predikciu modelu od následného spracovania, ktoré parsuje akciu a mapuje jej cieľ na obrazovku. Jeho sprievodca súradnicami ukazuje prevod súradníc zo zmenšeného alebo zväčšeného obrázka späť na pôvodné rozmery. Zachovajte pôvodnú šírku a výšku snímky obrazovky a používajte súradnicovú konvenciu presnej šablóny akcií a parsera. Poloha pôsobiaca správne na obrázku so zmenenou veľkosťou môže pri priamom použití na obrazovke v pôvodnej mierke ukazovať na iný ovládací prvok. Text akcie modelu je preto pokyn na interpretáciu, nie už vykonaná udalosť myši.\n\nSprievodca nasadením poskytuje konkrétny jednokrokový príklad s výsledkom obsahujúcim Thought a Action, zatiaľ čo počítačová aplikácia repozitára je samostatným vykonávacím prostredím. Nakonfigurovaná dĺžka vstupu a vzorový rozpočet výstupu sprievodcu sú nastavenia nasadenia, nie univerzálne tvrdenie o kontexte alebo limite akcií každej integrácie. Pri praktickej práci s GUI posielajte jasné a čitateľné snímky obrazovky s ovládacími prvkami a okolitým kontextom potrebným na ďalšie rozhodnutie. UI-TARS môže nesprávne identifikovať prvky, chybne opísať neznáme rozhranie alebo vybrať nevhodnú akciu, najmä pri nejednoznačnej obrazovke; kontrola novej snímky po každej akcii udržuje tieto chyby prepojené so skutočným stavom úlohy.", "editorialOverlay": { "copy_fields": { "practical_html": "Technický príklad v angličtine
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B je otvorený multimodálny model ByteDance pre agentov používajúcich počítač. Uvažuje nad snímkami obrazovky a úlohou a potom vytvára ďalšiu akciu GUI na vykonanie aplikáciou; toto vydanie 7B sa sústreďuje na všeobecné používanie počítača, nie na optimalizáciu pre hry.
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
UI-TARS-1.5-7B je vydaný multimodálny model ByteDance pre agentov GUI so 7B parametrami, zameraný na všeobecné používanie počítača. Spája vizuálne vnímanie rozhrania s uvažovaním pred akciou a stavia na natívnej architektúre UI-TARS s posilňovaným učením. Vstupmi v oficiálnom postupe použitia sú pokyn, snímky obrazovky a história akcií; výstup opisuje nasledujúcu akciu rozhrania, často s Thought vysvetľujúcim zamýšľaný krok. Okolitá aplikácia akciu vykoná a dodá ďalšiu snímku obrazovky, aby úloha mohla pokračovať.
Výrobca odlišuje tento stiahnuteľný checkpoint 7B od väčšieho výskumného modelu UI-TARS-1.5. Vydanie 7B nie je osobitne optimalizované na herné scenáre, preto sa ukážky a výsledky väčšieho výskumného modelu nemajú považovať za rovnocenné schopnosti tejto edície. Jeho praktickou úlohou je interakcia s viditeľnými ovládacími prvkami aplikácií: navigácia prehliadača, kancelársky softvér, správa súborov a podobné pracovné postupy na počítači. Čítanie snímky obrazovky a výber akcie sa líšia od generovania videa alebo získania neviditeľného stavu aplikácie.
Oficiálny repozitár opisuje šablóny akcií pre počítač a mobil. Akcie na počítači zahŕňajú kliknutia, dvojité kliknutia a kliknutia pravým tlačidlom, ťahanie, klávesové skratky, zadávanie textu a posúvanie, spolu s akciami wait a finished na kontrolu meniacej sa obrazovky alebo ukončenie úlohy. Mobilná šablóna pridáva operácie ako dlhé stlačenie, otvorenie aplikácie a prechod domov alebo späť. Samostatná šablóna ukotvenia žiada Action bez Thought a je určená na jednoduché úlohy s akčným výstupom. Vyberte slovník akcií, ktorému vykonávacie prostredie skutočne rozumie, namiesto považovania všetkých šablón za zameniteľné.
Užitočné zadanie pomenuje cieľ, dodá aktuálnu snímku obrazovky a relevantnú históriu akcií a definuje podobu dokončenia. Napríklad pôvodné redakčné zadanie môže žiadať model, aby našiel pomenované nastavenie, zmenil ho na určenú hodnotu a zastavil po zobrazení nového stavu. Žiadajte ďalší krok podľa aktuálnej obrazovky namiesto dlhého špekulatívneho sledu. Pokyny aj limity povolených operácií uvádzajte výslovne; po vykonanom kroku vráťte výslednú obrazovku, aby ďalšie uvažovanie využívalo pozorovania namiesto predpokladov o tom, čo sa stalo.
Spracovanie súradníc je podstatnou časťou oficiálneho postupu. Repozitár oddeľuje predikciu modelu od následného spracovania, ktoré parsuje akciu a mapuje jej cieľ na obrazovku. Jeho sprievodca súradnicami ukazuje prevod súradníc zo zmenšeného alebo zväčšeného obrázka späť na pôvodné rozmery. Zachovajte pôvodnú šírku a výšku snímky obrazovky a používajte súradnicovú konvenciu presnej šablóny akcií a parsera. Poloha pôsobiaca správne na obrázku so zmenenou veľkosťou môže pri priamom použití na obrazovke v pôvodnej mierke ukazovať na iný ovládací prvok. Text akcie modelu je preto pokyn na interpretáciu, nie už vykonaná udalosť myši.
Sprievodca nasadením poskytuje konkrétny jednokrokový príklad s výsledkom obsahujúcim Thought a Action, zatiaľ čo počítačová aplikácia repozitára je samostatným vykonávacím prostredím. Nakonfigurovaná dĺžka vstupu a vzorový rozpočet výstupu sprievodcu sú nastavenia nasadenia, nie univerzálne tvrdenie o kontexte alebo limite akcií každej integrácie. Pri praktickej práci s GUI posielajte jasné a čitateľné snímky obrazovky s ovládacími prvkami a okolitým kontextom potrebným na ďalšie rozhodnutie. UI-TARS môže nesprávne identifikovať prvky, chybne opísať neznáme rozhranie alebo vybrať nevhodnú akciu, najmä pri nejednoznačnej obrazovke; kontrola novej snímky po každej akcii udržuje tieto chyby prepojené so skutočným stavom úlohy.
POST /v1/chat/completionstexttext| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity bytedance/ui-tars-1.5-7b | Predvolené— |
Polemessages | Typmessage[] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 | Predvolené— |
Polemessages[].role | Typstring | PožiadavkaPovinné | Hodnoty a limity Príklady: system, user, assistant, tool, function Podmienky: Tieto roly sú výslovne zastúpené typmi kompatibility v zdrojovom kóde; presný súbor rolí zostáva závislý od modelu. Závisí od modelu | Predvolené— |
Polemessages[].content | Typstring|content_part[]|null | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Polemessages[].tool_calls | Typtool_call[] | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Polemessages[].tool_call_id | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Platí, keď: role=tool; použite skutočne vrátené ID | Predvolené— |
Polemessages[].name | Typstring | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Polemessages[].reasoning_content | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Platí, keď: Posielajte späť skutočne vrátené uvažovanie, ak ho tento model používa | Predvolené— |
Polemessages[].reasoning_details | Typobject|array | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polemax_tokens | Typinteger | PožiadavkaVoliteľné | Hodnoty a limity Minimum: 1 Závisí od modelu | Predvolené— |
Polemax_completion_tokens | Typinteger | PožiadavkaVoliteľné | Hodnoty a limity Minimum: 1 Závisí od modelu | Predvolené— |
Polestream | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity | Predvolenéfalse |
Polestream_options.include_usage | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletemperature | Typnumber | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletop_p | Typnumber | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polestop | Typstring|string[] | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletools | Typfunction_tool[] | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletools[].type | Typstring | PožiadavkaVoliteľné | Hodnoty a limity function Závisí od modelu | Predvolené— |
Poletools[].function.name | Typstring | PožiadavkaPovinné | Hodnoty a limity Platí, keď: poskytnutý nástroj typu funkcia | Predvolené— |
Poletools[].function.description | Typstring | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Poletools[].function.parameters | TypJSON_schema | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Poletool_choice | Typstring|object | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleparallel_tool_calls | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleresponse_format | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polereasoning_effort | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polereasoning | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleservice_tier | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleinstructions | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Pole kompatibility | Predvolené— |
Polefunctions | Typfunction[] | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polefunction_call | Typstring|object | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleprompt_cache_options | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polemodalities | Typstring[] | PožiadavkaVoliteľné | Hodnoty a limity text | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa na tejto textovej trase Ultra odmieta | Predvolené— |
Polecache_control.ttl | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Hodnota 1h sa v skutočne používaných poliach cache promptov odmieta | Predvolené— |
Text · Text UTF8
messages[].content
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, messages |
Parametermaterial_types | Špecifikáciatext |
Parametermessages | Špecifikáciapole správ so štruktúrou role/content |
Parameterfile_material | Špecifikáciaskutočný dokument UTF-8 vložený ako doslovný text; ID súboru sa neodvodzuje |
Parameteroptional_controls | Špecifikáciastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Špecifikáciazávisí od modelu; používateľské nástroje typu funkcia sa líšia od nástrojov prevádzkovaných službou |
Parameteroutput_modalities | Špecifikáciatext |
Parameterhosted_operations | Špecifikáciafalse |
Parametermultimodal_input_binding | Špecifikácianull |
Životný cyklus: synchronous_or_streamed
Pošlite presné ID modelu spolu s messages.
Dĺžka kontextu nie je horná hranica výstupu.
Textový súbor môže poskytnúť doslovný text; obrazové a zvukové vstupy a vstupy so súborovými objektmi potrebujú presné naviazanie.
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
Každý poplatok priraďte k zobrazeným podmienkam. Pre každú skupinu alternatívnych konfigurácií použite jednu sadzbu.
| Konfigurácia | Sadzobník | Počet tokenov kontextu väčší než | Tokeny kontextu, najviac (vrátane hranice) | Poplatok |
|---|---|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Počet tokenov kontextu väčší než— | Tokeny kontextu, najviac (vrátane hranice)Bez hornej hranice | Poplatok Vstup · Vstupné tokeny $0.0002 / 1K tokenov Výstup · Výstupné tokeny $0.0004 / 1K tokenov Vstup · Čítanie cache $0.0002 / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
| KonfiguráciaPásmo dĺžky požiadavky 1 | Sadzobník— | Počet tokenov kontextu väčší než0 | Tokeny kontextu, najviac (vrátane hranice)Bez hornej hranice | Poplatok Vstup · Vstupné tokeny $0.0002 / 1K tokenov Výstup · Výstupné tokeny $0.0004 / 1K tokenov Vstup · Čítanie cache $0.0002 / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "bytedance/ui-tars-1.5-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson alebo SSE
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Zachovajte každý variant odpovede a jeho obsah, volania nástrojov a uvažovanie. V SSE zostavujte čiastkové zmeny podľa indexu variantu/nástroja a zachovajte konečný dôvod ukončenia aj údaje o spotrebe.
Zachovajte ID požiadaviek/odpovedí aj hlavičky. Všeobecná URL na načítanie textovej úlohy nie je poskytnutá.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Použite cesty metód uvedené vyššie.
bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B je otvorený multimodálny model ByteDance pre agentov používajúcich počítač. Uvažuje nad snímkami obrazovky a úlohou a potom vytvára ďalšiu akciu GUI na vykonanie aplikáciou; toto vydanie 7B sa sústreďuje na všeobecné používanie počítača, nie na optimalizáciu pre hry.
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
UI-TARS-1.5-7B je vydaný multimodálny model ByteDance pre agentov GUI so 7B parametrami, zameraný na všeobecné používanie počítača. Spája vizuálne vnímanie rozhrania s uvažovaním pred akciou a stavia na natívnej architektúre UI-TARS s posilňovaným učením. Vstupmi v oficiálnom postupe použitia sú pokyn, snímky obrazovky a história akcií; výstup opisuje nasledujúcu akciu rozhrania, často s Thought vysvetľujúcim zamýšľaný krok. Okolitá aplikácia akciu vykoná a dodá ďalšiu snímku obrazovky, aby úloha mohla pokračovať.
Výrobca odlišuje tento stiahnuteľný checkpoint 7B od väčšieho výskumného modelu UI-TARS-1.5. Vydanie 7B nie je osobitne optimalizované na herné scenáre, preto sa ukážky a výsledky väčšieho výskumného modelu nemajú považovať za rovnocenné schopnosti tejto edície. Jeho praktickou úlohou je interakcia s viditeľnými ovládacími prvkami aplikácií: navigácia prehliadača, kancelársky softvér, správa súborov a podobné pracovné postupy na počítači. Čítanie snímky obrazovky a výber akcie sa líšia od generovania videa alebo získania neviditeľného stavu aplikácie.
Oficiálny repozitár opisuje šablóny akcií pre počítač a mobil. Akcie na počítači zahŕňajú kliknutia, dvojité kliknutia a kliknutia pravým tlačidlom, ťahanie, klávesové skratky, zadávanie textu a posúvanie, spolu s akciami wait a finished na kontrolu meniacej sa obrazovky alebo ukončenie úlohy. Mobilná šablóna pridáva operácie ako dlhé stlačenie, otvorenie aplikácie a prechod domov alebo späť. Samostatná šablóna ukotvenia žiada Action bez Thought a je určená na jednoduché úlohy s akčným výstupom. Vyberte slovník akcií, ktorému vykonávacie prostredie skutočne rozumie, namiesto považovania všetkých šablón za zameniteľné.
Užitočné zadanie pomenuje cieľ, dodá aktuálnu snímku obrazovky a relevantnú históriu akcií a definuje podobu dokončenia. Napríklad pôvodné redakčné zadanie môže žiadať model, aby našiel pomenované nastavenie, zmenil ho na určenú hodnotu a zastavil po zobrazení nového stavu. Žiadajte ďalší krok podľa aktuálnej obrazovky namiesto dlhého špekulatívneho sledu. Pokyny aj limity povolených operácií uvádzajte výslovne; po vykonanom kroku vráťte výslednú obrazovku, aby ďalšie uvažovanie využívalo pozorovania namiesto predpokladov o tom, čo sa stalo.
Spracovanie súradníc je podstatnou časťou oficiálneho postupu. Repozitár oddeľuje predikciu modelu od následného spracovania, ktoré parsuje akciu a mapuje jej cieľ na obrazovku. Jeho sprievodca súradnicami ukazuje prevod súradníc zo zmenšeného alebo zväčšeného obrázka späť na pôvodné rozmery. Zachovajte pôvodnú šírku a výšku snímky obrazovky a používajte súradnicovú konvenciu presnej šablóny akcií a parsera. Poloha pôsobiaca správne na obrázku so zmenenou veľkosťou môže pri priamom použití na obrazovke v pôvodnej mierke ukazovať na iný ovládací prvok. Text akcie modelu je preto pokyn na interpretáciu, nie už vykonaná udalosť myši.
Sprievodca nasadením poskytuje konkrétny jednokrokový príklad s výsledkom obsahujúcim Thought a Action, zatiaľ čo počítačová aplikácia repozitára je samostatným vykonávacím prostredím. Nakonfigurovaná dĺžka vstupu a vzorový rozpočet výstupu sprievodcu sú nastavenia nasadenia, nie univerzálne tvrdenie o kontexte alebo limite akcií každej integrácie. Pri praktickej práci s GUI posielajte jasné a čitateľné snímky obrazovky s ovládacími prvkami a okolitým kontextom potrebným na ďalšie rozhodnutie. UI-TARS môže nesprávne identifikovať prvky, chybne opísať neznáme rozhranie alebo vybrať nevhodnú akciu, najmä pri nejednoznačnej obrazovke; kontrola novej snímky po každej akcii udržuje tieto chyby prepojené so skutočným stavom úlohy.
POST /v1/messagestextjson, sse| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity bytedance/ui-tars-1.5-7b | Predvolené— |
Polemessages | Typmessage[] | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
Polemessages[].role | Typstring | PožiadavkaPovinné | Hodnoty a limity user, assistant | Predvolené— |
Polemessages[].content | Typstring | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
Polemax_tokens | Typinteger | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
Polestream | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity | Predvolenéfalse |
Text · Text UTF-8
reťazec messages[].content
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, messages, max_tokens |
Parameteroptional_controls | Špecifikáciastream |
Parametermaterial_types | Špecifikáciatext |
Parametertext_file_material | ŠpecifikáciaPrečítajte skutočný dokument UTF-8 a vložte jeho text do uvedeného vstupného reťazca alebo reťazca obsahu správy. |
Životný cyklus: synchronous_or_streamed
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
Každý poplatok priraďte k zobrazeným podmienkam. Pre každú skupinu alternatívnych konfigurácií použite jednu sadzbu.
| Konfigurácia | Sadzobník | Počet tokenov kontextu väčší než | Tokeny kontextu, najviac (vrátane hranice) | Poplatok |
|---|---|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Počet tokenov kontextu väčší než— | Tokeny kontextu, najviac (vrátane hranice)Bez hornej hranice | Poplatok Vstup · Vstupné tokeny $0.0002 / 1K tokenov Výstup · Výstupné tokeny $0.0004 / 1K tokenov Vstup · Čítanie cache $0.0002 / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
| KonfiguráciaPásmo dĺžky požiadavky 1 | Sadzobník— | Počet tokenov kontextu väčší než0 | Tokeny kontextu, najviac (vrátane hranice)Bez hornej hranice | Poplatok Vstup · Vstupné tokeny $0.0002 / 1K tokenov Výstup · Výstupné tokeny $0.0004 / 1K tokenov Vstup · Čítanie cache $0.0002 / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
{\n "model": "bytedance/ui-tars-1.5-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON alebo SSE
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Zachovajte všetky bloky obsahu, podpisy uvažovania a skutočné ID volaní nástrojov. Zostavte všetky čiastkové zmeny blokov SSE; prvý textový blok nie je celý výstup.
Zachovajte ID požiadaviek/odpovedí aj hlavičky. Všeobecná URL na načítanie textovej úlohy nie je poskytnutá.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Použite cesty metód uvedené vyššie.
Technický príklad v angličtine
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.