UI-TARS-1.5-7B je vydaný multimodální model ByteDance s 7B parametry pro agenty v GUI, zaměřený na obecné používání počítače. Spojuje vizuální vnímání rozhraní s uvažováním před akcí a staví na nativní architektuře UI-TARS s posilovaným učením. Vstupy oficiálního postupu použití tvoří instrukce, snímky obrazovky a historie akcí; výstup popisuje další akci v rozhraní, často s Thought vysvětlujícím zamýšlený krok. Okolní aplikace akci provede a dodá další snímek obrazovky, aby úloha mohla pokračovat.
Výrobce odlišuje tento stažitelný kontrolní bod 7B od většího výzkumného modelu UI-TARS-1.5. Vydání 7B není specificky optimalizováno pro herní scénáře, proto ukázky a výsledky většího výzkumného modelu nelze považovat za rovnocenné schopnosti této varianty. Jeho praktickou rolí je interakce s viditelnými ovládacími prvky aplikací: navigace prohlížečem, kancelářský software, správa souborů a podobné postupy na počítači. Čtení snímku obrazovky a volba akce se liší od generování videa nebo získávání neviditelného stavu aplikace.
Oficiální repozitář popisuje šablony akcí pro počítače a mobilní zařízení. Počítačové akce zahrnují kliknutí, dvojklik a kliknutí pravým tlačítkem, přetahování, klávesové zkratky, zadávání textu a posouvání, spolu s akcemi wait a finished pro kontrolu měnící se obrazovky nebo ukončení úlohy. Mobilní šablona přidává operace, například dlouhé stisknutí, otevření aplikace a přechod domů či zpět. Samostatná šablona pro vizuální ukotvení požaduje Action bez Thought a je určena pro nenáročné úlohy s akčním výstupem. Volte slovník akcí, kterému prováděcí prostředí skutečně rozumí, místo považování všech šablon za zaměnitelné.
Užitečné zadání pojmenuje cíl, dodá aktuální snímek obrazovky a relevantní historii akcí a definuje podobu dokončení. Původní redakční zadání může například požadovat nalezení pojmenovaného nastavení, změnu na stanovenou hodnotu a zastavení, jakmile bude nový stav viditelný. Žádejte další krok podle aktuální obrazovky namísto dlouhé spekulativní posloupnosti. Instrukce a případná omezení povolených operací uvádějte výslovně; po provedeném kroku vraťte výslednou obrazovku, aby následné uvažování vycházelo z pozorování, nikoli z předpokladů o tom, co se stalo.
Práce se souřadnicemi je podstatnou součástí oficiálního postupu. Repozitář odděluje predikci modelu od následného zpracování, které parsuje akci a mapuje její cíl na obrazovku. Průvodce souřadnicemi ukazuje převod souřadnic ze zmenšeného obrázku zpět na původní rozměry obrázku. Zachovejte původní šířku a výšku snímku a použijte souřadnicovou konvenci přesné šablony akcí a parseru. Místo, které ve změněné velikosti obrázku vypadá věrohodně, může při přímém použití na obrazovku v původním měřítku ukazovat na jiný ovládací prvek. Text akce modelu je proto instrukcí k interpretaci, nikoli již provedenou událostí myši.
Průvodce nasazením poskytuje konkrétní jednokrokový příklad, jehož výsledek obsahuje Thought a Action, zatímco desktopová aplikace repozitáře je samostatným prostředím pro provádění. Délka vstupu nakonfigurovaná v průvodci a ukázkový rozpočet výstupu jsou nastavení nasazení, nikoli univerzální tvrzení o kontextu či limitu akcí každé integrace. Pro praktickou práci s GUI posílejte jasné, čitelné snímky obrazovky s ovládacími prvky a okolním kontextem potřebným pro další rozhodnutí. UI-TARS může nesprávně určit prvky, chybně popsat neznámá rozhraní nebo zvolit nevhodnou akci, zejména při nejednoznačné obrazovce; kontrola nového snímku po každé akci udržuje tyto chyby navázané na skutečný stav úlohy.
", "aboutText": "UI-TARS-1.5-7B je vydaný multimodální model ByteDance s 7B parametry pro agenty v GUI, zaměřený na obecné používání počítače. Spojuje vizuální vnímání rozhraní s uvažováním před akcí a staví na nativní architektuře UI-TARS s posilovaným učením. Vstupy oficiálního postupu použití tvoří instrukce, snímky obrazovky a historie akcí; výstup popisuje další akci v rozhraní, často s Thought vysvětlujícím zamýšlený krok. Okolní aplikace akci provede a dodá další snímek obrazovky, aby úloha mohla pokračovat.\n\nVýrobce odlišuje tento stažitelný kontrolní bod 7B od většího výzkumného modelu UI-TARS-1.5. Vydání 7B není specificky optimalizováno pro herní scénáře, proto ukázky a výsledky většího výzkumného modelu nelze považovat za rovnocenné schopnosti této varianty. Jeho praktickou rolí je interakce s viditelnými ovládacími prvky aplikací: navigace prohlížečem, kancelářský software, správa souborů a podobné postupy na počítači. Čtení snímku obrazovky a volba akce se liší od generování videa nebo získávání neviditelného stavu aplikace.\n\nOficiální repozitář popisuje šablony akcí pro počítače a mobilní zařízení. Počítačové akce zahrnují kliknutí, dvojklik a kliknutí pravým tlačítkem, přetahování, klávesové zkratky, zadávání textu a posouvání, spolu s akcemi wait a finished pro kontrolu měnící se obrazovky nebo ukončení úlohy. Mobilní šablona přidává operace, například dlouhé stisknutí, otevření aplikace a přechod domů či zpět. Samostatná šablona pro vizuální ukotvení požaduje Action bez Thought a je určena pro nenáročné úlohy s akčním výstupem. Volte slovník akcí, kterému prováděcí prostředí skutečně rozumí, místo považování všech šablon za zaměnitelné.\n\nUžitečné zadání pojmenuje cíl, dodá aktuální snímek obrazovky a relevantní historii akcí a definuje podobu dokončení. Původní redakční zadání může například požadovat nalezení pojmenovaného nastavení, změnu na stanovenou hodnotu a zastavení, jakmile bude nový stav viditelný. Žádejte další krok podle aktuální obrazovky namísto dlouhé spekulativní posloupnosti. Instrukce a případná omezení povolených operací uvádějte výslovně; po provedeném kroku vraťte výslednou obrazovku, aby následné uvažování vycházelo z pozorování, nikoli z předpokladů o tom, co se stalo.\n\nPráce se souřadnicemi je podstatnou součástí oficiálního postupu. Repozitář odděluje predikci modelu od následného zpracování, které parsuje akci a mapuje její cíl na obrazovku. Průvodce souřadnicemi ukazuje převod souřadnic ze zmenšeného obrázku zpět na původní rozměry obrázku. Zachovejte původní šířku a výšku snímku a použijte souřadnicovou konvenci přesné šablony akcí a parseru. Místo, které ve změněné velikosti obrázku vypadá věrohodně, může při přímém použití na obrazovku v původním měřítku ukazovat na jiný ovládací prvek. Text akce modelu je proto instrukcí k interpretaci, nikoli již provedenou událostí myši.\n\nPrůvodce nasazením poskytuje konkrétní jednokrokový příklad, jehož výsledek obsahuje Thought a Action, zatímco desktopová aplikace repozitáře je samostatným prostředím pro provádění. Délka vstupu nakonfigurovaná v průvodci a ukázkový rozpočet výstupu jsou nastavení nasazení, nikoli univerzální tvrzení o kontextu či limitu akcí každé integrace. Pro praktickou práci s GUI posílejte jasné, čitelné snímky obrazovky s ovládacími prvky a okolním kontextem potřebným pro další rozhodnutí. UI-TARS může nesprávně určit prvky, chybně popsat neznámá rozhraní nebo zvolit nevhodnou akci, zejména při nejednoznačné obrazovce; kontrola nového snímku po každé akci udržuje tyto chyby navázané na skutečný stav úlohy.", "editorialOverlay": { "copy_fields": { "practical_html": "Technický příklad v angličtině
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B je otevřený multimodální model ByteDance pro agenty používající počítač. Uvažuje nad snímky obrazovky a úlohou a poté vytváří další akci v GUI, kterou provede aplikace; toto vydání 7B se zaměřuje na obecné používání počítače, nikoli na optimalizaci pro hry.
Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu.
UI-TARS-1.5-7B je vydaný multimodální model ByteDance s 7B parametry pro agenty v GUI, zaměřený na obecné používání počítače. Spojuje vizuální vnímání rozhraní s uvažováním před akcí a staví na nativní architektuře UI-TARS s posilovaným učením. Vstupy oficiálního postupu použití tvoří instrukce, snímky obrazovky a historie akcí; výstup popisuje další akci v rozhraní, často s Thought vysvětlujícím zamýšlený krok. Okolní aplikace akci provede a dodá další snímek obrazovky, aby úloha mohla pokračovat.
Výrobce odlišuje tento stažitelný kontrolní bod 7B od většího výzkumného modelu UI-TARS-1.5. Vydání 7B není specificky optimalizováno pro herní scénáře, proto ukázky a výsledky většího výzkumného modelu nelze považovat za rovnocenné schopnosti této varianty. Jeho praktickou rolí je interakce s viditelnými ovládacími prvky aplikací: navigace prohlížečem, kancelářský software, správa souborů a podobné postupy na počítači. Čtení snímku obrazovky a volba akce se liší od generování videa nebo získávání neviditelného stavu aplikace.
Oficiální repozitář popisuje šablony akcí pro počítače a mobilní zařízení. Počítačové akce zahrnují kliknutí, dvojklik a kliknutí pravým tlačítkem, přetahování, klávesové zkratky, zadávání textu a posouvání, spolu s akcemi wait a finished pro kontrolu měnící se obrazovky nebo ukončení úlohy. Mobilní šablona přidává operace, například dlouhé stisknutí, otevření aplikace a přechod domů či zpět. Samostatná šablona pro vizuální ukotvení požaduje Action bez Thought a je určena pro nenáročné úlohy s akčním výstupem. Volte slovník akcí, kterému prováděcí prostředí skutečně rozumí, místo považování všech šablon za zaměnitelné.
Užitečné zadání pojmenuje cíl, dodá aktuální snímek obrazovky a relevantní historii akcí a definuje podobu dokončení. Původní redakční zadání může například požadovat nalezení pojmenovaného nastavení, změnu na stanovenou hodnotu a zastavení, jakmile bude nový stav viditelný. Žádejte další krok podle aktuální obrazovky namísto dlouhé spekulativní posloupnosti. Instrukce a případná omezení povolených operací uvádějte výslovně; po provedeném kroku vraťte výslednou obrazovku, aby následné uvažování vycházelo z pozorování, nikoli z předpokladů o tom, co se stalo.
Práce se souřadnicemi je podstatnou součástí oficiálního postupu. Repozitář odděluje predikci modelu od následného zpracování, které parsuje akci a mapuje její cíl na obrazovku. Průvodce souřadnicemi ukazuje převod souřadnic ze zmenšeného obrázku zpět na původní rozměry obrázku. Zachovejte původní šířku a výšku snímku a použijte souřadnicovou konvenci přesné šablony akcí a parseru. Místo, které ve změněné velikosti obrázku vypadá věrohodně, může při přímém použití na obrazovku v původním měřítku ukazovat na jiný ovládací prvek. Text akce modelu je proto instrukcí k interpretaci, nikoli již provedenou událostí myši.
Průvodce nasazením poskytuje konkrétní jednokrokový příklad, jehož výsledek obsahuje Thought a Action, zatímco desktopová aplikace repozitáře je samostatným prostředím pro provádění. Délka vstupu nakonfigurovaná v průvodci a ukázkový rozpočet výstupu jsou nastavení nasazení, nikoli univerzální tvrzení o kontextu či limitu akcí každé integrace. Pro praktickou práci s GUI posílejte jasné, čitelné snímky obrazovky s ovládacími prvky a okolním kontextem potřebným pro další rozhodnutí. UI-TARS může nesprávně určit prvky, chybně popsat neznámá rozhraní nebo zvolit nevhodnou akci, zejména při nejednoznačné obrazovce; kontrola nového snímku po každé akci udržuje tyto chyby navázané na skutečný stav úlohy.
POST /v1/chat/completionstexttext| Pole | Typ | Požadavek | Hodnoty a limity | Výchozí |
|---|---|---|---|---|
Polemodel | Typstring | PožadavekPovinné | Hodnoty a limity bytedance/ui-tars-1.5-7b | Výchozí— |
Polemessages | Typmessage[] | PožadavekPovinné | Hodnoty a limity Minimální počet položek: 1 | Výchozí— |
Polemessages[].role | Typstring | PožadavekPovinné | Hodnoty a limity Příklady: system, user, assistant, tool, function Podmínky: Tyto role jsou výslovně zastoupeny typy kompatibility zdrojového kódu; přesná sada rolí zůstává specifická pro daný model. Závisí na modelu | Výchozí— |
Polemessages[].content | Typstring|content_part[]|null | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Polemessages[].tool_calls | Typtool_call[] | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Polemessages[].tool_call_id | Typstring | PožadavekVolitelné | Hodnoty a limity Platí, když: role=tool; použijte skutečně vrácené ID | Výchozí— |
Polemessages[].name | Typstring | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Polemessages[].reasoning_content | Typstring | PožadavekVolitelné | Hodnoty a limity Platí, když: Předávejte zpět skutečně vrácené uvažování tam, kde je tento model používá | Výchozí— |
Polemessages[].reasoning_details | Typobject|array | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polemax_tokens | Typinteger | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— |
Polemax_completion_tokens | Typinteger | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— |
Polestream | Typboolean | PožadavekVolitelné | Hodnoty a limity | Výchozífalse |
Polestream_options.include_usage | Typboolean | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poletemperature | Typnumber | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poletop_p | Typnumber | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polestop | Typstring|string[] | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poletools | Typfunction_tool[] | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poletools[].type | Typstring | PožadavekVolitelné | Hodnoty a limity function Závisí na modelu | Výchozí— |
Poletools[].function.name | Typstring | PožadavekPovinné | Hodnoty a limity Platí, když: nástroj typu funkce je dodán | Výchozí— |
Poletools[].function.description | Typstring | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Poletools[].function.parameters | TypJSON_schema | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Poletool_choice | Typstring|object | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleparallel_tool_calls | Typboolean | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleresponse_format | Typobject | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polereasoning_effort | Typstring | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polereasoning | Typobject | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleservice_tier | Typstring | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleinstructions | Typstring | PožadavekVolitelné | Hodnoty a limity Pole kompatibility | Výchozí— |
Polefunctions | Typfunction[] | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polefunction_call | Typstring|object | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleprompt_cache_options | Typobject | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polemodalities | Typstring[] | PožadavekVolitelné | Hodnoty a limity text | Výchozí— |
Poleprovider | Typobject | PožadavekVolitelné | Hodnoty a limity Podmínky: provider.options je na této textové trase Ultra odmítáno | Výchozí— |
Polecache_control.ttl | Typstring | PožadavekVolitelné | Hodnoty a limity Podmínky: Hodnota 1h je ve skutečných umístěních mezipaměti promptů odmítána | Výchozí— |
Text · text UTF8
messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages |
Parametrmaterial_types | Kontrakttext |
Parametrmessages | Kontraktpole zpráv se strukturou role/content |
Parametrfile_material | Kontraktskutečný dokument UTF-8 vložený jako doslovný text; ID souboru se neodvozuje |
Parametroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrcontrol_scope | Kontraktspecifické pro model; nástroje uživatelských funkcí se liší od hostovaných nástrojů |
Parametroutput_modalities | Kontrakttext |
Parametrhosted_operations | Kontraktfalse |
Parametrmultimodal_input_binding | Kontraktnull |
Životní cyklus: synchronous_or_streamed
Odešlete přesné ID modelu spolu s messages.
Délka kontextu není limitem výstupu.
Textový soubor může dodat doslovný text; obrazové/zvukové vstupy a vstupy v podobě souborových objektů vyžadují přesnou vazbu.
Údaje o tarifech nepřidávají možnosti požadavku. Podporované parametry jsou uvedeny u vybrané metody.
Přiřaďte každý poplatek k uvedeným podmínkám. Pro každou sadu alternativních konfigurací použijte jednu sazbu.
| Konfigurace | Tabulka sazeb | Tokeny kontextu, více než | Tokeny kontextu, do uvedené hodnoty včetně | Poplatek |
|---|---|---|---|---|
| KonfiguraceZákladní sazby za tokeny | Tabulka sazebZákladní sazba | Tokeny kontextu, více než— | Tokeny kontextu, do uvedené hodnoty včetněBez horní meze | Poplatek Vstup · Vstupní tokeny $0.0002 / 1K tokenů Výstup · Výstupní tokeny $0.0004 / 1K tokenů Vstup · Čtení z mezipaměti $0.0002 / 1K tokenů Vstup · Zápis do mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
| KonfiguracePásmo délky požadavku 1 | Tabulka sazeb— | Tokeny kontextu, více než0 | Tokeny kontextu, do uvedené hodnoty včetněBez horní meze | Poplatek Vstup · Vstupní tokeny $0.0002 / 1K tokenů Výstup · Výstupní tokeny $0.0004 / 1K tokenů Vstup · Čtení z mezipaměti $0.0002 / 1K tokenů Vstup · Zápis do mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. Jak funguje rezervace a vyúčtování →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "bytedance/ui-tars-1.5-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson nebo SSE
Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu.
Zachovejte každou volbu a její obsah/volání nástrojů/uvažování. V SSE sestavujte přírůstky podle indexu volby/nástroje a zachovejte konečný důvod ukončení i údaje o využití.
Zachovejte ID požadavků/odpovědí a hlavičky. Není dodána obecná URL pro načtení textové úlohy.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpověď | Podmínka | Další krok |
|---|---|---|
Odpověď400 · invalid_request_error | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Použijte cesty metod uvedené výše.
bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B je otevřený multimodální model ByteDance pro agenty používající počítač. Uvažuje nad snímky obrazovky a úlohou a poté vytváří další akci v GUI, kterou provede aplikace; toto vydání 7B se zaměřuje na obecné používání počítače, nikoli na optimalizaci pro hry.
Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu.
UI-TARS-1.5-7B je vydaný multimodální model ByteDance s 7B parametry pro agenty v GUI, zaměřený na obecné používání počítače. Spojuje vizuální vnímání rozhraní s uvažováním před akcí a staví na nativní architektuře UI-TARS s posilovaným učením. Vstupy oficiálního postupu použití tvoří instrukce, snímky obrazovky a historie akcí; výstup popisuje další akci v rozhraní, často s Thought vysvětlujícím zamýšlený krok. Okolní aplikace akci provede a dodá další snímek obrazovky, aby úloha mohla pokračovat.
Výrobce odlišuje tento stažitelný kontrolní bod 7B od většího výzkumného modelu UI-TARS-1.5. Vydání 7B není specificky optimalizováno pro herní scénáře, proto ukázky a výsledky většího výzkumného modelu nelze považovat za rovnocenné schopnosti této varianty. Jeho praktickou rolí je interakce s viditelnými ovládacími prvky aplikací: navigace prohlížečem, kancelářský software, správa souborů a podobné postupy na počítači. Čtení snímku obrazovky a volba akce se liší od generování videa nebo získávání neviditelného stavu aplikace.
Oficiální repozitář popisuje šablony akcí pro počítače a mobilní zařízení. Počítačové akce zahrnují kliknutí, dvojklik a kliknutí pravým tlačítkem, přetahování, klávesové zkratky, zadávání textu a posouvání, spolu s akcemi wait a finished pro kontrolu měnící se obrazovky nebo ukončení úlohy. Mobilní šablona přidává operace, například dlouhé stisknutí, otevření aplikace a přechod domů či zpět. Samostatná šablona pro vizuální ukotvení požaduje Action bez Thought a je určena pro nenáročné úlohy s akčním výstupem. Volte slovník akcí, kterému prováděcí prostředí skutečně rozumí, místo považování všech šablon za zaměnitelné.
Užitečné zadání pojmenuje cíl, dodá aktuální snímek obrazovky a relevantní historii akcí a definuje podobu dokončení. Původní redakční zadání může například požadovat nalezení pojmenovaného nastavení, změnu na stanovenou hodnotu a zastavení, jakmile bude nový stav viditelný. Žádejte další krok podle aktuální obrazovky namísto dlouhé spekulativní posloupnosti. Instrukce a případná omezení povolených operací uvádějte výslovně; po provedeném kroku vraťte výslednou obrazovku, aby následné uvažování vycházelo z pozorování, nikoli z předpokladů o tom, co se stalo.
Práce se souřadnicemi je podstatnou součástí oficiálního postupu. Repozitář odděluje predikci modelu od následného zpracování, které parsuje akci a mapuje její cíl na obrazovku. Průvodce souřadnicemi ukazuje převod souřadnic ze zmenšeného obrázku zpět na původní rozměry obrázku. Zachovejte původní šířku a výšku snímku a použijte souřadnicovou konvenci přesné šablony akcí a parseru. Místo, které ve změněné velikosti obrázku vypadá věrohodně, může při přímém použití na obrazovku v původním měřítku ukazovat na jiný ovládací prvek. Text akce modelu je proto instrukcí k interpretaci, nikoli již provedenou událostí myši.
Průvodce nasazením poskytuje konkrétní jednokrokový příklad, jehož výsledek obsahuje Thought a Action, zatímco desktopová aplikace repozitáře je samostatným prostředím pro provádění. Délka vstupu nakonfigurovaná v průvodci a ukázkový rozpočet výstupu jsou nastavení nasazení, nikoli univerzální tvrzení o kontextu či limitu akcí každé integrace. Pro praktickou práci s GUI posílejte jasné, čitelné snímky obrazovky s ovládacími prvky a okolním kontextem potřebným pro další rozhodnutí. UI-TARS může nesprávně určit prvky, chybně popsat neznámá rozhraní nebo zvolit nevhodnou akci, zejména při nejednoznačné obrazovce; kontrola nového snímku po každé akci udržuje tyto chyby navázané na skutečný stav úlohy.
POST /v1/messagestextjson, sse| Pole | Typ | Požadavek | Hodnoty a limity | Výchozí |
|---|---|---|---|---|
Polemodel | Typstring | PožadavekPovinné | Hodnoty a limity bytedance/ui-tars-1.5-7b | Výchozí— |
Polemessages | Typmessage[] | PožadavekPovinné | Hodnoty a limity | Výchozí— |
Polemessages[].role | Typstring | PožadavekPovinné | Hodnoty a limity user, assistant | Výchozí— |
Polemessages[].content | Typstring | PožadavekPovinné | Hodnoty a limity | Výchozí— |
Polemax_tokens | Typinteger | PožadavekPovinné | Hodnoty a limity | Výchozí— |
Polestream | Typboolean | PožadavekVolitelné | Hodnoty a limity | Výchozífalse |
Text · text UTF-8
řetězec messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages, max_tokens |
Parametroptional_controls | Kontraktstream |
Parametrmaterial_types | Kontrakttext |
Parametrtext_file_material | KontraktPřečtěte skutečný dokument UTF-8 a vložte jeho text do uvedeného pole input nebo do řetězce obsahu zprávy. |
Životní cyklus: synchronous_or_streamed
Údaje o tarifech nepřidávají možnosti požadavku. Podporované parametry jsou uvedeny u vybrané metody.
Přiřaďte každý poplatek k uvedeným podmínkám. Pro každou sadu alternativních konfigurací použijte jednu sazbu.
| Konfigurace | Tabulka sazeb | Tokeny kontextu, více než | Tokeny kontextu, do uvedené hodnoty včetně | Poplatek |
|---|---|---|---|---|
| KonfiguraceZákladní sazby za tokeny | Tabulka sazebZákladní sazba | Tokeny kontextu, více než— | Tokeny kontextu, do uvedené hodnoty včetněBez horní meze | Poplatek Vstup · Vstupní tokeny $0.0002 / 1K tokenů Výstup · Výstupní tokeny $0.0004 / 1K tokenů Vstup · Čtení z mezipaměti $0.0002 / 1K tokenů Vstup · Zápis do mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
| KonfiguracePásmo délky požadavku 1 | Tabulka sazeb— | Tokeny kontextu, více než0 | Tokeny kontextu, do uvedené hodnoty včetněBez horní meze | Poplatek Vstup · Vstupní tokeny $0.0002 / 1K tokenů Výstup · Výstupní tokeny $0.0004 / 1K tokenů Vstup · Čtení z mezipaměti $0.0002 / 1K tokenů Vstup · Zápis do mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. Jak funguje rezervace a vyúčtování →
{\n "model": "bytedance/ui-tars-1.5-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON nebo SSE
Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu.
Zachovejte všechny bloky obsahu, podpisy uvažování a skutečná ID použití nástrojů. Sestavte všechny přírůstky bloků SSE; první textový blok není úplný výstup.
Zachovejte ID požadavků/odpovědí a hlavičky. Není dodána obecná URL pro načtení textové úlohy.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpověď | Podmínka | Další krok |
|---|---|---|
Odpověď400 · invalid_request_error | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Použijte cesty metod uvedené výše.
Technický příklad v angličtině
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.