UI-TARS-1.5-7B is het uitgebrachte multimodale 7B-model van ByteDance voor GUI-agents, gericht op algemeen computergebruik. Het combineert visuele waarneming van een interface met redeneren vóór handelen, voortbouwend op de oorspronkelijke UI-TARS-architectuur met reinforcement learning. De invoer in het officiële gebruiksproces bestaat uit een instructie, schermafbeeldingen en een actiegeschiedenis; de uitvoer beschrijft de volgende interfaceactie, vaak met een Thought die de bedoelde stap uitlegt. Een omringende applicatie voert die actie uit en levert de volgende schermafbeelding aan, zodat de taak kan doorgaan.
De ontwikkelaar onderscheidt dit downloadbare 7B-checkpoint van het grotere UI-TARS-1.5-onderzoeksmodel. De 7B-versie is niet specifiek geoptimaliseerd voor gamescenario’s; demonstraties en resultaten van het grotere onderzoeksmodel mogen daarom niet worden behandeld als gelijkwaardige mogelijkheden van deze editie. De praktische rol bestaat uit interactie met zichtbare bedieningselementen van applicaties: browsernavigatie, kantoorsoftware, bestandsbeheer en soortgelijke desktopprocessen. Een schermafbeelding lezen en een actie kiezen is iets anders dan een video genereren of onzichtbare applicatiestatus verkrijgen.
De officiële repository beschrijft actiesjablonen voor desktop en mobiel. Desktopacties omvatten klikken, dubbelklikken en rechtsklikken, slepen, sneltoetsen, tekstinvoer en scrollen, met wait- en finished-acties om een veranderend scherm te controleren of een taak te beëindigen. De mobiele sjabloon voegt bewerkingen toe zoals lang indrukken, een app openen en naar het beginscherm of terug navigeren. Een afzonderlijke grounding-sjabloon vraagt om een Action zonder Thought en is bedoeld voor lichte taken met actie-uitvoer. Kies de actiewoordenschat die de uitvoeringsomgeving daadwerkelijk begrijpt, in plaats van elke sjabloon als uitwisselbaar te behandelen.
Een bruikbare taakomschrijving noemt het doel, levert de huidige schermafbeelding en relevante actiegeschiedenis aan en definieert hoe afronding eruitziet. Een oorspronkelijke redactionele opdracht kan het model bijvoorbeeld vragen een genoemde instelling te vinden, deze op een opgegeven waarde te zetten en te stoppen zodra de nieuwe toestand zichtbaar is. Vraag om de volgende stap op basis van het huidige scherm in plaats van een lange speculatieve reeks. Houd instructies en eventuele grenzen aan toegestane handelingen expliciet; geef na een uitgevoerde stap het resulterende scherm terug, zodat verdere redenering waarnemingen gebruikt in plaats van aannames over wat er is gebeurd.
Coördinatenverwerking is een wezenlijk onderdeel van het officiële werkproces. De repository scheidt de modelvoorspelling van naverwerking die een actie parseert en het doel ervan naar het scherm vertaalt. De coördinatenhandleiding laat zien hoe coördinaten van de geschaalde afbeelding worden terugvertaald naar de oorspronkelijke afbeeldingsafmetingen. Bewaar de oorspronkelijke breedte en hoogte van de schermafbeelding en gebruik de coördinatenconventie van de exacte actiesjabloon en parser. Een locatie die in een geschaalde afbeelding aannemelijk lijkt, kan naar een ander bedieningselement wijzen wanneer deze direct op het niet-geschaalde scherm wordt toegepast. De actietekst van het model is daarom een te interpreteren instructie en geen al uitgevoerde muisactie.
De uitrolhandleiding geeft een concreet voorbeeld van één stap waarvan het resultaat Thought en Action bevat, terwijl de desktopapplicatie van de repository een afzonderlijke uitvoeringsomgeving is. De ingestelde invoerlengte en het voorbeeldbudget voor uitvoer in de handleiding zijn uitrolinstellingen, geen universele uitspraak over de context of actielimiet van elke integratie. Stuur voor praktisch GUI-werk duidelijke, leesbare schermafbeeldingen met de bedieningselementen en omliggende context die voor de volgende beslissing nodig zijn. UI-TARS kan elementen verkeerd herkennen, onbekende interfaces onjuist beschrijven of een minder geschikte actie kiezen, vooral wanneer het scherm onduidelijk is; door na elke actie de nieuwe schermafbeelding te controleren blijven zulke fouten verbonden met de daadwerkelijke taakstatus.
", "aboutText": "UI-TARS-1.5-7B is het uitgebrachte multimodale 7B-model van ByteDance voor GUI-agents, gericht op algemeen computergebruik. Het combineert visuele waarneming van een interface met redeneren vóór handelen, voortbouwend op de oorspronkelijke UI-TARS-architectuur met reinforcement learning. De invoer in het officiële gebruiksproces bestaat uit een instructie, schermafbeeldingen en een actiegeschiedenis; de uitvoer beschrijft de volgende interfaceactie, vaak met een Thought die de bedoelde stap uitlegt. Een omringende applicatie voert die actie uit en levert de volgende schermafbeelding aan, zodat de taak kan doorgaan.\n\nDe ontwikkelaar onderscheidt dit downloadbare 7B-checkpoint van het grotere UI-TARS-1.5-onderzoeksmodel. De 7B-versie is niet specifiek geoptimaliseerd voor gamescenario’s; demonstraties en resultaten van het grotere onderzoeksmodel mogen daarom niet worden behandeld als gelijkwaardige mogelijkheden van deze editie. De praktische rol bestaat uit interactie met zichtbare bedieningselementen van applicaties: browsernavigatie, kantoorsoftware, bestandsbeheer en soortgelijke desktopprocessen. Een schermafbeelding lezen en een actie kiezen is iets anders dan een video genereren of onzichtbare applicatiestatus verkrijgen.\n\nDe officiële repository beschrijft actiesjablonen voor desktop en mobiel. Desktopacties omvatten klikken, dubbelklikken en rechtsklikken, slepen, sneltoetsen, tekstinvoer en scrollen, met wait- en finished-acties om een veranderend scherm te controleren of een taak te beëindigen. De mobiele sjabloon voegt bewerkingen toe zoals lang indrukken, een app openen en naar het beginscherm of terug navigeren. Een afzonderlijke grounding-sjabloon vraagt om een Action zonder Thought en is bedoeld voor lichte taken met actie-uitvoer. Kies de actiewoordenschat die de uitvoeringsomgeving daadwerkelijk begrijpt, in plaats van elke sjabloon als uitwisselbaar te behandelen.\n\nEen bruikbare taakomschrijving noemt het doel, levert de huidige schermafbeelding en relevante actiegeschiedenis aan en definieert hoe afronding eruitziet. Een oorspronkelijke redactionele opdracht kan het model bijvoorbeeld vragen een genoemde instelling te vinden, deze op een opgegeven waarde te zetten en te stoppen zodra de nieuwe toestand zichtbaar is. Vraag om de volgende stap op basis van het huidige scherm in plaats van een lange speculatieve reeks. Houd instructies en eventuele grenzen aan toegestane handelingen expliciet; geef na een uitgevoerde stap het resulterende scherm terug, zodat verdere redenering waarnemingen gebruikt in plaats van aannames over wat er is gebeurd.\n\nCoördinatenverwerking is een wezenlijk onderdeel van het officiële werkproces. De repository scheidt de modelvoorspelling van naverwerking die een actie parseert en het doel ervan naar het scherm vertaalt. De coördinatenhandleiding laat zien hoe coördinaten van de geschaalde afbeelding worden terugvertaald naar de oorspronkelijke afbeeldingsafmetingen. Bewaar de oorspronkelijke breedte en hoogte van de schermafbeelding en gebruik de coördinatenconventie van de exacte actiesjabloon en parser. Een locatie die in een geschaalde afbeelding aannemelijk lijkt, kan naar een ander bedieningselement wijzen wanneer deze direct op het niet-geschaalde scherm wordt toegepast. De actietekst van het model is daarom een te interpreteren instructie en geen al uitgevoerde muisactie.\n\nDe uitrolhandleiding geeft een concreet voorbeeld van één stap waarvan het resultaat Thought en Action bevat, terwijl de desktopapplicatie van de repository een afzonderlijke uitvoeringsomgeving is. De ingestelde invoerlengte en het voorbeeldbudget voor uitvoer in de handleiding zijn uitrolinstellingen, geen universele uitspraak over de context of actielimiet van elke integratie. Stuur voor praktisch GUI-werk duidelijke, leesbare schermafbeeldingen met de bedieningselementen en omliggende context die voor de volgende beslissing nodig zijn. UI-TARS kan elementen verkeerd herkennen, onbekende interfaces onjuist beschrijven of een minder geschikte actie kiezen, vooral wanneer het scherm onduidelijk is; door na elke actie de nieuwe schermafbeelding te controleren blijven zulke fouten verbonden met de daadwerkelijke taakstatus.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisch voorbeeld in het Engels
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B is het open multimodale model van ByteDance voor agents die computers bedienen. Het redeneert over schermafbeeldingen en een taak en produceert vervolgens de volgende GUI-actie die een applicatie moet uitvoeren; deze 7B-versie richt zich op algemeen computergebruik in plaats van optimalisatie voor games.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
UI-TARS-1.5-7B is het uitgebrachte multimodale 7B-model van ByteDance voor GUI-agents, gericht op algemeen computergebruik. Het combineert visuele waarneming van een interface met redeneren vóór handelen, voortbouwend op de oorspronkelijke UI-TARS-architectuur met reinforcement learning. De invoer in het officiële gebruiksproces bestaat uit een instructie, schermafbeeldingen en een actiegeschiedenis; de uitvoer beschrijft de volgende interfaceactie, vaak met een Thought die de bedoelde stap uitlegt. Een omringende applicatie voert die actie uit en levert de volgende schermafbeelding aan, zodat de taak kan doorgaan.
De ontwikkelaar onderscheidt dit downloadbare 7B-checkpoint van het grotere UI-TARS-1.5-onderzoeksmodel. De 7B-versie is niet specifiek geoptimaliseerd voor gamescenario’s; demonstraties en resultaten van het grotere onderzoeksmodel mogen daarom niet worden behandeld als gelijkwaardige mogelijkheden van deze editie. De praktische rol bestaat uit interactie met zichtbare bedieningselementen van applicaties: browsernavigatie, kantoorsoftware, bestandsbeheer en soortgelijke desktopprocessen. Een schermafbeelding lezen en een actie kiezen is iets anders dan een video genereren of onzichtbare applicatiestatus verkrijgen.
De officiële repository beschrijft actiesjablonen voor desktop en mobiel. Desktopacties omvatten klikken, dubbelklikken en rechtsklikken, slepen, sneltoetsen, tekstinvoer en scrollen, met wait- en finished-acties om een veranderend scherm te controleren of een taak te beëindigen. De mobiele sjabloon voegt bewerkingen toe zoals lang indrukken, een app openen en naar het beginscherm of terug navigeren. Een afzonderlijke grounding-sjabloon vraagt om een Action zonder Thought en is bedoeld voor lichte taken met actie-uitvoer. Kies de actiewoordenschat die de uitvoeringsomgeving daadwerkelijk begrijpt, in plaats van elke sjabloon als uitwisselbaar te behandelen.
Een bruikbare taakomschrijving noemt het doel, levert de huidige schermafbeelding en relevante actiegeschiedenis aan en definieert hoe afronding eruitziet. Een oorspronkelijke redactionele opdracht kan het model bijvoorbeeld vragen een genoemde instelling te vinden, deze op een opgegeven waarde te zetten en te stoppen zodra de nieuwe toestand zichtbaar is. Vraag om de volgende stap op basis van het huidige scherm in plaats van een lange speculatieve reeks. Houd instructies en eventuele grenzen aan toegestane handelingen expliciet; geef na een uitgevoerde stap het resulterende scherm terug, zodat verdere redenering waarnemingen gebruikt in plaats van aannames over wat er is gebeurd.
Coördinatenverwerking is een wezenlijk onderdeel van het officiële werkproces. De repository scheidt de modelvoorspelling van naverwerking die een actie parseert en het doel ervan naar het scherm vertaalt. De coördinatenhandleiding laat zien hoe coördinaten van de geschaalde afbeelding worden terugvertaald naar de oorspronkelijke afbeeldingsafmetingen. Bewaar de oorspronkelijke breedte en hoogte van de schermafbeelding en gebruik de coördinatenconventie van de exacte actiesjabloon en parser. Een locatie die in een geschaalde afbeelding aannemelijk lijkt, kan naar een ander bedieningselement wijzen wanneer deze direct op het niet-geschaalde scherm wordt toegepast. De actietekst van het model is daarom een te interpreteren instructie en geen al uitgevoerde muisactie.
De uitrolhandleiding geeft een concreet voorbeeld van één stap waarvan het resultaat Thought en Action bevat, terwijl de desktopapplicatie van de repository een afzonderlijke uitvoeringsomgeving is. De ingestelde invoerlengte en het voorbeeldbudget voor uitvoer in de handleiding zijn uitrolinstellingen, geen universele uitspraak over de context of actielimiet van elke integratie. Stuur voor praktisch GUI-werk duidelijke, leesbare schermafbeeldingen met de bedieningselementen en omliggende context die voor de volgende beslissing nodig zijn. UI-TARS kan elementen verkeerd herkennen, onbekende interfaces onjuist beschrijven of een minder geschikte actie kiezen, vooral wanneer het scherm onduidelijk is; door na elke actie de nieuwe schermafbeelding te controleren blijven zulke fouten verbonden met de daadwerkelijke taakstatus.
POST /v1/chat/completionstexttext| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten bytedance/ui-tars-1.5-7b | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten Minimumaantal items: 1 | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten Voorbeelden: system, user, assistant, tool, function Voorwaarden: Deze rollen worden expliciet weergegeven door compatibiliteitstypen in de broncode; de exacte rollenverzameling van het model blijft modelspecifiek. Afhankelijk van het model | Standaard— |
Veldmessages[].content | Typestring|content_part[]|null | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_calls | Typetool_call[] | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_call_id | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: role=tool; gebruik het werkelijk teruggegeven ID | Standaard— |
Veldmessages[].name | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].reasoning_content | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: Stuur de werkelijk teruggegeven redeneringen terug wanneer dit model ze gebruikt | Standaard— |
Veldmessages[].reasoning_details | Typeobject|array | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmax_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldmax_completion_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Veldstream_options.include_usage | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtemperature | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtop_p | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldstop | Typestring|string[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools | Typefunction_tool[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools[].type | Typestring | VereisteOptioneel | Waarden en limieten function Afhankelijk van het model | Standaard— |
Veldtools[].function.name | Typestring | VereisteVereist | Waarden en limieten Geldt wanneer: functietool opgegeven | Standaard— |
Veldtools[].function.description | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtools[].function.parameters | TypeJSON_schema | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtool_choice | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldparallel_tool_calls | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldresponse_format | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning_effort | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldservice_tier | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldinstructions | Typestring | VereisteOptioneel | Waarden en limieten Compatibiliteitsveld | Standaard— |
Veldfunctions | Typefunction[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldfunction_call | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldprompt_cache_options | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmodalities | Typestring[] | VereisteOptioneel | Waarden en limieten text | Standaard— |
Veldprovider | Typeobject | VereisteOptioneel | Waarden en limieten Voorwaarden: provider.options wordt op deze Ultra-tekstroute geweigerd | Standaard— |
Veldcache_control.ttl | Typestring | VereisteOptioneel | Waarden en limieten Voorwaarden: 1h wordt op de daadwerkelijke locaties voor promptcaching geweigerd | Standaard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages |
Parametermaterial_types | Contracttext |
Parametermessages | Contractberichtenarray met de structuur role/content |
Parameterfile_material | Contractwerkelijk UTF-8-document ingevoegd als letterlijke tekst; er wordt geen bestands-ID afgeleid |
Parameteroptional_controls | Contractstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Contractmodelspecifiek; functietools van de gebruiker verschillen van gehoste tools |
Parameteroutput_modalities | Contracttext |
Parameterhosted_operations | Contractfalse |
Parametermultimodal_input_binding | Contractnull |
Levenscyclus: synchronous_or_streamed
Stuur het exacte model-ID mee met messages.
Contextlengte is geen uitvoerlimiet.
Een tekstbestand kan letterlijke tekst aanleveren; beeld-, audio- en bestandsobjectinvoer vereisen een exacte koppeling.
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
Koppel elke kostenpost aan de getoonde voorwaarden. Gebruik één tarief voor elke groep alternatieve configuraties.
| Configuratie | Tariefstaffel | Contexttokens, meer dan | Contexttokens, tot en met | Kosten |
|---|---|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Contexttokens, meer dan— | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.0002 / 1K tokens Uitvoer · Uitvoertokens $0.0004 / 1K tokens Invoer · Cache lezen $0.0002 / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
| ConfiguratieNiveau 1 voor aanvraaglengte | Tariefstaffel— | Contexttokens, meer dan0 | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.0002 / 1K tokens Uitvoer · Uitvoertokens $0.0004 / 1K tokens Invoer · Cache lezen $0.0002 / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "bytedance/ui-tars-1.5-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar elke keuze en de bijbehorende inhoud, toolaanroepen en redeneringen. Voeg in SSE delta’s samen per keuze-/toolindex en bewaar de uiteindelijke reden van beëindiging en de verbruiksgegevens.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldchoices[].index | Typeinteger |
Veldchoices[].message.content | Typestring|null |
Veldchoices[].message.tool_calls | Typetool_call[] |
Veldchoices[].message.reasoning_content | Typestring |
Veldchoices[].message.reasoning_details | Typeobject|array |
Veldchoices[].finish_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Gebruik de hierboven getoonde methodepaden.
bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B is het open multimodale model van ByteDance voor agents die computers bedienen. Het redeneert over schermafbeeldingen en een taak en produceert vervolgens de volgende GUI-actie die een applicatie moet uitvoeren; deze 7B-versie richt zich op algemeen computergebruik in plaats van optimalisatie voor games.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
UI-TARS-1.5-7B is het uitgebrachte multimodale 7B-model van ByteDance voor GUI-agents, gericht op algemeen computergebruik. Het combineert visuele waarneming van een interface met redeneren vóór handelen, voortbouwend op de oorspronkelijke UI-TARS-architectuur met reinforcement learning. De invoer in het officiële gebruiksproces bestaat uit een instructie, schermafbeeldingen en een actiegeschiedenis; de uitvoer beschrijft de volgende interfaceactie, vaak met een Thought die de bedoelde stap uitlegt. Een omringende applicatie voert die actie uit en levert de volgende schermafbeelding aan, zodat de taak kan doorgaan.
De ontwikkelaar onderscheidt dit downloadbare 7B-checkpoint van het grotere UI-TARS-1.5-onderzoeksmodel. De 7B-versie is niet specifiek geoptimaliseerd voor gamescenario’s; demonstraties en resultaten van het grotere onderzoeksmodel mogen daarom niet worden behandeld als gelijkwaardige mogelijkheden van deze editie. De praktische rol bestaat uit interactie met zichtbare bedieningselementen van applicaties: browsernavigatie, kantoorsoftware, bestandsbeheer en soortgelijke desktopprocessen. Een schermafbeelding lezen en een actie kiezen is iets anders dan een video genereren of onzichtbare applicatiestatus verkrijgen.
De officiële repository beschrijft actiesjablonen voor desktop en mobiel. Desktopacties omvatten klikken, dubbelklikken en rechtsklikken, slepen, sneltoetsen, tekstinvoer en scrollen, met wait- en finished-acties om een veranderend scherm te controleren of een taak te beëindigen. De mobiele sjabloon voegt bewerkingen toe zoals lang indrukken, een app openen en naar het beginscherm of terug navigeren. Een afzonderlijke grounding-sjabloon vraagt om een Action zonder Thought en is bedoeld voor lichte taken met actie-uitvoer. Kies de actiewoordenschat die de uitvoeringsomgeving daadwerkelijk begrijpt, in plaats van elke sjabloon als uitwisselbaar te behandelen.
Een bruikbare taakomschrijving noemt het doel, levert de huidige schermafbeelding en relevante actiegeschiedenis aan en definieert hoe afronding eruitziet. Een oorspronkelijke redactionele opdracht kan het model bijvoorbeeld vragen een genoemde instelling te vinden, deze op een opgegeven waarde te zetten en te stoppen zodra de nieuwe toestand zichtbaar is. Vraag om de volgende stap op basis van het huidige scherm in plaats van een lange speculatieve reeks. Houd instructies en eventuele grenzen aan toegestane handelingen expliciet; geef na een uitgevoerde stap het resulterende scherm terug, zodat verdere redenering waarnemingen gebruikt in plaats van aannames over wat er is gebeurd.
Coördinatenverwerking is een wezenlijk onderdeel van het officiële werkproces. De repository scheidt de modelvoorspelling van naverwerking die een actie parseert en het doel ervan naar het scherm vertaalt. De coördinatenhandleiding laat zien hoe coördinaten van de geschaalde afbeelding worden terugvertaald naar de oorspronkelijke afbeeldingsafmetingen. Bewaar de oorspronkelijke breedte en hoogte van de schermafbeelding en gebruik de coördinatenconventie van de exacte actiesjabloon en parser. Een locatie die in een geschaalde afbeelding aannemelijk lijkt, kan naar een ander bedieningselement wijzen wanneer deze direct op het niet-geschaalde scherm wordt toegepast. De actietekst van het model is daarom een te interpreteren instructie en geen al uitgevoerde muisactie.
De uitrolhandleiding geeft een concreet voorbeeld van één stap waarvan het resultaat Thought en Action bevat, terwijl de desktopapplicatie van de repository een afzonderlijke uitvoeringsomgeving is. De ingestelde invoerlengte en het voorbeeldbudget voor uitvoer in de handleiding zijn uitrolinstellingen, geen universele uitspraak over de context of actielimiet van elke integratie. Stuur voor praktisch GUI-werk duidelijke, leesbare schermafbeeldingen met de bedieningselementen en omliggende context die voor de volgende beslissing nodig zijn. UI-TARS kan elementen verkeerd herkennen, onbekende interfaces onjuist beschrijven of een minder geschikte actie kiezen, vooral wanneer het scherm onduidelijk is; door na elke actie de nieuwe schermafbeelding te controleren blijven zulke fouten verbonden met de daadwerkelijke taakstatus.
POST /v1/messagestextjson, sse| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten bytedance/ui-tars-1.5-7b | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten user, assistant | Standaard— |
Veldmessages[].content | Typestring | VereisteVereist | Waarden en limieten | Standaard— |
Veldmax_tokens | Typeinteger | VereisteVereist | Waarden en limieten | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Tekst · UTF-8-tekst
messages[].content als tekenreeks
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages, max_tokens |
Parameteroptional_controls | Contractstream |
Parametermaterial_types | Contracttext |
Parametertext_file_material | ContractLees het werkelijke UTF-8-document en plaats de tekst ervan in de aangegeven invoer of in de inhoudstekenreeks van een bericht. |
Levenscyclus: synchronous_or_streamed
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
Koppel elke kostenpost aan de getoonde voorwaarden. Gebruik één tarief voor elke groep alternatieve configuraties.
| Configuratie | Tariefstaffel | Contexttokens, meer dan | Contexttokens, tot en met | Kosten |
|---|---|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Contexttokens, meer dan— | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.0002 / 1K tokens Uitvoer · Uitvoertokens $0.0004 / 1K tokens Invoer · Cache lezen $0.0002 / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
| ConfiguratieNiveau 1 voor aanvraaglengte | Tariefstaffel— | Contexttokens, meer dan0 | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.0002 / 1K tokens Uitvoer · Uitvoertokens $0.0004 / 1K tokens Invoer · Cache lezen $0.0002 / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
{\n "model": "bytedance/ui-tars-1.5-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar alle inhoudsblokken, handtekeningen van redeneringen en werkelijke toolgebruik-ID’s. Voeg alle SSE-blokdelta’s samen; het eerste tekstblok is niet de volledige uitvoer.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldid | Typestring |
Veldmodel | Typestring |
Veldcontent[] | Typetext|thinking|tool_use|other content block |
Veldstop_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Gebruik de hierboven getoonde methodepaden.
Technisch voorbeeld in het Engels
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.