UI-TARS-1.5-7B ist ByteDances veröffentlichtes multimodales GUI-Agentenmodell mit 7B, das auf allgemeine Computernutzung ausgerichtet ist. Es verbindet visuelle Wahrnehmung einer Oberfläche mit einem Denkprozess vor der Aktion und baut auf der nativen UI-TARS-Architektur mit Reinforcement Learning auf. Die Eingaben im offiziellen Nutzungsablauf sind eine Anweisung, Screenshots und der Aktionsverlauf; die Ausgabe beschreibt die nächste Oberflächenaktion, häufig mit einem Thought, der den beabsichtigten Schritt erläutert. Eine umgebende Anwendung führt diese Aktion aus und liefert den nächsten Screenshot, damit die Aufgabe fortgesetzt werden kann.
Der Hersteller unterscheidet diesen herunterladbaren 7B-Checkpoint vom größeren Forschungsmodell UI-TARS-1.5. Die 7B-Version ist nicht speziell für spielbasierte Szenarien optimiert; Demonstrationen und Ergebnisse des größeren Forschungsmodells sind deshalb nicht als gleichwertige Fähigkeiten dieser Edition zu behandeln. Ihre praktische Rolle ist die Interaktion mit sichtbaren Anwendungssteuerelementen: Browsernavigation, Bürosoftware, Dateiverwaltung und ähnliche Desktop-Abläufe. Einen Screenshot zu lesen und eine Aktion auszuwählen unterscheidet sich vom Erzeugen eines Videos oder Beschaffen eines unsichtbaren Anwendungszustands.
Das offizielle Repository beschreibt Aktionsvorlagen für Desktop und Mobilgeräte. Desktop-Aktionen umfassen Klicks, Doppel- und Rechtsklicks, Ziehen, Tastenkombinationen, Texteingabe und Scrollen sowie die Aktionen wait und finished zum Prüfen eines sich ändernden Bildschirms oder Beenden einer Aufgabe. Die Mobilvorlage ergänzt Operationen wie langes Drücken, Öffnen einer App und Navigation zum Startbildschirm oder zurück. Eine separate Grounding-Vorlage fordert eine Action ohne Thought an und ist für einfache Aufgaben mit Aktionsausgabe gedacht. Wählen Sie das Aktionsvokabular, das die Ausführungsumgebung tatsächlich versteht, statt alle Vorlagen als austauschbar zu behandeln.
Ein hilfreiches Aufgabenbriefing nennt das Ziel, liefert den aktuellen Screenshot und den relevanten Aktionsverlauf und definiert den Abschlusszustand. Ein ursprüngliches redaktionelles Briefing könnte das Modell beispielsweise auffordern, eine benannte Einstellung zu finden, auf einen vorgegebenen Wert zu ändern und zu stoppen, sobald der neue Zustand sichtbar ist. Fordern Sie den nächsten Schritt anhand des aktuellen Bildschirms statt einer langen spekulativen Folge an. Halten Sie Anweisungen und Grenzen erlaubter Operationen ausdrücklich fest; geben Sie nach einem ausgeführten Schritt den entstandenen Bildschirm zurück, damit das weitere Schlussfolgern auf Beobachtungen statt Annahmen über das Geschehen beruht.
Die Koordinatenverarbeitung ist ein wesentlicher Teil des offiziellen Ablaufs. Das Repository trennt die Modellvorhersage von der Nachverarbeitung, die eine Aktion parst und ihr Ziel auf den Bildschirm abbildet. Seine Koordinatenanleitung zeigt die Rückumrechnung von Koordinaten aus einem skalierten Bild auf die ursprünglichen Bildabmessungen. Bewahren Sie ursprüngliche Screenshot-Breite und -Höhe und verwenden Sie die Koordinatenkonvention der genauen Aktionsvorlage und des Parsers. Eine in einem skalierten Bild plausible Position kann auf ein anderes Steuerelement zeigen, wenn sie direkt auf den unskalierten Bildschirm angewendet wird. Der Aktionstext des Modells ist deshalb eine zu interpretierende Anweisung und kein bereits ausgeführtes Mausereignis.
Die Bereitstellungsanleitung liefert ein konkretes Beispiel für einen einzelnen Schritt, dessen Ergebnis Thought und Action enthält; die Desktop-Anwendung des Repositorys ist eine separate Ausführungsoberfläche. Die in der Anleitung konfigurierte Eingabelänge und ihr beispielhaftes Ausgabebudget sind Bereitstellungseinstellungen und keine universelle Aussage über Kontext oder Aktionslimit jeder Integration. Senden Sie für praktische GUI-Arbeit klare, lesbare Screenshots mit den Steuerelementen und dem umgebenden Kontext, die für die nächste Entscheidung nötig sind. UI-TARS kann Elemente falsch erkennen, unbekannte Oberflächen fehlerhaft beschreiben oder eine suboptimale Aktion wählen, insbesondere bei mehrdeutigem Bildschirm; die Prüfung des neuen Screenshots nach jeder Aktion hält solche Fehler mit dem tatsächlichen Aufgabenstand verbunden.
", "aboutText": "UI-TARS-1.5-7B ist ByteDances veröffentlichtes multimodales GUI-Agentenmodell mit 7B, das auf allgemeine Computernutzung ausgerichtet ist. Es verbindet visuelle Wahrnehmung einer Oberfläche mit einem Denkprozess vor der Aktion und baut auf der nativen UI-TARS-Architektur mit Reinforcement Learning auf. Die Eingaben im offiziellen Nutzungsablauf sind eine Anweisung, Screenshots und der Aktionsverlauf; die Ausgabe beschreibt die nächste Oberflächenaktion, häufig mit einem Thought, der den beabsichtigten Schritt erläutert. Eine umgebende Anwendung führt diese Aktion aus und liefert den nächsten Screenshot, damit die Aufgabe fortgesetzt werden kann.\n\nDer Hersteller unterscheidet diesen herunterladbaren 7B-Checkpoint vom größeren Forschungsmodell UI-TARS-1.5. Die 7B-Version ist nicht speziell für spielbasierte Szenarien optimiert; Demonstrationen und Ergebnisse des größeren Forschungsmodells sind deshalb nicht als gleichwertige Fähigkeiten dieser Edition zu behandeln. Ihre praktische Rolle ist die Interaktion mit sichtbaren Anwendungssteuerelementen: Browsernavigation, Bürosoftware, Dateiverwaltung und ähnliche Desktop-Abläufe. Einen Screenshot zu lesen und eine Aktion auszuwählen unterscheidet sich vom Erzeugen eines Videos oder Beschaffen eines unsichtbaren Anwendungszustands.\n\nDas offizielle Repository beschreibt Aktionsvorlagen für Desktop und Mobilgeräte. Desktop-Aktionen umfassen Klicks, Doppel- und Rechtsklicks, Ziehen, Tastenkombinationen, Texteingabe und Scrollen sowie die Aktionen wait und finished zum Prüfen eines sich ändernden Bildschirms oder Beenden einer Aufgabe. Die Mobilvorlage ergänzt Operationen wie langes Drücken, Öffnen einer App und Navigation zum Startbildschirm oder zurück. Eine separate Grounding-Vorlage fordert eine Action ohne Thought an und ist für einfache Aufgaben mit Aktionsausgabe gedacht. Wählen Sie das Aktionsvokabular, das die Ausführungsumgebung tatsächlich versteht, statt alle Vorlagen als austauschbar zu behandeln.\n\nEin hilfreiches Aufgabenbriefing nennt das Ziel, liefert den aktuellen Screenshot und den relevanten Aktionsverlauf und definiert den Abschlusszustand. Ein ursprüngliches redaktionelles Briefing könnte das Modell beispielsweise auffordern, eine benannte Einstellung zu finden, auf einen vorgegebenen Wert zu ändern und zu stoppen, sobald der neue Zustand sichtbar ist. Fordern Sie den nächsten Schritt anhand des aktuellen Bildschirms statt einer langen spekulativen Folge an. Halten Sie Anweisungen und Grenzen erlaubter Operationen ausdrücklich fest; geben Sie nach einem ausgeführten Schritt den entstandenen Bildschirm zurück, damit das weitere Schlussfolgern auf Beobachtungen statt Annahmen über das Geschehen beruht.\n\nDie Koordinatenverarbeitung ist ein wesentlicher Teil des offiziellen Ablaufs. Das Repository trennt die Modellvorhersage von der Nachverarbeitung, die eine Aktion parst und ihr Ziel auf den Bildschirm abbildet. Seine Koordinatenanleitung zeigt die Rückumrechnung von Koordinaten aus einem skalierten Bild auf die ursprünglichen Bildabmessungen. Bewahren Sie ursprüngliche Screenshot-Breite und -Höhe und verwenden Sie die Koordinatenkonvention der genauen Aktionsvorlage und des Parsers. Eine in einem skalierten Bild plausible Position kann auf ein anderes Steuerelement zeigen, wenn sie direkt auf den unskalierten Bildschirm angewendet wird. Der Aktionstext des Modells ist deshalb eine zu interpretierende Anweisung und kein bereits ausgeführtes Mausereignis.\n\nDie Bereitstellungsanleitung liefert ein konkretes Beispiel für einen einzelnen Schritt, dessen Ergebnis Thought und Action enthält; die Desktop-Anwendung des Repositorys ist eine separate Ausführungsoberfläche. Die in der Anleitung konfigurierte Eingabelänge und ihr beispielhaftes Ausgabebudget sind Bereitstellungseinstellungen und keine universelle Aussage über Kontext oder Aktionslimit jeder Integration. Senden Sie für praktische GUI-Arbeit klare, lesbare Screenshots mit den Steuerelementen und dem umgebenden Kontext, die für die nächste Entscheidung nötig sind. UI-TARS kann Elemente falsch erkennen, unbekannte Oberflächen fehlerhaft beschreiben oder eine suboptimale Aktion wählen, insbesondere bei mehrdeutigem Bildschirm; die Prüfung des neuen Screenshots nach jeder Aktion hält solche Fehler mit dem tatsächlichen Aufgabenstand verbunden.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisches Beispiel auf Englisch
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B ist ByteDances offenes multimodales Modell für Agenten zur Computernutzung. Es verarbeitet Screenshots und eine Aufgabe in einem Denkprozess und erzeugt anschließend die nächste GUI-Aktion zur Ausführung durch eine Anwendung; diese 7B-Version konzentriert sich auf allgemeine Computernutzung statt auf Spieleoptimierung.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
UI-TARS-1.5-7B ist ByteDances veröffentlichtes multimodales GUI-Agentenmodell mit 7B, das auf allgemeine Computernutzung ausgerichtet ist. Es verbindet visuelle Wahrnehmung einer Oberfläche mit einem Denkprozess vor der Aktion und baut auf der nativen UI-TARS-Architektur mit Reinforcement Learning auf. Die Eingaben im offiziellen Nutzungsablauf sind eine Anweisung, Screenshots und der Aktionsverlauf; die Ausgabe beschreibt die nächste Oberflächenaktion, häufig mit einem Thought, der den beabsichtigten Schritt erläutert. Eine umgebende Anwendung führt diese Aktion aus und liefert den nächsten Screenshot, damit die Aufgabe fortgesetzt werden kann.
Der Hersteller unterscheidet diesen herunterladbaren 7B-Checkpoint vom größeren Forschungsmodell UI-TARS-1.5. Die 7B-Version ist nicht speziell für spielbasierte Szenarien optimiert; Demonstrationen und Ergebnisse des größeren Forschungsmodells sind deshalb nicht als gleichwertige Fähigkeiten dieser Edition zu behandeln. Ihre praktische Rolle ist die Interaktion mit sichtbaren Anwendungssteuerelementen: Browsernavigation, Bürosoftware, Dateiverwaltung und ähnliche Desktop-Abläufe. Einen Screenshot zu lesen und eine Aktion auszuwählen unterscheidet sich vom Erzeugen eines Videos oder Beschaffen eines unsichtbaren Anwendungszustands.
Das offizielle Repository beschreibt Aktionsvorlagen für Desktop und Mobilgeräte. Desktop-Aktionen umfassen Klicks, Doppel- und Rechtsklicks, Ziehen, Tastenkombinationen, Texteingabe und Scrollen sowie die Aktionen wait und finished zum Prüfen eines sich ändernden Bildschirms oder Beenden einer Aufgabe. Die Mobilvorlage ergänzt Operationen wie langes Drücken, Öffnen einer App und Navigation zum Startbildschirm oder zurück. Eine separate Grounding-Vorlage fordert eine Action ohne Thought an und ist für einfache Aufgaben mit Aktionsausgabe gedacht. Wählen Sie das Aktionsvokabular, das die Ausführungsumgebung tatsächlich versteht, statt alle Vorlagen als austauschbar zu behandeln.
Ein hilfreiches Aufgabenbriefing nennt das Ziel, liefert den aktuellen Screenshot und den relevanten Aktionsverlauf und definiert den Abschlusszustand. Ein ursprüngliches redaktionelles Briefing könnte das Modell beispielsweise auffordern, eine benannte Einstellung zu finden, auf einen vorgegebenen Wert zu ändern und zu stoppen, sobald der neue Zustand sichtbar ist. Fordern Sie den nächsten Schritt anhand des aktuellen Bildschirms statt einer langen spekulativen Folge an. Halten Sie Anweisungen und Grenzen erlaubter Operationen ausdrücklich fest; geben Sie nach einem ausgeführten Schritt den entstandenen Bildschirm zurück, damit das weitere Schlussfolgern auf Beobachtungen statt Annahmen über das Geschehen beruht.
Die Koordinatenverarbeitung ist ein wesentlicher Teil des offiziellen Ablaufs. Das Repository trennt die Modellvorhersage von der Nachverarbeitung, die eine Aktion parst und ihr Ziel auf den Bildschirm abbildet. Seine Koordinatenanleitung zeigt die Rückumrechnung von Koordinaten aus einem skalierten Bild auf die ursprünglichen Bildabmessungen. Bewahren Sie ursprüngliche Screenshot-Breite und -Höhe und verwenden Sie die Koordinatenkonvention der genauen Aktionsvorlage und des Parsers. Eine in einem skalierten Bild plausible Position kann auf ein anderes Steuerelement zeigen, wenn sie direkt auf den unskalierten Bildschirm angewendet wird. Der Aktionstext des Modells ist deshalb eine zu interpretierende Anweisung und kein bereits ausgeführtes Mausereignis.
Die Bereitstellungsanleitung liefert ein konkretes Beispiel für einen einzelnen Schritt, dessen Ergebnis Thought und Action enthält; die Desktop-Anwendung des Repositorys ist eine separate Ausführungsoberfläche. Die in der Anleitung konfigurierte Eingabelänge und ihr beispielhaftes Ausgabebudget sind Bereitstellungseinstellungen und keine universelle Aussage über Kontext oder Aktionslimit jeder Integration. Senden Sie für praktische GUI-Arbeit klare, lesbare Screenshots mit den Steuerelementen und dem umgebenden Kontext, die für die nächste Entscheidung nötig sind. UI-TARS kann Elemente falsch erkennen, unbekannte Oberflächen fehlerhaft beschreiben oder eine suboptimale Aktion wählen, insbesondere bei mehrdeutigem Bildschirm; die Prüfung des neuen Screenshots nach jeder Aktion hält solche Fehler mit dem tatsächlichen Aufgabenstand verbunden.
POST /v1/chat/completionstexttext| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits bytedance/ui-tars-1.5-7b | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits Beispiele: system, user, assistant, tool, function Bedingungen: Diese Rollen sind in den Kompatibilitätstypen des Quellcodes ausdrücklich dargestellt; der genaue Rollenumfang bleibt modellspezifisch. Modellabhängig | Standard— |
Feldmessages[].content | Typstring|content_part[]|null | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_calls | Typtool_call[] | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_call_id | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: role=tool; die tatsächlich zurückgegebene ID verwenden | Standard— |
Feldmessages[].name | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].reasoning_content | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: Tatsächlich zurückgegebene Reasoning-Daten erneut übermitteln, sofern dieses Modell sie verwendet | Standard— |
Feldmessages[].reasoning_details | Typobject|array | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmax_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldmax_completion_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Feldstream_options.include_usage | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtemperature | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtop_p | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldstop | Typstring|string[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools | Typfunction_tool[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools[].type | Typstring | AnforderungOptional | Werte und Limits function Modellabhängig | Standard— |
Feldtools[].function.name | Typstring | AnforderungErforderlich | Werte und Limits Gilt, wenn: Funktionswerkzeug bereitgestellt | Standard— |
Feldtools[].function.description | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldtools[].function.parameters | TypJSON_schema | AnforderungOptional | Werte und Limits | Standard— |
Feldtool_choice | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldparallel_tool_calls | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldresponse_format | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning_effort | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldservice_tier | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldinstructions | Typstring | AnforderungOptional | Werte und Limits Kompatibilitätsfeld | Standard— |
Feldfunctions | Typfunction[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldfunction_call | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldprompt_cache_options | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmodalities | Typstring[] | AnforderungOptional | Werte und Limits text | Standard— |
Feldprovider | Typobject | AnforderungOptional | Werte und Limits Bedingungen: provider.options wird auf dieser Ultra-Textroute abgelehnt | Standard— |
Feldcache_control.ttl | Typstring | AnforderungOptional | Werte und Limits Bedingungen: 1h wird in den tatsächlichen Prompt-Cache-Feldern abgelehnt | Standard— |
Text · UTF8-Text
messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages |
Parametermaterial_types | Vertragtext |
Parametermessages | VertragNachrichtenarray mit role/content-Struktur |
Parameterfile_material | VertragTatsächliches UTF-8-Dokument als wörtlicher Text eingefügt; keine Datei-ID abgeleitet |
Parameteroptional_controls | Vertragstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | VertragModellspezifisch; benutzerseitige Funktionswerkzeuge unterscheiden sich von gehosteten Werkzeugen |
Parameteroutput_modalities | Vertragtext |
Parameterhosted_operations | Vertragfalse |
Parametermultimodal_input_binding | Vertragnull |
Lebenszyklus: synchronous_or_streamed
Die genaue Modell-ID zusammen mit messages senden.
Die Kontextlänge ist keine Ausgabeobergrenze.
Eine Textdatei kann wörtlichen Text liefern; Bild-, Audio- und Dateiobjekteingaben benötigen eine exakte Zuordnung.
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif.
| Konfiguration | Tarifstaffel | Kontexttoken, mehr als | Kontexttoken, bis einschließlich | Gebühr |
|---|---|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Kontexttoken, mehr als— | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.0002 / 1K Token Ausgabe · Ausgabetoken $0.0004 / 1K Token Eingabe · Cache-Lesen $0.0002 / 1K Token Eingabe · Cache-Schreiben — / 1K Token Eingabe · Cache-Schreiben, 1 Stunde — / 1K Token |
| KonfigurationAnfragelängenstufe 1 | Tarifstaffel— | Kontexttoken, mehr als0 | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.0002 / 1K Token Ausgabe · Ausgabetoken $0.0004 / 1K Token Eingabe · Cache-Lesen $0.0002 / 1K Token Eingabe · Cache-Schreiben — / 1K Token Eingabe · Cache-Schreiben, 1 Stunde — / 1K Token |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "bytedance/ui-tars-1.5-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Antwortvarianten mit ihren Inhalten, Werkzeugaufrufen und Reasoning-Daten beibehalten. In SSE die Deltas nach Varianten- und Werkzeugindex zusammensetzen; endgültigen Beendigungsgrund und Verbrauchsdaten beibehalten.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldchoices[].index | Typinteger |
Feldchoices[].message.content | Typstring|null |
Feldchoices[].message.tool_calls | Typtool_call[] |
Feldchoices[].message.reasoning_content | Typstring |
Feldchoices[].message.reasoning_details | Typobject|array |
Feldchoices[].finish_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Verwenden Sie die oben angezeigten Methodenpfade.
bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B ist ByteDances offenes multimodales Modell für Agenten zur Computernutzung. Es verarbeitet Screenshots und eine Aufgabe in einem Denkprozess und erzeugt anschließend die nächste GUI-Aktion zur Ausführung durch eine Anwendung; diese 7B-Version konzentriert sich auf allgemeine Computernutzung statt auf Spieleoptimierung.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
UI-TARS-1.5-7B ist ByteDances veröffentlichtes multimodales GUI-Agentenmodell mit 7B, das auf allgemeine Computernutzung ausgerichtet ist. Es verbindet visuelle Wahrnehmung einer Oberfläche mit einem Denkprozess vor der Aktion und baut auf der nativen UI-TARS-Architektur mit Reinforcement Learning auf. Die Eingaben im offiziellen Nutzungsablauf sind eine Anweisung, Screenshots und der Aktionsverlauf; die Ausgabe beschreibt die nächste Oberflächenaktion, häufig mit einem Thought, der den beabsichtigten Schritt erläutert. Eine umgebende Anwendung führt diese Aktion aus und liefert den nächsten Screenshot, damit die Aufgabe fortgesetzt werden kann.
Der Hersteller unterscheidet diesen herunterladbaren 7B-Checkpoint vom größeren Forschungsmodell UI-TARS-1.5. Die 7B-Version ist nicht speziell für spielbasierte Szenarien optimiert; Demonstrationen und Ergebnisse des größeren Forschungsmodells sind deshalb nicht als gleichwertige Fähigkeiten dieser Edition zu behandeln. Ihre praktische Rolle ist die Interaktion mit sichtbaren Anwendungssteuerelementen: Browsernavigation, Bürosoftware, Dateiverwaltung und ähnliche Desktop-Abläufe. Einen Screenshot zu lesen und eine Aktion auszuwählen unterscheidet sich vom Erzeugen eines Videos oder Beschaffen eines unsichtbaren Anwendungszustands.
Das offizielle Repository beschreibt Aktionsvorlagen für Desktop und Mobilgeräte. Desktop-Aktionen umfassen Klicks, Doppel- und Rechtsklicks, Ziehen, Tastenkombinationen, Texteingabe und Scrollen sowie die Aktionen wait und finished zum Prüfen eines sich ändernden Bildschirms oder Beenden einer Aufgabe. Die Mobilvorlage ergänzt Operationen wie langes Drücken, Öffnen einer App und Navigation zum Startbildschirm oder zurück. Eine separate Grounding-Vorlage fordert eine Action ohne Thought an und ist für einfache Aufgaben mit Aktionsausgabe gedacht. Wählen Sie das Aktionsvokabular, das die Ausführungsumgebung tatsächlich versteht, statt alle Vorlagen als austauschbar zu behandeln.
Ein hilfreiches Aufgabenbriefing nennt das Ziel, liefert den aktuellen Screenshot und den relevanten Aktionsverlauf und definiert den Abschlusszustand. Ein ursprüngliches redaktionelles Briefing könnte das Modell beispielsweise auffordern, eine benannte Einstellung zu finden, auf einen vorgegebenen Wert zu ändern und zu stoppen, sobald der neue Zustand sichtbar ist. Fordern Sie den nächsten Schritt anhand des aktuellen Bildschirms statt einer langen spekulativen Folge an. Halten Sie Anweisungen und Grenzen erlaubter Operationen ausdrücklich fest; geben Sie nach einem ausgeführten Schritt den entstandenen Bildschirm zurück, damit das weitere Schlussfolgern auf Beobachtungen statt Annahmen über das Geschehen beruht.
Die Koordinatenverarbeitung ist ein wesentlicher Teil des offiziellen Ablaufs. Das Repository trennt die Modellvorhersage von der Nachverarbeitung, die eine Aktion parst und ihr Ziel auf den Bildschirm abbildet. Seine Koordinatenanleitung zeigt die Rückumrechnung von Koordinaten aus einem skalierten Bild auf die ursprünglichen Bildabmessungen. Bewahren Sie ursprüngliche Screenshot-Breite und -Höhe und verwenden Sie die Koordinatenkonvention der genauen Aktionsvorlage und des Parsers. Eine in einem skalierten Bild plausible Position kann auf ein anderes Steuerelement zeigen, wenn sie direkt auf den unskalierten Bildschirm angewendet wird. Der Aktionstext des Modells ist deshalb eine zu interpretierende Anweisung und kein bereits ausgeführtes Mausereignis.
Die Bereitstellungsanleitung liefert ein konkretes Beispiel für einen einzelnen Schritt, dessen Ergebnis Thought und Action enthält; die Desktop-Anwendung des Repositorys ist eine separate Ausführungsoberfläche. Die in der Anleitung konfigurierte Eingabelänge und ihr beispielhaftes Ausgabebudget sind Bereitstellungseinstellungen und keine universelle Aussage über Kontext oder Aktionslimit jeder Integration. Senden Sie für praktische GUI-Arbeit klare, lesbare Screenshots mit den Steuerelementen und dem umgebenden Kontext, die für die nächste Entscheidung nötig sind. UI-TARS kann Elemente falsch erkennen, unbekannte Oberflächen fehlerhaft beschreiben oder eine suboptimale Aktion wählen, insbesondere bei mehrdeutigem Bildschirm; die Prüfung des neuen Screenshots nach jeder Aktion hält solche Fehler mit dem tatsächlichen Aufgabenstand verbunden.
POST /v1/messagestextjson, sse| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits bytedance/ui-tars-1.5-7b | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits user, assistant | Standard— |
Feldmessages[].content | Typstring | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmax_tokens | Typinteger | AnforderungErforderlich | Werte und Limits | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Text · UTF-8-Text
Zeichenfolge messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages, max_tokens |
Parameteroptional_controls | Vertragstream |
Parametermaterial_types | Vertragtext |
Parametertext_file_material | VertragDas tatsächliche UTF-8-Dokument lesen und seinen Text in die angegebene Zeichenfolge für Eingabe oder Nachrichteninhalt einfügen. |
Lebenszyklus: synchronous_or_streamed
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif.
| Konfiguration | Tarifstaffel | Kontexttoken, mehr als | Kontexttoken, bis einschließlich | Gebühr |
|---|---|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Kontexttoken, mehr als— | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.0002 / 1K Token Ausgabe · Ausgabetoken $0.0004 / 1K Token Eingabe · Cache-Lesen $0.0002 / 1K Token Eingabe · Cache-Schreiben — / 1K Token Eingabe · Cache-Schreiben, 1 Stunde — / 1K Token |
| KonfigurationAnfragelängenstufe 1 | Tarifstaffel— | Kontexttoken, mehr als0 | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.0002 / 1K Token Ausgabe · Ausgabetoken $0.0004 / 1K Token Eingabe · Cache-Lesen $0.0002 / 1K Token Eingabe · Cache-Schreiben — / 1K Token Eingabe · Cache-Schreiben, 1 Stunde — / 1K Token |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
{\n "model": "bytedance/ui-tars-1.5-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Inhaltsblöcke, Thinking-Signaturen und tatsächlichen Werkzeugaufruf-IDs beibehalten. Alle SSE-Blockdeltas zusammensetzen; der erste Textblock ist nicht die vollständige Ausgabe.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldid | Typstring |
Feldmodel | Typstring |
Feldcontent[] | Typtext|thinking|tool_use|other content block |
Feldstop_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Verwenden Sie die oben angezeigten Methodenpfade.
Technisches Beispiel auf Englisch
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.