UI-TARS-1.5-7B ist ByteDances veröffentlichtes multimodales 7B-Modell für GUI-Agenten mit Schwerpunkt auf allgemeiner Computerbedienung. Es verbindet die visuelle Wahrnehmung einer Oberfläche mit einem Denkprozess vor der Aktion und baut mit Reinforcement Learning auf der nativen UI-TARS-Architektur auf. Die Eingaben im offiziellen Anwendungsablauf sind eine Anweisung, Screenshots und der Aktionsverlauf; die Ausgabe beschreibt die nächste Oberflächenaktion, oft mit einem Thought, der den beabsichtigten Schritt erklärt. Eine umgebende Anwendung führt diese Aktion aus und liefert den nächsten Screenshot, damit die Aufgabe fortgesetzt werden kann.
Der Hersteller unterscheidet diesen herunterladbaren 7B-Checkpoint vom größeren Forschungsmodell UI-TARS-1.5. Die 7B-Veröffentlichung ist nicht speziell für spielbasierte Szenarien optimiert; Demonstrationen und Ergebnisse des größeren Forschungsmodells sollten daher nicht als gleichwertige Fähigkeiten dieser Edition behandelt werden. Ihre praktische Rolle ist die Interaktion mit sichtbaren Bedienelementen von Anwendungen: Browsernavigation, Bürosoftware, Dateiverwaltung und ähnliche Desktop-Abläufe. Einen Screenshot zu lesen und eine Aktion zu wählen unterscheidet sich vom Erzeugen eines Videos oder dem Abrufen unsichtbarer Anwendungszustände.
Das offizielle Repository beschreibt Aktionsvorlagen für Desktop und Mobilgeräte. Desktop-Aktionen umfassen Klicks, Doppel- und Rechtsklicks, Ziehen, Tastenkombinationen, Texteingabe und Scrollen sowie wait und finished, um einen sich verändernden Bildschirm zu prüfen oder eine Aufgabe zu beenden. Die mobile Vorlage ergänzt Operationen wie langes Drücken, das Öffnen einer App und die Navigation zum Startbildschirm oder zurück. Eine separate Grounding-Vorlage verlangt eine Action ohne Thought und ist für einfache Aufgaben mit Aktionsausgabe gedacht. Wählen Sie das Aktionsvokabular, das die Ausführungsumgebung tatsächlich versteht, statt alle Vorlagen als austauschbar zu behandeln.
Ein hilfreicher Aufgabenauftrag nennt das Ziel, liefert den aktuellen Screenshot und den relevanten Aktionsverlauf und definiert den Abschluss. Ein eigens formulierter redaktioneller Auftrag könnte das Modell beispielsweise auffordern, eine benannte Einstellung zu finden, sie auf einen festgelegten Wert zu ändern und anzuhalten, sobald der neue Zustand sichtbar ist. Fordern Sie den nächsten Schritt anhand des aktuellen Bildschirms statt einer langen spekulativen Abfolge an. Halten Sie Anweisungen und Grenzen erlaubter Operationen ausdrücklich fest; geben Sie nach einem ausgeführten Schritt den resultierenden Bildschirm zurück, damit das weitere Schlussfolgern Beobachtungen statt Annahmen über das Geschehen verwendet.
Der Umgang mit Koordinaten ist ein wesentlicher Teil des offiziellen Ablaufs. Das Repository trennt die Modellvorhersage von der Nachverarbeitung, die eine Aktion parst und ihr Ziel dem Bildschirm zuordnet. Sein Koordinatenleitfaden zeigt die Umrechnung von Koordinaten aus dem skalierten Bild auf die ursprünglichen Bildabmessungen. Bewahren Sie Breite und Höhe des ursprünglichen Screenshots und verwenden Sie die Koordinatenkonvention der genauen Aktionsvorlage und des Parsers. Eine im skalierten Bild plausible Position kann auf ein anderes Bedienelement zeigen, wenn sie direkt auf den unskalierten Bildschirm angewendet wird. Der Aktionstext des Modells ist daher eine zu interpretierende Anweisung, kein bereits ausgeführtes Mausereignis.
Der Bereitstellungsleitfaden liefert ein konkretes Beispiel für einen einzelnen Schritt, dessen Ergebnis Thought und Action enthält; die Desktop-Anwendung des Repositorys ist eine separate Ausführungsoberfläche. Die konfigurierte Eingabelänge und das beispielhafte Ausgabebudget des Leitfadens sind Bereitstellungseinstellungen, keine universelle Aussage zum Kontext oder Aktionslimit jeder Integration. Senden Sie für praktische GUI-Arbeit klare, lesbare Screenshots mit den Bedienelementen und dem umgebenden Kontext, die für die nächste Entscheidung nötig sind. UI-TARS kann Elemente falsch identifizieren, unbekannte Oberflächen fehlerhaft beschreiben oder eine suboptimale Aktion wählen, besonders bei uneindeutigem Bildschirm; die Prüfung des neuen Screenshots nach jeder Aktion hält diese Fehler mit dem tatsächlichen Aufgabenstand verbunden.
", "aboutText": "UI-TARS-1.5-7B ist ByteDances veröffentlichtes multimodales 7B-Modell für GUI-Agenten mit Schwerpunkt auf allgemeiner Computerbedienung. Es verbindet die visuelle Wahrnehmung einer Oberfläche mit einem Denkprozess vor der Aktion und baut mit Reinforcement Learning auf der nativen UI-TARS-Architektur auf. Die Eingaben im offiziellen Anwendungsablauf sind eine Anweisung, Screenshots und der Aktionsverlauf; die Ausgabe beschreibt die nächste Oberflächenaktion, oft mit einem Thought, der den beabsichtigten Schritt erklärt. Eine umgebende Anwendung führt diese Aktion aus und liefert den nächsten Screenshot, damit die Aufgabe fortgesetzt werden kann.\n\nDer Hersteller unterscheidet diesen herunterladbaren 7B-Checkpoint vom größeren Forschungsmodell UI-TARS-1.5. Die 7B-Veröffentlichung ist nicht speziell für spielbasierte Szenarien optimiert; Demonstrationen und Ergebnisse des größeren Forschungsmodells sollten daher nicht als gleichwertige Fähigkeiten dieser Edition behandelt werden. Ihre praktische Rolle ist die Interaktion mit sichtbaren Bedienelementen von Anwendungen: Browsernavigation, Bürosoftware, Dateiverwaltung und ähnliche Desktop-Abläufe. Einen Screenshot zu lesen und eine Aktion zu wählen unterscheidet sich vom Erzeugen eines Videos oder dem Abrufen unsichtbarer Anwendungszustände.\n\nDas offizielle Repository beschreibt Aktionsvorlagen für Desktop und Mobilgeräte. Desktop-Aktionen umfassen Klicks, Doppel- und Rechtsklicks, Ziehen, Tastenkombinationen, Texteingabe und Scrollen sowie wait und finished, um einen sich verändernden Bildschirm zu prüfen oder eine Aufgabe zu beenden. Die mobile Vorlage ergänzt Operationen wie langes Drücken, das Öffnen einer App und die Navigation zum Startbildschirm oder zurück. Eine separate Grounding-Vorlage verlangt eine Action ohne Thought und ist für einfache Aufgaben mit Aktionsausgabe gedacht. Wählen Sie das Aktionsvokabular, das die Ausführungsumgebung tatsächlich versteht, statt alle Vorlagen als austauschbar zu behandeln.\n\nEin hilfreicher Aufgabenauftrag nennt das Ziel, liefert den aktuellen Screenshot und den relevanten Aktionsverlauf und definiert den Abschluss. Ein eigens formulierter redaktioneller Auftrag könnte das Modell beispielsweise auffordern, eine benannte Einstellung zu finden, sie auf einen festgelegten Wert zu ändern und anzuhalten, sobald der neue Zustand sichtbar ist. Fordern Sie den nächsten Schritt anhand des aktuellen Bildschirms statt einer langen spekulativen Abfolge an. Halten Sie Anweisungen und Grenzen erlaubter Operationen ausdrücklich fest; geben Sie nach einem ausgeführten Schritt den resultierenden Bildschirm zurück, damit das weitere Schlussfolgern Beobachtungen statt Annahmen über das Geschehen verwendet.\n\nDer Umgang mit Koordinaten ist ein wesentlicher Teil des offiziellen Ablaufs. Das Repository trennt die Modellvorhersage von der Nachverarbeitung, die eine Aktion parst und ihr Ziel dem Bildschirm zuordnet. Sein Koordinatenleitfaden zeigt die Umrechnung von Koordinaten aus dem skalierten Bild auf die ursprünglichen Bildabmessungen. Bewahren Sie Breite und Höhe des ursprünglichen Screenshots und verwenden Sie die Koordinatenkonvention der genauen Aktionsvorlage und des Parsers. Eine im skalierten Bild plausible Position kann auf ein anderes Bedienelement zeigen, wenn sie direkt auf den unskalierten Bildschirm angewendet wird. Der Aktionstext des Modells ist daher eine zu interpretierende Anweisung, kein bereits ausgeführtes Mausereignis.\n\nDer Bereitstellungsleitfaden liefert ein konkretes Beispiel für einen einzelnen Schritt, dessen Ergebnis Thought und Action enthält; die Desktop-Anwendung des Repositorys ist eine separate Ausführungsoberfläche. Die konfigurierte Eingabelänge und das beispielhafte Ausgabebudget des Leitfadens sind Bereitstellungseinstellungen, keine universelle Aussage zum Kontext oder Aktionslimit jeder Integration. Senden Sie für praktische GUI-Arbeit klare, lesbare Screenshots mit den Bedienelementen und dem umgebenden Kontext, die für die nächste Entscheidung nötig sind. UI-TARS kann Elemente falsch identifizieren, unbekannte Oberflächen fehlerhaft beschreiben oder eine suboptimale Aktion wählen, besonders bei uneindeutigem Bildschirm; die Prüfung des neuen Screenshots nach jeder Aktion hält diese Fehler mit dem tatsächlichen Aufgabenstand verbunden.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisches Beispiel auf Englisch
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B ist ByteDances offenes multimodales Modell für Agenten zur Computerbedienung. Es leitet aus Screenshots und einer Aufgabe den nächsten GUI-Schritt ab, den eine Anwendung ausführt; diese 7B-Veröffentlichung konzentriert sich auf allgemeine Computerbedienung statt auf Spieloptimierung.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
UI-TARS-1.5-7B ist ByteDances veröffentlichtes multimodales 7B-Modell für GUI-Agenten mit Schwerpunkt auf allgemeiner Computerbedienung. Es verbindet die visuelle Wahrnehmung einer Oberfläche mit einem Denkprozess vor der Aktion und baut mit Reinforcement Learning auf der nativen UI-TARS-Architektur auf. Die Eingaben im offiziellen Anwendungsablauf sind eine Anweisung, Screenshots und der Aktionsverlauf; die Ausgabe beschreibt die nächste Oberflächenaktion, oft mit einem Thought, der den beabsichtigten Schritt erklärt. Eine umgebende Anwendung führt diese Aktion aus und liefert den nächsten Screenshot, damit die Aufgabe fortgesetzt werden kann.
Der Hersteller unterscheidet diesen herunterladbaren 7B-Checkpoint vom größeren Forschungsmodell UI-TARS-1.5. Die 7B-Veröffentlichung ist nicht speziell für spielbasierte Szenarien optimiert; Demonstrationen und Ergebnisse des größeren Forschungsmodells sollten daher nicht als gleichwertige Fähigkeiten dieser Edition behandelt werden. Ihre praktische Rolle ist die Interaktion mit sichtbaren Bedienelementen von Anwendungen: Browsernavigation, Bürosoftware, Dateiverwaltung und ähnliche Desktop-Abläufe. Einen Screenshot zu lesen und eine Aktion zu wählen unterscheidet sich vom Erzeugen eines Videos oder dem Abrufen unsichtbarer Anwendungszustände.
Das offizielle Repository beschreibt Aktionsvorlagen für Desktop und Mobilgeräte. Desktop-Aktionen umfassen Klicks, Doppel- und Rechtsklicks, Ziehen, Tastenkombinationen, Texteingabe und Scrollen sowie wait und finished, um einen sich verändernden Bildschirm zu prüfen oder eine Aufgabe zu beenden. Die mobile Vorlage ergänzt Operationen wie langes Drücken, das Öffnen einer App und die Navigation zum Startbildschirm oder zurück. Eine separate Grounding-Vorlage verlangt eine Action ohne Thought und ist für einfache Aufgaben mit Aktionsausgabe gedacht. Wählen Sie das Aktionsvokabular, das die Ausführungsumgebung tatsächlich versteht, statt alle Vorlagen als austauschbar zu behandeln.
Ein hilfreicher Aufgabenauftrag nennt das Ziel, liefert den aktuellen Screenshot und den relevanten Aktionsverlauf und definiert den Abschluss. Ein eigens formulierter redaktioneller Auftrag könnte das Modell beispielsweise auffordern, eine benannte Einstellung zu finden, sie auf einen festgelegten Wert zu ändern und anzuhalten, sobald der neue Zustand sichtbar ist. Fordern Sie den nächsten Schritt anhand des aktuellen Bildschirms statt einer langen spekulativen Abfolge an. Halten Sie Anweisungen und Grenzen erlaubter Operationen ausdrücklich fest; geben Sie nach einem ausgeführten Schritt den resultierenden Bildschirm zurück, damit das weitere Schlussfolgern Beobachtungen statt Annahmen über das Geschehen verwendet.
Der Umgang mit Koordinaten ist ein wesentlicher Teil des offiziellen Ablaufs. Das Repository trennt die Modellvorhersage von der Nachverarbeitung, die eine Aktion parst und ihr Ziel dem Bildschirm zuordnet. Sein Koordinatenleitfaden zeigt die Umrechnung von Koordinaten aus dem skalierten Bild auf die ursprünglichen Bildabmessungen. Bewahren Sie Breite und Höhe des ursprünglichen Screenshots und verwenden Sie die Koordinatenkonvention der genauen Aktionsvorlage und des Parsers. Eine im skalierten Bild plausible Position kann auf ein anderes Bedienelement zeigen, wenn sie direkt auf den unskalierten Bildschirm angewendet wird. Der Aktionstext des Modells ist daher eine zu interpretierende Anweisung, kein bereits ausgeführtes Mausereignis.
Der Bereitstellungsleitfaden liefert ein konkretes Beispiel für einen einzelnen Schritt, dessen Ergebnis Thought und Action enthält; die Desktop-Anwendung des Repositorys ist eine separate Ausführungsoberfläche. Die konfigurierte Eingabelänge und das beispielhafte Ausgabebudget des Leitfadens sind Bereitstellungseinstellungen, keine universelle Aussage zum Kontext oder Aktionslimit jeder Integration. Senden Sie für praktische GUI-Arbeit klare, lesbare Screenshots mit den Bedienelementen und dem umgebenden Kontext, die für die nächste Entscheidung nötig sind. UI-TARS kann Elemente falsch identifizieren, unbekannte Oberflächen fehlerhaft beschreiben oder eine suboptimale Aktion wählen, besonders bei uneindeutigem Bildschirm; die Prüfung des neuen Screenshots nach jeder Aktion hält diese Fehler mit dem tatsächlichen Aufgabenstand verbunden.
POST /v1/chat/completionstexttext| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits bytedance/ui-tars-1.5-7b | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits Beispiele: system, user, assistant, tool, function Bedingungen: Diese Rollen sind in den Kompatibilitätstypen des Quellcodes ausdrücklich dargestellt; der genaue Rollenumfang bleibt modellspezifisch. Modellabhängig | Standard— |
Feldmessages[].content | Typstring|content_part[]|null | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_calls | Typtool_call[] | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_call_id | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: role=tool; die tatsächlich zurückgegebene ID verwenden | Standard— |
Feldmessages[].name | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].reasoning_content | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: Tatsächlich zurückgegebene Reasoning-Daten erneut übermitteln, sofern dieses Modell sie verwendet | Standard— |
Feldmessages[].reasoning_details | Typobject|array | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmax_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldmax_completion_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Feldstream_options.include_usage | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtemperature | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtop_p | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldstop | Typstring|string[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools | Typfunction_tool[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools[].type | Typstring | AnforderungOptional | Werte und Limits function Modellabhängig | Standard— |
Feldtools[].function.name | Typstring | AnforderungErforderlich | Werte und Limits Gilt, wenn: Funktionswerkzeug bereitgestellt | Standard— |
Feldtools[].function.description | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldtools[].function.parameters | TypJSON_schema | AnforderungOptional | Werte und Limits | Standard— |
Feldtool_choice | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldparallel_tool_calls | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldresponse_format | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning_effort | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldservice_tier | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldinstructions | Typstring | AnforderungOptional | Werte und Limits Kompatibilitätsfeld | Standard— |
Feldfunctions | Typfunction[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldfunction_call | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldprompt_cache_options | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmodalities | Typstring[] | AnforderungOptional | Werte und Limits text | Standard— |
Feldprovider | Typobject | AnforderungOptional | Werte und Limits Bedingungen: provider.options wird auf dieser Ultra-Textroute abgelehnt | Standard— |
Feldcache_control.ttl | Typstring | AnforderungOptional | Werte und Limits Bedingungen: 1h wird in den tatsächlichen Prompt-Cache-Feldern abgelehnt | Standard— |
Text · UTF8-Text
messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages |
Parametermaterial_types | Vertragtext |
Parametermessages | VertragNachrichtenarray mit role/content-Struktur |
Parameterfile_material | VertragTatsächliches UTF-8-Dokument als wörtlicher Text eingefügt; keine Datei-ID abgeleitet |
Parameteroptional_controls | Vertragstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | VertragModellspezifisch; benutzerseitige Funktionswerkzeuge unterscheiden sich von gehosteten Werkzeugen |
Parameteroutput_modalities | Vertragtext |
Parameterhosted_operations | Vertragfalse |
Parametermultimodal_input_binding | Vertragnull |
Lebenszyklus: synchronous_or_streamed
Die genaue Modell-ID zusammen mit messages senden.
Die Kontextlänge ist keine Ausgabeobergrenze.
Eine Textdatei kann wörtlichen Text liefern; Bild-, Audio- und Dateiobjekteingaben benötigen eine exakte Zuordnung.
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif.
| Konfiguration | Tarifstaffel | Kontexttoken, mehr als | Kontexttoken, bis einschließlich | Gebühr |
|---|---|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Kontexttoken, mehr als— | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.0002 / 1K Tokens Ausgabe · Ausgabetoken $0.0004 / 1K Tokens Eingabe · Cache lesen $0.0002 / 1K Tokens Eingabe · In Cache schreiben — / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde — / 1K Tokens |
| KonfigurationAnfragelängenstufe 1 | Tarifstaffel— | Kontexttoken, mehr als0 | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.0002 / 1K Tokens Ausgabe · Ausgabetoken $0.0004 / 1K Tokens Eingabe · Cache lesen $0.0002 / 1K Tokens Eingabe · In Cache schreiben — / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde — / 1K Tokens |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "bytedance/ui-tars-1.5-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Antwortvarianten mit ihren Inhalten, Werkzeugaufrufen und Reasoning-Daten beibehalten. In SSE die Deltas nach Varianten- und Werkzeugindex zusammensetzen; endgültigen Beendigungsgrund und Verbrauchsdaten beibehalten.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldchoices[].index | Typinteger |
Feldchoices[].message.content | Typstring|null |
Feldchoices[].message.tool_calls | Typtool_call[] |
Feldchoices[].message.reasoning_content | Typstring |
Feldchoices[].message.reasoning_details | Typobject|array |
Feldchoices[].finish_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Verwenden Sie die oben angezeigten Methodenpfade.
bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B ist ByteDances offenes multimodales Modell für Agenten zur Computerbedienung. Es leitet aus Screenshots und einer Aufgabe den nächsten GUI-Schritt ab, den eine Anwendung ausführt; diese 7B-Veröffentlichung konzentriert sich auf allgemeine Computerbedienung statt auf Spieloptimierung.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
UI-TARS-1.5-7B ist ByteDances veröffentlichtes multimodales 7B-Modell für GUI-Agenten mit Schwerpunkt auf allgemeiner Computerbedienung. Es verbindet die visuelle Wahrnehmung einer Oberfläche mit einem Denkprozess vor der Aktion und baut mit Reinforcement Learning auf der nativen UI-TARS-Architektur auf. Die Eingaben im offiziellen Anwendungsablauf sind eine Anweisung, Screenshots und der Aktionsverlauf; die Ausgabe beschreibt die nächste Oberflächenaktion, oft mit einem Thought, der den beabsichtigten Schritt erklärt. Eine umgebende Anwendung führt diese Aktion aus und liefert den nächsten Screenshot, damit die Aufgabe fortgesetzt werden kann.
Der Hersteller unterscheidet diesen herunterladbaren 7B-Checkpoint vom größeren Forschungsmodell UI-TARS-1.5. Die 7B-Veröffentlichung ist nicht speziell für spielbasierte Szenarien optimiert; Demonstrationen und Ergebnisse des größeren Forschungsmodells sollten daher nicht als gleichwertige Fähigkeiten dieser Edition behandelt werden. Ihre praktische Rolle ist die Interaktion mit sichtbaren Bedienelementen von Anwendungen: Browsernavigation, Bürosoftware, Dateiverwaltung und ähnliche Desktop-Abläufe. Einen Screenshot zu lesen und eine Aktion zu wählen unterscheidet sich vom Erzeugen eines Videos oder dem Abrufen unsichtbarer Anwendungszustände.
Das offizielle Repository beschreibt Aktionsvorlagen für Desktop und Mobilgeräte. Desktop-Aktionen umfassen Klicks, Doppel- und Rechtsklicks, Ziehen, Tastenkombinationen, Texteingabe und Scrollen sowie wait und finished, um einen sich verändernden Bildschirm zu prüfen oder eine Aufgabe zu beenden. Die mobile Vorlage ergänzt Operationen wie langes Drücken, das Öffnen einer App und die Navigation zum Startbildschirm oder zurück. Eine separate Grounding-Vorlage verlangt eine Action ohne Thought und ist für einfache Aufgaben mit Aktionsausgabe gedacht. Wählen Sie das Aktionsvokabular, das die Ausführungsumgebung tatsächlich versteht, statt alle Vorlagen als austauschbar zu behandeln.
Ein hilfreicher Aufgabenauftrag nennt das Ziel, liefert den aktuellen Screenshot und den relevanten Aktionsverlauf und definiert den Abschluss. Ein eigens formulierter redaktioneller Auftrag könnte das Modell beispielsweise auffordern, eine benannte Einstellung zu finden, sie auf einen festgelegten Wert zu ändern und anzuhalten, sobald der neue Zustand sichtbar ist. Fordern Sie den nächsten Schritt anhand des aktuellen Bildschirms statt einer langen spekulativen Abfolge an. Halten Sie Anweisungen und Grenzen erlaubter Operationen ausdrücklich fest; geben Sie nach einem ausgeführten Schritt den resultierenden Bildschirm zurück, damit das weitere Schlussfolgern Beobachtungen statt Annahmen über das Geschehen verwendet.
Der Umgang mit Koordinaten ist ein wesentlicher Teil des offiziellen Ablaufs. Das Repository trennt die Modellvorhersage von der Nachverarbeitung, die eine Aktion parst und ihr Ziel dem Bildschirm zuordnet. Sein Koordinatenleitfaden zeigt die Umrechnung von Koordinaten aus dem skalierten Bild auf die ursprünglichen Bildabmessungen. Bewahren Sie Breite und Höhe des ursprünglichen Screenshots und verwenden Sie die Koordinatenkonvention der genauen Aktionsvorlage und des Parsers. Eine im skalierten Bild plausible Position kann auf ein anderes Bedienelement zeigen, wenn sie direkt auf den unskalierten Bildschirm angewendet wird. Der Aktionstext des Modells ist daher eine zu interpretierende Anweisung, kein bereits ausgeführtes Mausereignis.
Der Bereitstellungsleitfaden liefert ein konkretes Beispiel für einen einzelnen Schritt, dessen Ergebnis Thought und Action enthält; die Desktop-Anwendung des Repositorys ist eine separate Ausführungsoberfläche. Die konfigurierte Eingabelänge und das beispielhafte Ausgabebudget des Leitfadens sind Bereitstellungseinstellungen, keine universelle Aussage zum Kontext oder Aktionslimit jeder Integration. Senden Sie für praktische GUI-Arbeit klare, lesbare Screenshots mit den Bedienelementen und dem umgebenden Kontext, die für die nächste Entscheidung nötig sind. UI-TARS kann Elemente falsch identifizieren, unbekannte Oberflächen fehlerhaft beschreiben oder eine suboptimale Aktion wählen, besonders bei uneindeutigem Bildschirm; die Prüfung des neuen Screenshots nach jeder Aktion hält diese Fehler mit dem tatsächlichen Aufgabenstand verbunden.
POST /v1/messagestextjson, sse| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits bytedance/ui-tars-1.5-7b | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits user, assistant | Standard— |
Feldmessages[].content | Typstring | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmax_tokens | Typinteger | AnforderungErforderlich | Werte und Limits | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Text · UTF-8-Text
Zeichenfolge messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages, max_tokens |
Parameteroptional_controls | Vertragstream |
Parametermaterial_types | Vertragtext |
Parametertext_file_material | VertragDas tatsächliche UTF-8-Dokument lesen und seinen Text in die angegebene Zeichenfolge für Eingabe oder Nachrichteninhalt einfügen. |
Lebenszyklus: synchronous_or_streamed
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif.
| Konfiguration | Tarifstaffel | Kontexttoken, mehr als | Kontexttoken, bis einschließlich | Gebühr |
|---|---|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Kontexttoken, mehr als— | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.0002 / 1K Tokens Ausgabe · Ausgabetoken $0.0004 / 1K Tokens Eingabe · Cache lesen $0.0002 / 1K Tokens Eingabe · In Cache schreiben — / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde — / 1K Tokens |
| KonfigurationAnfragelängenstufe 1 | Tarifstaffel— | Kontexttoken, mehr als0 | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.0002 / 1K Tokens Ausgabe · Ausgabetoken $0.0004 / 1K Tokens Eingabe · Cache lesen $0.0002 / 1K Tokens Eingabe · In Cache schreiben — / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde — / 1K Tokens |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
{\n "model": "bytedance/ui-tars-1.5-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Inhaltsblöcke, Thinking-Signaturen und tatsächlichen Werkzeugaufruf-IDs beibehalten. Alle SSE-Blockdeltas zusammensetzen; der erste Textblock ist nicht die vollständige Ausgabe.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldid | Typstring |
Feldmodel | Typstring |
Feldcontent[] | Typtext|thinking|tool_use|other content block |
Feldstop_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Verwenden Sie die oben angezeigten Methodenpfade.
Technisches Beispiel auf Englisch
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.