UI-TARS-1.5-7B är ByteDances publicerade multimodala GUI-agentmodell på 7B, med fokus på allmän datoranvändning. Den kombinerar visuell uppfattning av ett gränssnitt med resonemang före handling och bygger vidare på den ursprungliga UI-TARS-arkitekturen med förstärkningsinlärning. Indata i det officiella användningsflödet är en instruktion, skärmbilder och åtgärdshistorik; utdata beskriver nästa gränssnittsåtgärd, ofta med en Thought som förklarar det avsedda steget. En omgivande applikation utför åtgärden och tillhandahåller nästa skärmbild så att uppgiften kan fortsätta.
Tillverkaren skiljer denna nedladdningsbara 7B-kontrollpunkt från den större forskningsmodellen UI-TARS-1.5. 7B-versionen är inte särskilt optimerad för spelbaserade scenarier, så demonstrationer och resultat från den större forskningsmodellen ska inte betraktas som motsvarande förmågor hos denna utgåva. Dess praktiska roll är att interagera med synliga applikationskontroller: webbläsarnavigering, kontorsprogram, filhantering och liknande skrivbordsflöden. Att läsa en skärmbild och välja en åtgärd skiljer sig från att generera en video eller få tillgång till ett applikationstillstånd som inte syns.
Det officiella kodarkivet beskriver åtgärdsmallar för datorer och mobiler. Datoråtgärder omfattar klick, dubbel- och högerklick, dragning, tangentbordsgenvägar, textinmatning och rullning, med åtgärder för att vänta och avsluta för att kontrollera en föränderlig skärm eller avsluta en uppgift. Mobilmallen lägger till åtgärder som långtryckning, att öppna en app och att navigera hem eller bakåt. En separat mall för visuell lokalisering begär en Action utan Thought och är avsedd för enklare uppgifter med åtgärdsutdata. Välj den åtgärdsvokabulär som körningsmiljön faktiskt förstår i stället för att behandla alla mallar som utbytbara.
En användbar uppdragsbeskrivning namnger målet, tillhandahåller den aktuella skärmbilden och relevant åtgärdshistorik och definierar hur ett slutförande ser ut. Ett eget redaktionellt exempel kan be modellen hitta en namngiven inställning, ändra den till ett angivet värde och stanna när det nya tillståndet syns. Begär nästa steg utifrån den aktuella skärmen i stället för en lång spekulativ följd. Håll instruktioner och eventuella begränsningar för tillåtna åtgärder uttryckliga; efter ett utfört steg, returnera den resulterande skärmen så att efterföljande resonemang använder observationer i stället för antaganden om vad som hände.
Koordinathantering är en väsentlig del av det officiella arbetsflödet. Kodarkivet skiljer modellens förutsägelse från efterbearbetning som tolkar en åtgärd och mappar dess mål till skärmen. Koordinatguiden demonstrerar omvandling av koordinater från den storleksändrade bilden tillbaka till originalbildens mått. Behåll originalskärmbildens bredd och höjd och använd koordinatkonventionen för den exakta åtgärdsmallen och parsern. En plats som verkar rimlig i en storleksändrad bild kan peka på en annan kontroll om den tillämpas direkt på den oskalade skärmen. Modellens åtgärdstext är därför en instruktion som ska tolkas, inte en redan utförd mushändelse.
Driftsättningsguiden ger ett konkret enstegsexempel vars resultat innehåller Thought och Action, medan kodarkivets skrivbordsapplikation är en separat körningsyta. Guidens konfigurerade indatalängd och exempelbudget för utdata är driftsättningsinställningar, inte ett universellt påstående om varje integrations kontext- eller åtgärdsgräns. För praktiskt GUI-arbete, skicka tydliga och läsbara skärmbilder med de kontroller och det omgivande sammanhang som behövs för nästa beslut. UI-TARS kan felidentifiera element, beskriva obekanta gränssnitt felaktigt eller välja en mindre lämplig åtgärd, särskilt när skärmen är tvetydig; att kontrollera den nya skärmbilden efter varje åtgärd håller dessa fel knutna till uppgiftens faktiska tillstånd.
", "aboutText": "UI-TARS-1.5-7B är ByteDances publicerade multimodala GUI-agentmodell på 7B, med fokus på allmän datoranvändning. Den kombinerar visuell uppfattning av ett gränssnitt med resonemang före handling och bygger vidare på den ursprungliga UI-TARS-arkitekturen med förstärkningsinlärning. Indata i det officiella användningsflödet är en instruktion, skärmbilder och åtgärdshistorik; utdata beskriver nästa gränssnittsåtgärd, ofta med en Thought som förklarar det avsedda steget. En omgivande applikation utför åtgärden och tillhandahåller nästa skärmbild så att uppgiften kan fortsätta.\n\nTillverkaren skiljer denna nedladdningsbara 7B-kontrollpunkt från den större forskningsmodellen UI-TARS-1.5. 7B-versionen är inte särskilt optimerad för spelbaserade scenarier, så demonstrationer och resultat från den större forskningsmodellen ska inte betraktas som motsvarande förmågor hos denna utgåva. Dess praktiska roll är att interagera med synliga applikationskontroller: webbläsarnavigering, kontorsprogram, filhantering och liknande skrivbordsflöden. Att läsa en skärmbild och välja en åtgärd skiljer sig från att generera en video eller få tillgång till ett applikationstillstånd som inte syns.\n\nDet officiella kodarkivet beskriver åtgärdsmallar för datorer och mobiler. Datoråtgärder omfattar klick, dubbel- och högerklick, dragning, tangentbordsgenvägar, textinmatning och rullning, med åtgärder för att vänta och avsluta för att kontrollera en föränderlig skärm eller avsluta en uppgift. Mobilmallen lägger till åtgärder som långtryckning, att öppna en app och att navigera hem eller bakåt. En separat mall för visuell lokalisering begär en Action utan Thought och är avsedd för enklare uppgifter med åtgärdsutdata. Välj den åtgärdsvokabulär som körningsmiljön faktiskt förstår i stället för att behandla alla mallar som utbytbara.\n\nEn användbar uppdragsbeskrivning namnger målet, tillhandahåller den aktuella skärmbilden och relevant åtgärdshistorik och definierar hur ett slutförande ser ut. Ett eget redaktionellt exempel kan be modellen hitta en namngiven inställning, ändra den till ett angivet värde och stanna när det nya tillståndet syns. Begär nästa steg utifrån den aktuella skärmen i stället för en lång spekulativ följd. Håll instruktioner och eventuella begränsningar för tillåtna åtgärder uttryckliga; efter ett utfört steg, returnera den resulterande skärmen så att efterföljande resonemang använder observationer i stället för antaganden om vad som hände.\n\nKoordinathantering är en väsentlig del av det officiella arbetsflödet. Kodarkivet skiljer modellens förutsägelse från efterbearbetning som tolkar en åtgärd och mappar dess mål till skärmen. Koordinatguiden demonstrerar omvandling av koordinater från den storleksändrade bilden tillbaka till originalbildens mått. Behåll originalskärmbildens bredd och höjd och använd koordinatkonventionen för den exakta åtgärdsmallen och parsern. En plats som verkar rimlig i en storleksändrad bild kan peka på en annan kontroll om den tillämpas direkt på den oskalade skärmen. Modellens åtgärdstext är därför en instruktion som ska tolkas, inte en redan utförd mushändelse.\n\nDriftsättningsguiden ger ett konkret enstegsexempel vars resultat innehåller Thought och Action, medan kodarkivets skrivbordsapplikation är en separat körningsyta. Guidens konfigurerade indatalängd och exempelbudget för utdata är driftsättningsinställningar, inte ett universellt påstående om varje integrations kontext- eller åtgärdsgräns. För praktiskt GUI-arbete, skicka tydliga och läsbara skärmbilder med de kontroller och det omgivande sammanhang som behövs för nästa beslut. UI-TARS kan felidentifiera element, beskriva obekanta gränssnitt felaktigt eller välja en mindre lämplig åtgärd, särskilt när skärmen är tvetydig; att kontrollera den nya skärmbilden efter varje åtgärd håller dessa fel knutna till uppgiftens faktiska tillstånd.", "editorialOverlay": { "copy_fields": { "practical_html": "Tekniskt exempel på engelska
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B är ByteDances öppna multimodala modell för agenter som använder datorer. Den resonerar om skärmbilder och en uppgift och producerar sedan nästa GUI-åtgärd som en applikation ska utföra; denna 7B-version fokuserar på allmän datoranvändning snarare än speloptimering.
Den här beskrivningen omfattar modellens förmågor. Tillgängliga indata, utdata och alternativ i Ailoot anges nedan för den valda metoden.
UI-TARS-1.5-7B är ByteDances publicerade multimodala GUI-agentmodell på 7B, med fokus på allmän datoranvändning. Den kombinerar visuell uppfattning av ett gränssnitt med resonemang före handling och bygger vidare på den ursprungliga UI-TARS-arkitekturen med förstärkningsinlärning. Indata i det officiella användningsflödet är en instruktion, skärmbilder och åtgärdshistorik; utdata beskriver nästa gränssnittsåtgärd, ofta med en Thought som förklarar det avsedda steget. En omgivande applikation utför åtgärden och tillhandahåller nästa skärmbild så att uppgiften kan fortsätta.
Tillverkaren skiljer denna nedladdningsbara 7B-kontrollpunkt från den större forskningsmodellen UI-TARS-1.5. 7B-versionen är inte särskilt optimerad för spelbaserade scenarier, så demonstrationer och resultat från den större forskningsmodellen ska inte betraktas som motsvarande förmågor hos denna utgåva. Dess praktiska roll är att interagera med synliga applikationskontroller: webbläsarnavigering, kontorsprogram, filhantering och liknande skrivbordsflöden. Att läsa en skärmbild och välja en åtgärd skiljer sig från att generera en video eller få tillgång till ett applikationstillstånd som inte syns.
Det officiella kodarkivet beskriver åtgärdsmallar för datorer och mobiler. Datoråtgärder omfattar klick, dubbel- och högerklick, dragning, tangentbordsgenvägar, textinmatning och rullning, med åtgärder för att vänta och avsluta för att kontrollera en föränderlig skärm eller avsluta en uppgift. Mobilmallen lägger till åtgärder som långtryckning, att öppna en app och att navigera hem eller bakåt. En separat mall för visuell lokalisering begär en Action utan Thought och är avsedd för enklare uppgifter med åtgärdsutdata. Välj den åtgärdsvokabulär som körningsmiljön faktiskt förstår i stället för att behandla alla mallar som utbytbara.
En användbar uppdragsbeskrivning namnger målet, tillhandahåller den aktuella skärmbilden och relevant åtgärdshistorik och definierar hur ett slutförande ser ut. Ett eget redaktionellt exempel kan be modellen hitta en namngiven inställning, ändra den till ett angivet värde och stanna när det nya tillståndet syns. Begär nästa steg utifrån den aktuella skärmen i stället för en lång spekulativ följd. Håll instruktioner och eventuella begränsningar för tillåtna åtgärder uttryckliga; efter ett utfört steg, returnera den resulterande skärmen så att efterföljande resonemang använder observationer i stället för antaganden om vad som hände.
Koordinathantering är en väsentlig del av det officiella arbetsflödet. Kodarkivet skiljer modellens förutsägelse från efterbearbetning som tolkar en åtgärd och mappar dess mål till skärmen. Koordinatguiden demonstrerar omvandling av koordinater från den storleksändrade bilden tillbaka till originalbildens mått. Behåll originalskärmbildens bredd och höjd och använd koordinatkonventionen för den exakta åtgärdsmallen och parsern. En plats som verkar rimlig i en storleksändrad bild kan peka på en annan kontroll om den tillämpas direkt på den oskalade skärmen. Modellens åtgärdstext är därför en instruktion som ska tolkas, inte en redan utförd mushändelse.
Driftsättningsguiden ger ett konkret enstegsexempel vars resultat innehåller Thought och Action, medan kodarkivets skrivbordsapplikation är en separat körningsyta. Guidens konfigurerade indatalängd och exempelbudget för utdata är driftsättningsinställningar, inte ett universellt påstående om varje integrations kontext- eller åtgärdsgräns. För praktiskt GUI-arbete, skicka tydliga och läsbara skärmbilder med de kontroller och det omgivande sammanhang som behövs för nästa beslut. UI-TARS kan felidentifiera element, beskriva obekanta gränssnitt felaktigt eller välja en mindre lämplig åtgärd, särskilt när skärmen är tvetydig; att kontrollera den nya skärmbilden efter varje åtgärd håller dessa fel knutna till uppgiftens faktiska tillstånd.
POST /v1/chat/completionstexttext| Fält | Typ | Krav | Värden & gränser | Standard |
|---|---|---|---|---|
Fältmodel | Typstring | KravObligatoriskt | Värden & gränser bytedance/ui-tars-1.5-7b | Standard— |
Fältmessages | Typmessage[] | KravObligatoriskt | Värden & gränser Minsta antal objekt: 1 | Standard— |
Fältmessages[].role | Typstring | KravObligatoriskt | Värden & gränser Exempel: system, user, assistant, tool, function Villkor: Dessa roller representeras uttryckligen av källkodens kompatibilitetstyper; den exakta rolluppsättningen är fortfarande modellspecifik. Beror på modellen | Standard— |
Fältmessages[].content | Typstring|content_part[]|null | KravValfritt | Värden & gränser | Standard— |
Fältmessages[].tool_calls | Typtool_call[] | KravValfritt | Värden & gränser | Standard— |
Fältmessages[].tool_call_id | Typstring | KravValfritt | Värden & gränser Gäller när: role=tool; använd det faktiska returnerade ID:t | Standard— |
Fältmessages[].name | Typstring | KravValfritt | Värden & gränser | Standard— |
Fältmessages[].reasoning_content | Typstring | KravValfritt | Värden & gränser Gäller när: Skicka tillbaka det faktiska returnerade resonemanget när modellen använder det | Standard— |
Fältmessages[].reasoning_details | Typobject|array | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältmax_tokens | Typinteger | KravValfritt | Värden & gränser Minimum: 1 Beror på modellen | Standard— |
Fältmax_completion_tokens | Typinteger | KravValfritt | Värden & gränser Minimum: 1 Beror på modellen | Standard— |
Fältstream | Typboolean | KravValfritt | Värden & gränser | Standardfalse |
Fältstream_options.include_usage | Typboolean | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fälttemperature | Typnumber | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fälttop_p | Typnumber | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältstop | Typstring|string[] | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fälttools | Typfunction_tool[] | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fälttools[].type | Typstring | KravValfritt | Värden & gränser function Beror på modellen | Standard— |
Fälttools[].function.name | Typstring | KravObligatoriskt | Värden & gränser Gäller när: verktyg av typen funktion har tillhandahållits | Standard— |
Fälttools[].function.description | Typstring | KravValfritt | Värden & gränser | Standard— |
Fälttools[].function.parameters | TypJSON_schema | KravValfritt | Värden & gränser | Standard— |
Fälttool_choice | Typstring|object | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältparallel_tool_calls | Typboolean | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältresponse_format | Typobject | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältreasoning_effort | Typstring | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältreasoning | Typobject | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältservice_tier | Typstring | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältinstructions | Typstring | KravValfritt | Värden & gränser Kompatibilitetsfält | Standard— |
Fältfunctions | Typfunction[] | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältfunction_call | Typstring|object | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältprompt_cache_options | Typobject | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältmodalities | Typstring[] | KravValfritt | Värden & gränser text | Standard— |
Fältprovider | Typobject | KravValfritt | Värden & gränser Villkor: provider.options avvisas på denna Ultra-textrutt | Standard— |
Fältcache_control.ttl | Typstring | KravValfritt | Värden & gränser Villkor: 1h avvisas på de faktiska platserna för promptcache | Standard— |
Text · UTF8-text
messages[].content
| Parameter | Avtal |
|---|---|
Parametercontent_type | Avtalapplication/json |
Parameterrequired | Avtalmodel, messages |
Parametermaterial_types | Avtaltext |
Parametermessages | Avtalmeddelandearray med strukturen role/content |
Parameterfile_material | Avtaldet faktiska UTF-8-dokumentet infogat som bokstavlig text; inget fil-ID härleds |
Parameteroptional_controls | Avtalstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Avtalmodellspecifikt; användarens funktionsverktyg skiljer sig från värdbaserade verktyg |
Parameteroutput_modalities | Avtaltext |
Parameterhosted_operations | Avtalfalse |
Parametermultimodal_input_binding | Avtalnull |
Livscykel: synchronous_or_streamed
Skicka det exakta modell-ID:t tillsammans med messages.
Kontextlängden är inte en utdatagräns.
En textfil kan tillhandahålla bokstavlig text; bild-/ljud-/filobjektsindata kräver exakt bindning.
Tariffuppgifter lägger inte till begäransalternativ. Parametrar som stöds anges för den valda metoden.
Matcha varje avgift mot de visade villkoren. Använd ett pris för varje uppsättning alternativa konfigurationer.
| Konfiguration | Prislista | Kontexttoken, fler än | Kontexttoken, upp till och med | Avgift |
|---|---|---|---|---|
| KonfigurationGrundpriser för token | PrislistaGrundpris | Kontexttoken, fler än— | Kontexttoken, upp till och medIngen övre gräns | Avgift Indata · Indatatoken $0.0002 / 1K token Utdata · Utdatatoken $0.0004 / 1K token Indata · Cacheläsning $0.0002 / 1K token Indata · Skrivning till cache — / 1K token Indata · Skrivning till cache, 1 tim — / 1K token |
| KonfigurationNivå 1 för förfrågans längd | Prislista— | Kontexttoken, fler än0 | Kontexttoken, upp till och medIngen övre gräns | Avgift Indata · Indatatoken $0.0002 / 1K token Utdata · Utdatatoken $0.0004 / 1K token Indata · Cacheläsning $0.0002 / 1K token Indata · Skrivning till cache — / 1K token Indata · Skrivning till cache, 1 tim — / 1K token |
Ailoot reserverar ett uppskattat belopp före en begäran. Efter resultatet slutregleras avgiften utifrån uppmätt förbrukning. Slutreglering för strömning använder den slutliga förbrukningsposten. Så fungerar reservation och slutreglering →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "bytedance/ui-tars-1.5-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Behåll varje fullständigt returnerat svar, fil och innehållsdel.
Behåll varje svarsalternativ och dess innehåll/verktygsanrop/resonemang. Sätt i SSE samman deltauppdateringar efter svarsalternativets/verktygets index och behåll den slutliga avslutsorsaken och användningsuppgifterna.
Behåll begärans/svarets ID:n och huvuden. Ingen generell URL för hämtning av textjobb tillhandahålls.
| Fält | Typ |
|---|---|
Fältchoices[].index | Typinteger |
Fältchoices[].message.content | Typstring|null |
Fältchoices[].message.tool_calls | Typtool_call[] |
Fältchoices[].message.reasoning_content | Typstring |
Fältchoices[].message.reasoning_details | Typobject|array |
Fältchoices[].finish_reason | Typstring|null |
Fältusage | Typobject |
| Svar | Villkor | Nästa steg |
|---|---|---|
Svar400 · invalid_request_error | VillkorOgiltiga obligatoriska fält, ogiltig representation av underlaget eller ogiltigt parametervärde | Nästa stegKorrigera de angivna fälten före en ny begäran om att skapa. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Använd metodsökvägarna som visas ovan.
bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B är ByteDances öppna multimodala modell för agenter som använder datorer. Den resonerar om skärmbilder och en uppgift och producerar sedan nästa GUI-åtgärd som en applikation ska utföra; denna 7B-version fokuserar på allmän datoranvändning snarare än speloptimering.
Den här beskrivningen omfattar modellens förmågor. Tillgängliga indata, utdata och alternativ i Ailoot anges nedan för den valda metoden.
UI-TARS-1.5-7B är ByteDances publicerade multimodala GUI-agentmodell på 7B, med fokus på allmän datoranvändning. Den kombinerar visuell uppfattning av ett gränssnitt med resonemang före handling och bygger vidare på den ursprungliga UI-TARS-arkitekturen med förstärkningsinlärning. Indata i det officiella användningsflödet är en instruktion, skärmbilder och åtgärdshistorik; utdata beskriver nästa gränssnittsåtgärd, ofta med en Thought som förklarar det avsedda steget. En omgivande applikation utför åtgärden och tillhandahåller nästa skärmbild så att uppgiften kan fortsätta.
Tillverkaren skiljer denna nedladdningsbara 7B-kontrollpunkt från den större forskningsmodellen UI-TARS-1.5. 7B-versionen är inte särskilt optimerad för spelbaserade scenarier, så demonstrationer och resultat från den större forskningsmodellen ska inte betraktas som motsvarande förmågor hos denna utgåva. Dess praktiska roll är att interagera med synliga applikationskontroller: webbläsarnavigering, kontorsprogram, filhantering och liknande skrivbordsflöden. Att läsa en skärmbild och välja en åtgärd skiljer sig från att generera en video eller få tillgång till ett applikationstillstånd som inte syns.
Det officiella kodarkivet beskriver åtgärdsmallar för datorer och mobiler. Datoråtgärder omfattar klick, dubbel- och högerklick, dragning, tangentbordsgenvägar, textinmatning och rullning, med åtgärder för att vänta och avsluta för att kontrollera en föränderlig skärm eller avsluta en uppgift. Mobilmallen lägger till åtgärder som långtryckning, att öppna en app och att navigera hem eller bakåt. En separat mall för visuell lokalisering begär en Action utan Thought och är avsedd för enklare uppgifter med åtgärdsutdata. Välj den åtgärdsvokabulär som körningsmiljön faktiskt förstår i stället för att behandla alla mallar som utbytbara.
En användbar uppdragsbeskrivning namnger målet, tillhandahåller den aktuella skärmbilden och relevant åtgärdshistorik och definierar hur ett slutförande ser ut. Ett eget redaktionellt exempel kan be modellen hitta en namngiven inställning, ändra den till ett angivet värde och stanna när det nya tillståndet syns. Begär nästa steg utifrån den aktuella skärmen i stället för en lång spekulativ följd. Håll instruktioner och eventuella begränsningar för tillåtna åtgärder uttryckliga; efter ett utfört steg, returnera den resulterande skärmen så att efterföljande resonemang använder observationer i stället för antaganden om vad som hände.
Koordinathantering är en väsentlig del av det officiella arbetsflödet. Kodarkivet skiljer modellens förutsägelse från efterbearbetning som tolkar en åtgärd och mappar dess mål till skärmen. Koordinatguiden demonstrerar omvandling av koordinater från den storleksändrade bilden tillbaka till originalbildens mått. Behåll originalskärmbildens bredd och höjd och använd koordinatkonventionen för den exakta åtgärdsmallen och parsern. En plats som verkar rimlig i en storleksändrad bild kan peka på en annan kontroll om den tillämpas direkt på den oskalade skärmen. Modellens åtgärdstext är därför en instruktion som ska tolkas, inte en redan utförd mushändelse.
Driftsättningsguiden ger ett konkret enstegsexempel vars resultat innehåller Thought och Action, medan kodarkivets skrivbordsapplikation är en separat körningsyta. Guidens konfigurerade indatalängd och exempelbudget för utdata är driftsättningsinställningar, inte ett universellt påstående om varje integrations kontext- eller åtgärdsgräns. För praktiskt GUI-arbete, skicka tydliga och läsbara skärmbilder med de kontroller och det omgivande sammanhang som behövs för nästa beslut. UI-TARS kan felidentifiera element, beskriva obekanta gränssnitt felaktigt eller välja en mindre lämplig åtgärd, särskilt när skärmen är tvetydig; att kontrollera den nya skärmbilden efter varje åtgärd håller dessa fel knutna till uppgiftens faktiska tillstånd.
POST /v1/messagestextjson, sse| Fält | Typ | Krav | Värden & gränser | Standard |
|---|---|---|---|---|
Fältmodel | Typstring | KravObligatoriskt | Värden & gränser bytedance/ui-tars-1.5-7b | Standard— |
Fältmessages | Typmessage[] | KravObligatoriskt | Värden & gränser | Standard— |
Fältmessages[].role | Typstring | KravObligatoriskt | Värden & gränser user, assistant | Standard— |
Fältmessages[].content | Typstring | KravObligatoriskt | Värden & gränser | Standard— |
Fältmax_tokens | Typinteger | KravObligatoriskt | Värden & gränser | Standard— |
Fältstream | Typboolean | KravValfritt | Värden & gränser | Standardfalse |
Text · UTF-8-text
sträng i messages[].content
| Parameter | Avtal |
|---|---|
Parametercontent_type | Avtalapplication/json |
Parameterrequired | Avtalmodel, messages, max_tokens |
Parameteroptional_controls | Avtalstream |
Parametermaterial_types | Avtaltext |
Parametertext_file_material | AvtalLäs det faktiska UTF-8-dokumentet och placera texten i det angivna input-fältet eller i strängen för meddelandets innehåll. |
Livscykel: synchronous_or_streamed
Tariffuppgifter lägger inte till begäransalternativ. Parametrar som stöds anges för den valda metoden.
Matcha varje avgift mot de visade villkoren. Använd ett pris för varje uppsättning alternativa konfigurationer.
| Konfiguration | Prislista | Kontexttoken, fler än | Kontexttoken, upp till och med | Avgift |
|---|---|---|---|---|
| KonfigurationGrundpriser för token | PrislistaGrundpris | Kontexttoken, fler än— | Kontexttoken, upp till och medIngen övre gräns | Avgift Indata · Indatatoken $0.0002 / 1K token Utdata · Utdatatoken $0.0004 / 1K token Indata · Cacheläsning $0.0002 / 1K token Indata · Skrivning till cache — / 1K token Indata · Skrivning till cache, 1 tim — / 1K token |
| KonfigurationNivå 1 för förfrågans längd | Prislista— | Kontexttoken, fler än0 | Kontexttoken, upp till och medIngen övre gräns | Avgift Indata · Indatatoken $0.0002 / 1K token Utdata · Utdatatoken $0.0004 / 1K token Indata · Cacheläsning $0.0002 / 1K token Indata · Skrivning till cache — / 1K token Indata · Skrivning till cache, 1 tim — / 1K token |
Ailoot reserverar ett uppskattat belopp före en begäran. Efter resultatet slutregleras avgiften utifrån uppmätt förbrukning. Slutreglering för strömning använder den slutliga förbrukningsposten. Så fungerar reservation och slutreglering →
{\n "model": "bytedance/ui-tars-1.5-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Behåll varje fullständigt returnerat svar, fil och innehållsdel.
Behåll alla innehållsblock, resonemangssignaturer och faktiska ID:n för verktygsanvändning. Sätt samman alla SSE-deltauppdateringar för blocken; ett första textblock är inte hela utdata.
Behåll begärans/svarets ID:n och huvuden. Ingen generell URL för hämtning av textjobb tillhandahålls.
| Fält | Typ |
|---|---|
Fältid | Typstring |
Fältmodel | Typstring |
Fältcontent[] | Typtext|thinking|tool_use|other content block |
Fältstop_reason | Typstring|null |
Fältusage | Typobject |
| Svar | Villkor | Nästa steg |
|---|---|---|
Svar400 · invalid_request_error | VillkorOgiltiga obligatoriska fält, ogiltig representation av underlaget eller ogiltigt parametervärde | Nästa stegKorrigera de angivna fälten före en ny begäran om att skapa. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Använd metodsökvägarna som visas ovan.
Tekniskt exempel på engelska
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.