UI-TARS-1.5-7B es el modelo multimodal de agente de interfaz gráfica de 7B publicado por ByteDance, enfocado en uso general de computadoras. Combina percepción visual de una interfaz con razonamiento antes de actuar, a partir de la arquitectura nativa UI-TARS con aprendizaje por refuerzo. Las entradas del flujo oficial de uso son una instrucción, capturas de pantalla e historial de acciones; la salida describe la siguiente acción de interfaz, a menudo con un Thought que explica el paso previsto. Una aplicación circundante ejecuta esa acción y proporciona la siguiente captura para continuar la tarea.
El desarrollador distingue este checkpoint descargable de 7B del modelo de investigación UI-TARS-1.5 más grande. La versión de 7B no está optimizada específicamente para escenarios de juegos, así que las demostraciones y los resultados del modelo de investigación más grande no deben tratarse como capacidades equivalentes de esta edición. Su función práctica es interactuar con controles visibles de aplicaciones: navegación en navegador, software de oficina, gestión de archivos y flujos de escritorio similares. Leer una captura de pantalla y elegir una acción es distinto de generar un video u obtener un estado de aplicación no visible.
El repositorio oficial describe plantillas de acciones de escritorio y móviles. Las acciones de escritorio cubren clics, doble clic y clic derecho, arrastre, atajos de teclado, entrada de texto y desplazamiento, con acciones wait y finished para comprobar una pantalla cambiante o terminar una tarea. La plantilla móvil añade operaciones como mantener presionado, abrir una aplicación y navegar al inicio o regresar. Una plantilla separada de localización pide una Action sin Thought y está pensada para tareas ligeras de salida de acciones. Elige el vocabulario de acciones que el entorno de ejecución realmente entiende en lugar de tratar cada plantilla como intercambiable.
Unas instrucciones útiles de tarea indican el objetivo, proporcionan la captura actual y el historial pertinente de acciones y definen cómo se ve la finalización. Por ejemplo, unas instrucciones editoriales originales podrían pedir al modelo encontrar un ajuste con nombre, cambiarlo a un valor especificado y detenerse después de que el nuevo estado sea visible. Pide el siguiente paso frente a la pantalla actual en lugar de una secuencia especulativa larga. Mantén explícitas las instrucciones y cualquier límite de operaciones permitidas; después de un paso ejecutado, devuelve la pantalla resultante para que el razonamiento posterior use observaciones en lugar de suposiciones sobre lo ocurrido.
El manejo de coordenadas es una parte sustancial del flujo oficial. El repositorio separa la predicción del modelo del posprocesamiento que analiza una acción y mapea su objetivo a la pantalla. Su guía de coordenadas demuestra cómo convertir coordenadas de la imagen redimensionada de vuelta a las dimensiones originales. Conserva el ancho y alto originales de la captura de pantalla y usa la convención de coordenadas de la plantilla de acciones y el analizador exactos. Una ubicación que parezca plausible en una imagen redimensionada puede apuntar a otro control si se aplica directamente a la pantalla sin escalar. Por ello, el texto de acción del modelo es una instrucción que se debe interpretar, no un evento de ratón ya ejecutado.
La guía de despliegue proporciona un ejemplo concreto de un solo paso cuyo resultado contiene Thought y Action, mientras que la aplicación de escritorio del repositorio es una superficie de ejecución separada. La longitud de entrada configurada en la guía y su presupuesto de salida de ejemplo son ajustes de despliegue, no una afirmación universal sobre el contexto o límite de acciones de cada integración. Para trabajo práctico con interfaces gráficas, envía capturas claras y legibles con los controles y el contexto circundante necesarios para la siguiente decisión. UI-TARS puede identificar mal elementos, describir incorrectamente interfaces desconocidas o elegir una acción poco óptima, especialmente cuando la pantalla es ambigua; comprobar la nueva captura después de cada acción mantiene esos errores vinculados al estado real de la tarea.
", "aboutText": "UI-TARS-1.5-7B es el modelo multimodal de agente de interfaz gráfica de 7B publicado por ByteDance, enfocado en uso general de computadoras. Combina percepción visual de una interfaz con razonamiento antes de actuar, a partir de la arquitectura nativa UI-TARS con aprendizaje por refuerzo. Las entradas del flujo oficial de uso son una instrucción, capturas de pantalla e historial de acciones; la salida describe la siguiente acción de interfaz, a menudo con un Thought que explica el paso previsto. Una aplicación circundante ejecuta esa acción y proporciona la siguiente captura para continuar la tarea.\n\nEl desarrollador distingue este checkpoint descargable de 7B del modelo de investigación UI-TARS-1.5 más grande. La versión de 7B no está optimizada específicamente para escenarios de juegos, así que las demostraciones y los resultados del modelo de investigación más grande no deben tratarse como capacidades equivalentes de esta edición. Su función práctica es interactuar con controles visibles de aplicaciones: navegación en navegador, software de oficina, gestión de archivos y flujos de escritorio similares. Leer una captura de pantalla y elegir una acción es distinto de generar un video u obtener un estado de aplicación no visible.\n\nEl repositorio oficial describe plantillas de acciones de escritorio y móviles. Las acciones de escritorio cubren clics, doble clic y clic derecho, arrastre, atajos de teclado, entrada de texto y desplazamiento, con acciones wait y finished para comprobar una pantalla cambiante o terminar una tarea. La plantilla móvil añade operaciones como mantener presionado, abrir una aplicación y navegar al inicio o regresar. Una plantilla separada de localización pide una Action sin Thought y está pensada para tareas ligeras de salida de acciones. Elige el vocabulario de acciones que el entorno de ejecución realmente entiende en lugar de tratar cada plantilla como intercambiable.\n\nUnas instrucciones útiles de tarea indican el objetivo, proporcionan la captura actual y el historial pertinente de acciones y definen cómo se ve la finalización. Por ejemplo, unas instrucciones editoriales originales podrían pedir al modelo encontrar un ajuste con nombre, cambiarlo a un valor especificado y detenerse después de que el nuevo estado sea visible. Pide el siguiente paso frente a la pantalla actual en lugar de una secuencia especulativa larga. Mantén explícitas las instrucciones y cualquier límite de operaciones permitidas; después de un paso ejecutado, devuelve la pantalla resultante para que el razonamiento posterior use observaciones en lugar de suposiciones sobre lo ocurrido.\n\nEl manejo de coordenadas es una parte sustancial del flujo oficial. El repositorio separa la predicción del modelo del posprocesamiento que analiza una acción y mapea su objetivo a la pantalla. Su guía de coordenadas demuestra cómo convertir coordenadas de la imagen redimensionada de vuelta a las dimensiones originales. Conserva el ancho y alto originales de la captura de pantalla y usa la convención de coordenadas de la plantilla de acciones y el analizador exactos. Una ubicación que parezca plausible en una imagen redimensionada puede apuntar a otro control si se aplica directamente a la pantalla sin escalar. Por ello, el texto de acción del modelo es una instrucción que se debe interpretar, no un evento de ratón ya ejecutado.\n\nLa guía de despliegue proporciona un ejemplo concreto de un solo paso cuyo resultado contiene Thought y Action, mientras que la aplicación de escritorio del repositorio es una superficie de ejecución separada. La longitud de entrada configurada en la guía y su presupuesto de salida de ejemplo son ajustes de despliegue, no una afirmación universal sobre el contexto o límite de acciones de cada integración. Para trabajo práctico con interfaces gráficas, envía capturas claras y legibles con los controles y el contexto circundante necesarios para la siguiente decisión. UI-TARS puede identificar mal elementos, describir incorrectamente interfaces desconocidas o elegir una acción poco óptima, especialmente cuando la pantalla es ambigua; comprobar la nueva captura después de cada acción mantiene esos errores vinculados al estado real de la tarea.", "editorialOverlay": { "copy_fields": { "practical_html": "Ejemplo técnico en inglés
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B es el modelo multimodal abierto de ByteDance para agentes de uso de computadoras. Razona sobre capturas de pantalla y una tarea y después produce la siguiente acción de interfaz gráfica para que una aplicación la ejecute; esta versión de 7B se enfoca en uso general de computadoras, no en optimización para juegos.
Esta descripción cubre las capacidades del modelo. Las entradas, salidas y opciones disponibles en Ailoot se indican a continuación para el método seleccionado.
UI-TARS-1.5-7B es el modelo multimodal de agente de interfaz gráfica de 7B publicado por ByteDance, enfocado en uso general de computadoras. Combina percepción visual de una interfaz con razonamiento antes de actuar, a partir de la arquitectura nativa UI-TARS con aprendizaje por refuerzo. Las entradas del flujo oficial de uso son una instrucción, capturas de pantalla e historial de acciones; la salida describe la siguiente acción de interfaz, a menudo con un Thought que explica el paso previsto. Una aplicación circundante ejecuta esa acción y proporciona la siguiente captura para continuar la tarea.
El desarrollador distingue este checkpoint descargable de 7B del modelo de investigación UI-TARS-1.5 más grande. La versión de 7B no está optimizada específicamente para escenarios de juegos, así que las demostraciones y los resultados del modelo de investigación más grande no deben tratarse como capacidades equivalentes de esta edición. Su función práctica es interactuar con controles visibles de aplicaciones: navegación en navegador, software de oficina, gestión de archivos y flujos de escritorio similares. Leer una captura de pantalla y elegir una acción es distinto de generar un video u obtener un estado de aplicación no visible.
El repositorio oficial describe plantillas de acciones de escritorio y móviles. Las acciones de escritorio cubren clics, doble clic y clic derecho, arrastre, atajos de teclado, entrada de texto y desplazamiento, con acciones wait y finished para comprobar una pantalla cambiante o terminar una tarea. La plantilla móvil añade operaciones como mantener presionado, abrir una aplicación y navegar al inicio o regresar. Una plantilla separada de localización pide una Action sin Thought y está pensada para tareas ligeras de salida de acciones. Elige el vocabulario de acciones que el entorno de ejecución realmente entiende en lugar de tratar cada plantilla como intercambiable.
Unas instrucciones útiles de tarea indican el objetivo, proporcionan la captura actual y el historial pertinente de acciones y definen cómo se ve la finalización. Por ejemplo, unas instrucciones editoriales originales podrían pedir al modelo encontrar un ajuste con nombre, cambiarlo a un valor especificado y detenerse después de que el nuevo estado sea visible. Pide el siguiente paso frente a la pantalla actual en lugar de una secuencia especulativa larga. Mantén explícitas las instrucciones y cualquier límite de operaciones permitidas; después de un paso ejecutado, devuelve la pantalla resultante para que el razonamiento posterior use observaciones en lugar de suposiciones sobre lo ocurrido.
El manejo de coordenadas es una parte sustancial del flujo oficial. El repositorio separa la predicción del modelo del posprocesamiento que analiza una acción y mapea su objetivo a la pantalla. Su guía de coordenadas demuestra cómo convertir coordenadas de la imagen redimensionada de vuelta a las dimensiones originales. Conserva el ancho y alto originales de la captura de pantalla y usa la convención de coordenadas de la plantilla de acciones y el analizador exactos. Una ubicación que parezca plausible en una imagen redimensionada puede apuntar a otro control si se aplica directamente a la pantalla sin escalar. Por ello, el texto de acción del modelo es una instrucción que se debe interpretar, no un evento de ratón ya ejecutado.
La guía de despliegue proporciona un ejemplo concreto de un solo paso cuyo resultado contiene Thought y Action, mientras que la aplicación de escritorio del repositorio es una superficie de ejecución separada. La longitud de entrada configurada en la guía y su presupuesto de salida de ejemplo son ajustes de despliegue, no una afirmación universal sobre el contexto o límite de acciones de cada integración. Para trabajo práctico con interfaces gráficas, envía capturas claras y legibles con los controles y el contexto circundante necesarios para la siguiente decisión. UI-TARS puede identificar mal elementos, describir incorrectamente interfaces desconocidas o elegir una acción poco óptima, especialmente cuando la pantalla es ambigua; comprobar la nueva captura después de cada acción mantiene esos errores vinculados al estado real de la tarea.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valores y límites | Predeterminado |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObligatorio | Valores y límites bytedance/ui-tars-1.5-7b | Predeterminado— |
Campomessages | Tipomessage[] | RequisitoObligatorio | Valores y límites Número mínimo de elementos: 1 | Predeterminado— |
Campomessages[].role | Tipostring | RequisitoObligatorio | Valores y límites Ejemplos: system, user, assistant, tool, function Condiciones: Estos roles están representados explícitamente por los tipos de compatibilidad del código fuente; el conjunto exacto de roles depende del modelo. Depende del modelo | Predeterminado— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoOpcional | Valores y límites | Predeterminado— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoOpcional | Valores y límites | Predeterminado— |
Campomessages[].tool_call_id | Tipostring | RequisitoOpcional | Valores y límites Se aplica cuando: role=tool; utiliza el ID real devuelto | Predeterminado— |
Campomessages[].name | Tipostring | RequisitoOpcional | Valores y límites | Predeterminado— |
Campomessages[].reasoning_content | Tipostring | RequisitoOpcional | Valores y límites Se aplica cuando: Devuelve en los turnos siguientes el razonamiento realmente recibido cuando este modelo lo utilice | Predeterminado— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campomax_tokens | Tipointeger | RequisitoOpcional | Valores y límites Mínimo: 1 Depende del modelo | Predeterminado— |
Campomax_completion_tokens | Tipointeger | RequisitoOpcional | Valores y límites Mínimo: 1 Depende del modelo | Predeterminado— |
Campostream | Tipoboolean | RequisitoOpcional | Valores y límites | Predeterminadofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotemperature | Tiponumber | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotop_p | Tiponumber | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campostop | Tipostring|string[] | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotools | Tipofunction_tool[] | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotools[].type | Tipostring | RequisitoOpcional | Valores y límites function Depende del modelo | Predeterminado— |
Campotools[].function.name | Tipostring | RequisitoObligatorio | Valores y límites Se aplica cuando: herramienta de función proporcionada | Predeterminado— |
Campotools[].function.description | Tipostring | RequisitoOpcional | Valores y límites | Predeterminado— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoOpcional | Valores y límites | Predeterminado— |
Campotool_choice | Tipostring|object | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campoparallel_tool_calls | Tipoboolean | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camporesponse_format | Tipoobject | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camporeasoning_effort | Tipostring | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camporeasoning | Tipoobject | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camposervice_tier | Tipostring | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campoinstructions | Tipostring | RequisitoOpcional | Valores y límites Campo de compatibilidad | Predeterminado— |
Campofunctions | Tipofunction[] | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campofunction_call | Tipostring|object | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campoprompt_cache_options | Tipoobject | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campomodalities | Tipostring[] | RequisitoOpcional | Valores y límites text | Predeterminado— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores y límites Condiciones: provider.options se rechaza en esta ruta de texto Ultra | Predeterminado— |
Campocache_control.ttl | Tipostring | RequisitoOpcional | Valores y límites Condiciones: 1h se rechaza en los campos reales de caché de instrucciones | Predeterminado— |
Texto · Texto UTF8
messages[].content
| Parámetro | Contrato |
|---|---|
Parámetrocontent_type | Contratoapplication/json |
Parámetrorequired | Contratomodel, messages |
Parámetromaterial_types | Contratotext |
Parámetromessages | Contratomatriz de mensajes con estructura role/content |
Parámetrofile_material | Contratodocumento real en UTF-8 insertado como texto literal; no se deduce ningún ID de archivo |
Parámetrooptional_controls | Contratostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parámetrocontrol_scope | Contratodepende del modelo; las herramientas de funciones del usuario difieren de las herramientas alojadas |
Parámetrooutput_modalities | Contratotext |
Parámetrohosted_operations | Contratofalse |
Parámetromultimodal_input_binding | Contratonull |
Ciclo de vida: synchronous_or_streamed
Envía el ID exacto del modelo junto con messages.
La longitud del contexto no es un límite máximo de salida.
Un archivo de texto puede aportar texto literal; las entradas de imagen, audio u objetos de archivo requieren una vinculación exacta.
Las referencias tarifarias no añaden opciones a la solicitud. Los parámetros admitidos se indican en el método seleccionado.
Relaciona cada cargo con las condiciones mostradas. Usa una tarifa para cada conjunto de configuraciones alternativas.
| Configuración | Tabla de tarifas | Tokens de contexto, más de | Tokens de contexto, hasta inclusive | Cargo |
|---|---|---|---|---|
| ConfiguraciónTarifas base por token | Tabla de tarifasTarifa base | Tokens de contexto, más de— | Tokens de contexto, hasta inclusiveSin límite superior | Cargo Entrada · Tokens de entrada $0.0002 / 1K tokens Salida · Tokens de salida $0.0004 / 1K tokens Entrada · Lectura de caché $0.0002 / 1K tokens Entrada · Escritura en caché — / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
| ConfiguraciónNivel 1 por longitud de la solicitud | Tabla de tarifas— | Tokens de contexto, más de0 | Tokens de contexto, hasta inclusiveSin límite superior | Cargo Entrada · Tokens de entrada $0.0002 / 1K tokens Salida · Tokens de salida $0.0004 / 1K tokens Entrada · Lectura de caché $0.0002 / 1K tokens Entrada · Escritura en caché — / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
Ailoot reserva un monto estimado antes de la solicitud. Tras obtener el resultado, liquida el cargo definitivo según el uso medido. En las respuestas en flujo, la liquidación usa el registro de uso final. Cómo funcionan la reserva y la liquidación →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "bytedance/ui-tars-1.5-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson o SSE
Conserva todas las respuestas, archivos y partes de contenido completos recibidos.
Conserva cada alternativa y su contenido, llamadas de herramientas y razonamiento. En SSE, ensambla los fragmentos incrementales por índice de alternativa/herramienta y conserva el motivo final de terminación y el uso.
Conserva los ID de solicitud y respuesta y los encabezados. No se proporciona una URL genérica para recuperar tareas de texto.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Respuesta | Condición | Siguiente paso |
|---|---|---|
Respuesta400 · invalid_request_error | CondiciónCampos obligatorios, representación del material o valor del parámetro no válidos | Siguiente pasoCorrige los campos indicados antes de una nueva solicitud de creación. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Usa las rutas de método indicadas arriba.
bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B es el modelo multimodal abierto de ByteDance para agentes de uso de computadoras. Razona sobre capturas de pantalla y una tarea y después produce la siguiente acción de interfaz gráfica para que una aplicación la ejecute; esta versión de 7B se enfoca en uso general de computadoras, no en optimización para juegos.
Esta descripción cubre las capacidades del modelo. Las entradas, salidas y opciones disponibles en Ailoot se indican a continuación para el método seleccionado.
UI-TARS-1.5-7B es el modelo multimodal de agente de interfaz gráfica de 7B publicado por ByteDance, enfocado en uso general de computadoras. Combina percepción visual de una interfaz con razonamiento antes de actuar, a partir de la arquitectura nativa UI-TARS con aprendizaje por refuerzo. Las entradas del flujo oficial de uso son una instrucción, capturas de pantalla e historial de acciones; la salida describe la siguiente acción de interfaz, a menudo con un Thought que explica el paso previsto. Una aplicación circundante ejecuta esa acción y proporciona la siguiente captura para continuar la tarea.
El desarrollador distingue este checkpoint descargable de 7B del modelo de investigación UI-TARS-1.5 más grande. La versión de 7B no está optimizada específicamente para escenarios de juegos, así que las demostraciones y los resultados del modelo de investigación más grande no deben tratarse como capacidades equivalentes de esta edición. Su función práctica es interactuar con controles visibles de aplicaciones: navegación en navegador, software de oficina, gestión de archivos y flujos de escritorio similares. Leer una captura de pantalla y elegir una acción es distinto de generar un video u obtener un estado de aplicación no visible.
El repositorio oficial describe plantillas de acciones de escritorio y móviles. Las acciones de escritorio cubren clics, doble clic y clic derecho, arrastre, atajos de teclado, entrada de texto y desplazamiento, con acciones wait y finished para comprobar una pantalla cambiante o terminar una tarea. La plantilla móvil añade operaciones como mantener presionado, abrir una aplicación y navegar al inicio o regresar. Una plantilla separada de localización pide una Action sin Thought y está pensada para tareas ligeras de salida de acciones. Elige el vocabulario de acciones que el entorno de ejecución realmente entiende en lugar de tratar cada plantilla como intercambiable.
Unas instrucciones útiles de tarea indican el objetivo, proporcionan la captura actual y el historial pertinente de acciones y definen cómo se ve la finalización. Por ejemplo, unas instrucciones editoriales originales podrían pedir al modelo encontrar un ajuste con nombre, cambiarlo a un valor especificado y detenerse después de que el nuevo estado sea visible. Pide el siguiente paso frente a la pantalla actual en lugar de una secuencia especulativa larga. Mantén explícitas las instrucciones y cualquier límite de operaciones permitidas; después de un paso ejecutado, devuelve la pantalla resultante para que el razonamiento posterior use observaciones en lugar de suposiciones sobre lo ocurrido.
El manejo de coordenadas es una parte sustancial del flujo oficial. El repositorio separa la predicción del modelo del posprocesamiento que analiza una acción y mapea su objetivo a la pantalla. Su guía de coordenadas demuestra cómo convertir coordenadas de la imagen redimensionada de vuelta a las dimensiones originales. Conserva el ancho y alto originales de la captura de pantalla y usa la convención de coordenadas de la plantilla de acciones y el analizador exactos. Una ubicación que parezca plausible en una imagen redimensionada puede apuntar a otro control si se aplica directamente a la pantalla sin escalar. Por ello, el texto de acción del modelo es una instrucción que se debe interpretar, no un evento de ratón ya ejecutado.
La guía de despliegue proporciona un ejemplo concreto de un solo paso cuyo resultado contiene Thought y Action, mientras que la aplicación de escritorio del repositorio es una superficie de ejecución separada. La longitud de entrada configurada en la guía y su presupuesto de salida de ejemplo son ajustes de despliegue, no una afirmación universal sobre el contexto o límite de acciones de cada integración. Para trabajo práctico con interfaces gráficas, envía capturas claras y legibles con los controles y el contexto circundante necesarios para la siguiente decisión. UI-TARS puede identificar mal elementos, describir incorrectamente interfaces desconocidas o elegir una acción poco óptima, especialmente cuando la pantalla es ambigua; comprobar la nueva captura después de cada acción mantiene esos errores vinculados al estado real de la tarea.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valores y límites | Predeterminado |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObligatorio | Valores y límites bytedance/ui-tars-1.5-7b | Predeterminado— |
Campomessages | Tipomessage[] | RequisitoObligatorio | Valores y límites | Predeterminado— |
Campomessages[].role | Tipostring | RequisitoObligatorio | Valores y límites user, assistant | Predeterminado— |
Campomessages[].content | Tipostring | RequisitoObligatorio | Valores y límites | Predeterminado— |
Campomax_tokens | Tipointeger | RequisitoObligatorio | Valores y límites | Predeterminado— |
Campostream | Tipoboolean | RequisitoOpcional | Valores y límites | Predeterminadofalse |
Texto · Texto UTF-8
cadena messages[].content
| Parámetro | Contrato |
|---|---|
Parámetrocontent_type | Contratoapplication/json |
Parámetrorequired | Contratomodel, messages, max_tokens |
Parámetrooptional_controls | Contratostream |
Parámetromaterial_types | Contratotext |
Parámetrotext_file_material | ContratoLee el documento real en UTF-8 y coloca su texto en el campo input indicado o en la cadena de contenido del mensaje. |
Ciclo de vida: synchronous_or_streamed
Las referencias tarifarias no añaden opciones a la solicitud. Los parámetros admitidos se indican en el método seleccionado.
Relaciona cada cargo con las condiciones mostradas. Usa una tarifa para cada conjunto de configuraciones alternativas.
| Configuración | Tabla de tarifas | Tokens de contexto, más de | Tokens de contexto, hasta inclusive | Cargo |
|---|---|---|---|---|
| ConfiguraciónTarifas base por token | Tabla de tarifasTarifa base | Tokens de contexto, más de— | Tokens de contexto, hasta inclusiveSin límite superior | Cargo Entrada · Tokens de entrada $0.0002 / 1K tokens Salida · Tokens de salida $0.0004 / 1K tokens Entrada · Lectura de caché $0.0002 / 1K tokens Entrada · Escritura en caché — / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
| ConfiguraciónNivel 1 por longitud de la solicitud | Tabla de tarifas— | Tokens de contexto, más de0 | Tokens de contexto, hasta inclusiveSin límite superior | Cargo Entrada · Tokens de entrada $0.0002 / 1K tokens Salida · Tokens de salida $0.0004 / 1K tokens Entrada · Lectura de caché $0.0002 / 1K tokens Entrada · Escritura en caché — / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
Ailoot reserva un monto estimado antes de la solicitud. Tras obtener el resultado, liquida el cargo definitivo según el uso medido. En las respuestas en flujo, la liquidación usa el registro de uso final. Cómo funcionan la reserva y la liquidación →
{\n "model": "bytedance/ui-tars-1.5-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON o SSE
Conserva todas las respuestas, archivos y partes de contenido completos recibidos.
Conserva todos los bloques de contenido, las firmas de razonamiento y los ID reales de uso de herramientas. Ensambla todos los fragmentos incrementales de los bloques SSE; el primer bloque de texto no constituye la salida completa.
Conserva los ID de solicitud y respuesta y los encabezados. No se proporciona una URL genérica para recuperar tareas de texto.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Respuesta | Condición | Siguiente paso |
|---|---|---|
Respuesta400 · invalid_request_error | CondiciónCampos obligatorios, representación del material o valor del parámetro no válidos | Siguiente pasoCorrige los campos indicados antes de una nueva solicitud de creación. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Usa las rutas de método indicadas arriba.
Ejemplo técnico en inglés
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.