UI-TARS-1.5-7B는 일반적인 컴퓨터 사용에 중점을 둔 ByteDance의 공개 7B 멀티모달 GUI 에이전트 모델입니다. 네이티브 UI-TARS 아키텍처에 강화 학습을 적용해, 인터페이스의 시각적 인식과 동작 전 추론을 결합합니다. 공식 사용 흐름의 입력은 지침, 스크린샷, 동작 이력입니다. 출력은 다음 인터페이스 동작을 설명하며, 의도한 단계를 설명하는 Thought를 포함하는 경우가 많습니다. 주변 애플리케이션이 동작을 실행하고 다음 스크린샷을 제공해 작업을 이어갑니다.
제작사는 다운로드 가능한 이 7B 체크포인트를 더 큰 UI-TARS-1.5 연구 모델과 구분합니다. 7B 릴리스는 게임 기반 시나리오에 특별히 최적화되지 않았으므로, 더 큰 연구 모델의 데모와 결과를 이 에디션의 동등한 능력으로 취급해서는 안 됩니다. 실질적인 역할은 브라우저 탐색, 사무용 소프트웨어, 파일 관리 등 데스크톱 워크플로에서 보이는 애플리케이션 컨트롤과 상호작용하는 것입니다. 스크린샷을 읽고 동작을 선택하는 일은 영상 생성이나 보이지 않는 애플리케이션 상태를 얻는 일과 다릅니다.
공식 저장소는 데스크톱 및 모바일 동작 템플릿을 설명합니다. 데스크톱 동작은 클릭, 더블클릭, 오른쪽 클릭, 드래그, 키보드 단축키, 텍스트 입력, 스크롤을 포함하며, 변하는 화면을 확인하거나 작업을 끝내기 위한 wait 및 finished 동작도 있습니다. 모바일 템플릿은 길게 누르기, 앱 열기, 홈 또는 뒤로 이동 등의 작업을 추가합니다. 별도의 그라운딩 템플릿은 Thought 없이 Action을 요청하며 가벼운 동작 출력 작업용입니다. 모든 템플릿을 서로 바꿔 쓸 수 있다고 취급하지 말고 실행 환경이 실제로 이해하는 동작 어휘를 선택하세요.
유용한 작업 지시는 목표를 명시하고, 현재 스크린샷과 관련 동작 이력을 제공하며, 완료 상태가 무엇인지 정의합니다. 예를 들어 독자적인 편집 작업 지시에서는 이름이 지정된 설정을 찾아 지정한 값으로 바꾸고 새 상태가 보이면 중단하도록 요청할 수 있습니다. 길고 추측에 기반한 순서 대신 현재 화면에 대한 다음 단계를 요청하세요. 지침과 허용 작업의 제한을 명시적으로 유지하세요. 한 단계 실행 후에는 결과 화면을 반환해 후속 추론이 발생한 일에 대한 가정 대신 관찰을 사용하게 하세요.
좌표 처리는 공식 워크플로의 중요한 부분입니다. 저장소는 모델 예측을 동작 파싱 및 대상의 화면 매핑을 수행하는 후처리와 구분합니다. 좌표 가이드는 크기가 조정된 이미지의 좌표를 원본 이미지 크기로 되돌리는 방법을 보여줍니다. 원본 스크린샷의 너비와 높이를 보존하고 정확한 동작 템플릿 및 파서의 좌표 규칙을 사용하세요. 크기가 조정된 이미지에서 그럴듯한 위치라도 원래 화면에 그대로 적용하면 다른 컨트롤을 가리킬 수 있습니다. 따라서 모델의 동작 텍스트는 해석할 지침이지 이미 실행된 마우스 이벤트가 아닙니다.
배포 가이드는 결과에 Thought와 Action이 포함된 구체적인 단일 단계 예시를 제공하며, 저장소의 데스크톱 애플리케이션은 별도의 실행 수단입니다. 가이드의 설정된 입력 길이와 출력 허용량 예시는 배포 설정이며 모든 통합의 컨텍스트나 동작 한도에 대한 보편적 주장은 아닙니다. 실제 GUI 작업에서는 다음 결정에 필요한 컨트롤과 주변 컨텍스트가 담긴 선명하고 읽기 쉬운 스크린샷을 보내세요. UI-TARS는 특히 화면이 모호할 때 요소를 잘못 식별하거나, 익숙하지 않은 인터페이스를 잘못 설명하거나, 최적이 아닌 동작을 선택할 수 있습니다. 각 동작 후 새 스크린샷을 확인하면 이러한 오류를 실제 작업 상태에 연결해 다룰 수 있습니다.
", "aboutText": "UI-TARS-1.5-7B는 일반적인 컴퓨터 사용에 중점을 둔 ByteDance의 공개 7B 멀티모달 GUI 에이전트 모델입니다. 네이티브 UI-TARS 아키텍처에 강화 학습을 적용해, 인터페이스의 시각적 인식과 동작 전 추론을 결합합니다. 공식 사용 흐름의 입력은 지침, 스크린샷, 동작 이력입니다. 출력은 다음 인터페이스 동작을 설명하며, 의도한 단계를 설명하는 Thought를 포함하는 경우가 많습니다. 주변 애플리케이션이 동작을 실행하고 다음 스크린샷을 제공해 작업을 이어갑니다.\n\n제작사는 다운로드 가능한 이 7B 체크포인트를 더 큰 UI-TARS-1.5 연구 모델과 구분합니다. 7B 릴리스는 게임 기반 시나리오에 특별히 최적화되지 않았으므로, 더 큰 연구 모델의 데모와 결과를 이 에디션의 동등한 능력으로 취급해서는 안 됩니다. 실질적인 역할은 브라우저 탐색, 사무용 소프트웨어, 파일 관리 등 데스크톱 워크플로에서 보이는 애플리케이션 컨트롤과 상호작용하는 것입니다. 스크린샷을 읽고 동작을 선택하는 일은 영상 생성이나 보이지 않는 애플리케이션 상태를 얻는 일과 다릅니다.\n\n공식 저장소는 데스크톱 및 모바일 동작 템플릿을 설명합니다. 데스크톱 동작은 클릭, 더블클릭, 오른쪽 클릭, 드래그, 키보드 단축키, 텍스트 입력, 스크롤을 포함하며, 변하는 화면을 확인하거나 작업을 끝내기 위한 wait 및 finished 동작도 있습니다. 모바일 템플릿은 길게 누르기, 앱 열기, 홈 또는 뒤로 이동 등의 작업을 추가합니다. 별도의 그라운딩 템플릿은 Thought 없이 Action을 요청하며 가벼운 동작 출력 작업용입니다. 모든 템플릿을 서로 바꿔 쓸 수 있다고 취급하지 말고 실행 환경이 실제로 이해하는 동작 어휘를 선택하세요.\n\n유용한 작업 지시는 목표를 명시하고, 현재 스크린샷과 관련 동작 이력을 제공하며, 완료 상태가 무엇인지 정의합니다. 예를 들어 독자적인 편집 작업 지시에서는 이름이 지정된 설정을 찾아 지정한 값으로 바꾸고 새 상태가 보이면 중단하도록 요청할 수 있습니다. 길고 추측에 기반한 순서 대신 현재 화면에 대한 다음 단계를 요청하세요. 지침과 허용 작업의 제한을 명시적으로 유지하세요. 한 단계 실행 후에는 결과 화면을 반환해 후속 추론이 발생한 일에 대한 가정 대신 관찰을 사용하게 하세요.\n\n좌표 처리는 공식 워크플로의 중요한 부분입니다. 저장소는 모델 예측을 동작 파싱 및 대상의 화면 매핑을 수행하는 후처리와 구분합니다. 좌표 가이드는 크기가 조정된 이미지의 좌표를 원본 이미지 크기로 되돌리는 방법을 보여줍니다. 원본 스크린샷의 너비와 높이를 보존하고 정확한 동작 템플릿 및 파서의 좌표 규칙을 사용하세요. 크기가 조정된 이미지에서 그럴듯한 위치라도 원래 화면에 그대로 적용하면 다른 컨트롤을 가리킬 수 있습니다. 따라서 모델의 동작 텍스트는 해석할 지침이지 이미 실행된 마우스 이벤트가 아닙니다.\n\n배포 가이드는 결과에 Thought와 Action이 포함된 구체적인 단일 단계 예시를 제공하며, 저장소의 데스크톱 애플리케이션은 별도의 실행 수단입니다. 가이드의 설정된 입력 길이와 출력 허용량 예시는 배포 설정이며 모든 통합의 컨텍스트나 동작 한도에 대한 보편적 주장은 아닙니다. 실제 GUI 작업에서는 다음 결정에 필요한 컨트롤과 주변 컨텍스트가 담긴 선명하고 읽기 쉬운 스크린샷을 보내세요. UI-TARS는 특히 화면이 모호할 때 요소를 잘못 식별하거나, 익숙하지 않은 인터페이스를 잘못 설명하거나, 최적이 아닌 동작을 선택할 수 있습니다. 각 동작 후 새 스크린샷을 확인하면 이러한 오류를 실제 작업 상태에 연결해 다룰 수 있습니다.", "editorialOverlay": { "copy_fields": { "practical_html": "영어 기술 예제
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B는 컴퓨터 사용 에이전트를 위한 ByteDance의 개방형 멀티모달 모델입니다. 스크린샷과 작업을 바탕으로 추론한 뒤 애플리케이션이 실행할 다음 GUI 동작을 생성합니다. 이 7B 릴리스는 게임 최적화보다 일반적인 컴퓨터 사용에 중점을 둡니다.
이 설명은 모델의 기능을 다룹니다. Ailoot에서 사용할 수 있는 입력, 출력 및 옵션은 아래에 선택한 메서드별로 표시됩니다.
UI-TARS-1.5-7B는 일반적인 컴퓨터 사용에 중점을 둔 ByteDance의 공개 7B 멀티모달 GUI 에이전트 모델입니다. 네이티브 UI-TARS 아키텍처에 강화 학습을 적용해, 인터페이스의 시각적 인식과 동작 전 추론을 결합합니다. 공식 사용 흐름의 입력은 지침, 스크린샷, 동작 이력입니다. 출력은 다음 인터페이스 동작을 설명하며, 의도한 단계를 설명하는 Thought를 포함하는 경우가 많습니다. 주변 애플리케이션이 동작을 실행하고 다음 스크린샷을 제공해 작업을 이어갑니다.
제작사는 다운로드 가능한 이 7B 체크포인트를 더 큰 UI-TARS-1.5 연구 모델과 구분합니다. 7B 릴리스는 게임 기반 시나리오에 특별히 최적화되지 않았으므로, 더 큰 연구 모델의 데모와 결과를 이 에디션의 동등한 능력으로 취급해서는 안 됩니다. 실질적인 역할은 브라우저 탐색, 사무용 소프트웨어, 파일 관리 등 데스크톱 워크플로에서 보이는 애플리케이션 컨트롤과 상호작용하는 것입니다. 스크린샷을 읽고 동작을 선택하는 일은 영상 생성이나 보이지 않는 애플리케이션 상태를 얻는 일과 다릅니다.
공식 저장소는 데스크톱 및 모바일 동작 템플릿을 설명합니다. 데스크톱 동작은 클릭, 더블클릭, 오른쪽 클릭, 드래그, 키보드 단축키, 텍스트 입력, 스크롤을 포함하며, 변하는 화면을 확인하거나 작업을 끝내기 위한 wait 및 finished 동작도 있습니다. 모바일 템플릿은 길게 누르기, 앱 열기, 홈 또는 뒤로 이동 등의 작업을 추가합니다. 별도의 그라운딩 템플릿은 Thought 없이 Action을 요청하며 가벼운 동작 출력 작업용입니다. 모든 템플릿을 서로 바꿔 쓸 수 있다고 취급하지 말고 실행 환경이 실제로 이해하는 동작 어휘를 선택하세요.
유용한 작업 지시는 목표를 명시하고, 현재 스크린샷과 관련 동작 이력을 제공하며, 완료 상태가 무엇인지 정의합니다. 예를 들어 독자적인 편집 작업 지시에서는 이름이 지정된 설정을 찾아 지정한 값으로 바꾸고 새 상태가 보이면 중단하도록 요청할 수 있습니다. 길고 추측에 기반한 순서 대신 현재 화면에 대한 다음 단계를 요청하세요. 지침과 허용 작업의 제한을 명시적으로 유지하세요. 한 단계 실행 후에는 결과 화면을 반환해 후속 추론이 발생한 일에 대한 가정 대신 관찰을 사용하게 하세요.
좌표 처리는 공식 워크플로의 중요한 부분입니다. 저장소는 모델 예측을 동작 파싱 및 대상의 화면 매핑을 수행하는 후처리와 구분합니다. 좌표 가이드는 크기가 조정된 이미지의 좌표를 원본 이미지 크기로 되돌리는 방법을 보여줍니다. 원본 스크린샷의 너비와 높이를 보존하고 정확한 동작 템플릿 및 파서의 좌표 규칙을 사용하세요. 크기가 조정된 이미지에서 그럴듯한 위치라도 원래 화면에 그대로 적용하면 다른 컨트롤을 가리킬 수 있습니다. 따라서 모델의 동작 텍스트는 해석할 지침이지 이미 실행된 마우스 이벤트가 아닙니다.
배포 가이드는 결과에 Thought와 Action이 포함된 구체적인 단일 단계 예시를 제공하며, 저장소의 데스크톱 애플리케이션은 별도의 실행 수단입니다. 가이드의 설정된 입력 길이와 출력 허용량 예시는 배포 설정이며 모든 통합의 컨텍스트나 동작 한도에 대한 보편적 주장은 아닙니다. 실제 GUI 작업에서는 다음 결정에 필요한 컨트롤과 주변 컨텍스트가 담긴 선명하고 읽기 쉬운 스크린샷을 보내세요. UI-TARS는 특히 화면이 모호할 때 요소를 잘못 식별하거나, 익숙하지 않은 인터페이스를 잘못 설명하거나, 최적이 아닌 동작을 선택할 수 있습니다. 각 동작 후 새 스크린샷을 확인하면 이러한 오류를 실제 작업 상태에 연결해 다룰 수 있습니다.
POST /v1/chat/completionstexttext| 필드 | 유형 | 요건 | 값과 한도 | 기본값 |
|---|---|---|---|---|
필드model | 유형string | 요건필수 | 값과 한도 bytedance/ui-tars-1.5-7b | 기본값— |
필드messages | 유형message[] | 요건필수 | 값과 한도 최소 항목 수: 1 | 기본값— |
필드messages[].role | 유형string | 요건필수 | 값과 한도 예시: system, user, assistant, tool, function 조건: 이 역할들은 소스 코드의 호환 타입에 명시적으로 표현됩니다. 정확한 모델 역할 집합은 모델별로 다릅니다. 모델에 따라 다름 | 기본값— |
필드messages[].content | 유형string|content_part[]|null | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].tool_calls | 유형tool_call[] | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].tool_call_id | 유형string | 요건선택 사항 | 값과 한도 적용 조건: role=tool. 실제 반환된 ID를 사용하세요 | 기본값— |
필드messages[].name | 유형string | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].reasoning_content | 유형string | 요건선택 사항 | 값과 한도 적용 조건: 이 모델이 추론을 사용하는 경우 실제 반환된 추론을 그대로 다음 요청에 다시 전달하세요 | 기본값— |
필드messages[].reasoning_details | 유형object|array | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드max_tokens | 유형integer | 요건선택 사항 | 값과 한도 최솟값: 1 모델에 따라 다름 | 기본값— |
필드max_completion_tokens | 유형integer | 요건선택 사항 | 값과 한도 최솟값: 1 모델에 따라 다름 | 기본값— |
필드stream | 유형boolean | 요건선택 사항 | 값과 한도 | 기본값false |
필드stream_options.include_usage | 유형boolean | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드temperature | 유형number | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드top_p | 유형number | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드stop | 유형string|string[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드tools | 유형function_tool[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드tools[].type | 유형string | 요건선택 사항 | 값과 한도 function 모델에 따라 다름 | 기본값— |
필드tools[].function.name | 유형string | 요건필수 | 값과 한도 적용 조건: 함수 도구 지정됨 | 기본값— |
필드tools[].function.description | 유형string | 요건선택 사항 | 값과 한도 | 기본값— |
필드tools[].function.parameters | 유형JSON_schema | 요건선택 사항 | 값과 한도 | 기본값— |
필드tool_choice | 유형string|object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드parallel_tool_calls | 유형boolean | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드response_format | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드reasoning_effort | 유형string | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드reasoning | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드service_tier | 유형string | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드instructions | 유형string | 요건선택 사항 | 값과 한도 호환성 필드 | 기본값— |
필드functions | 유형function[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드function_call | 유형string|object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드prompt_cache_options | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드modalities | 유형string[] | 요건선택 사항 | 값과 한도 text | 기본값— |
필드provider | 유형object | 요건선택 사항 | 값과 한도 조건: 이 Ultra 텍스트 경로에서는 provider.options가 거부됩니다 | 기본값— |
필드cache_control.ttl | 유형string | 요건선택 사항 | 값과 한도 조건: 실제 프롬프트 캐시 지정 위치에서는 1h가 거부됩니다 | 기본값— |
텍스트 · UTF8 텍스트
messages[].content
| 매개변수 | 명세 |
|---|---|
매개변수content_type | 명세application/json |
매개변수required | 명세model, messages |
매개변수material_types | 명세text |
매개변수messages | 명세role/content 형식의 메시지 배열 |
매개변수file_material | 명세실제 UTF-8 문서를 텍스트로 그대로 삽입합니다. 파일 ID는 추정하지 않습니다 |
매개변수optional_controls | 명세stream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
매개변수control_scope | 명세모델별로 다름. 사용자 함수 도구와 호스팅 도구는 서로 다릅니다 |
매개변수output_modalities | 명세text |
매개변수hosted_operations | 명세false |
매개변수multimodal_input_binding | 명세null |
수명 주기: synchronous_or_streamed
정확한 모델 ID를 messages와 함께 보내세요.
컨텍스트 길이는 출력 상한이 아닙니다.
텍스트 파일은 텍스트를 그대로 제공할 수 있습니다. 이미지/오디오/파일 객체 입력에는 정확한 바인딩이 필요합니다.
요금 정보는 요청 옵션을 추가하지 않습니다. 지원되는 매개변수는 선택한 메서드에 표시됩니다.
각 요금을 표시된 조건과 대조하세요. 서로 대체되는 설정 묶음마다 하나의 요금만 적용하세요.
| 설정 | 요금표 | 컨텍스트 토큰 수 초과 기준 | 컨텍스트 토큰 수 이하 기준 | 요금 |
|---|---|---|---|---|
| 설정토큰의 기본 단가 | 요금표기본 요금 | 컨텍스트 토큰 수 초과 기준— | 컨텍스트 토큰 수 이하 기준상한 없음 | 요금 입력 · 입력 토큰 $0.0002 / 1K 토큰 출력 · 출력 토큰 $0.0004 / 1K 토큰 입력 · 캐시 읽기 $0.0002 / 1K 토큰 입력 · 캐시 쓰기 — / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
| 설정요청 길이 구간 1 | 요금표— | 컨텍스트 토큰 수 초과 기준0 | 컨텍스트 토큰 수 이하 기준상한 없음 | 요금 입력 · 입력 토큰 $0.0002 / 1K 토큰 출력 · 출력 토큰 $0.0004 / 1K 토큰 입력 · 캐시 읽기 $0.0002 / 1K 토큰 입력 · 캐시 쓰기 — / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
Ailoot는 요청 전에 예상 금액을 미리 확보합니다. 결과를 받은 뒤 측정된 사용량을 기준으로 최종 요금을 정산합니다. 스트리밍 정산에는 최종 사용량 기록을 사용합니다. 금액 확보와 정산 방식 →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "bytedance/ui-tars-1.5-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson 또는 SSE
반환된 완전한 응답, 파일, 콘텐츠 부분을 모두 보관하세요.
각 선택지와 그 콘텐츠·도구 호출·추론을 모두 보존하세요. SSE에서는 선택지/도구 인덱스별로 증분을 조합하고 최종 종료 사유와 사용량을 유지하세요.
요청/응답 ID와 헤더를 보존하세요. 텍스트 작업을 조회하는 범용 URL은 제공되지 않습니다.
| 필드 | 유형 |
|---|---|
필드choices[].index | 유형integer |
필드choices[].message.content | 유형string|null |
필드choices[].message.tool_calls | 유형tool_call[] |
필드choices[].message.reasoning_content | 유형string |
필드choices[].message.reasoning_details | 유형object|array |
필드choices[].finish_reason | 유형string|null |
필드usage | 유형object |
| 응답 | 조건 | 다음 단계 |
|---|---|---|
응답400 · invalid_request_error | 조건필수 필드, 자료 표현 방식 또는 파라미터 값이 올바르지 않음 | 다음 단계새 생성 요청 전에 표시된 필드를 수정하세요. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
위에 표시된 메서드 경로를 사용하세요.
bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B는 컴퓨터 사용 에이전트를 위한 ByteDance의 개방형 멀티모달 모델입니다. 스크린샷과 작업을 바탕으로 추론한 뒤 애플리케이션이 실행할 다음 GUI 동작을 생성합니다. 이 7B 릴리스는 게임 최적화보다 일반적인 컴퓨터 사용에 중점을 둡니다.
이 설명은 모델의 기능을 다룹니다. Ailoot에서 사용할 수 있는 입력, 출력 및 옵션은 아래에 선택한 메서드별로 표시됩니다.
UI-TARS-1.5-7B는 일반적인 컴퓨터 사용에 중점을 둔 ByteDance의 공개 7B 멀티모달 GUI 에이전트 모델입니다. 네이티브 UI-TARS 아키텍처에 강화 학습을 적용해, 인터페이스의 시각적 인식과 동작 전 추론을 결합합니다. 공식 사용 흐름의 입력은 지침, 스크린샷, 동작 이력입니다. 출력은 다음 인터페이스 동작을 설명하며, 의도한 단계를 설명하는 Thought를 포함하는 경우가 많습니다. 주변 애플리케이션이 동작을 실행하고 다음 스크린샷을 제공해 작업을 이어갑니다.
제작사는 다운로드 가능한 이 7B 체크포인트를 더 큰 UI-TARS-1.5 연구 모델과 구분합니다. 7B 릴리스는 게임 기반 시나리오에 특별히 최적화되지 않았으므로, 더 큰 연구 모델의 데모와 결과를 이 에디션의 동등한 능력으로 취급해서는 안 됩니다. 실질적인 역할은 브라우저 탐색, 사무용 소프트웨어, 파일 관리 등 데스크톱 워크플로에서 보이는 애플리케이션 컨트롤과 상호작용하는 것입니다. 스크린샷을 읽고 동작을 선택하는 일은 영상 생성이나 보이지 않는 애플리케이션 상태를 얻는 일과 다릅니다.
공식 저장소는 데스크톱 및 모바일 동작 템플릿을 설명합니다. 데스크톱 동작은 클릭, 더블클릭, 오른쪽 클릭, 드래그, 키보드 단축키, 텍스트 입력, 스크롤을 포함하며, 변하는 화면을 확인하거나 작업을 끝내기 위한 wait 및 finished 동작도 있습니다. 모바일 템플릿은 길게 누르기, 앱 열기, 홈 또는 뒤로 이동 등의 작업을 추가합니다. 별도의 그라운딩 템플릿은 Thought 없이 Action을 요청하며 가벼운 동작 출력 작업용입니다. 모든 템플릿을 서로 바꿔 쓸 수 있다고 취급하지 말고 실행 환경이 실제로 이해하는 동작 어휘를 선택하세요.
유용한 작업 지시는 목표를 명시하고, 현재 스크린샷과 관련 동작 이력을 제공하며, 완료 상태가 무엇인지 정의합니다. 예를 들어 독자적인 편집 작업 지시에서는 이름이 지정된 설정을 찾아 지정한 값으로 바꾸고 새 상태가 보이면 중단하도록 요청할 수 있습니다. 길고 추측에 기반한 순서 대신 현재 화면에 대한 다음 단계를 요청하세요. 지침과 허용 작업의 제한을 명시적으로 유지하세요. 한 단계 실행 후에는 결과 화면을 반환해 후속 추론이 발생한 일에 대한 가정 대신 관찰을 사용하게 하세요.
좌표 처리는 공식 워크플로의 중요한 부분입니다. 저장소는 모델 예측을 동작 파싱 및 대상의 화면 매핑을 수행하는 후처리와 구분합니다. 좌표 가이드는 크기가 조정된 이미지의 좌표를 원본 이미지 크기로 되돌리는 방법을 보여줍니다. 원본 스크린샷의 너비와 높이를 보존하고 정확한 동작 템플릿 및 파서의 좌표 규칙을 사용하세요. 크기가 조정된 이미지에서 그럴듯한 위치라도 원래 화면에 그대로 적용하면 다른 컨트롤을 가리킬 수 있습니다. 따라서 모델의 동작 텍스트는 해석할 지침이지 이미 실행된 마우스 이벤트가 아닙니다.
배포 가이드는 결과에 Thought와 Action이 포함된 구체적인 단일 단계 예시를 제공하며, 저장소의 데스크톱 애플리케이션은 별도의 실행 수단입니다. 가이드의 설정된 입력 길이와 출력 허용량 예시는 배포 설정이며 모든 통합의 컨텍스트나 동작 한도에 대한 보편적 주장은 아닙니다. 실제 GUI 작업에서는 다음 결정에 필요한 컨트롤과 주변 컨텍스트가 담긴 선명하고 읽기 쉬운 스크린샷을 보내세요. UI-TARS는 특히 화면이 모호할 때 요소를 잘못 식별하거나, 익숙하지 않은 인터페이스를 잘못 설명하거나, 최적이 아닌 동작을 선택할 수 있습니다. 각 동작 후 새 스크린샷을 확인하면 이러한 오류를 실제 작업 상태에 연결해 다룰 수 있습니다.
POST /v1/messagestextjson, sse| 필드 | 유형 | 요건 | 값과 한도 | 기본값 |
|---|---|---|---|---|
필드model | 유형string | 요건필수 | 값과 한도 bytedance/ui-tars-1.5-7b | 기본값— |
필드messages | 유형message[] | 요건필수 | 값과 한도 | 기본값— |
필드messages[].role | 유형string | 요건필수 | 값과 한도 user, assistant | 기본값— |
필드messages[].content | 유형string | 요건필수 | 값과 한도 | 기본값— |
필드max_tokens | 유형integer | 요건필수 | 값과 한도 | 기본값— |
필드stream | 유형boolean | 요건선택 사항 | 값과 한도 | 기본값false |
텍스트 · UTF-8 텍스트
messages[].content 문자열
| 매개변수 | 명세 |
|---|---|
매개변수content_type | 명세application/json |
매개변수required | 명세model, messages, max_tokens |
매개변수optional_controls | 명세stream |
매개변수material_types | 명세text |
매개변수text_file_material | 명세실제 UTF-8 문서를 읽고 그 텍스트를 지정된 입력 또는 메시지 콘텐츠 문자열에 넣으세요. |
수명 주기: synchronous_or_streamed
요금 정보는 요청 옵션을 추가하지 않습니다. 지원되는 매개변수는 선택한 메서드에 표시됩니다.
각 요금을 표시된 조건과 대조하세요. 서로 대체되는 설정 묶음마다 하나의 요금만 적용하세요.
| 설정 | 요금표 | 컨텍스트 토큰 수 초과 기준 | 컨텍스트 토큰 수 이하 기준 | 요금 |
|---|---|---|---|---|
| 설정토큰의 기본 단가 | 요금표기본 요금 | 컨텍스트 토큰 수 초과 기준— | 컨텍스트 토큰 수 이하 기준상한 없음 | 요금 입력 · 입력 토큰 $0.0002 / 1K 토큰 출력 · 출력 토큰 $0.0004 / 1K 토큰 입력 · 캐시 읽기 $0.0002 / 1K 토큰 입력 · 캐시 쓰기 — / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
| 설정요청 길이 구간 1 | 요금표— | 컨텍스트 토큰 수 초과 기준0 | 컨텍스트 토큰 수 이하 기준상한 없음 | 요금 입력 · 입력 토큰 $0.0002 / 1K 토큰 출력 · 출력 토큰 $0.0004 / 1K 토큰 입력 · 캐시 읽기 $0.0002 / 1K 토큰 입력 · 캐시 쓰기 — / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
Ailoot는 요청 전에 예상 금액을 미리 확보합니다. 결과를 받은 뒤 측정된 사용량을 기준으로 최종 요금을 정산합니다. 스트리밍 정산에는 최종 사용량 기록을 사용합니다. 금액 확보와 정산 방식 →
{\n "model": "bytedance/ui-tars-1.5-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON 또는 SSE
반환된 완전한 응답, 파일, 콘텐츠 부분을 모두 보관하세요.
모든 콘텐츠 블록, 사고 서명, 실제 도구 사용 ID를 보존하세요. 모든 SSE 블록 증분을 조합하세요. 첫 텍스트 블록이 전체 출력은 아닙니다.
요청/응답 ID와 헤더를 보존하세요. 텍스트 작업을 조회하는 범용 URL은 제공되지 않습니다.
| 필드 | 유형 |
|---|---|
필드id | 유형string |
필드model | 유형string |
필드content[] | 유형text|thinking|tool_use|other content block |
필드stop_reason | 유형string|null |
필드usage | 유형object |
| 응답 | 조건 | 다음 단계 |
|---|---|---|
응답400 · invalid_request_error | 조건필수 필드, 자료 표현 방식 또는 파라미터 값이 올바르지 않음 | 다음 단계새 생성 요청 전에 표시된 필드를 수정하세요. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
위에 표시된 메서드 경로를 사용하세요.
영어 기술 예제
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.