UI-TARS-1.5-7B to wydany przez ByteDance multimodalny model agenta GUI o rozmiarze 7B, skupiony na ogólnym używaniu komputera. Łączy wizualną percepcję interfejsu z rozumowaniem przed działaniem, rozwijając natywną architekturę UI-TARS za pomocą uczenia ze wzmocnieniem. Wejściami w oficjalnym przepływie użycia są instrukcja, zrzuty ekranu i historia działań; wyjście opisuje kolejne działanie interfejsowe, często z Thought wyjaśniającym zamierzony krok. Otaczająca aplikacja wykonuje to działanie i dostarcza następny zrzut ekranu, aby zadanie mogło być kontynuowane.
Producent odróżnia ten dostępny do pobrania punkt kontrolny 7B od większego modelu badawczego UI-TARS-1.5. Wydanie 7B nie jest specjalnie zoptymalizowane do scenariuszy gier, dlatego demonstracji i wyników większego modelu badawczego nie należy traktować jako równoważnych możliwości tej edycji. Jego praktyczną rolą jest interakcja z widocznymi elementami sterowania aplikacji: nawigacja przeglądarkowa, oprogramowanie biurowe, zarządzanie plikami i podobne przepływy pracy na pulpicie. Odczytanie zrzutu ekranu i wybór działania różnią się od generowania wideo lub uzyskiwania niewidocznego stanu aplikacji.
Oficjalne repozytorium opisuje szablony działań desktopowych i mobilnych. Działania desktopowe obejmują kliknięcia, podwójne kliknięcia i kliknięcia prawym przyciskiem, przeciąganie, skróty klawiaturowe, wpisywanie tekstu i przewijanie, z działaniami wait i finished do sprawdzania zmieniającego się ekranu lub kończenia zadania. Szablon mobilny dodaje operacje takie jak długie naciśnięcie, otwieranie aplikacji i przechodzenie do ekranu głównego lub wstecz. Osobny szablon lokalizacji elementów wymaga Action bez Thought i jest przeznaczony do lekkich zadań zwracających działania. Wybierz słownik działań rzeczywiście rozumiany przez środowisko wykonawcze, zamiast traktować wszystkie szablony jako wymienne.
Przydatne polecenie zadania nazywa cel, dostarcza bieżący zrzut ekranu i istotną historię działań oraz określa, jak wygląda ukończenie. Na przykład oryginalne polecenie redakcyjne może wymagać od modelu znalezienia nazwanego ustawienia, zmiany go na określoną wartość i zatrzymania po uwidocznieniu nowego stanu. Zamów następny krok względem bieżącego ekranu zamiast długiej spekulacyjnej sekwencji. Jawnie określ instrukcje i wszelkie limity dozwolonych operacji; po wykonanym kroku zwróć wynikowy ekran, aby dalsze rozumowanie korzystało z obserwacji zamiast założeń o przebiegu działania.
Obsługa współrzędnych jest istotną częścią oficjalnego przepływu. Repozytorium oddziela przewidywanie modelu od przetwarzania końcowego, które parsuje działanie i mapuje jego cel na ekran. Przewodnik współrzędnych pokazuje przeliczanie współrzędnych ze skalowanego obrazu z powrotem na oryginalne wymiary. Zachowaj oryginalną szerokość i wysokość zrzutu ekranu i używaj konwencji współrzędnych dokładnego szablonu działań oraz parsera. Pozycja wyglądająca wiarygodnie na przeskalowanym obrazie może wskazać inny element sterowania, jeśli zostanie zastosowana bezpośrednio do nieskalowanego ekranu. Tekst działania modelu jest zatem instrukcją do interpretacji, a nie już wykonanym zdarzeniem myszy.
Przewodnik wdrożenia podaje konkretny przykład pojedynczego kroku, którego wynik zawiera Thought i Action, natomiast aplikacja desktopowa repozytorium jest osobną powierzchnią wykonawczą. Skonfigurowana długość wejścia i przykładowy budżet wyjścia w przewodniku są ustawieniami wdrożenia, a nie uniwersalnym twierdzeniem o kontekście lub limicie działań każdej integracji. Przy praktycznej pracy GUI przesyłaj wyraźne, czytelne zrzuty z elementami sterowania i otaczającym kontekstem potrzebnymi do następnej decyzji. UI-TARS może błędnie identyfikować elementy, nieprawidłowo opisywać nieznane interfejsy lub wybierać nieoptymalne działanie, szczególnie przy niejednoznacznym ekranie; sprawdzanie nowego zrzutu po każdym działaniu wiąże te błędy z rzeczywistym stanem zadania.
", "aboutText": "UI-TARS-1.5-7B to wydany przez ByteDance multimodalny model agenta GUI o rozmiarze 7B, skupiony na ogólnym używaniu komputera. Łączy wizualną percepcję interfejsu z rozumowaniem przed działaniem, rozwijając natywną architekturę UI-TARS za pomocą uczenia ze wzmocnieniem. Wejściami w oficjalnym przepływie użycia są instrukcja, zrzuty ekranu i historia działań; wyjście opisuje kolejne działanie interfejsowe, często z Thought wyjaśniającym zamierzony krok. Otaczająca aplikacja wykonuje to działanie i dostarcza następny zrzut ekranu, aby zadanie mogło być kontynuowane.\n\nProducent odróżnia ten dostępny do pobrania punkt kontrolny 7B od większego modelu badawczego UI-TARS-1.5. Wydanie 7B nie jest specjalnie zoptymalizowane do scenariuszy gier, dlatego demonstracji i wyników większego modelu badawczego nie należy traktować jako równoważnych możliwości tej edycji. Jego praktyczną rolą jest interakcja z widocznymi elementami sterowania aplikacji: nawigacja przeglądarkowa, oprogramowanie biurowe, zarządzanie plikami i podobne przepływy pracy na pulpicie. Odczytanie zrzutu ekranu i wybór działania różnią się od generowania wideo lub uzyskiwania niewidocznego stanu aplikacji.\n\nOficjalne repozytorium opisuje szablony działań desktopowych i mobilnych. Działania desktopowe obejmują kliknięcia, podwójne kliknięcia i kliknięcia prawym przyciskiem, przeciąganie, skróty klawiaturowe, wpisywanie tekstu i przewijanie, z działaniami wait i finished do sprawdzania zmieniającego się ekranu lub kończenia zadania. Szablon mobilny dodaje operacje takie jak długie naciśnięcie, otwieranie aplikacji i przechodzenie do ekranu głównego lub wstecz. Osobny szablon lokalizacji elementów wymaga Action bez Thought i jest przeznaczony do lekkich zadań zwracających działania. Wybierz słownik działań rzeczywiście rozumiany przez środowisko wykonawcze, zamiast traktować wszystkie szablony jako wymienne.\n\nPrzydatne polecenie zadania nazywa cel, dostarcza bieżący zrzut ekranu i istotną historię działań oraz określa, jak wygląda ukończenie. Na przykład oryginalne polecenie redakcyjne może wymagać od modelu znalezienia nazwanego ustawienia, zmiany go na określoną wartość i zatrzymania po uwidocznieniu nowego stanu. Zamów następny krok względem bieżącego ekranu zamiast długiej spekulacyjnej sekwencji. Jawnie określ instrukcje i wszelkie limity dozwolonych operacji; po wykonanym kroku zwróć wynikowy ekran, aby dalsze rozumowanie korzystało z obserwacji zamiast założeń o przebiegu działania.\n\nObsługa współrzędnych jest istotną częścią oficjalnego przepływu. Repozytorium oddziela przewidywanie modelu od przetwarzania końcowego, które parsuje działanie i mapuje jego cel na ekran. Przewodnik współrzędnych pokazuje przeliczanie współrzędnych ze skalowanego obrazu z powrotem na oryginalne wymiary. Zachowaj oryginalną szerokość i wysokość zrzutu ekranu i używaj konwencji współrzędnych dokładnego szablonu działań oraz parsera. Pozycja wyglądająca wiarygodnie na przeskalowanym obrazie może wskazać inny element sterowania, jeśli zostanie zastosowana bezpośrednio do nieskalowanego ekranu. Tekst działania modelu jest zatem instrukcją do interpretacji, a nie już wykonanym zdarzeniem myszy.\n\nPrzewodnik wdrożenia podaje konkretny przykład pojedynczego kroku, którego wynik zawiera Thought i Action, natomiast aplikacja desktopowa repozytorium jest osobną powierzchnią wykonawczą. Skonfigurowana długość wejścia i przykładowy budżet wyjścia w przewodniku są ustawieniami wdrożenia, a nie uniwersalnym twierdzeniem o kontekście lub limicie działań każdej integracji. Przy praktycznej pracy GUI przesyłaj wyraźne, czytelne zrzuty z elementami sterowania i otaczającym kontekstem potrzebnymi do następnej decyzji. UI-TARS może błędnie identyfikować elementy, nieprawidłowo opisywać nieznane interfejsy lub wybierać nieoptymalne działanie, szczególnie przy niejednoznacznym ekranie; sprawdzanie nowego zrzutu po każdym działaniu wiąże te błędy z rzeczywistym stanem zadania.", "editorialOverlay": { "copy_fields": { "practical_html": "Przykład techniczny po angielsku
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B to otwarty multimodalny model ByteDance dla agentów korzystających z komputera. Rozumuje na podstawie zrzutów ekranu i zadania, a następnie tworzy kolejne działanie GUI do wykonania przez aplikację; to wydanie 7B koncentruje się na ogólnym używaniu komputera, a nie optymalizacji pod gry.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
UI-TARS-1.5-7B to wydany przez ByteDance multimodalny model agenta GUI o rozmiarze 7B, skupiony na ogólnym używaniu komputera. Łączy wizualną percepcję interfejsu z rozumowaniem przed działaniem, rozwijając natywną architekturę UI-TARS za pomocą uczenia ze wzmocnieniem. Wejściami w oficjalnym przepływie użycia są instrukcja, zrzuty ekranu i historia działań; wyjście opisuje kolejne działanie interfejsowe, często z Thought wyjaśniającym zamierzony krok. Otaczająca aplikacja wykonuje to działanie i dostarcza następny zrzut ekranu, aby zadanie mogło być kontynuowane.
Producent odróżnia ten dostępny do pobrania punkt kontrolny 7B od większego modelu badawczego UI-TARS-1.5. Wydanie 7B nie jest specjalnie zoptymalizowane do scenariuszy gier, dlatego demonstracji i wyników większego modelu badawczego nie należy traktować jako równoważnych możliwości tej edycji. Jego praktyczną rolą jest interakcja z widocznymi elementami sterowania aplikacji: nawigacja przeglądarkowa, oprogramowanie biurowe, zarządzanie plikami i podobne przepływy pracy na pulpicie. Odczytanie zrzutu ekranu i wybór działania różnią się od generowania wideo lub uzyskiwania niewidocznego stanu aplikacji.
Oficjalne repozytorium opisuje szablony działań desktopowych i mobilnych. Działania desktopowe obejmują kliknięcia, podwójne kliknięcia i kliknięcia prawym przyciskiem, przeciąganie, skróty klawiaturowe, wpisywanie tekstu i przewijanie, z działaniami wait i finished do sprawdzania zmieniającego się ekranu lub kończenia zadania. Szablon mobilny dodaje operacje takie jak długie naciśnięcie, otwieranie aplikacji i przechodzenie do ekranu głównego lub wstecz. Osobny szablon lokalizacji elementów wymaga Action bez Thought i jest przeznaczony do lekkich zadań zwracających działania. Wybierz słownik działań rzeczywiście rozumiany przez środowisko wykonawcze, zamiast traktować wszystkie szablony jako wymienne.
Przydatne polecenie zadania nazywa cel, dostarcza bieżący zrzut ekranu i istotną historię działań oraz określa, jak wygląda ukończenie. Na przykład oryginalne polecenie redakcyjne może wymagać od modelu znalezienia nazwanego ustawienia, zmiany go na określoną wartość i zatrzymania po uwidocznieniu nowego stanu. Zamów następny krok względem bieżącego ekranu zamiast długiej spekulacyjnej sekwencji. Jawnie określ instrukcje i wszelkie limity dozwolonych operacji; po wykonanym kroku zwróć wynikowy ekran, aby dalsze rozumowanie korzystało z obserwacji zamiast założeń o przebiegu działania.
Obsługa współrzędnych jest istotną częścią oficjalnego przepływu. Repozytorium oddziela przewidywanie modelu od przetwarzania końcowego, które parsuje działanie i mapuje jego cel na ekran. Przewodnik współrzędnych pokazuje przeliczanie współrzędnych ze skalowanego obrazu z powrotem na oryginalne wymiary. Zachowaj oryginalną szerokość i wysokość zrzutu ekranu i używaj konwencji współrzędnych dokładnego szablonu działań oraz parsera. Pozycja wyglądająca wiarygodnie na przeskalowanym obrazie może wskazać inny element sterowania, jeśli zostanie zastosowana bezpośrednio do nieskalowanego ekranu. Tekst działania modelu jest zatem instrukcją do interpretacji, a nie już wykonanym zdarzeniem myszy.
Przewodnik wdrożenia podaje konkretny przykład pojedynczego kroku, którego wynik zawiera Thought i Action, natomiast aplikacja desktopowa repozytorium jest osobną powierzchnią wykonawczą. Skonfigurowana długość wejścia i przykładowy budżet wyjścia w przewodniku są ustawieniami wdrożenia, a nie uniwersalnym twierdzeniem o kontekście lub limicie działań każdej integracji. Przy praktycznej pracy GUI przesyłaj wyraźne, czytelne zrzuty z elementami sterowania i otaczającym kontekstem potrzebnymi do następnej decyzji. UI-TARS może błędnie identyfikować elementy, nieprawidłowo opisywać nieznane interfejsy lub wybierać nieoptymalne działanie, szczególnie przy niejednoznacznym ekranie; sprawdzanie nowego zrzutu po każdym działaniu wiąże te błędy z rzeczywistym stanem zadania.
POST /v1/chat/completionstexttext| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity bytedance/ui-tars-1.5-7b | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity Minimalna liczba elementów: 1 | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity Przykłady: system, user, assistant, tool, function Warunki: Te role są jawnie reprezentowane przez typy zgodności w kodzie źródłowym; dokładny zestaw ról pozostaje właściwy dla danego modelu. Zależy od modelu | Domyślnie— |
Polemessages[].content | Typstring|content_part[]|null | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_calls | Typtool_call[] | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_call_id | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: role=tool; użyj rzeczywiście zwróconego ID | Domyślnie— |
Polemessages[].name | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].reasoning_content | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: Przekazuj z powrotem rzeczywiście zwróconą treść rozumowania, gdy ten model jej używa | Domyślnie— |
Polemessages[].reasoning_details | Typobject|array | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polemax_completion_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Polestream_options.include_usage | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletemperature | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletop_p | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polestop | Typstring|string[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools | Typfunction_tool[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools[].type | Typstring | WymaganieOpcjonalne | Wartości i limity function Zależy od modelu | Domyślnie— |
Poletools[].function.name | Typstring | WymaganieWymagane | Wartości i limity Obowiązuje, gdy: udostępnione narzędzie funkcji | Domyślnie— |
Poletools[].function.description | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletools[].function.parameters | TypJSON_schema | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletool_choice | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleparallel_tool_calls | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleresponse_format | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning_effort | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleservice_tier | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleinstructions | Typstring | WymaganieOpcjonalne | Wartości i limity Pole zgodności | Domyślnie— |
Polefunctions | Typfunction[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polefunction_call | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleprompt_cache_options | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemodalities | Typstring[] | WymaganieOpcjonalne | Wartości i limity text | Domyślnie— |
Poleprovider | Typobject | WymaganieOpcjonalne | Wartości i limity Warunki: provider.options jest odrzucane na tej tekstowej trasie Ultra | Domyślnie— |
Polecache_control.ttl | Typstring | WymaganieOpcjonalne | Wartości i limity Warunki: 1h jest odrzucane w rzeczywistych miejscach pamięci podręcznej promptów | Domyślnie— |
Tekst · tekst UTF8
messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages |
Parametrmaterial_types | Kontrakttext |
Parametrmessages | Kontrakttablica wiadomości o strukturze role/content |
Parametrfile_material | Kontraktrzeczywisty dokument UTF-8 wstawiony jako dosłowny tekst; bez wywnioskowanego ID pliku |
Parametroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrcontrol_scope | Kontraktwłaściwe dla modelu; narzędzia funkcji użytkownika różnią się od narzędzi hostowanych |
Parametroutput_modalities | Kontrakttext |
Parametrhosted_operations | Kontraktfalse |
Parametrmultimodal_input_binding | Kontraktnull |
Cykl życia: synchronous_or_streamed
Wyślij dokładne ID modelu wraz z messages.
Długość kontekstu nie jest limitem wyjścia.
Plik tekstowy może dostarczyć dosłowny tekst; wejścia obrazowe/dźwiękowe/obiekty plików wymagają dokładnego powiązania.
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
Dopasuj każdą opłatę do pokazanych warunków. Użyj jednej stawki dla każdego zestawu alternatywnych konfiguracji.
| Konfiguracja | Tabela stawek | Tokeny kontekstu, więcej niż | Tokeny kontekstu, do podanej wartości włącznie | Opłata |
|---|---|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Tokeny kontekstu, więcej niż— | Tokeny kontekstu, do podanej wartości włącznieBez górnej granicy | Opłata Wejście · Tokeny wejściowe $0.0002 / 1K tokenów Wyjście · Tokeny wyjściowe $0.0004 / 1K tokenów Wejście · Odczyt cache $0.0002 / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
| KonfiguracjaPrzedział długości żądania 1 | Tabela stawek— | Tokeny kontekstu, więcej niż0 | Tokeny kontekstu, do podanej wartości włącznieBez górnej granicy | Opłata Wejście · Tokeny wejściowe $0.0002 / 1K tokenów Wyjście · Tokeny wyjściowe $0.0004 / 1K tokenów Wejście · Odczyt cache $0.0002 / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "bytedance/ui-tars-1.5-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='bytedance/ui-tars-1.5-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj każdy wariant i jego treść/wywołania narzędzi/rozumowanie. W SSE składaj przyrosty według indeksu wariantu/narzędzia, zachowując końcowy powód zakończenia i dane użycia.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Użyj ścieżek metod podanych powyżej.
bytedance/ui-tars-1.5-7bUI-TARS-1.5-7B to otwarty multimodalny model ByteDance dla agentów korzystających z komputera. Rozumuje na podstawie zrzutów ekranu i zadania, a następnie tworzy kolejne działanie GUI do wykonania przez aplikację; to wydanie 7B koncentruje się na ogólnym używaniu komputera, a nie optymalizacji pod gry.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
UI-TARS-1.5-7B to wydany przez ByteDance multimodalny model agenta GUI o rozmiarze 7B, skupiony na ogólnym używaniu komputera. Łączy wizualną percepcję interfejsu z rozumowaniem przed działaniem, rozwijając natywną architekturę UI-TARS za pomocą uczenia ze wzmocnieniem. Wejściami w oficjalnym przepływie użycia są instrukcja, zrzuty ekranu i historia działań; wyjście opisuje kolejne działanie interfejsowe, często z Thought wyjaśniającym zamierzony krok. Otaczająca aplikacja wykonuje to działanie i dostarcza następny zrzut ekranu, aby zadanie mogło być kontynuowane.
Producent odróżnia ten dostępny do pobrania punkt kontrolny 7B od większego modelu badawczego UI-TARS-1.5. Wydanie 7B nie jest specjalnie zoptymalizowane do scenariuszy gier, dlatego demonstracji i wyników większego modelu badawczego nie należy traktować jako równoważnych możliwości tej edycji. Jego praktyczną rolą jest interakcja z widocznymi elementami sterowania aplikacji: nawigacja przeglądarkowa, oprogramowanie biurowe, zarządzanie plikami i podobne przepływy pracy na pulpicie. Odczytanie zrzutu ekranu i wybór działania różnią się od generowania wideo lub uzyskiwania niewidocznego stanu aplikacji.
Oficjalne repozytorium opisuje szablony działań desktopowych i mobilnych. Działania desktopowe obejmują kliknięcia, podwójne kliknięcia i kliknięcia prawym przyciskiem, przeciąganie, skróty klawiaturowe, wpisywanie tekstu i przewijanie, z działaniami wait i finished do sprawdzania zmieniającego się ekranu lub kończenia zadania. Szablon mobilny dodaje operacje takie jak długie naciśnięcie, otwieranie aplikacji i przechodzenie do ekranu głównego lub wstecz. Osobny szablon lokalizacji elementów wymaga Action bez Thought i jest przeznaczony do lekkich zadań zwracających działania. Wybierz słownik działań rzeczywiście rozumiany przez środowisko wykonawcze, zamiast traktować wszystkie szablony jako wymienne.
Przydatne polecenie zadania nazywa cel, dostarcza bieżący zrzut ekranu i istotną historię działań oraz określa, jak wygląda ukończenie. Na przykład oryginalne polecenie redakcyjne może wymagać od modelu znalezienia nazwanego ustawienia, zmiany go na określoną wartość i zatrzymania po uwidocznieniu nowego stanu. Zamów następny krok względem bieżącego ekranu zamiast długiej spekulacyjnej sekwencji. Jawnie określ instrukcje i wszelkie limity dozwolonych operacji; po wykonanym kroku zwróć wynikowy ekran, aby dalsze rozumowanie korzystało z obserwacji zamiast założeń o przebiegu działania.
Obsługa współrzędnych jest istotną częścią oficjalnego przepływu. Repozytorium oddziela przewidywanie modelu od przetwarzania końcowego, które parsuje działanie i mapuje jego cel na ekran. Przewodnik współrzędnych pokazuje przeliczanie współrzędnych ze skalowanego obrazu z powrotem na oryginalne wymiary. Zachowaj oryginalną szerokość i wysokość zrzutu ekranu i używaj konwencji współrzędnych dokładnego szablonu działań oraz parsera. Pozycja wyglądająca wiarygodnie na przeskalowanym obrazie może wskazać inny element sterowania, jeśli zostanie zastosowana bezpośrednio do nieskalowanego ekranu. Tekst działania modelu jest zatem instrukcją do interpretacji, a nie już wykonanym zdarzeniem myszy.
Przewodnik wdrożenia podaje konkretny przykład pojedynczego kroku, którego wynik zawiera Thought i Action, natomiast aplikacja desktopowa repozytorium jest osobną powierzchnią wykonawczą. Skonfigurowana długość wejścia i przykładowy budżet wyjścia w przewodniku są ustawieniami wdrożenia, a nie uniwersalnym twierdzeniem o kontekście lub limicie działań każdej integracji. Przy praktycznej pracy GUI przesyłaj wyraźne, czytelne zrzuty z elementami sterowania i otaczającym kontekstem potrzebnymi do następnej decyzji. UI-TARS może błędnie identyfikować elementy, nieprawidłowo opisywać nieznane interfejsy lub wybierać nieoptymalne działanie, szczególnie przy niejednoznacznym ekranie; sprawdzanie nowego zrzutu po każdym działaniu wiąże te błędy z rzeczywistym stanem zadania.
POST /v1/messagestextjson, sse| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity bytedance/ui-tars-1.5-7b | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity user, assistant | Domyślnie— |
Polemessages[].content | Typstring | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Tekst · tekst UTF-8
ciąg messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages, max_tokens |
Parametroptional_controls | Kontraktstream |
Parametrmaterial_types | Kontrakttext |
Parametrtext_file_material | KontraktOdczytaj rzeczywisty dokument UTF-8 i umieść jego tekst we wskazanym polu input lub w ciągu treści wiadomości. |
Cykl życia: synchronous_or_streamed
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
Dopasuj każdą opłatę do pokazanych warunków. Użyj jednej stawki dla każdego zestawu alternatywnych konfiguracji.
| Konfiguracja | Tabela stawek | Tokeny kontekstu, więcej niż | Tokeny kontekstu, do podanej wartości włącznie | Opłata |
|---|---|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Tokeny kontekstu, więcej niż— | Tokeny kontekstu, do podanej wartości włącznieBez górnej granicy | Opłata Wejście · Tokeny wejściowe $0.0002 / 1K tokenów Wyjście · Tokeny wyjściowe $0.0004 / 1K tokenów Wejście · Odczyt cache $0.0002 / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
| KonfiguracjaPrzedział długości żądania 1 | Tabela stawek— | Tokeny kontekstu, więcej niż0 | Tokeny kontekstu, do podanej wartości włącznieBez górnej granicy | Opłata Wejście · Tokeny wejściowe $0.0002 / 1K tokenów Wyjście · Tokeny wyjściowe $0.0004 / 1K tokenów Wejście · Odczyt cache $0.0002 / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
{\n "model": "bytedance/ui-tars-1.5-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'bytedance/ui-tars-1.5-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj wszystkie bloki treści, sygnatury myślenia i rzeczywiste ID użycia narzędzi. Złóż wszystkie przyrosty bloków SSE; pierwszy blok tekstowy nie jest pełnym wyjściem.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra bytedance/ui-tars-1.5-7b
Użyj ścieżek metod podanych powyżej.
Przykład techniczny po angielsku
Choose a safe next interface step\n\nGoal: enable weekly email summaries. Text description of the current settings page: a checkbox labelled Weekly summary is unchecked; a Save button is below it. History: settings opened, no changes saved. Describe the next interface action and the state to verify afterward. Use labels rather than inventing screen coordinates.One proposed action, a brief reason and the resulting visible state an application should check.Check that the answer proposes checking Weekly summary before saving and does not claim that any click was executed.