AutoGLM Phone 9B Multilingual to model Z.ai dla asystenta działającego poprzez interfejs smartfona. Łączy zadanie w języku naturalnym z wizualnym rozumieniem bieżącego ekranu, planuje kolejny krok i tworzy informacje używane przez środowisko agenta telefonicznego do działania. Jego architektura jest identyczna z GLM 4.1V 9B Thinking; nazwana edycja Phone Multilingual pozostaje odrębnym wyborem modelu.
Przegląd projektu. Phone Agent producenta łączy percepcję ekranu z pętlą wykonawczą. Środowisko przechwytuje interfejs, model rozumuje nad zadaniem, a komponent sterowania urządzeniem wykonuje wybraną operację. Nowy ekran dostarcza następnie informacji zwrotnej do kolejnego kroku. Opublikowany framework używa Android Debug Bridge dla urządzeń z Androidem i zapewnia osobną ścieżkę sterowania HarmonyOS. Model zapewnia percepcję i planowanie; podłączone środowisko zapewnia rzeczywistą interakcję z urządzeniem.
Wyróżnik wielojęzyczności. Oryginalny AutoGLM Phone 9B jest zoptymalizowany pod kątem chińskich aplikacji mobilnych. Edycja Multilingual dodaje obsługę scenariuszy anglojęzycznych i jest przeznaczona do aplikacji zawierających treść angielską lub w innych językach. Projekt udostępnia również prompty instruktażowe po chińsku i angielsku. Zachowaj nazwy aplikacji, wyszukiwane hasła i widoczny tekst interfejsu podczas opisywania zadania; te szczegóły pomagają powiązać żądane działanie z ekranem, zamiast z jego zakładanym tłumaczeniem.
Planowanie działań. Zestaw działań opublikowanego frameworka obejmuje uruchamianie aplikacji, dotykanie, wpisywanie, przesuwanie, cofanie, powrót do ekranu głównego, długie naciśnięcie, podwójne dotknięcie i oczekiwanie na wczytanie strony. Obejmuje także działanie ręcznego przejęcia kontroli. Używaj ich jako słownika procesu opartego na ekranie: otwórz odpowiednią aplikację, znajdź potrzebny element sterujący, wprowadź żądany tekst i obejrzyj nową stronę. Następne działanie powinno opierać się na najnowszym interfejsie, ponieważ stan ładowania lub zmieniony układ może unieważnić wcześniejszą obserwację.
Przygotuj konkretne zadanie. Określ aplikację, docelową informację lub rezultat i istotne warunki. Przy wyszukiwaniu podaj dokładne zapytanie, kryteria wyboru i pożądany wynik, na przykład listę pasujących pozycji z widocznymi atrybutami. W procesie biurowym określ, jakie informacje z ekranu należy zebrać i jak przedstawić końcowe podsumowanie. Dołącz aktualny zrzut ekranu i wystarczającą liczbę wcześniejszych kroków, aby wyjaśnić, w którym miejscu procesu znajduje się asystent. Wyjście może następnie zaproponować kolejną operację lub wyjaśnić, który widoczny szczegół uniemożliwia postęp.
Udział człowieka. Oficjalny framework zapewnia funkcje wywołania zwrotnego do potwierdzania operacji wrażliwych i ręcznego przejęcia kontroli podczas logowania lub kroków z kodem weryfikacyjnym. Aplikacja może oddać telefon użytkownikowi, a następnie kontynuować na podstawie nowo przechwyconego ekranu po wykonaniu tego kroku przez osobę. Podaj jasny warunek ukończenia, aby asystent mógł odróżnić znalezienie informacji, przygotowanie działania i osiągnięcie zamierzonego rezultatu.
Praktyczna konfiguracja wpływa na proces. Uprawnienia urządzenia, działająca ścieżka wykonywania zrzutów ekranu i wprowadzanie tekstu są zapewniane przez otaczające środowisko. Konfiguracja producenta dla Androida używa dedykowanego komponentu klawiatury do wprowadzania tekstu, natomiast ścieżka HarmonyOS używa wejścia natywnego. Niektóre chronione ekrany mogą zwracać czarny obraz. Gdy ekran jest niedostępny lub element sterujący niejednoznaczny, uzyskaj użyteczny widok lub wskazówki człowieka przed sformułowaniem następnego działania. Sama odpowiedź modelu nie dowodzi, że operacja na telefonie została wykonana; obejrzyj ekran wynikowy, aby potwierdzić postęp.
", "aboutText": "AutoGLM Phone 9B Multilingual to model Z.ai dla asystenta działającego poprzez interfejs smartfona. Łączy zadanie w języku naturalnym z wizualnym rozumieniem bieżącego ekranu, planuje kolejny krok i tworzy informacje używane przez środowisko agenta telefonicznego do działania. Jego architektura jest identyczna z GLM 4.1V 9B Thinking; nazwana edycja Phone Multilingual pozostaje odrębnym wyborem modelu.\n\nPrzegląd projektu. Phone Agent producenta łączy percepcję ekranu z pętlą wykonawczą. Środowisko przechwytuje interfejs, model rozumuje nad zadaniem, a komponent sterowania urządzeniem wykonuje wybraną operację. Nowy ekran dostarcza następnie informacji zwrotnej do kolejnego kroku. Opublikowany framework używa Android Debug Bridge dla urządzeń z Androidem i zapewnia osobną ścieżkę sterowania HarmonyOS. Model zapewnia percepcję i planowanie; podłączone środowisko zapewnia rzeczywistą interakcję z urządzeniem.\n\nWyróżnik wielojęzyczności. Oryginalny AutoGLM Phone 9B jest zoptymalizowany pod kątem chińskich aplikacji mobilnych. Edycja Multilingual dodaje obsługę scenariuszy anglojęzycznych i jest przeznaczona do aplikacji zawierających treść angielską lub w innych językach. Projekt udostępnia również prompty instruktażowe po chińsku i angielsku. Zachowaj nazwy aplikacji, wyszukiwane hasła i widoczny tekst interfejsu podczas opisywania zadania; te szczegóły pomagają powiązać żądane działanie z ekranem, zamiast z jego zakładanym tłumaczeniem.\n\nPlanowanie działań. Zestaw działań opublikowanego frameworka obejmuje uruchamianie aplikacji, dotykanie, wpisywanie, przesuwanie, cofanie, powrót do ekranu głównego, długie naciśnięcie, podwójne dotknięcie i oczekiwanie na wczytanie strony. Obejmuje także działanie ręcznego przejęcia kontroli. Używaj ich jako słownika procesu opartego na ekranie: otwórz odpowiednią aplikację, znajdź potrzebny element sterujący, wprowadź żądany tekst i obejrzyj nową stronę. Następne działanie powinno opierać się na najnowszym interfejsie, ponieważ stan ładowania lub zmieniony układ może unieważnić wcześniejszą obserwację.\n\nPrzygotuj konkretne zadanie. Określ aplikację, docelową informację lub rezultat i istotne warunki. Przy wyszukiwaniu podaj dokładne zapytanie, kryteria wyboru i pożądany wynik, na przykład listę pasujących pozycji z widocznymi atrybutami. W procesie biurowym określ, jakie informacje z ekranu należy zebrać i jak przedstawić końcowe podsumowanie. Dołącz aktualny zrzut ekranu i wystarczającą liczbę wcześniejszych kroków, aby wyjaśnić, w którym miejscu procesu znajduje się asystent. Wyjście może następnie zaproponować kolejną operację lub wyjaśnić, który widoczny szczegół uniemożliwia postęp.\n\nUdział człowieka. Oficjalny framework zapewnia funkcje wywołania zwrotnego do potwierdzania operacji wrażliwych i ręcznego przejęcia kontroli podczas logowania lub kroków z kodem weryfikacyjnym. Aplikacja może oddać telefon użytkownikowi, a następnie kontynuować na podstawie nowo przechwyconego ekranu po wykonaniu tego kroku przez osobę. Podaj jasny warunek ukończenia, aby asystent mógł odróżnić znalezienie informacji, przygotowanie działania i osiągnięcie zamierzonego rezultatu.\n\nPraktyczna konfiguracja wpływa na proces. Uprawnienia urządzenia, działająca ścieżka wykonywania zrzutów ekranu i wprowadzanie tekstu są zapewniane przez otaczające środowisko. Konfiguracja producenta dla Androida używa dedykowanego komponentu klawiatury do wprowadzania tekstu, natomiast ścieżka HarmonyOS używa wejścia natywnego. Niektóre chronione ekrany mogą zwracać czarny obraz. Gdy ekran jest niedostępny lub element sterujący niejednoznaczny, uzyskaj użyteczny widok lub wskazówki człowieka przed sformułowaniem następnego działania. Sama odpowiedź modelu nie dowodzi, że operacja na telefonie została wykonana; obejrzyj ekran wynikowy, aby potwierdzić postęp.", "editorialOverlay": { "copy_fields": { "practical_html": "Przykład techniczny po angielsku
Plan the next phone-search step\n\nUse this text transcription of the current phone screen: app 'City Library'; search field 'Search catalog'; button 'Search'; no results shown. Goal: find books matching the exact title 'The Glass Harbor'. Propose only the next input action and the screen evidence needed afterward. Preserve the title and do not claim that a search has already run.One next-action proposal and a short description of the resulting screen evidence to inspect.The response uses the exact title and distinguishes proposed text entry from an executed search or a found book.zai-org/autoglm-phone-9b-multilingualModel wizyjno-językowy Z.ai do rozumienia ekranów smartfonów i planowania działań w interfejsie. Edycja Multilingual obsługuje scenariusze anglojęzyczne i interfejsy z treścią w innych językach; proponowane operacje wykonuje podłączone środowisko agenta telefonicznego.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
AutoGLM Phone 9B Multilingual to model Z.ai dla asystenta działającego poprzez interfejs smartfona. Łączy zadanie w języku naturalnym z wizualnym rozumieniem bieżącego ekranu, planuje kolejny krok i tworzy informacje używane przez środowisko agenta telefonicznego do działania. Jego architektura jest identyczna z GLM 4.1V 9B Thinking; nazwana edycja Phone Multilingual pozostaje odrębnym wyborem modelu.
Przegląd projektu. Phone Agent producenta łączy percepcję ekranu z pętlą wykonawczą. Środowisko przechwytuje interfejs, model rozumuje nad zadaniem, a komponent sterowania urządzeniem wykonuje wybraną operację. Nowy ekran dostarcza następnie informacji zwrotnej do kolejnego kroku. Opublikowany framework używa Android Debug Bridge dla urządzeń z Androidem i zapewnia osobną ścieżkę sterowania HarmonyOS. Model zapewnia percepcję i planowanie; podłączone środowisko zapewnia rzeczywistą interakcję z urządzeniem.
Wyróżnik wielojęzyczności. Oryginalny AutoGLM Phone 9B jest zoptymalizowany pod kątem chińskich aplikacji mobilnych. Edycja Multilingual dodaje obsługę scenariuszy anglojęzycznych i jest przeznaczona do aplikacji zawierających treść angielską lub w innych językach. Projekt udostępnia również prompty instruktażowe po chińsku i angielsku. Zachowaj nazwy aplikacji, wyszukiwane hasła i widoczny tekst interfejsu podczas opisywania zadania; te szczegóły pomagają powiązać żądane działanie z ekranem, zamiast z jego zakładanym tłumaczeniem.
Planowanie działań. Zestaw działań opublikowanego frameworka obejmuje uruchamianie aplikacji, dotykanie, wpisywanie, przesuwanie, cofanie, powrót do ekranu głównego, długie naciśnięcie, podwójne dotknięcie i oczekiwanie na wczytanie strony. Obejmuje także działanie ręcznego przejęcia kontroli. Używaj ich jako słownika procesu opartego na ekranie: otwórz odpowiednią aplikację, znajdź potrzebny element sterujący, wprowadź żądany tekst i obejrzyj nową stronę. Następne działanie powinno opierać się na najnowszym interfejsie, ponieważ stan ładowania lub zmieniony układ może unieważnić wcześniejszą obserwację.
Przygotuj konkretne zadanie. Określ aplikację, docelową informację lub rezultat i istotne warunki. Przy wyszukiwaniu podaj dokładne zapytanie, kryteria wyboru i pożądany wynik, na przykład listę pasujących pozycji z widocznymi atrybutami. W procesie biurowym określ, jakie informacje z ekranu należy zebrać i jak przedstawić końcowe podsumowanie. Dołącz aktualny zrzut ekranu i wystarczającą liczbę wcześniejszych kroków, aby wyjaśnić, w którym miejscu procesu znajduje się asystent. Wyjście może następnie zaproponować kolejną operację lub wyjaśnić, który widoczny szczegół uniemożliwia postęp.
Udział człowieka. Oficjalny framework zapewnia funkcje wywołania zwrotnego do potwierdzania operacji wrażliwych i ręcznego przejęcia kontroli podczas logowania lub kroków z kodem weryfikacyjnym. Aplikacja może oddać telefon użytkownikowi, a następnie kontynuować na podstawie nowo przechwyconego ekranu po wykonaniu tego kroku przez osobę. Podaj jasny warunek ukończenia, aby asystent mógł odróżnić znalezienie informacji, przygotowanie działania i osiągnięcie zamierzonego rezultatu.
Praktyczna konfiguracja wpływa na proces. Uprawnienia urządzenia, działająca ścieżka wykonywania zrzutów ekranu i wprowadzanie tekstu są zapewniane przez otaczające środowisko. Konfiguracja producenta dla Androida używa dedykowanego komponentu klawiatury do wprowadzania tekstu, natomiast ścieżka HarmonyOS używa wejścia natywnego. Niektóre chronione ekrany mogą zwracać czarny obraz. Gdy ekran jest niedostępny lub element sterujący niejednoznaczny, uzyskaj użyteczny widok lub wskazówki człowieka przed sformułowaniem następnego działania. Sama odpowiedź modelu nie dowodzi, że operacja na telefonie została wykonana; obejrzyj ekran wynikowy, aby potwierdzić postęp.
POST /v1/chat/completionstexttext| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity zai-org/autoglm-phone-9b-multilingual | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity Minimalna liczba elementów: 1 | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity Przykłady: system, user, assistant, tool, function Warunki: Te role są jawnie reprezentowane przez typy zgodności w kodzie źródłowym; dokładny zestaw ról pozostaje właściwy dla danego modelu. Zależy od modelu | Domyślnie— |
Polemessages[].content | Typstring|content_part[]|null | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_calls | Typtool_call[] | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_call_id | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: role=tool; użyj rzeczywiście zwróconego ID | Domyślnie— |
Polemessages[].name | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].reasoning_content | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: Przekazuj z powrotem rzeczywiście zwróconą treść rozumowania, gdy ten model jej używa | Domyślnie— |
Polemessages[].reasoning_details | Typobject|array | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polemax_completion_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Polestream_options.include_usage | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletemperature | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletop_p | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polestop | Typstring|string[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools | Typfunction_tool[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools[].type | Typstring | WymaganieOpcjonalne | Wartości i limity function Zależy od modelu | Domyślnie— |
Poletools[].function.name | Typstring | WymaganieWymagane | Wartości i limity Obowiązuje, gdy: udostępnione narzędzie funkcji | Domyślnie— |
Poletools[].function.description | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletools[].function.parameters | TypJSON_schema | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletool_choice | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleparallel_tool_calls | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleresponse_format | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning_effort | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleservice_tier | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleinstructions | Typstring | WymaganieOpcjonalne | Wartości i limity Pole zgodności | Domyślnie— |
Polefunctions | Typfunction[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polefunction_call | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleprompt_cache_options | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemodalities | Typstring[] | WymaganieOpcjonalne | Wartości i limity text | Domyślnie— |
Poleprovider | Typobject | WymaganieOpcjonalne | Wartości i limity Warunki: provider.options jest odrzucane na tej tekstowej trasie Ultra | Domyślnie— |
Polecache_control.ttl | Typstring | WymaganieOpcjonalne | Wartości i limity Warunki: 1h jest odrzucane w rzeczywistych miejscach pamięci podręcznej promptów | Domyślnie— |
Tekst · tekst UTF8
messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages |
Parametrmaterial_types | Kontrakttext |
Parametrmessages | Kontrakttablica wiadomości o strukturze role/content |
Parametrfile_material | Kontraktrzeczywisty dokument UTF-8 wstawiony jako dosłowny tekst; bez wywnioskowanego ID pliku |
Parametroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrcontrol_scope | Kontraktwłaściwe dla modelu; narzędzia funkcji użytkownika różnią się od narzędzi hostowanych |
Parametroutput_modalities | Kontrakttext |
Parametrhosted_operations | Kontraktfalse |
Parametrmultimodal_input_binding | Kontraktnull |
Cykl życia: synchronous_or_streamed
Wyślij dokładne ID modelu wraz z messages.
Długość kontekstu nie jest limitem wyjścia.
Plik tekstowy może dostarczyć dosłowny tekst; wejścia obrazowe/dźwiękowe/obiekty plików wymagają dokładnego powiązania.
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
| Konfiguracja | Tabela stawek | Opłata |
|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Opłata Wejście · Tokeny wejściowe $0.000072 / 1K tokenów Wyjście · Tokeny wyjściowe $0.000286 / 1K tokenów Wejście · Odczyt cache $0 / 1K tokenów Wejście · Zapis do cache $0 / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "zai-org/autoglm-phone-9b-multilingual", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='zai-org/autoglm-phone-9b-multilingual',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='zai-org/autoglm-phone-9b-multilingual',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj każdy wariant i jego treść/wywołania narzędzi/rozumowanie. W SSE składaj przyrosty według indeksu wariantu/narzędzia, zachowując końcowy powód zakończenia i dane użycia.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra zai-org/autoglm-phone-9b-multilingual
Użyj ścieżek metod podanych powyżej.
zai-org/autoglm-phone-9b-multilingualModel wizyjno-językowy Z.ai do rozumienia ekranów smartfonów i planowania działań w interfejsie. Edycja Multilingual obsługuje scenariusze anglojęzyczne i interfejsy z treścią w innych językach; proponowane operacje wykonuje podłączone środowisko agenta telefonicznego.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
AutoGLM Phone 9B Multilingual to model Z.ai dla asystenta działającego poprzez interfejs smartfona. Łączy zadanie w języku naturalnym z wizualnym rozumieniem bieżącego ekranu, planuje kolejny krok i tworzy informacje używane przez środowisko agenta telefonicznego do działania. Jego architektura jest identyczna z GLM 4.1V 9B Thinking; nazwana edycja Phone Multilingual pozostaje odrębnym wyborem modelu.
Przegląd projektu. Phone Agent producenta łączy percepcję ekranu z pętlą wykonawczą. Środowisko przechwytuje interfejs, model rozumuje nad zadaniem, a komponent sterowania urządzeniem wykonuje wybraną operację. Nowy ekran dostarcza następnie informacji zwrotnej do kolejnego kroku. Opublikowany framework używa Android Debug Bridge dla urządzeń z Androidem i zapewnia osobną ścieżkę sterowania HarmonyOS. Model zapewnia percepcję i planowanie; podłączone środowisko zapewnia rzeczywistą interakcję z urządzeniem.
Wyróżnik wielojęzyczności. Oryginalny AutoGLM Phone 9B jest zoptymalizowany pod kątem chińskich aplikacji mobilnych. Edycja Multilingual dodaje obsługę scenariuszy anglojęzycznych i jest przeznaczona do aplikacji zawierających treść angielską lub w innych językach. Projekt udostępnia również prompty instruktażowe po chińsku i angielsku. Zachowaj nazwy aplikacji, wyszukiwane hasła i widoczny tekst interfejsu podczas opisywania zadania; te szczegóły pomagają powiązać żądane działanie z ekranem, zamiast z jego zakładanym tłumaczeniem.
Planowanie działań. Zestaw działań opublikowanego frameworka obejmuje uruchamianie aplikacji, dotykanie, wpisywanie, przesuwanie, cofanie, powrót do ekranu głównego, długie naciśnięcie, podwójne dotknięcie i oczekiwanie na wczytanie strony. Obejmuje także działanie ręcznego przejęcia kontroli. Używaj ich jako słownika procesu opartego na ekranie: otwórz odpowiednią aplikację, znajdź potrzebny element sterujący, wprowadź żądany tekst i obejrzyj nową stronę. Następne działanie powinno opierać się na najnowszym interfejsie, ponieważ stan ładowania lub zmieniony układ może unieważnić wcześniejszą obserwację.
Przygotuj konkretne zadanie. Określ aplikację, docelową informację lub rezultat i istotne warunki. Przy wyszukiwaniu podaj dokładne zapytanie, kryteria wyboru i pożądany wynik, na przykład listę pasujących pozycji z widocznymi atrybutami. W procesie biurowym określ, jakie informacje z ekranu należy zebrać i jak przedstawić końcowe podsumowanie. Dołącz aktualny zrzut ekranu i wystarczającą liczbę wcześniejszych kroków, aby wyjaśnić, w którym miejscu procesu znajduje się asystent. Wyjście może następnie zaproponować kolejną operację lub wyjaśnić, który widoczny szczegół uniemożliwia postęp.
Udział człowieka. Oficjalny framework zapewnia funkcje wywołania zwrotnego do potwierdzania operacji wrażliwych i ręcznego przejęcia kontroli podczas logowania lub kroków z kodem weryfikacyjnym. Aplikacja może oddać telefon użytkownikowi, a następnie kontynuować na podstawie nowo przechwyconego ekranu po wykonaniu tego kroku przez osobę. Podaj jasny warunek ukończenia, aby asystent mógł odróżnić znalezienie informacji, przygotowanie działania i osiągnięcie zamierzonego rezultatu.
Praktyczna konfiguracja wpływa na proces. Uprawnienia urządzenia, działająca ścieżka wykonywania zrzutów ekranu i wprowadzanie tekstu są zapewniane przez otaczające środowisko. Konfiguracja producenta dla Androida używa dedykowanego komponentu klawiatury do wprowadzania tekstu, natomiast ścieżka HarmonyOS używa wejścia natywnego. Niektóre chronione ekrany mogą zwracać czarny obraz. Gdy ekran jest niedostępny lub element sterujący niejednoznaczny, uzyskaj użyteczny widok lub wskazówki człowieka przed sformułowaniem następnego działania. Sama odpowiedź modelu nie dowodzi, że operacja na telefonie została wykonana; obejrzyj ekran wynikowy, aby potwierdzić postęp.
POST /v1/messagestextjson, sse| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity zai-org/autoglm-phone-9b-multilingual | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity user, assistant | Domyślnie— |
Polemessages[].content | Typstring | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Tekst · tekst UTF-8
ciąg messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages, max_tokens |
Parametroptional_controls | Kontraktstream |
Parametrmaterial_types | Kontrakttext |
Parametrtext_file_material | KontraktOdczytaj rzeczywisty dokument UTF-8 i umieść jego tekst we wskazanym polu input lub w ciągu treści wiadomości. |
Cykl życia: synchronous_or_streamed
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
| Konfiguracja | Tabela stawek | Opłata |
|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Opłata Wejście · Tokeny wejściowe $0.000072 / 1K tokenów Wyjście · Tokeny wyjściowe $0.000286 / 1K tokenów Wejście · Odczyt cache $0 / 1K tokenów Wejście · Zapis do cache $0 / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
{\n "model": "zai-org/autoglm-phone-9b-multilingual",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'zai-org/autoglm-phone-9b-multilingual', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'zai-org/autoglm-phone-9b-multilingual', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj wszystkie bloki treści, sygnatury myślenia i rzeczywiste ID użycia narzędzi. Złóż wszystkie przyrosty bloków SSE; pierwszy blok tekstowy nie jest pełnym wyjściem.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra zai-org/autoglm-phone-9b-multilingual
Użyj ścieżek metod podanych powyżej.
Przykład techniczny po angielsku
Plan the next phone-search step\n\nUse this text transcription of the current phone screen: app 'City Library'; search field 'Search catalog'; button 'Search'; no results shown. Goal: find books matching the exact title 'The Glass Harbor'. Propose only the next input action and the screen evidence needed afterward. Preserve the title and do not claim that a search has already run.One next-action proposal and a short description of the resulting screen evidence to inspect.The response uses the exact title and distinguishes proposed text entry from an executed search or a found book.