AutoGLM Phone 9B Multilingual — модель Z.ai для помощника, работающего через интерфейс смартфона. Она сочетает задачу на естественном языке с визуальным пониманием текущего экрана, планирует следующий шаг и выдаёт информацию, которую среда телефонного агента использует для действий. Её архитектура идентична GLM 4.1V 9B Thinking; именованная редакция Phone Multilingual остаётся отдельным вариантом модели.
Обзор проекта. Phone Agent разработчика связывает восприятие экрана с циклом исполнения. Среда захватывает интерфейс, модель рассуждает о задаче, а компонент управления устройством выполняет выбранную операцию. Новый экран затем даёт обратную связь для следующего шага. Опубликованный фреймворк использует Android Debug Bridge для Android-устройств и предоставляет отдельный путь управления HarmonyOS. Модель обеспечивает восприятие и планирование, а подключённая среда — фактическое взаимодействие с устройством.
Многоязычные особенности. Исходная AutoGLM Phone 9B оптимизирована для китайских мобильных приложений. Редакция Multilingual добавляет поддержку английских сценариев и предназначена для приложений с английским или иным языковым содержимым. Проект также предоставляет промпты-инструкции на китайском и английском. При описании задачи сохраняйте названия приложений, поисковые термины и видимый текст интерфейса: эти детали помогают связать запрошенное действие с экраном, а не с его предполагаемым переводом.
Планирование действий. Набор действий опубликованного фреймворка включает запуск приложения, нажатие, ввод текста, свайп, возврат назад, переход на домашний экран, долгое нажатие, двойное нажатие и ожидание загрузки страницы. В нём также есть действие передачи управления человеку. Используйте их как словарь экранного процесса: откройте нужное приложение, найдите необходимый элемент управления, введите запрошенный текст и изучите новую страницу. Следующее действие должно опираться на последний интерфейс, поскольку состояние загрузки или изменившееся расположение элементов может сделать прежнее наблюдение недействительным.
Подготовьте конкретную задачу. Укажите приложение, целевую информацию или результат и значимые условия. Для поисковой задачи предоставьте точный запрос, критерии выбора и желаемый результат, например список подходящих элементов с видимыми атрибутами. Для офисного процесса укажите, какую информацию экрана собрать и как представить итоговую сводку. Добавьте текущий скриншот и достаточно предыдущих шагов, чтобы объяснить положение помощника в процессе. Тогда вывод сможет предложить следующую операцию или объяснить, какая видимая деталь мешает продвижению.
Участие человека. Официальный фреймворк предоставляет обратные вызовы для подтверждения чувствительных операций и ручной передачи управления во время входа или шагов с кодом подтверждения. Приложение может вернуть телефон пользователю, а затем продолжить с нового захвата экрана после выполнения человеком этого шага. Задайте ясное условие завершения, чтобы помощник различал нахождение информации, подготовку действия и достижение нужного результата.
Практическая настройка влияет на процесс. Разрешения устройства, работающий захват скриншотов и ввод текста обеспечиваются окружающей средой. Настройка Android разработчика использует специальный клавиатурный компонент для ввода текста, а путь HarmonyOS — нативный ввод. Некоторые защищённые экраны могут возвращать чёрный снимок. Если экран недоступен или элемент управления неоднозначен, получите пригодный вид или указания человека до формирования следующего действия. Сам ответ модели не устанавливает выполнение операции телефона; проверьте итоговый экран для подтверждения продвижения.
", "aboutText": "AutoGLM Phone 9B Multilingual — модель Z.ai для помощника, работающего через интерфейс смартфона. Она сочетает задачу на естественном языке с визуальным пониманием текущего экрана, планирует следующий шаг и выдаёт информацию, которую среда телефонного агента использует для действий. Её архитектура идентична GLM 4.1V 9B Thinking; именованная редакция Phone Multilingual остаётся отдельным вариантом модели.\n\nОбзор проекта. Phone Agent разработчика связывает восприятие экрана с циклом исполнения. Среда захватывает интерфейс, модель рассуждает о задаче, а компонент управления устройством выполняет выбранную операцию. Новый экран затем даёт обратную связь для следующего шага. Опубликованный фреймворк использует Android Debug Bridge для Android-устройств и предоставляет отдельный путь управления HarmonyOS. Модель обеспечивает восприятие и планирование, а подключённая среда — фактическое взаимодействие с устройством.\n\nМногоязычные особенности. Исходная AutoGLM Phone 9B оптимизирована для китайских мобильных приложений. Редакция Multilingual добавляет поддержку английских сценариев и предназначена для приложений с английским или иным языковым содержимым. Проект также предоставляет промпты-инструкции на китайском и английском. При описании задачи сохраняйте названия приложений, поисковые термины и видимый текст интерфейса: эти детали помогают связать запрошенное действие с экраном, а не с его предполагаемым переводом.\n\nПланирование действий. Набор действий опубликованного фреймворка включает запуск приложения, нажатие, ввод текста, свайп, возврат назад, переход на домашний экран, долгое нажатие, двойное нажатие и ожидание загрузки страницы. В нём также есть действие передачи управления человеку. Используйте их как словарь экранного процесса: откройте нужное приложение, найдите необходимый элемент управления, введите запрошенный текст и изучите новую страницу. Следующее действие должно опираться на последний интерфейс, поскольку состояние загрузки или изменившееся расположение элементов может сделать прежнее наблюдение недействительным.\n\nПодготовьте конкретную задачу. Укажите приложение, целевую информацию или результат и значимые условия. Для поисковой задачи предоставьте точный запрос, критерии выбора и желаемый результат, например список подходящих элементов с видимыми атрибутами. Для офисного процесса укажите, какую информацию экрана собрать и как представить итоговую сводку. Добавьте текущий скриншот и достаточно предыдущих шагов, чтобы объяснить положение помощника в процессе. Тогда вывод сможет предложить следующую операцию или объяснить, какая видимая деталь мешает продвижению.\n\nУчастие человека. Официальный фреймворк предоставляет обратные вызовы для подтверждения чувствительных операций и ручной передачи управления во время входа или шагов с кодом подтверждения. Приложение может вернуть телефон пользователю, а затем продолжить с нового захвата экрана после выполнения человеком этого шага. Задайте ясное условие завершения, чтобы помощник различал нахождение информации, подготовку действия и достижение нужного результата.\n\nПрактическая настройка влияет на процесс. Разрешения устройства, работающий захват скриншотов и ввод текста обеспечиваются окружающей средой. Настройка Android разработчика использует специальный клавиатурный компонент для ввода текста, а путь HarmonyOS — нативный ввод. Некоторые защищённые экраны могут возвращать чёрный снимок. Если экран недоступен или элемент управления неоднозначен, получите пригодный вид или указания человека до формирования следующего действия. Сам ответ модели не устанавливает выполнение операции телефона; проверьте итоговый экран для подтверждения продвижения.", "editorialOverlay": { "copy_fields": { "practical_html": "Технический пример на английском
Plan the next phone-search step\n\nUse this text transcription of the current phone screen: app 'City Library'; search field 'Search catalog'; button 'Search'; no results shown. Goal: find books matching the exact title 'The Glass Harbor'. Propose only the next input action and the screen evidence needed afterward. Preserve the title and do not claim that a search has already run.One next-action proposal and a short description of the resulting screen evidence to inspect.The response uses the exact title and distinguishes proposed text entry from an executed search or a found book.zai-org/autoglm-phone-9b-multilingualВизуально-языковая модель Z.ai для понимания экранов смартфона и планирования действий в интерфейсе. Редакция Multilingual поддерживает сценарии на английском и интерфейсы с содержимым на других языках; предложенные операции выполняет подключённая среда телефонного агента.
Описание раскрывает возможности модели. Доступные в Ailoot входные данные, результаты и параметры выбранного метода перечислены ниже.
AutoGLM Phone 9B Multilingual — модель Z.ai для помощника, работающего через интерфейс смартфона. Она сочетает задачу на естественном языке с визуальным пониманием текущего экрана, планирует следующий шаг и выдаёт информацию, которую среда телефонного агента использует для действий. Её архитектура идентична GLM 4.1V 9B Thinking; именованная редакция Phone Multilingual остаётся отдельным вариантом модели.
Обзор проекта. Phone Agent разработчика связывает восприятие экрана с циклом исполнения. Среда захватывает интерфейс, модель рассуждает о задаче, а компонент управления устройством выполняет выбранную операцию. Новый экран затем даёт обратную связь для следующего шага. Опубликованный фреймворк использует Android Debug Bridge для Android-устройств и предоставляет отдельный путь управления HarmonyOS. Модель обеспечивает восприятие и планирование, а подключённая среда — фактическое взаимодействие с устройством.
Многоязычные особенности. Исходная AutoGLM Phone 9B оптимизирована для китайских мобильных приложений. Редакция Multilingual добавляет поддержку английских сценариев и предназначена для приложений с английским или иным языковым содержимым. Проект также предоставляет промпты-инструкции на китайском и английском. При описании задачи сохраняйте названия приложений, поисковые термины и видимый текст интерфейса: эти детали помогают связать запрошенное действие с экраном, а не с его предполагаемым переводом.
Планирование действий. Набор действий опубликованного фреймворка включает запуск приложения, нажатие, ввод текста, свайп, возврат назад, переход на домашний экран, долгое нажатие, двойное нажатие и ожидание загрузки страницы. В нём также есть действие передачи управления человеку. Используйте их как словарь экранного процесса: откройте нужное приложение, найдите необходимый элемент управления, введите запрошенный текст и изучите новую страницу. Следующее действие должно опираться на последний интерфейс, поскольку состояние загрузки или изменившееся расположение элементов может сделать прежнее наблюдение недействительным.
Подготовьте конкретную задачу. Укажите приложение, целевую информацию или результат и значимые условия. Для поисковой задачи предоставьте точный запрос, критерии выбора и желаемый результат, например список подходящих элементов с видимыми атрибутами. Для офисного процесса укажите, какую информацию экрана собрать и как представить итоговую сводку. Добавьте текущий скриншот и достаточно предыдущих шагов, чтобы объяснить положение помощника в процессе. Тогда вывод сможет предложить следующую операцию или объяснить, какая видимая деталь мешает продвижению.
Участие человека. Официальный фреймворк предоставляет обратные вызовы для подтверждения чувствительных операций и ручной передачи управления во время входа или шагов с кодом подтверждения. Приложение может вернуть телефон пользователю, а затем продолжить с нового захвата экрана после выполнения человеком этого шага. Задайте ясное условие завершения, чтобы помощник различал нахождение информации, подготовку действия и достижение нужного результата.
Практическая настройка влияет на процесс. Разрешения устройства, работающий захват скриншотов и ввод текста обеспечиваются окружающей средой. Настройка Android разработчика использует специальный клавиатурный компонент для ввода текста, а путь HarmonyOS — нативный ввод. Некоторые защищённые экраны могут возвращать чёрный снимок. Если экран недоступен или элемент управления неоднозначен, получите пригодный вид или указания человека до формирования следующего действия. Сам ответ модели не устанавливает выполнение операции телефона; проверьте итоговый экран для подтверждения продвижения.
POST /v1/chat/completionstexttext| Поле | Тип | Требование | Значения и ограничения | По умолчанию |
|---|---|---|---|---|
Полеmodel | Типstring | ТребованиеОбязательно | Значения и ограничения zai-org/autoglm-phone-9b-multilingual | По умолчанию— |
Полеmessages | Типmessage[] | ТребованиеОбязательно | Значения и ограничения Минимум элементов: 1 | По умолчанию— |
Полеmessages[].role | Типstring | ТребованиеОбязательно | Значения и ограничения Примеры: system, user, assistant, tool, function Условия: Эти роли явно представлены типами совместимости исходного кода; точный набор ролей зависит от модели. Зависит от модели | По умолчанию— |
Полеmessages[].content | Типstring|content_part[]|null | ТребованиеНеобязательно | Значения и ограничения | По умолчанию— |
Полеmessages[].tool_calls | Типtool_call[] | ТребованиеНеобязательно | Значения и ограничения | По умолчанию— |
Полеmessages[].tool_call_id | Типstring | ТребованиеНеобязательно | Значения и ограничения Применяется, когда: role=tool; используйте фактически возвращённый ID | По умолчанию— |
Полеmessages[].name | Типstring | ТребованиеНеобязательно | Значения и ограничения | По умолчанию— |
Полеmessages[].reasoning_content | Типstring | ТребованиеНеобязательно | Значения и ограничения Применяется, когда: Передавайте обратно фактически возвращённые рассуждения, если эта модель их использует | По умолчанию— |
Полеmessages[].reasoning_details | Типobject|array | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеmax_tokens | Типinteger | ТребованиеНеобязательно | Значения и ограничения Минимум: 1 Зависит от модели | По умолчанию— |
Полеmax_completion_tokens | Типinteger | ТребованиеНеобязательно | Значения и ограничения Минимум: 1 Зависит от модели | По умолчанию— |
Полеstream | Типboolean | ТребованиеНеобязательно | Значения и ограничения | По умолчаниюfalse |
Полеstream_options.include_usage | Типboolean | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеtemperature | Типnumber | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеtop_p | Типnumber | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеstop | Типstring|string[] | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеtools | Типfunction_tool[] | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеtools[].type | Типstring | ТребованиеНеобязательно | Значения и ограничения function Зависит от модели | По умолчанию— |
Полеtools[].function.name | Типstring | ТребованиеОбязательно | Значения и ограничения Применяется, когда: передан инструмент-функция | По умолчанию— |
Полеtools[].function.description | Типstring | ТребованиеНеобязательно | Значения и ограничения | По умолчанию— |
Полеtools[].function.parameters | ТипJSON_schema | ТребованиеНеобязательно | Значения и ограничения | По умолчанию— |
Полеtool_choice | Типstring|object | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеparallel_tool_calls | Типboolean | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеresponse_format | Типobject | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеreasoning_effort | Типstring | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеreasoning | Типobject | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеservice_tier | Типstring | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеinstructions | Типstring | ТребованиеНеобязательно | Значения и ограничения Поле совместимости | По умолчанию— |
Полеfunctions | Типfunction[] | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеfunction_call | Типstring|object | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеprompt_cache_options | Типobject | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеmodalities | Типstring[] | ТребованиеНеобязательно | Значения и ограничения text | По умолчанию— |
Полеprovider | Типobject | ТребованиеНеобязательно | Значения и ограничения Условия: provider.options отклоняется на этом текстовом маршруте Ultra | По умолчанию— |
Полеcache_control.ttl | Типstring | ТребованиеНеобязательно | Значения и ограничения Условия: 1h отклоняется в фактических местах настройки кэша запросов | По умолчанию— |
Текст · Текст UTF8
messages[].content
| Параметр | Контракт |
|---|---|
Параметрcontent_type | Контрактapplication/json |
Параметрrequired | Контрактmodel, messages |
Параметрmaterial_types | Контрактtext |
Параметрmessages | Контрактмассив сообщений со структурой role/content |
Параметрfile_material | Контрактфактический документ UTF-8 вставляется как буквальный текст; ID файла не выводится из него |
Параметрoptional_controls | Контрактstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Параметрcontrol_scope | Контрактзависит от модели; пользовательские инструменты-функции отличаются от инструментов, выполняемых на стороне сервиса |
Параметрoutput_modalities | Контрактtext |
Параметрhosted_operations | Контрактfalse |
Параметрmultimodal_input_binding | Контрактnull |
Жизненный цикл: synchronous_or_streamed
Отправляйте точный ID модели вместе с messages.
Длина контекста не является пределом выхода.
Текстовый файл может передавать буквальный текст; входные изображения, аудио и файловые объекты требуют точной привязки.
Тарифная справка не добавляет режимы запроса. Поддерживаемые параметры указаны для выбранного метода.
| Конфигурация | Шкала ставок | Плата |
|---|---|---|
| КонфигурацияБазовые ставки за токены | Шкала ставокБазовая ставка | Плата Вход · Входные токены $0.000072 / 1K токенов Выход · Выходные токены $0.000286 / 1K токенов Вход · Чтение кэша $0 / 1K токенов Вход · Запись в кэш $0 / 1K токенов Вход · Запись в кэш, 1 час — / 1K токенов |
Ailoot резервирует расчётную сумму перед запросом. После получения результата списывает итоговую плату по измеренному расходу. Для окончательного списания за потоковый ответ используется итоговая запись расхода. Как работают резервирование и расчёт →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "zai-org/autoglm-phone-9b-multilingual", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='zai-org/autoglm-phone-9b-multilingual',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='zai-org/autoglm-phone-9b-multilingual',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson или SSE
Сохраняйте каждый полностью полученный ответ, файл и элемент содержимого.
Сохраняйте каждый вариант ответа с его содержимым, вызовами инструментов и рассуждениями. В SSE собирайте изменения по индексам варианта и инструмента, сохраняйте итоговую причину завершения и данные использования.
Сохраняйте ID запросов и ответов, а также заголовки. Общий URL получения текстового задания не предоставлен.
| Поле | Тип |
|---|---|
Полеchoices[].index | Типinteger |
Полеchoices[].message.content | Типstring|null |
Полеchoices[].message.tool_calls | Типtool_call[] |
Полеchoices[].message.reasoning_content | Типstring |
Полеchoices[].message.reasoning_details | Типobject|array |
Полеchoices[].finish_reason | Типstring|null |
Полеusage | Типobject |
| Ответ | Условие | Следующий шаг |
|---|---|---|
Ответ400 · invalid_request_error | УсловиеНеверные обязательные поля, представление материалов или значение параметра | Следующий шагИсправьте указанные поля перед новым запросом на создание. |
Ailoot Ultra zai-org/autoglm-phone-9b-multilingual
Используйте пути методов, указанные выше.
zai-org/autoglm-phone-9b-multilingualВизуально-языковая модель Z.ai для понимания экранов смартфона и планирования действий в интерфейсе. Редакция Multilingual поддерживает сценарии на английском и интерфейсы с содержимым на других языках; предложенные операции выполняет подключённая среда телефонного агента.
Описание раскрывает возможности модели. Доступные в Ailoot входные данные, результаты и параметры выбранного метода перечислены ниже.
AutoGLM Phone 9B Multilingual — модель Z.ai для помощника, работающего через интерфейс смартфона. Она сочетает задачу на естественном языке с визуальным пониманием текущего экрана, планирует следующий шаг и выдаёт информацию, которую среда телефонного агента использует для действий. Её архитектура идентична GLM 4.1V 9B Thinking; именованная редакция Phone Multilingual остаётся отдельным вариантом модели.
Обзор проекта. Phone Agent разработчика связывает восприятие экрана с циклом исполнения. Среда захватывает интерфейс, модель рассуждает о задаче, а компонент управления устройством выполняет выбранную операцию. Новый экран затем даёт обратную связь для следующего шага. Опубликованный фреймворк использует Android Debug Bridge для Android-устройств и предоставляет отдельный путь управления HarmonyOS. Модель обеспечивает восприятие и планирование, а подключённая среда — фактическое взаимодействие с устройством.
Многоязычные особенности. Исходная AutoGLM Phone 9B оптимизирована для китайских мобильных приложений. Редакция Multilingual добавляет поддержку английских сценариев и предназначена для приложений с английским или иным языковым содержимым. Проект также предоставляет промпты-инструкции на китайском и английском. При описании задачи сохраняйте названия приложений, поисковые термины и видимый текст интерфейса: эти детали помогают связать запрошенное действие с экраном, а не с его предполагаемым переводом.
Планирование действий. Набор действий опубликованного фреймворка включает запуск приложения, нажатие, ввод текста, свайп, возврат назад, переход на домашний экран, долгое нажатие, двойное нажатие и ожидание загрузки страницы. В нём также есть действие передачи управления человеку. Используйте их как словарь экранного процесса: откройте нужное приложение, найдите необходимый элемент управления, введите запрошенный текст и изучите новую страницу. Следующее действие должно опираться на последний интерфейс, поскольку состояние загрузки или изменившееся расположение элементов может сделать прежнее наблюдение недействительным.
Подготовьте конкретную задачу. Укажите приложение, целевую информацию или результат и значимые условия. Для поисковой задачи предоставьте точный запрос, критерии выбора и желаемый результат, например список подходящих элементов с видимыми атрибутами. Для офисного процесса укажите, какую информацию экрана собрать и как представить итоговую сводку. Добавьте текущий скриншот и достаточно предыдущих шагов, чтобы объяснить положение помощника в процессе. Тогда вывод сможет предложить следующую операцию или объяснить, какая видимая деталь мешает продвижению.
Участие человека. Официальный фреймворк предоставляет обратные вызовы для подтверждения чувствительных операций и ручной передачи управления во время входа или шагов с кодом подтверждения. Приложение может вернуть телефон пользователю, а затем продолжить с нового захвата экрана после выполнения человеком этого шага. Задайте ясное условие завершения, чтобы помощник различал нахождение информации, подготовку действия и достижение нужного результата.
Практическая настройка влияет на процесс. Разрешения устройства, работающий захват скриншотов и ввод текста обеспечиваются окружающей средой. Настройка Android разработчика использует специальный клавиатурный компонент для ввода текста, а путь HarmonyOS — нативный ввод. Некоторые защищённые экраны могут возвращать чёрный снимок. Если экран недоступен или элемент управления неоднозначен, получите пригодный вид или указания человека до формирования следующего действия. Сам ответ модели не устанавливает выполнение операции телефона; проверьте итоговый экран для подтверждения продвижения.
POST /v1/messagestextjson, sse| Поле | Тип | Требование | Значения и ограничения | По умолчанию |
|---|---|---|---|---|
Полеmodel | Типstring | ТребованиеОбязательно | Значения и ограничения zai-org/autoglm-phone-9b-multilingual | По умолчанию— |
Полеmessages | Типmessage[] | ТребованиеОбязательно | Значения и ограничения | По умолчанию— |
Полеmessages[].role | Типstring | ТребованиеОбязательно | Значения и ограничения user, assistant | По умолчанию— |
Полеmessages[].content | Типstring | ТребованиеОбязательно | Значения и ограничения | По умолчанию— |
Полеmax_tokens | Типinteger | ТребованиеОбязательно | Значения и ограничения | По умолчанию— |
Полеstream | Типboolean | ТребованиеНеобязательно | Значения и ограничения | По умолчаниюfalse |
Текст · Текст UTF-8
строка messages[].content
| Параметр | Контракт |
|---|---|
Параметрcontent_type | Контрактapplication/json |
Параметрrequired | Контрактmodel, messages, max_tokens |
Параметрoptional_controls | Контрактstream |
Параметрmaterial_types | Контрактtext |
Параметрtext_file_material | КонтрактПрочитайте фактический документ UTF-8 и поместите его текст в указанную строку входа или содержимого сообщения. |
Жизненный цикл: synchronous_or_streamed
Тарифная справка не добавляет режимы запроса. Поддерживаемые параметры указаны для выбранного метода.
| Конфигурация | Шкала ставок | Плата |
|---|---|---|
| КонфигурацияБазовые ставки за токены | Шкала ставокБазовая ставка | Плата Вход · Входные токены $0.000072 / 1K токенов Выход · Выходные токены $0.000286 / 1K токенов Вход · Чтение кэша $0 / 1K токенов Вход · Запись в кэш $0 / 1K токенов Вход · Запись в кэш, 1 час — / 1K токенов |
Ailoot резервирует расчётную сумму перед запросом. После получения результата списывает итоговую плату по измеренному расходу. Для окончательного списания за потоковый ответ используется итоговая запись расхода. Как работают резервирование и расчёт →
{\n "model": "zai-org/autoglm-phone-9b-multilingual",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'zai-org/autoglm-phone-9b-multilingual', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'zai-org/autoglm-phone-9b-multilingual', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON или SSE
Сохраняйте каждый полностью полученный ответ, файл и элемент содержимого.
Сохраняйте все блоки содержимого, подписи рассуждений и фактические ID обращений к инструментам. Собирайте все изменения блоков SSE; первый текстовый блок не является полным выходом.
Сохраняйте ID запросов и ответов, а также заголовки. Общий URL получения текстового задания не предоставлен.
| Поле | Тип |
|---|---|
Полеid | Типstring |
Полеmodel | Типstring |
Полеcontent[] | Типtext|thinking|tool_use|other content block |
Полеstop_reason | Типstring|null |
Полеusage | Типobject |
| Ответ | Условие | Следующий шаг |
|---|---|---|
Ответ400 · invalid_request_error | УсловиеНеверные обязательные поля, представление материалов или значение параметра | Следующий шагИсправьте указанные поля перед новым запросом на создание. |
Ailoot Ultra zai-org/autoglm-phone-9b-multilingual
Используйте пути методов, указанные выше.
Технический пример на английском
Plan the next phone-search step\n\nUse this text transcription of the current phone screen: app 'City Library'; search field 'Search catalog'; button 'Search'; no results shown. Goal: find books matching the exact title 'The Glass Harbor'. Propose only the next input action and the screen evidence needed afterward. Preserve the title and do not claim that a search has already run.One next-action proposal and a short description of the resulting screen evidence to inspect.The response uses the exact title and distinguishes proposed text entry from an executed search or a found book.