AutoGLM Phone 9B Multilingual là mô hình của Z.ai dành cho trợ lý làm việc qua giao diện điện thoại thông minh. Mô hình kết hợp nhiệm vụ bằng ngôn ngữ tự nhiên với khả năng hiểu trực quan màn hình hiện tại, lập kế hoạch bước tiếp theo và tạo thông tin mà môi trường tác tử điện thoại sử dụng để hành động. Kiến trúc của nó giống hệt GLM 4.1V 9B Thinking; phiên bản mang tên Phone Multilingual vẫn là một lựa chọn mô hình riêng biệt.
Tổng quan dự án. Phone Agent của nhà sản xuất kết hợp nhận biết màn hình với một vòng lặp thực thi. Môi trường chụp giao diện, mô hình suy luận về nhiệm vụ và thành phần điều khiển thiết bị thực hiện thao tác đã chọn. Sau đó, màn hình mới cung cấp phản hồi cho bước tiếp theo. Framework được công bố sử dụng Android Debug Bridge cho thiết bị Android và cung cấp một luồng điều khiển HarmonyOS riêng. Mô hình cung cấp khả năng nhận biết và lập kế hoạch; môi trường được kết nối cung cấp tương tác thực tế với thiết bị.
Điểm khác biệt đa ngôn ngữ. AutoGLM Phone 9B gốc được tối ưu cho ứng dụng di động tiếng Trung. Phiên bản Multilingual bổ sung hỗ trợ các tình huống tiếng Anh và dành cho ứng dụng chứa tiếng Anh hoặc nội dung ngôn ngữ khác. Dự án cũng cung cấp prompt chỉ dẫn bằng tiếng Trung và tiếng Anh. Giữ nguyên tên ứng dụng, từ khóa tìm kiếm và văn bản giao diện nhìn thấy được khi mô tả nhiệm vụ; các chi tiết đó giúp gắn hành động được yêu cầu với màn hình thay vì với bản dịch giả định của nó.
Lập kế hoạch hành động. Tập thao tác của framework được công bố gồm mở ứng dụng, chạm, nhập, vuốt, quay lại, về màn hình chính, nhấn giữ, chạm hai lần và chờ trang tải. Nó cũng có thao tác chuyển quyền điều khiển thủ công. Dùng các thao tác đó làm từ vựng cho quy trình dựa trên màn hình: mở ứng dụng liên quan, tìm điều khiển cần thiết, nhập văn bản được yêu cầu và kiểm tra trang mới. Hành động tiếp theo nên dựa vào giao diện mới nhất, vì trạng thái đang tải hoặc bố cục thay đổi có thể làm quan sát trước đó không còn đúng.
Chuẩn bị nhiệm vụ cụ thể. Nêu ứng dụng, thông tin hoặc kết quả cần đạt và các điều kiện quan trọng. Với nhiệm vụ tìm kiếm, cung cấp truy vấn chính xác, tiêu chí lựa chọn và kết quả mong muốn, chẳng hạn danh sách các mục phù hợp cùng thuộc tính hiển thị của chúng. Với quy trình văn phòng, chỉ rõ thông tin trên màn hình cần thu thập và cách trình bày bản tóm tắt cuối. Bao gồm ảnh chụp màn hình hiện tại và đủ các bước trước đó để giải thích trợ lý đang ở đâu trong quy trình. Khi đó, đầu ra có thể đề xuất thao tác tiếp theo hoặc giải thích chi tiết nhìn thấy nào đang cản trở tiến độ.
Sự tham gia của con người. Framework chính thức cung cấp callback để xác nhận thao tác nhạy cảm và tiếp quản thủ công trong các bước đăng nhập hoặc mã xác minh. Ứng dụng có thể giao lại điện thoại cho người dùng, rồi tiếp tục từ màn hình được chụp mới sau khi người đó hoàn tất bước ấy. Đưa ra điều kiện hoàn thành rõ ràng để trợ lý phân biệt việc tìm thấy thông tin, chuẩn bị hành động và đạt kết quả mong muốn.
Thiết lập thực tế ảnh hưởng đến quy trình. Quyền thiết bị, đường chụp màn hình hoạt động và khả năng nhập văn bản được môi trường bao quanh cung cấp. Thiết lập Android của nhà sản xuất dùng một thành phần bàn phím chuyên dụng để nhập văn bản, còn luồng HarmonyOS dùng cơ chế nhập gốc. Một số màn hình được bảo vệ có thể trả lại ảnh chụp màu đen. Khi không xem được màn hình hoặc điều khiển không rõ ràng, hãy có được góc nhìn sử dụng được hoặc hướng dẫn của con người trước khi hình thành hành động tiếp theo. Chỉ phản hồi của mô hình không xác lập rằng thao tác điện thoại đã chạy; kiểm tra màn hình sau thao tác để xác nhận tiến độ.
", "aboutText": "AutoGLM Phone 9B Multilingual là mô hình của Z.ai dành cho trợ lý làm việc qua giao diện điện thoại thông minh. Mô hình kết hợp nhiệm vụ bằng ngôn ngữ tự nhiên với khả năng hiểu trực quan màn hình hiện tại, lập kế hoạch bước tiếp theo và tạo thông tin mà môi trường tác tử điện thoại sử dụng để hành động. Kiến trúc của nó giống hệt GLM 4.1V 9B Thinking; phiên bản mang tên Phone Multilingual vẫn là một lựa chọn mô hình riêng biệt.\n\nTổng quan dự án. Phone Agent của nhà sản xuất kết hợp nhận biết màn hình với một vòng lặp thực thi. Môi trường chụp giao diện, mô hình suy luận về nhiệm vụ và thành phần điều khiển thiết bị thực hiện thao tác đã chọn. Sau đó, màn hình mới cung cấp phản hồi cho bước tiếp theo. Framework được công bố sử dụng Android Debug Bridge cho thiết bị Android và cung cấp một luồng điều khiển HarmonyOS riêng. Mô hình cung cấp khả năng nhận biết và lập kế hoạch; môi trường được kết nối cung cấp tương tác thực tế với thiết bị.\n\nĐiểm khác biệt đa ngôn ngữ. AutoGLM Phone 9B gốc được tối ưu cho ứng dụng di động tiếng Trung. Phiên bản Multilingual bổ sung hỗ trợ các tình huống tiếng Anh và dành cho ứng dụng chứa tiếng Anh hoặc nội dung ngôn ngữ khác. Dự án cũng cung cấp prompt chỉ dẫn bằng tiếng Trung và tiếng Anh. Giữ nguyên tên ứng dụng, từ khóa tìm kiếm và văn bản giao diện nhìn thấy được khi mô tả nhiệm vụ; các chi tiết đó giúp gắn hành động được yêu cầu với màn hình thay vì với bản dịch giả định của nó.\n\nLập kế hoạch hành động. Tập thao tác của framework được công bố gồm mở ứng dụng, chạm, nhập, vuốt, quay lại, về màn hình chính, nhấn giữ, chạm hai lần và chờ trang tải. Nó cũng có thao tác chuyển quyền điều khiển thủ công. Dùng các thao tác đó làm từ vựng cho quy trình dựa trên màn hình: mở ứng dụng liên quan, tìm điều khiển cần thiết, nhập văn bản được yêu cầu và kiểm tra trang mới. Hành động tiếp theo nên dựa vào giao diện mới nhất, vì trạng thái đang tải hoặc bố cục thay đổi có thể làm quan sát trước đó không còn đúng.\n\nChuẩn bị nhiệm vụ cụ thể. Nêu ứng dụng, thông tin hoặc kết quả cần đạt và các điều kiện quan trọng. Với nhiệm vụ tìm kiếm, cung cấp truy vấn chính xác, tiêu chí lựa chọn và kết quả mong muốn, chẳng hạn danh sách các mục phù hợp cùng thuộc tính hiển thị của chúng. Với quy trình văn phòng, chỉ rõ thông tin trên màn hình cần thu thập và cách trình bày bản tóm tắt cuối. Bao gồm ảnh chụp màn hình hiện tại và đủ các bước trước đó để giải thích trợ lý đang ở đâu trong quy trình. Khi đó, đầu ra có thể đề xuất thao tác tiếp theo hoặc giải thích chi tiết nhìn thấy nào đang cản trở tiến độ.\n\nSự tham gia của con người. Framework chính thức cung cấp callback để xác nhận thao tác nhạy cảm và tiếp quản thủ công trong các bước đăng nhập hoặc mã xác minh. Ứng dụng có thể giao lại điện thoại cho người dùng, rồi tiếp tục từ màn hình được chụp mới sau khi người đó hoàn tất bước ấy. Đưa ra điều kiện hoàn thành rõ ràng để trợ lý phân biệt việc tìm thấy thông tin, chuẩn bị hành động và đạt kết quả mong muốn.\n\nThiết lập thực tế ảnh hưởng đến quy trình. Quyền thiết bị, đường chụp màn hình hoạt động và khả năng nhập văn bản được môi trường bao quanh cung cấp. Thiết lập Android của nhà sản xuất dùng một thành phần bàn phím chuyên dụng để nhập văn bản, còn luồng HarmonyOS dùng cơ chế nhập gốc. Một số màn hình được bảo vệ có thể trả lại ảnh chụp màu đen. Khi không xem được màn hình hoặc điều khiển không rõ ràng, hãy có được góc nhìn sử dụng được hoặc hướng dẫn của con người trước khi hình thành hành động tiếp theo. Chỉ phản hồi của mô hình không xác lập rằng thao tác điện thoại đã chạy; kiểm tra màn hình sau thao tác để xác nhận tiến độ.", "editorialOverlay": { "copy_fields": { "practical_html": "Ví dụ kỹ thuật bằng tiếng Anh
Plan the next phone-search step\n\nUse this text transcription of the current phone screen: app 'City Library'; search field 'Search catalog'; button 'Search'; no results shown. Goal: find books matching the exact title 'The Glass Harbor'. Propose only the next input action and the screen evidence needed afterward. Preserve the title and do not claim that a search has already run.One next-action proposal and a short description of the resulting screen evidence to inspect.The response uses the exact title and distinguishes proposed text entry from an executed search or a found book.zai-org/autoglm-phone-9b-multilingualMô hình thị giác và ngôn ngữ của Z.ai để hiểu màn hình điện thoại thông minh và lập kế hoạch thao tác giao diện. Phiên bản Multilingual hỗ trợ các tình huống tiếng Anh và giao diện có nội dung ngôn ngữ khác; môi trường tác tử điện thoại được kết nối thực hiện các thao tác đề xuất.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
AutoGLM Phone 9B Multilingual là mô hình của Z.ai dành cho trợ lý làm việc qua giao diện điện thoại thông minh. Mô hình kết hợp nhiệm vụ bằng ngôn ngữ tự nhiên với khả năng hiểu trực quan màn hình hiện tại, lập kế hoạch bước tiếp theo và tạo thông tin mà môi trường tác tử điện thoại sử dụng để hành động. Kiến trúc của nó giống hệt GLM 4.1V 9B Thinking; phiên bản mang tên Phone Multilingual vẫn là một lựa chọn mô hình riêng biệt.
Tổng quan dự án. Phone Agent của nhà sản xuất kết hợp nhận biết màn hình với một vòng lặp thực thi. Môi trường chụp giao diện, mô hình suy luận về nhiệm vụ và thành phần điều khiển thiết bị thực hiện thao tác đã chọn. Sau đó, màn hình mới cung cấp phản hồi cho bước tiếp theo. Framework được công bố sử dụng Android Debug Bridge cho thiết bị Android và cung cấp một luồng điều khiển HarmonyOS riêng. Mô hình cung cấp khả năng nhận biết và lập kế hoạch; môi trường được kết nối cung cấp tương tác thực tế với thiết bị.
Điểm khác biệt đa ngôn ngữ. AutoGLM Phone 9B gốc được tối ưu cho ứng dụng di động tiếng Trung. Phiên bản Multilingual bổ sung hỗ trợ các tình huống tiếng Anh và dành cho ứng dụng chứa tiếng Anh hoặc nội dung ngôn ngữ khác. Dự án cũng cung cấp prompt chỉ dẫn bằng tiếng Trung và tiếng Anh. Giữ nguyên tên ứng dụng, từ khóa tìm kiếm và văn bản giao diện nhìn thấy được khi mô tả nhiệm vụ; các chi tiết đó giúp gắn hành động được yêu cầu với màn hình thay vì với bản dịch giả định của nó.
Lập kế hoạch hành động. Tập thao tác của framework được công bố gồm mở ứng dụng, chạm, nhập, vuốt, quay lại, về màn hình chính, nhấn giữ, chạm hai lần và chờ trang tải. Nó cũng có thao tác chuyển quyền điều khiển thủ công. Dùng các thao tác đó làm từ vựng cho quy trình dựa trên màn hình: mở ứng dụng liên quan, tìm điều khiển cần thiết, nhập văn bản được yêu cầu và kiểm tra trang mới. Hành động tiếp theo nên dựa vào giao diện mới nhất, vì trạng thái đang tải hoặc bố cục thay đổi có thể làm quan sát trước đó không còn đúng.
Chuẩn bị nhiệm vụ cụ thể. Nêu ứng dụng, thông tin hoặc kết quả cần đạt và các điều kiện quan trọng. Với nhiệm vụ tìm kiếm, cung cấp truy vấn chính xác, tiêu chí lựa chọn và kết quả mong muốn, chẳng hạn danh sách các mục phù hợp cùng thuộc tính hiển thị của chúng. Với quy trình văn phòng, chỉ rõ thông tin trên màn hình cần thu thập và cách trình bày bản tóm tắt cuối. Bao gồm ảnh chụp màn hình hiện tại và đủ các bước trước đó để giải thích trợ lý đang ở đâu trong quy trình. Khi đó, đầu ra có thể đề xuất thao tác tiếp theo hoặc giải thích chi tiết nhìn thấy nào đang cản trở tiến độ.
Sự tham gia của con người. Framework chính thức cung cấp callback để xác nhận thao tác nhạy cảm và tiếp quản thủ công trong các bước đăng nhập hoặc mã xác minh. Ứng dụng có thể giao lại điện thoại cho người dùng, rồi tiếp tục từ màn hình được chụp mới sau khi người đó hoàn tất bước ấy. Đưa ra điều kiện hoàn thành rõ ràng để trợ lý phân biệt việc tìm thấy thông tin, chuẩn bị hành động và đạt kết quả mong muốn.
Thiết lập thực tế ảnh hưởng đến quy trình. Quyền thiết bị, đường chụp màn hình hoạt động và khả năng nhập văn bản được môi trường bao quanh cung cấp. Thiết lập Android của nhà sản xuất dùng một thành phần bàn phím chuyên dụng để nhập văn bản, còn luồng HarmonyOS dùng cơ chế nhập gốc. Một số màn hình được bảo vệ có thể trả lại ảnh chụp màu đen. Khi không xem được màn hình hoặc điều khiển không rõ ràng, hãy có được góc nhìn sử dụng được hoặc hướng dẫn của con người trước khi hình thành hành động tiếp theo. Chỉ phản hồi của mô hình không xác lập rằng thao tác điện thoại đã chạy; kiểm tra màn hình sau thao tác để xác nhận tiến độ.
POST /v1/chat/completionstexttext| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn zai-org/autoglm-phone-9b-multilingual | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Ví dụ: system, user, assistant, tool, function Điều kiện: Các vai trò này được biểu diễn rõ trong các kiểu tương thích của mã nguồn; tập vai trò chính xác vẫn tùy từng mô hình. Tùy thuộc vào mô hình | Mặc định— |
Trườngmessages[].content | Loạistring|content_part[]|null | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_calls | Loạitool_call[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_call_id | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: role=tool; dùng ID thực tế được trả về | Mặc định— |
Trườngmessages[].name | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].reasoning_content | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: Gửi lại dữ liệu suy luận thực tế đã được trả về khi mô hình này sử dụng dữ liệu đó | Mặc định— |
Trườngmessages[].reasoning_details | Loạiobject|array | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_completion_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Trườngstream_options.include_usage | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtemperature | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtop_p | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngstop | Loạistring|string[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools | Loạifunction_tool[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].type | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn function Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].function.name | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Áp dụng khi: Có cung cấp công cụ hàm | Mặc định— |
Trườngtools[].function.description | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtools[].function.parameters | LoạiJSON_schema | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtool_choice | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngparallel_tool_calls | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngresponse_format | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning_effort | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngservice_tier | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườnginstructions | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Trường tương thích | Mặc định— |
Trườngfunctions | Loạifunction[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngfunction_call | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngprompt_cache_options | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmodalities | Loạistring[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn text | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: provider.options bị từ chối trên tuyến văn bản Ultra này | Mặc định— |
Trườngcache_control.ttl | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: 1h bị từ chối tại các vị trí lưu đệm prompt thực tế | Mặc định— |
Văn bản · Văn bản UTF8
messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốmessages | Hợp đồngMảng thông điệp có cấu trúc role/content |
Tham sốfile_material | Hợp đồngTài liệu UTF-8 thực tế được chèn nguyên dạng văn bản; không suy ra ID tệp |
Tham sốoptional_controls | Hợp đồngstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Tham sốcontrol_scope | Hợp đồngTùy từng mô hình; công cụ hàm của người dùng khác với công cụ do dịch vụ cung cấp |
Tham sốoutput_modalities | Hợp đồngtext |
Tham sốhosted_operations | Hợp đồngfalse |
Tham sốmultimodal_input_binding | Hợp đồngnull |
Vòng đời: synchronous_or_streamed
Gửi ID mô hình chính xác cùng messages.
Độ dài ngữ cảnh không phải giới hạn đầu ra.
Tệp văn bản có thể cung cấp nguyên văn nội dung; đầu vào hình ảnh, âm thanh hoặc đối tượng tệp cần có liên kết chính xác.
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
| Cấu hình | Biểu mức phí | Phí |
|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Phí Đầu vào · Token đầu vào $0.000072 / 1K token Đầu ra · Token đầu ra $0.000286 / 1K token Đầu vào · Đọc bộ nhớ đệm $0 / 1K token Đầu vào · Ghi bộ nhớ đệm $0 / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "zai-org/autoglm-phone-9b-multilingual", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='zai-org/autoglm-phone-9b-multilingual',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='zai-org/autoglm-phone-9b-multilingual',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi phương án trả lời cùng nội dung, lệnh gọi công cụ và dữ liệu suy luận của phương án đó. Với SSE, ghép các phần thay đổi theo chỉ số phương án và công cụ, giữ lý do kết thúc cuối cùng cùng dữ liệu sử dụng.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngchoices[].index | Loạiinteger |
Trườngchoices[].message.content | Loạistring|null |
Trườngchoices[].message.tool_calls | Loạitool_call[] |
Trườngchoices[].message.reasoning_content | Loạistring |
Trườngchoices[].message.reasoning_details | Loạiobject|array |
Trườngchoices[].finish_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra zai-org/autoglm-phone-9b-multilingual
Dùng các đường dẫn phương thức hiển thị ở trên.
zai-org/autoglm-phone-9b-multilingualMô hình thị giác và ngôn ngữ của Z.ai để hiểu màn hình điện thoại thông minh và lập kế hoạch thao tác giao diện. Phiên bản Multilingual hỗ trợ các tình huống tiếng Anh và giao diện có nội dung ngôn ngữ khác; môi trường tác tử điện thoại được kết nối thực hiện các thao tác đề xuất.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
AutoGLM Phone 9B Multilingual là mô hình của Z.ai dành cho trợ lý làm việc qua giao diện điện thoại thông minh. Mô hình kết hợp nhiệm vụ bằng ngôn ngữ tự nhiên với khả năng hiểu trực quan màn hình hiện tại, lập kế hoạch bước tiếp theo và tạo thông tin mà môi trường tác tử điện thoại sử dụng để hành động. Kiến trúc của nó giống hệt GLM 4.1V 9B Thinking; phiên bản mang tên Phone Multilingual vẫn là một lựa chọn mô hình riêng biệt.
Tổng quan dự án. Phone Agent của nhà sản xuất kết hợp nhận biết màn hình với một vòng lặp thực thi. Môi trường chụp giao diện, mô hình suy luận về nhiệm vụ và thành phần điều khiển thiết bị thực hiện thao tác đã chọn. Sau đó, màn hình mới cung cấp phản hồi cho bước tiếp theo. Framework được công bố sử dụng Android Debug Bridge cho thiết bị Android và cung cấp một luồng điều khiển HarmonyOS riêng. Mô hình cung cấp khả năng nhận biết và lập kế hoạch; môi trường được kết nối cung cấp tương tác thực tế với thiết bị.
Điểm khác biệt đa ngôn ngữ. AutoGLM Phone 9B gốc được tối ưu cho ứng dụng di động tiếng Trung. Phiên bản Multilingual bổ sung hỗ trợ các tình huống tiếng Anh và dành cho ứng dụng chứa tiếng Anh hoặc nội dung ngôn ngữ khác. Dự án cũng cung cấp prompt chỉ dẫn bằng tiếng Trung và tiếng Anh. Giữ nguyên tên ứng dụng, từ khóa tìm kiếm và văn bản giao diện nhìn thấy được khi mô tả nhiệm vụ; các chi tiết đó giúp gắn hành động được yêu cầu với màn hình thay vì với bản dịch giả định của nó.
Lập kế hoạch hành động. Tập thao tác của framework được công bố gồm mở ứng dụng, chạm, nhập, vuốt, quay lại, về màn hình chính, nhấn giữ, chạm hai lần và chờ trang tải. Nó cũng có thao tác chuyển quyền điều khiển thủ công. Dùng các thao tác đó làm từ vựng cho quy trình dựa trên màn hình: mở ứng dụng liên quan, tìm điều khiển cần thiết, nhập văn bản được yêu cầu và kiểm tra trang mới. Hành động tiếp theo nên dựa vào giao diện mới nhất, vì trạng thái đang tải hoặc bố cục thay đổi có thể làm quan sát trước đó không còn đúng.
Chuẩn bị nhiệm vụ cụ thể. Nêu ứng dụng, thông tin hoặc kết quả cần đạt và các điều kiện quan trọng. Với nhiệm vụ tìm kiếm, cung cấp truy vấn chính xác, tiêu chí lựa chọn và kết quả mong muốn, chẳng hạn danh sách các mục phù hợp cùng thuộc tính hiển thị của chúng. Với quy trình văn phòng, chỉ rõ thông tin trên màn hình cần thu thập và cách trình bày bản tóm tắt cuối. Bao gồm ảnh chụp màn hình hiện tại và đủ các bước trước đó để giải thích trợ lý đang ở đâu trong quy trình. Khi đó, đầu ra có thể đề xuất thao tác tiếp theo hoặc giải thích chi tiết nhìn thấy nào đang cản trở tiến độ.
Sự tham gia của con người. Framework chính thức cung cấp callback để xác nhận thao tác nhạy cảm và tiếp quản thủ công trong các bước đăng nhập hoặc mã xác minh. Ứng dụng có thể giao lại điện thoại cho người dùng, rồi tiếp tục từ màn hình được chụp mới sau khi người đó hoàn tất bước ấy. Đưa ra điều kiện hoàn thành rõ ràng để trợ lý phân biệt việc tìm thấy thông tin, chuẩn bị hành động và đạt kết quả mong muốn.
Thiết lập thực tế ảnh hưởng đến quy trình. Quyền thiết bị, đường chụp màn hình hoạt động và khả năng nhập văn bản được môi trường bao quanh cung cấp. Thiết lập Android của nhà sản xuất dùng một thành phần bàn phím chuyên dụng để nhập văn bản, còn luồng HarmonyOS dùng cơ chế nhập gốc. Một số màn hình được bảo vệ có thể trả lại ảnh chụp màu đen. Khi không xem được màn hình hoặc điều khiển không rõ ràng, hãy có được góc nhìn sử dụng được hoặc hướng dẫn của con người trước khi hình thành hành động tiếp theo. Chỉ phản hồi của mô hình không xác lập rằng thao tác điện thoại đã chạy; kiểm tra màn hình sau thao tác để xác nhận tiến độ.
POST /v1/messagestextjson, sse| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn zai-org/autoglm-phone-9b-multilingual | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn user, assistant | Mặc định— |
Trườngmessages[].content | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Văn bản · Văn bản UTF-8
Chuỗi messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages, max_tokens |
Tham sốoptional_controls | Hợp đồngstream |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốtext_file_material | Hợp đồngĐọc tài liệu UTF-8 thực tế và đặt nội dung văn bản vào chuỗi đầu vào hoặc nội dung thông điệp được chỉ định. |
Vòng đời: synchronous_or_streamed
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
| Cấu hình | Biểu mức phí | Phí |
|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Phí Đầu vào · Token đầu vào $0.000072 / 1K token Đầu ra · Token đầu ra $0.000286 / 1K token Đầu vào · Đọc bộ nhớ đệm $0 / 1K token Đầu vào · Ghi bộ nhớ đệm $0 / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
{\n "model": "zai-org/autoglm-phone-9b-multilingual",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'zai-org/autoglm-phone-9b-multilingual', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'zai-org/autoglm-phone-9b-multilingual', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi khối nội dung, chữ ký suy nghĩ và ID sử dụng công cụ thực tế. Ghép tất cả các phần thay đổi của khối SSE; khối văn bản đầu tiên không phải toàn bộ đầu ra.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngid | Loạistring |
Trườngmodel | Loạistring |
Trườngcontent[] | Loạitext|thinking|tool_use|other content block |
Trườngstop_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra zai-org/autoglm-phone-9b-multilingual
Dùng các đường dẫn phương thức hiển thị ở trên.
Ví dụ kỹ thuật bằng tiếng Anh
Plan the next phone-search step\n\nUse this text transcription of the current phone screen: app 'City Library'; search field 'Search catalog'; button 'Search'; no results shown. Goal: find books matching the exact title 'The Glass Harbor'. Propose only the next input action and the screen evidence needed afterward. Preserve the title and do not claim that a search has already run.One next-action proposal and a short description of the resulting screen evidence to inspect.The response uses the exact title and distinguishes proposed text entry from an executed search or a found book.