AutoGLM Phone 9B Multilingual est le modèle de Z.ai destiné à un assistant qui travaille par l’intermédiaire d’une interface de smartphone. Il associe une tâche en langage naturel à la compréhension visuelle de l’écran actuel, planifie l’étape suivante et produit les informations qu’un environnement d’agent pour smartphone utilise pour agir. Son architecture est identique à celle de GLM 4.1V 9B Thinking ; l’édition nommée Phone Multilingual reste un choix de modèle distinct.
Vue d’ensemble du projet. Phone Agent, conçu par le fabricant, associe la perception de l’écran à une boucle d’exécution. L’environnement capture l’interface, le modèle raisonne sur la tâche et un composant de contrôle de l’appareil effectue l’opération sélectionnée. Un nouvel écran fournit ensuite un retour pour l’étape suivante. Le framework publié utilise Android Debug Bridge pour les appareils Android et propose un parcours de contrôle séparé pour HarmonyOS. Le modèle assure la perception et la planification ; l’environnement connecté assure l’interaction réelle avec l’appareil.
Distinction multilingue. AutoGLM Phone 9B original est optimisé pour les applications mobiles chinoises. L’édition Multilingual ajoute la prise en charge des scénarios en anglais et vise les applications dont le contenu est en anglais ou dans d’autres langues. Le projet fournit également des prompts de consignes en chinois et en anglais. Conservez les noms d’applications, les termes de recherche et les textes visibles de l’interface lorsque vous décrivez la tâche ; ces détails aident à relier l’action demandée à l’écran plutôt qu’à une traduction supposée de celui-ci.
Planification des actions. Le vocabulaire d’actions du framework publié comprend le lancement d’une application, le toucher, la saisie, le balayage, le retour en arrière, le retour à l’accueil, l’appui long, le double toucher et l’attente du chargement d’une page. Il comprend aussi une action de reprise en main manuelle. Utilisez ces actions comme vocabulaire d’un flux fondé sur l’écran : ouvrir l’application pertinente, repérer la commande nécessaire, saisir le texte demandé et examiner la nouvelle page. L’action suivante doit s’appuyer sur l’interface la plus récente, car un état de chargement ou une mise en page modifiée peut invalider une observation antérieure.
Préparer une tâche concrète. Précisez l’application, l’information ou le résultat visé et les conditions importantes. Pour une recherche, fournissez la requête exacte, les critères de sélection et le résultat souhaité, par exemple une liste d’éléments correspondants avec leurs attributs visibles. Pour un flux bureautique, précisez quelles informations affichées à l’écran doivent être recueillies et comment présenter la synthèse finale. Joignez la capture d’écran actuelle et suffisamment d’étapes antérieures pour expliquer où se trouve l’assistant dans le processus. La sortie peut alors proposer l’opération suivante ou expliquer quel détail visible empêche de progresser.
Participation humaine. Le framework officiel fournit des fonctions de rappel pour confirmer les opérations sensibles et reprendre la main lors des étapes de connexion ou de saisie d’un code de vérification. Une application peut rendre le téléphone à l’utilisateur, puis reprendre à partir d’une nouvelle capture d’écran une fois l’étape accomplie par la personne. Donnez une condition d’achèvement claire pour que l’assistant distingue le fait de trouver une information, de préparer une action et d’atteindre le résultat attendu.
La configuration pratique influe sur le flux de travail. Les autorisations de l’appareil, un mécanisme fonctionnel de capture d’écran et la saisie de texte sont fournis par l’environnement. La configuration Android du fournisseur utilise un composant clavier dédié à la saisie de texte, tandis que le parcours HarmonyOS utilise la saisie native. Certains écrans protégés peuvent produire une capture noire. Lorsqu’un écran est indisponible ou qu’une commande est ambiguë, obtenez une vue exploitable ou des indications humaines avant de définir l’action suivante. La réponse du modèle ne prouve pas à elle seule qu’une opération sur le téléphone a été exécutée ; examinez l’écran obtenu pour confirmer la progression.
", "aboutText": "AutoGLM Phone 9B Multilingual est le modèle de Z.ai destiné à un assistant qui travaille par l’intermédiaire d’une interface de smartphone. Il associe une tâche en langage naturel à la compréhension visuelle de l’écran actuel, planifie l’étape suivante et produit les informations qu’un environnement d’agent pour smartphone utilise pour agir. Son architecture est identique à celle de GLM 4.1V 9B Thinking ; l’édition nommée Phone Multilingual reste un choix de modèle distinct.\n\nVue d’ensemble du projet. Phone Agent, conçu par le fabricant, associe la perception de l’écran à une boucle d’exécution. L’environnement capture l’interface, le modèle raisonne sur la tâche et un composant de contrôle de l’appareil effectue l’opération sélectionnée. Un nouvel écran fournit ensuite un retour pour l’étape suivante. Le framework publié utilise Android Debug Bridge pour les appareils Android et propose un parcours de contrôle séparé pour HarmonyOS. Le modèle assure la perception et la planification ; l’environnement connecté assure l’interaction réelle avec l’appareil.\n\nDistinction multilingue. AutoGLM Phone 9B original est optimisé pour les applications mobiles chinoises. L’édition Multilingual ajoute la prise en charge des scénarios en anglais et vise les applications dont le contenu est en anglais ou dans d’autres langues. Le projet fournit également des prompts de consignes en chinois et en anglais. Conservez les noms d’applications, les termes de recherche et les textes visibles de l’interface lorsque vous décrivez la tâche ; ces détails aident à relier l’action demandée à l’écran plutôt qu’à une traduction supposée de celui-ci.\n\nPlanification des actions. Le vocabulaire d’actions du framework publié comprend le lancement d’une application, le toucher, la saisie, le balayage, le retour en arrière, le retour à l’accueil, l’appui long, le double toucher et l’attente du chargement d’une page. Il comprend aussi une action de reprise en main manuelle. Utilisez ces actions comme vocabulaire d’un flux fondé sur l’écran : ouvrir l’application pertinente, repérer la commande nécessaire, saisir le texte demandé et examiner la nouvelle page. L’action suivante doit s’appuyer sur l’interface la plus récente, car un état de chargement ou une mise en page modifiée peut invalider une observation antérieure.\n\nPréparer une tâche concrète. Précisez l’application, l’information ou le résultat visé et les conditions importantes. Pour une recherche, fournissez la requête exacte, les critères de sélection et le résultat souhaité, par exemple une liste d’éléments correspondants avec leurs attributs visibles. Pour un flux bureautique, précisez quelles informations affichées à l’écran doivent être recueillies et comment présenter la synthèse finale. Joignez la capture d’écran actuelle et suffisamment d’étapes antérieures pour expliquer où se trouve l’assistant dans le processus. La sortie peut alors proposer l’opération suivante ou expliquer quel détail visible empêche de progresser.\n\nParticipation humaine. Le framework officiel fournit des fonctions de rappel pour confirmer les opérations sensibles et reprendre la main lors des étapes de connexion ou de saisie d’un code de vérification. Une application peut rendre le téléphone à l’utilisateur, puis reprendre à partir d’une nouvelle capture d’écran une fois l’étape accomplie par la personne. Donnez une condition d’achèvement claire pour que l’assistant distingue le fait de trouver une information, de préparer une action et d’atteindre le résultat attendu.\n\nLa configuration pratique influe sur le flux de travail. Les autorisations de l’appareil, un mécanisme fonctionnel de capture d’écran et la saisie de texte sont fournis par l’environnement. La configuration Android du fournisseur utilise un composant clavier dédié à la saisie de texte, tandis que le parcours HarmonyOS utilise la saisie native. Certains écrans protégés peuvent produire une capture noire. Lorsqu’un écran est indisponible ou qu’une commande est ambiguë, obtenez une vue exploitable ou des indications humaines avant de définir l’action suivante. La réponse du modèle ne prouve pas à elle seule qu’une opération sur le téléphone a été exécutée ; examinez l’écran obtenu pour confirmer la progression.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemple technique en anglais
Plan the next phone-search step\n\nUse this text transcription of the current phone screen: app 'City Library'; search field 'Search catalog'; button 'Search'; no results shown. Goal: find books matching the exact title 'The Glass Harbor'. Propose only the next input action and the screen evidence needed afterward. Preserve the title and do not claim that a search has already run.One next-action proposal and a short description of the resulting screen evidence to inspect.The response uses the exact title and distinguishes proposed text entry from an executed search or a found book.zai-org/autoglm-phone-9b-multilingualLe modèle vision-langage de Z.ai pour comprendre les écrans de smartphone et planifier des actions dans l’interface. L’édition Multilingual prend en charge les scénarios en anglais et les interfaces dont le contenu est dans d’autres langues ; un environnement connecté d’agent pour smartphone exécute les opérations proposées.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
AutoGLM Phone 9B Multilingual est le modèle de Z.ai destiné à un assistant qui travaille par l’intermédiaire d’une interface de smartphone. Il associe une tâche en langage naturel à la compréhension visuelle de l’écran actuel, planifie l’étape suivante et produit les informations qu’un environnement d’agent pour smartphone utilise pour agir. Son architecture est identique à celle de GLM 4.1V 9B Thinking ; l’édition nommée Phone Multilingual reste un choix de modèle distinct.
Vue d’ensemble du projet. Phone Agent, conçu par le fabricant, associe la perception de l’écran à une boucle d’exécution. L’environnement capture l’interface, le modèle raisonne sur la tâche et un composant de contrôle de l’appareil effectue l’opération sélectionnée. Un nouvel écran fournit ensuite un retour pour l’étape suivante. Le framework publié utilise Android Debug Bridge pour les appareils Android et propose un parcours de contrôle séparé pour HarmonyOS. Le modèle assure la perception et la planification ; l’environnement connecté assure l’interaction réelle avec l’appareil.
Distinction multilingue. AutoGLM Phone 9B original est optimisé pour les applications mobiles chinoises. L’édition Multilingual ajoute la prise en charge des scénarios en anglais et vise les applications dont le contenu est en anglais ou dans d’autres langues. Le projet fournit également des prompts de consignes en chinois et en anglais. Conservez les noms d’applications, les termes de recherche et les textes visibles de l’interface lorsque vous décrivez la tâche ; ces détails aident à relier l’action demandée à l’écran plutôt qu’à une traduction supposée de celui-ci.
Planification des actions. Le vocabulaire d’actions du framework publié comprend le lancement d’une application, le toucher, la saisie, le balayage, le retour en arrière, le retour à l’accueil, l’appui long, le double toucher et l’attente du chargement d’une page. Il comprend aussi une action de reprise en main manuelle. Utilisez ces actions comme vocabulaire d’un flux fondé sur l’écran : ouvrir l’application pertinente, repérer la commande nécessaire, saisir le texte demandé et examiner la nouvelle page. L’action suivante doit s’appuyer sur l’interface la plus récente, car un état de chargement ou une mise en page modifiée peut invalider une observation antérieure.
Préparer une tâche concrète. Précisez l’application, l’information ou le résultat visé et les conditions importantes. Pour une recherche, fournissez la requête exacte, les critères de sélection et le résultat souhaité, par exemple une liste d’éléments correspondants avec leurs attributs visibles. Pour un flux bureautique, précisez quelles informations affichées à l’écran doivent être recueillies et comment présenter la synthèse finale. Joignez la capture d’écran actuelle et suffisamment d’étapes antérieures pour expliquer où se trouve l’assistant dans le processus. La sortie peut alors proposer l’opération suivante ou expliquer quel détail visible empêche de progresser.
Participation humaine. Le framework officiel fournit des fonctions de rappel pour confirmer les opérations sensibles et reprendre la main lors des étapes de connexion ou de saisie d’un code de vérification. Une application peut rendre le téléphone à l’utilisateur, puis reprendre à partir d’une nouvelle capture d’écran une fois l’étape accomplie par la personne. Donnez une condition d’achèvement claire pour que l’assistant distingue le fait de trouver une information, de préparer une action et d’atteindre le résultat attendu.
La configuration pratique influe sur le flux de travail. Les autorisations de l’appareil, un mécanisme fonctionnel de capture d’écran et la saisie de texte sont fournis par l’environnement. La configuration Android du fournisseur utilise un composant clavier dédié à la saisie de texte, tandis que le parcours HarmonyOS utilise la saisie native. Certains écrans protégés peuvent produire une capture noire. Lorsqu’un écran est indisponible ou qu’une commande est ambiguë, obtenez une vue exploitable ou des indications humaines avant de définir l’action suivante. La réponse du modèle ne prouve pas à elle seule qu’une opération sur le téléphone a été exécutée ; examinez l’écran obtenu pour confirmer la progression.
POST /v1/chat/completionstexttext| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites zai-org/autoglm-phone-9b-multilingual | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites Nombre minimal d’éléments: 1 | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites Exemples : system, user, assistant, tool, function Conditions: Ces rôles sont explicitement représentés par les types de compatibilité du code source ; l’ensemble exact des rôles reste propre à chaque modèle. Selon le modèle | Par défaut— |
Champmessages[].content | Typestring|content_part[]|null | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_calls | Typetool_call[] | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_call_id | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: role=tool ; utilisez l’identifiant réellement renvoyé | Par défaut— |
Champmessages[].name | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].reasoning_content | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: Réinjectez le raisonnement réellement renvoyé lorsque ce modèle l’utilise | Par défaut— |
Champmessages[].reasoning_details | Typeobject|array | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champmax_completion_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Champstream_options.include_usage | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtemperature | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtop_p | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champstop | Typestring|string[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools | Typefunction_tool[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools[].type | Typestring | ExigenceFacultatif | Valeurs et limites function Selon le modèle | Par défaut— |
Champtools[].function.name | Typestring | ExigenceObligatoire | Valeurs et limites S’applique lorsque: outil de fonction fourni | Par défaut— |
Champtools[].function.description | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtools[].function.parameters | TypeJSON_schema | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtool_choice | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champparallel_tool_calls | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champresponse_format | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning_effort | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champservice_tier | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champinstructions | Typestring | ExigenceFacultatif | Valeurs et limites Champ de compatibilité | Par défaut— |
Champfunctions | Typefunction[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champfunction_call | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champprompt_cache_options | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmodalities | Typestring[] | ExigenceFacultatif | Valeurs et limites text | Par défaut— |
Champprovider | Typeobject | ExigenceFacultatif | Valeurs et limites Conditions: provider.options est rejeté sur cette route textuelle Ultra | Par défaut— |
Champcache_control.ttl | Typestring | ExigenceFacultatif | Valeurs et limites Conditions: 1h est rejeté dans les emplacements réels du cache de prompt | Par défaut— |
Texte · Texte UTF8
messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages |
Paramètrematerial_types | Contrattext |
Paramètremessages | Contrattableau de messages avec une structure role/content |
Paramètrefile_material | Contratdocument UTF-8 réel inséré sous forme de texte littéral ; aucun identifiant de fichier déduit |
Paramètreoptional_controls | Contratstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Paramètrecontrol_scope | Contratpropre au modèle ; les outils de fonctions de l’utilisateur diffèrent des outils hébergés |
Paramètreoutput_modalities | Contrattext |
Paramètrehosted_operations | Contratfalse |
Paramètremultimodal_input_binding | Contratnull |
Cycle de vie : synchronous_or_streamed
Envoyez l’identifiant exact du modèle avec messages.
La longueur du contexte n’est pas un plafond de sortie.
Un fichier texte peut fournir du texte littéral ; les entrées image/audio/objets fichier nécessitent une liaison exacte.
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
| Configuration | Barème tarifaire | Coût |
|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Coût Entrée · Tokens en entrée $0.000072 / 1K tokens Sortie · Tokens en sortie $0.000286 / 1K tokens Entrée · Lecture du cache $0 / 1K tokens Entrée · Écriture dans le cache $0 / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "zai-org/autoglm-phone-9b-multilingual", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='zai-org/autoglm-phone-9b-multilingual',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='zai-org/autoglm-phone-9b-multilingual',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez chaque choix avec son contenu, ses appels d’outils et son raisonnement. En SSE, assemblez les deltas par index de choix et d’outil, puis conservez le motif final de terminaison et les données d’utilisation.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champchoices[].index | Typeinteger |
Champchoices[].message.content | Typestring|null |
Champchoices[].message.tool_calls | Typetool_call[] |
Champchoices[].message.reasoning_content | Typestring |
Champchoices[].message.reasoning_details | Typeobject|array |
Champchoices[].finish_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra zai-org/autoglm-phone-9b-multilingual
Utilisez les chemins de méthode indiqués ci-dessus.
zai-org/autoglm-phone-9b-multilingualLe modèle vision-langage de Z.ai pour comprendre les écrans de smartphone et planifier des actions dans l’interface. L’édition Multilingual prend en charge les scénarios en anglais et les interfaces dont le contenu est dans d’autres langues ; un environnement connecté d’agent pour smartphone exécute les opérations proposées.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
AutoGLM Phone 9B Multilingual est le modèle de Z.ai destiné à un assistant qui travaille par l’intermédiaire d’une interface de smartphone. Il associe une tâche en langage naturel à la compréhension visuelle de l’écran actuel, planifie l’étape suivante et produit les informations qu’un environnement d’agent pour smartphone utilise pour agir. Son architecture est identique à celle de GLM 4.1V 9B Thinking ; l’édition nommée Phone Multilingual reste un choix de modèle distinct.
Vue d’ensemble du projet. Phone Agent, conçu par le fabricant, associe la perception de l’écran à une boucle d’exécution. L’environnement capture l’interface, le modèle raisonne sur la tâche et un composant de contrôle de l’appareil effectue l’opération sélectionnée. Un nouvel écran fournit ensuite un retour pour l’étape suivante. Le framework publié utilise Android Debug Bridge pour les appareils Android et propose un parcours de contrôle séparé pour HarmonyOS. Le modèle assure la perception et la planification ; l’environnement connecté assure l’interaction réelle avec l’appareil.
Distinction multilingue. AutoGLM Phone 9B original est optimisé pour les applications mobiles chinoises. L’édition Multilingual ajoute la prise en charge des scénarios en anglais et vise les applications dont le contenu est en anglais ou dans d’autres langues. Le projet fournit également des prompts de consignes en chinois et en anglais. Conservez les noms d’applications, les termes de recherche et les textes visibles de l’interface lorsque vous décrivez la tâche ; ces détails aident à relier l’action demandée à l’écran plutôt qu’à une traduction supposée de celui-ci.
Planification des actions. Le vocabulaire d’actions du framework publié comprend le lancement d’une application, le toucher, la saisie, le balayage, le retour en arrière, le retour à l’accueil, l’appui long, le double toucher et l’attente du chargement d’une page. Il comprend aussi une action de reprise en main manuelle. Utilisez ces actions comme vocabulaire d’un flux fondé sur l’écran : ouvrir l’application pertinente, repérer la commande nécessaire, saisir le texte demandé et examiner la nouvelle page. L’action suivante doit s’appuyer sur l’interface la plus récente, car un état de chargement ou une mise en page modifiée peut invalider une observation antérieure.
Préparer une tâche concrète. Précisez l’application, l’information ou le résultat visé et les conditions importantes. Pour une recherche, fournissez la requête exacte, les critères de sélection et le résultat souhaité, par exemple une liste d’éléments correspondants avec leurs attributs visibles. Pour un flux bureautique, précisez quelles informations affichées à l’écran doivent être recueillies et comment présenter la synthèse finale. Joignez la capture d’écran actuelle et suffisamment d’étapes antérieures pour expliquer où se trouve l’assistant dans le processus. La sortie peut alors proposer l’opération suivante ou expliquer quel détail visible empêche de progresser.
Participation humaine. Le framework officiel fournit des fonctions de rappel pour confirmer les opérations sensibles et reprendre la main lors des étapes de connexion ou de saisie d’un code de vérification. Une application peut rendre le téléphone à l’utilisateur, puis reprendre à partir d’une nouvelle capture d’écran une fois l’étape accomplie par la personne. Donnez une condition d’achèvement claire pour que l’assistant distingue le fait de trouver une information, de préparer une action et d’atteindre le résultat attendu.
La configuration pratique influe sur le flux de travail. Les autorisations de l’appareil, un mécanisme fonctionnel de capture d’écran et la saisie de texte sont fournis par l’environnement. La configuration Android du fournisseur utilise un composant clavier dédié à la saisie de texte, tandis que le parcours HarmonyOS utilise la saisie native. Certains écrans protégés peuvent produire une capture noire. Lorsqu’un écran est indisponible ou qu’une commande est ambiguë, obtenez une vue exploitable ou des indications humaines avant de définir l’action suivante. La réponse du modèle ne prouve pas à elle seule qu’une opération sur le téléphone a été exécutée ; examinez l’écran obtenu pour confirmer la progression.
POST /v1/messagestextjson, sse| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites zai-org/autoglm-phone-9b-multilingual | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites user, assistant | Par défaut— |
Champmessages[].content | Typestring | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Texte · Texte UTF-8
chaîne messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages, max_tokens |
Paramètreoptional_controls | Contratstream |
Paramètrematerial_types | Contrattext |
Paramètretext_file_material | ContratLisez le document UTF-8 réel et placez son texte dans l’entrée indiquée ou dans la chaîne de contenu du message. |
Cycle de vie : synchronous_or_streamed
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
| Configuration | Barème tarifaire | Coût |
|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Coût Entrée · Tokens en entrée $0.000072 / 1K tokens Sortie · Tokens en sortie $0.000286 / 1K tokens Entrée · Lecture du cache $0 / 1K tokens Entrée · Écriture dans le cache $0 / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
{\n "model": "zai-org/autoglm-phone-9b-multilingual",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'zai-org/autoglm-phone-9b-multilingual', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'zai-org/autoglm-phone-9b-multilingual', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez tous les blocs de contenu, les signatures de raisonnement et les identifiants réels d’utilisation d’outils. Assemblez tous les deltas de blocs SSE ; un premier bloc de texte ne constitue pas la sortie complète.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champid | Typestring |
Champmodel | Typestring |
Champcontent[] | Typetext|thinking|tool_use|other content block |
Champstop_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra zai-org/autoglm-phone-9b-multilingual
Utilisez les chemins de méthode indiqués ci-dessus.
Exemple technique en anglais
Plan the next phone-search step\n\nUse this text transcription of the current phone screen: app 'City Library'; search field 'Search catalog'; button 'Search'; no results shown. Goal: find books matching the exact title 'The Glass Harbor'. Propose only the next input action and the screen evidence needed afterward. Preserve the title and do not claim that a search has already run.One next-action proposal and a short description of the resulting screen evidence to inspect.The response uses the exact title and distinguishes proposed text entry from an executed search or a found book.