AutoGLM Phone 9B Multilingual ist das Modell von Z.ai für einen Assistenten, der über eine Smartphone-Oberfläche arbeitet. Es verbindet eine natürlichsprachige Aufgabe mit dem visuellen Verständnis des aktuellen Bildschirms, plant den nächsten Schritt und erzeugt die Informationen, anhand derer eine Phone-Agent-Umgebung handelt. Seine Architektur ist mit GLM 4.1V 9B Thinking identisch; die benannte Ausgabe Phone Multilingual bleibt eine eigene Modellauswahl.
Projektüberblick. Der Phone Agent des Herstellers verbindet Bildschirmwahrnehmung mit einer Ausführungsschleife. Die Umgebung erfasst die Oberfläche, das Modell beurteilt die Aufgabe und eine Komponente zur Gerätesteuerung führt die gewählte Operation aus. Ein neuer Bildschirm liefert anschließend die Rückmeldung für den nächsten Schritt. Das veröffentlichte Framework verwendet Android Debug Bridge für Android-Geräte und bietet einen eigenen Steuerungsweg für HarmonyOS. Das Modell liefert Wahrnehmung und Planung; die angebundene Umgebung übernimmt die tatsächliche Interaktion mit dem Gerät.
Mehrsprachige Ausrichtung. Das ursprüngliche AutoGLM Phone 9B ist für chinesische Mobilanwendungen optimiert. Die Multilingual-Ausgabe ergänzt Unterstützung für englischsprachige Szenarien und richtet sich an Anwendungen mit englischen oder anderssprachigen Inhalten. Das Projekt stellt auch chinesische und englische Anweisungsprompts bereit. Bewahren Sie beim Beschreiben der Aufgabe App-Namen, Suchbegriffe und sichtbare Oberflächentexte. Diese Details verknüpfen die gewünschte Aktion mit dem Bildschirm statt mit einer angenommenen Übersetzung.
Aktionsplanung. Zum Aktionsvokabular des veröffentlichten Frameworks gehören das Starten einer Anwendung, Tippen, Texteingabe, Wischen, Zurückgehen, Rückkehr zum Startbildschirm, langes Drücken, Doppeltippen und Warten auf das Laden einer Seite. Dazu kommt eine Aktion zur manuellen Übernahme. Verwenden Sie dies als Vokabular eines bildschirmbasierten Ablaufs: die relevante App öffnen, das benötigte Bedienelement finden, den verlangten Text eingeben und die neue Seite prüfen. Die nächste Aktion sollte auf der aktuellen Oberfläche beruhen, da ein Ladezustand oder ein verändertes Layout eine frühere Beobachtung ungültig machen kann.
Eine konkrete Aufgabe vorbereiten. Geben Sie App, gesuchte Informationen oder Zielergebnis und die maßgeblichen Bedingungen an. Stellen Sie für eine Suche die exakte Suchanfrage, Auswahlkriterien und das gewünschte Ergebnis bereit, etwa eine Liste passender Einträge mit ihren sichtbaren Eigenschaften. Legen Sie für einen Büroablauf fest, welche Bildschirminformationen gesammelt werden sollen und wie die abschließende Zusammenfassung aussehen soll. Fügen Sie den aktuellen Screenshot und ausreichend vorherige Schritte hinzu, um die Position des Assistenten im Ablauf zu erklären. Die Ausgabe kann dann die nächste Operation vorschlagen oder erläutern, welches sichtbare Detail den Fortschritt verhindert.
Menschliche Mitwirkung. Das offizielle Framework bietet Callbacks zur Bestätigung sensibler Operationen und zur manuellen Übernahme bei Anmelde- oder Bestätigungscode-Schritten. Eine Anwendung kann das Telefon an den Nutzer zurückgeben und nach dessen Abschluss dieses Schritts mit einer neuen Bildschirmaufnahme fortfahren. Geben Sie eine klare Abschlussbedingung vor, damit der Assistent zwischen dem Finden von Informationen, dem Vorbereiten einer Aktion und dem Erreichen des Zielergebnisses unterscheiden kann.
Die praktische Einrichtung beeinflusst den Ablauf. Geräteberechtigungen, eine funktionierende Bildschirmaufnahme und Texteingabe stellt die Ausführungsumgebung bereit. Die Android-Einrichtung des Herstellers verwendet eine eigene Tastaturkomponente zur Texteingabe, der HarmonyOS-Weg hingegen native Eingabe. Manche geschützten Bildschirme können eine schwarze Aufnahme liefern. Beschaffen Sie bei einem nicht verfügbaren Bildschirm oder einem unklaren Bedienelement eine nutzbare Ansicht oder menschliche Anleitung, bevor Sie die nächste Aktion festlegen. Eine Modellantwort allein belegt nicht, dass eine Telefonoperation ausgeführt wurde; prüfen Sie den resultierenden Bildschirm, um den Fortschritt zu bestätigen.
", "aboutText": "AutoGLM Phone 9B Multilingual ist das Modell von Z.ai für einen Assistenten, der über eine Smartphone-Oberfläche arbeitet. Es verbindet eine natürlichsprachige Aufgabe mit dem visuellen Verständnis des aktuellen Bildschirms, plant den nächsten Schritt und erzeugt die Informationen, anhand derer eine Phone-Agent-Umgebung handelt. Seine Architektur ist mit GLM 4.1V 9B Thinking identisch; die benannte Ausgabe Phone Multilingual bleibt eine eigene Modellauswahl.\n\nProjektüberblick. Der Phone Agent des Herstellers verbindet Bildschirmwahrnehmung mit einer Ausführungsschleife. Die Umgebung erfasst die Oberfläche, das Modell beurteilt die Aufgabe und eine Komponente zur Gerätesteuerung führt die gewählte Operation aus. Ein neuer Bildschirm liefert anschließend die Rückmeldung für den nächsten Schritt. Das veröffentlichte Framework verwendet Android Debug Bridge für Android-Geräte und bietet einen eigenen Steuerungsweg für HarmonyOS. Das Modell liefert Wahrnehmung und Planung; die angebundene Umgebung übernimmt die tatsächliche Interaktion mit dem Gerät.\n\nMehrsprachige Ausrichtung. Das ursprüngliche AutoGLM Phone 9B ist für chinesische Mobilanwendungen optimiert. Die Multilingual-Ausgabe ergänzt Unterstützung für englischsprachige Szenarien und richtet sich an Anwendungen mit englischen oder anderssprachigen Inhalten. Das Projekt stellt auch chinesische und englische Anweisungsprompts bereit. Bewahren Sie beim Beschreiben der Aufgabe App-Namen, Suchbegriffe und sichtbare Oberflächentexte. Diese Details verknüpfen die gewünschte Aktion mit dem Bildschirm statt mit einer angenommenen Übersetzung.\n\nAktionsplanung. Zum Aktionsvokabular des veröffentlichten Frameworks gehören das Starten einer Anwendung, Tippen, Texteingabe, Wischen, Zurückgehen, Rückkehr zum Startbildschirm, langes Drücken, Doppeltippen und Warten auf das Laden einer Seite. Dazu kommt eine Aktion zur manuellen Übernahme. Verwenden Sie dies als Vokabular eines bildschirmbasierten Ablaufs: die relevante App öffnen, das benötigte Bedienelement finden, den verlangten Text eingeben und die neue Seite prüfen. Die nächste Aktion sollte auf der aktuellen Oberfläche beruhen, da ein Ladezustand oder ein verändertes Layout eine frühere Beobachtung ungültig machen kann.\n\nEine konkrete Aufgabe vorbereiten. Geben Sie App, gesuchte Informationen oder Zielergebnis und die maßgeblichen Bedingungen an. Stellen Sie für eine Suche die exakte Suchanfrage, Auswahlkriterien und das gewünschte Ergebnis bereit, etwa eine Liste passender Einträge mit ihren sichtbaren Eigenschaften. Legen Sie für einen Büroablauf fest, welche Bildschirminformationen gesammelt werden sollen und wie die abschließende Zusammenfassung aussehen soll. Fügen Sie den aktuellen Screenshot und ausreichend vorherige Schritte hinzu, um die Position des Assistenten im Ablauf zu erklären. Die Ausgabe kann dann die nächste Operation vorschlagen oder erläutern, welches sichtbare Detail den Fortschritt verhindert.\n\nMenschliche Mitwirkung. Das offizielle Framework bietet Callbacks zur Bestätigung sensibler Operationen und zur manuellen Übernahme bei Anmelde- oder Bestätigungscode-Schritten. Eine Anwendung kann das Telefon an den Nutzer zurückgeben und nach dessen Abschluss dieses Schritts mit einer neuen Bildschirmaufnahme fortfahren. Geben Sie eine klare Abschlussbedingung vor, damit der Assistent zwischen dem Finden von Informationen, dem Vorbereiten einer Aktion und dem Erreichen des Zielergebnisses unterscheiden kann.\n\nDie praktische Einrichtung beeinflusst den Ablauf. Geräteberechtigungen, eine funktionierende Bildschirmaufnahme und Texteingabe stellt die Ausführungsumgebung bereit. Die Android-Einrichtung des Herstellers verwendet eine eigene Tastaturkomponente zur Texteingabe, der HarmonyOS-Weg hingegen native Eingabe. Manche geschützten Bildschirme können eine schwarze Aufnahme liefern. Beschaffen Sie bei einem nicht verfügbaren Bildschirm oder einem unklaren Bedienelement eine nutzbare Ansicht oder menschliche Anleitung, bevor Sie die nächste Aktion festlegen. Eine Modellantwort allein belegt nicht, dass eine Telefonoperation ausgeführt wurde; prüfen Sie den resultierenden Bildschirm, um den Fortschritt zu bestätigen.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisches Beispiel auf Englisch
Plan the next phone-search step\n\nUse this text transcription of the current phone screen: app 'City Library'; search field 'Search catalog'; button 'Search'; no results shown. Goal: find books matching the exact title 'The Glass Harbor'. Propose only the next input action and the screen evidence needed afterward. Preserve the title and do not claim that a search has already run.One next-action proposal and a short description of the resulting screen evidence to inspect.The response uses the exact title and distinguishes proposed text entry from an executed search or a found book.zai-org/autoglm-phone-9b-multilingualDas Vision-Language-Modell von Z.ai zum Verstehen von Smartphone-Bildschirmen und Planen von Oberflächenaktionen. Die Multilingual-Ausgabe unterstützt englischsprachige Szenarien und Oberflächen mit Inhalten in anderen Sprachen; eine angebundene Phone-Agent-Umgebung führt die vorgeschlagenen Operationen aus.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
AutoGLM Phone 9B Multilingual ist das Modell von Z.ai für einen Assistenten, der über eine Smartphone-Oberfläche arbeitet. Es verbindet eine natürlichsprachige Aufgabe mit dem visuellen Verständnis des aktuellen Bildschirms, plant den nächsten Schritt und erzeugt die Informationen, anhand derer eine Phone-Agent-Umgebung handelt. Seine Architektur ist mit GLM 4.1V 9B Thinking identisch; die benannte Ausgabe Phone Multilingual bleibt eine eigene Modellauswahl.
Projektüberblick. Der Phone Agent des Herstellers verbindet Bildschirmwahrnehmung mit einer Ausführungsschleife. Die Umgebung erfasst die Oberfläche, das Modell beurteilt die Aufgabe und eine Komponente zur Gerätesteuerung führt die gewählte Operation aus. Ein neuer Bildschirm liefert anschließend die Rückmeldung für den nächsten Schritt. Das veröffentlichte Framework verwendet Android Debug Bridge für Android-Geräte und bietet einen eigenen Steuerungsweg für HarmonyOS. Das Modell liefert Wahrnehmung und Planung; die angebundene Umgebung übernimmt die tatsächliche Interaktion mit dem Gerät.
Mehrsprachige Ausrichtung. Das ursprüngliche AutoGLM Phone 9B ist für chinesische Mobilanwendungen optimiert. Die Multilingual-Ausgabe ergänzt Unterstützung für englischsprachige Szenarien und richtet sich an Anwendungen mit englischen oder anderssprachigen Inhalten. Das Projekt stellt auch chinesische und englische Anweisungsprompts bereit. Bewahren Sie beim Beschreiben der Aufgabe App-Namen, Suchbegriffe und sichtbare Oberflächentexte. Diese Details verknüpfen die gewünschte Aktion mit dem Bildschirm statt mit einer angenommenen Übersetzung.
Aktionsplanung. Zum Aktionsvokabular des veröffentlichten Frameworks gehören das Starten einer Anwendung, Tippen, Texteingabe, Wischen, Zurückgehen, Rückkehr zum Startbildschirm, langes Drücken, Doppeltippen und Warten auf das Laden einer Seite. Dazu kommt eine Aktion zur manuellen Übernahme. Verwenden Sie dies als Vokabular eines bildschirmbasierten Ablaufs: die relevante App öffnen, das benötigte Bedienelement finden, den verlangten Text eingeben und die neue Seite prüfen. Die nächste Aktion sollte auf der aktuellen Oberfläche beruhen, da ein Ladezustand oder ein verändertes Layout eine frühere Beobachtung ungültig machen kann.
Eine konkrete Aufgabe vorbereiten. Geben Sie App, gesuchte Informationen oder Zielergebnis und die maßgeblichen Bedingungen an. Stellen Sie für eine Suche die exakte Suchanfrage, Auswahlkriterien und das gewünschte Ergebnis bereit, etwa eine Liste passender Einträge mit ihren sichtbaren Eigenschaften. Legen Sie für einen Büroablauf fest, welche Bildschirminformationen gesammelt werden sollen und wie die abschließende Zusammenfassung aussehen soll. Fügen Sie den aktuellen Screenshot und ausreichend vorherige Schritte hinzu, um die Position des Assistenten im Ablauf zu erklären. Die Ausgabe kann dann die nächste Operation vorschlagen oder erläutern, welches sichtbare Detail den Fortschritt verhindert.
Menschliche Mitwirkung. Das offizielle Framework bietet Callbacks zur Bestätigung sensibler Operationen und zur manuellen Übernahme bei Anmelde- oder Bestätigungscode-Schritten. Eine Anwendung kann das Telefon an den Nutzer zurückgeben und nach dessen Abschluss dieses Schritts mit einer neuen Bildschirmaufnahme fortfahren. Geben Sie eine klare Abschlussbedingung vor, damit der Assistent zwischen dem Finden von Informationen, dem Vorbereiten einer Aktion und dem Erreichen des Zielergebnisses unterscheiden kann.
Die praktische Einrichtung beeinflusst den Ablauf. Geräteberechtigungen, eine funktionierende Bildschirmaufnahme und Texteingabe stellt die Ausführungsumgebung bereit. Die Android-Einrichtung des Herstellers verwendet eine eigene Tastaturkomponente zur Texteingabe, der HarmonyOS-Weg hingegen native Eingabe. Manche geschützten Bildschirme können eine schwarze Aufnahme liefern. Beschaffen Sie bei einem nicht verfügbaren Bildschirm oder einem unklaren Bedienelement eine nutzbare Ansicht oder menschliche Anleitung, bevor Sie die nächste Aktion festlegen. Eine Modellantwort allein belegt nicht, dass eine Telefonoperation ausgeführt wurde; prüfen Sie den resultierenden Bildschirm, um den Fortschritt zu bestätigen.
POST /v1/chat/completionstexttext| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits zai-org/autoglm-phone-9b-multilingual | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits Beispiele: system, user, assistant, tool, function Bedingungen: Diese Rollen sind in den Kompatibilitätstypen des Quellcodes ausdrücklich dargestellt; der genaue Rollenumfang bleibt modellspezifisch. Modellabhängig | Standard— |
Feldmessages[].content | Typstring|content_part[]|null | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_calls | Typtool_call[] | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_call_id | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: role=tool; die tatsächlich zurückgegebene ID verwenden | Standard— |
Feldmessages[].name | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].reasoning_content | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: Tatsächlich zurückgegebene Reasoning-Daten erneut übermitteln, sofern dieses Modell sie verwendet | Standard— |
Feldmessages[].reasoning_details | Typobject|array | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmax_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldmax_completion_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Feldstream_options.include_usage | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtemperature | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtop_p | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldstop | Typstring|string[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools | Typfunction_tool[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools[].type | Typstring | AnforderungOptional | Werte und Limits function Modellabhängig | Standard— |
Feldtools[].function.name | Typstring | AnforderungErforderlich | Werte und Limits Gilt, wenn: Funktionswerkzeug bereitgestellt | Standard— |
Feldtools[].function.description | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldtools[].function.parameters | TypJSON_schema | AnforderungOptional | Werte und Limits | Standard— |
Feldtool_choice | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldparallel_tool_calls | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldresponse_format | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning_effort | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldservice_tier | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldinstructions | Typstring | AnforderungOptional | Werte und Limits Kompatibilitätsfeld | Standard— |
Feldfunctions | Typfunction[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldfunction_call | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldprompt_cache_options | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmodalities | Typstring[] | AnforderungOptional | Werte und Limits text | Standard— |
Feldprovider | Typobject | AnforderungOptional | Werte und Limits Bedingungen: provider.options wird auf dieser Ultra-Textroute abgelehnt | Standard— |
Feldcache_control.ttl | Typstring | AnforderungOptional | Werte und Limits Bedingungen: 1h wird in den tatsächlichen Prompt-Cache-Feldern abgelehnt | Standard— |
Text · UTF8-Text
messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages |
Parametermaterial_types | Vertragtext |
Parametermessages | VertragNachrichtenarray mit role/content-Struktur |
Parameterfile_material | VertragTatsächliches UTF-8-Dokument als wörtlicher Text eingefügt; keine Datei-ID abgeleitet |
Parameteroptional_controls | Vertragstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | VertragModellspezifisch; benutzerseitige Funktionswerkzeuge unterscheiden sich von gehosteten Werkzeugen |
Parameteroutput_modalities | Vertragtext |
Parameterhosted_operations | Vertragfalse |
Parametermultimodal_input_binding | Vertragnull |
Lebenszyklus: synchronous_or_streamed
Die genaue Modell-ID zusammen mit messages senden.
Die Kontextlänge ist keine Ausgabeobergrenze.
Eine Textdatei kann wörtlichen Text liefern; Bild-, Audio- und Dateiobjekteingaben benötigen eine exakte Zuordnung.
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
| Konfiguration | Tarifstaffel | Gebühr |
|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Gebühr Eingabe · Eingabetoken $0.000072 / 1K Tokens Ausgabe · Ausgabetoken $0.000286 / 1K Tokens Eingabe · Cache lesen $0 / 1K Tokens Eingabe · In Cache schreiben $0 / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde — / 1K Tokens |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "zai-org/autoglm-phone-9b-multilingual", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='zai-org/autoglm-phone-9b-multilingual',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='zai-org/autoglm-phone-9b-multilingual',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Antwortvarianten mit ihren Inhalten, Werkzeugaufrufen und Reasoning-Daten beibehalten. In SSE die Deltas nach Varianten- und Werkzeugindex zusammensetzen; endgültigen Beendigungsgrund und Verbrauchsdaten beibehalten.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldchoices[].index | Typinteger |
Feldchoices[].message.content | Typstring|null |
Feldchoices[].message.tool_calls | Typtool_call[] |
Feldchoices[].message.reasoning_content | Typstring |
Feldchoices[].message.reasoning_details | Typobject|array |
Feldchoices[].finish_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra zai-org/autoglm-phone-9b-multilingual
Verwenden Sie die oben angezeigten Methodenpfade.
zai-org/autoglm-phone-9b-multilingualDas Vision-Language-Modell von Z.ai zum Verstehen von Smartphone-Bildschirmen und Planen von Oberflächenaktionen. Die Multilingual-Ausgabe unterstützt englischsprachige Szenarien und Oberflächen mit Inhalten in anderen Sprachen; eine angebundene Phone-Agent-Umgebung führt die vorgeschlagenen Operationen aus.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
AutoGLM Phone 9B Multilingual ist das Modell von Z.ai für einen Assistenten, der über eine Smartphone-Oberfläche arbeitet. Es verbindet eine natürlichsprachige Aufgabe mit dem visuellen Verständnis des aktuellen Bildschirms, plant den nächsten Schritt und erzeugt die Informationen, anhand derer eine Phone-Agent-Umgebung handelt. Seine Architektur ist mit GLM 4.1V 9B Thinking identisch; die benannte Ausgabe Phone Multilingual bleibt eine eigene Modellauswahl.
Projektüberblick. Der Phone Agent des Herstellers verbindet Bildschirmwahrnehmung mit einer Ausführungsschleife. Die Umgebung erfasst die Oberfläche, das Modell beurteilt die Aufgabe und eine Komponente zur Gerätesteuerung führt die gewählte Operation aus. Ein neuer Bildschirm liefert anschließend die Rückmeldung für den nächsten Schritt. Das veröffentlichte Framework verwendet Android Debug Bridge für Android-Geräte und bietet einen eigenen Steuerungsweg für HarmonyOS. Das Modell liefert Wahrnehmung und Planung; die angebundene Umgebung übernimmt die tatsächliche Interaktion mit dem Gerät.
Mehrsprachige Ausrichtung. Das ursprüngliche AutoGLM Phone 9B ist für chinesische Mobilanwendungen optimiert. Die Multilingual-Ausgabe ergänzt Unterstützung für englischsprachige Szenarien und richtet sich an Anwendungen mit englischen oder anderssprachigen Inhalten. Das Projekt stellt auch chinesische und englische Anweisungsprompts bereit. Bewahren Sie beim Beschreiben der Aufgabe App-Namen, Suchbegriffe und sichtbare Oberflächentexte. Diese Details verknüpfen die gewünschte Aktion mit dem Bildschirm statt mit einer angenommenen Übersetzung.
Aktionsplanung. Zum Aktionsvokabular des veröffentlichten Frameworks gehören das Starten einer Anwendung, Tippen, Texteingabe, Wischen, Zurückgehen, Rückkehr zum Startbildschirm, langes Drücken, Doppeltippen und Warten auf das Laden einer Seite. Dazu kommt eine Aktion zur manuellen Übernahme. Verwenden Sie dies als Vokabular eines bildschirmbasierten Ablaufs: die relevante App öffnen, das benötigte Bedienelement finden, den verlangten Text eingeben und die neue Seite prüfen. Die nächste Aktion sollte auf der aktuellen Oberfläche beruhen, da ein Ladezustand oder ein verändertes Layout eine frühere Beobachtung ungültig machen kann.
Eine konkrete Aufgabe vorbereiten. Geben Sie App, gesuchte Informationen oder Zielergebnis und die maßgeblichen Bedingungen an. Stellen Sie für eine Suche die exakte Suchanfrage, Auswahlkriterien und das gewünschte Ergebnis bereit, etwa eine Liste passender Einträge mit ihren sichtbaren Eigenschaften. Legen Sie für einen Büroablauf fest, welche Bildschirminformationen gesammelt werden sollen und wie die abschließende Zusammenfassung aussehen soll. Fügen Sie den aktuellen Screenshot und ausreichend vorherige Schritte hinzu, um die Position des Assistenten im Ablauf zu erklären. Die Ausgabe kann dann die nächste Operation vorschlagen oder erläutern, welches sichtbare Detail den Fortschritt verhindert.
Menschliche Mitwirkung. Das offizielle Framework bietet Callbacks zur Bestätigung sensibler Operationen und zur manuellen Übernahme bei Anmelde- oder Bestätigungscode-Schritten. Eine Anwendung kann das Telefon an den Nutzer zurückgeben und nach dessen Abschluss dieses Schritts mit einer neuen Bildschirmaufnahme fortfahren. Geben Sie eine klare Abschlussbedingung vor, damit der Assistent zwischen dem Finden von Informationen, dem Vorbereiten einer Aktion und dem Erreichen des Zielergebnisses unterscheiden kann.
Die praktische Einrichtung beeinflusst den Ablauf. Geräteberechtigungen, eine funktionierende Bildschirmaufnahme und Texteingabe stellt die Ausführungsumgebung bereit. Die Android-Einrichtung des Herstellers verwendet eine eigene Tastaturkomponente zur Texteingabe, der HarmonyOS-Weg hingegen native Eingabe. Manche geschützten Bildschirme können eine schwarze Aufnahme liefern. Beschaffen Sie bei einem nicht verfügbaren Bildschirm oder einem unklaren Bedienelement eine nutzbare Ansicht oder menschliche Anleitung, bevor Sie die nächste Aktion festlegen. Eine Modellantwort allein belegt nicht, dass eine Telefonoperation ausgeführt wurde; prüfen Sie den resultierenden Bildschirm, um den Fortschritt zu bestätigen.
POST /v1/messagestextjson, sse| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits zai-org/autoglm-phone-9b-multilingual | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits user, assistant | Standard— |
Feldmessages[].content | Typstring | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmax_tokens | Typinteger | AnforderungErforderlich | Werte und Limits | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Text · UTF-8-Text
Zeichenfolge messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages, max_tokens |
Parameteroptional_controls | Vertragstream |
Parametermaterial_types | Vertragtext |
Parametertext_file_material | VertragDas tatsächliche UTF-8-Dokument lesen und seinen Text in die angegebene Zeichenfolge für Eingabe oder Nachrichteninhalt einfügen. |
Lebenszyklus: synchronous_or_streamed
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
| Konfiguration | Tarifstaffel | Gebühr |
|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Gebühr Eingabe · Eingabetoken $0.000072 / 1K Tokens Ausgabe · Ausgabetoken $0.000286 / 1K Tokens Eingabe · Cache lesen $0 / 1K Tokens Eingabe · In Cache schreiben $0 / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde — / 1K Tokens |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
{\n "model": "zai-org/autoglm-phone-9b-multilingual",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'zai-org/autoglm-phone-9b-multilingual', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'zai-org/autoglm-phone-9b-multilingual', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Inhaltsblöcke, Thinking-Signaturen und tatsächlichen Werkzeugaufruf-IDs beibehalten. Alle SSE-Blockdeltas zusammensetzen; der erste Textblock ist nicht die vollständige Ausgabe.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldid | Typstring |
Feldmodel | Typstring |
Feldcontent[] | Typtext|thinking|tool_use|other content block |
Feldstop_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra zai-org/autoglm-phone-9b-multilingual
Verwenden Sie die oben angezeigten Methodenpfade.
Technisches Beispiel auf Englisch
Plan the next phone-search step\n\nUse this text transcription of the current phone screen: app 'City Library'; search field 'Search catalog'; button 'Search'; no results shown. Goal: find books matching the exact title 'The Glass Harbor'. Propose only the next input action and the screen evidence needed afterward. Preserve the title and do not claim that a search has already run.One next-action proposal and a short description of the resulting screen evidence to inspect.The response uses the exact title and distinguishes proposed text entry from an executed search or a found book.