AutoGLM Phone 9B Multilingual je model společnosti Z.ai pro asistenta pracujícího prostřednictvím rozhraní chytrého telefonu. Spojuje úlohu zadanou přirozeným jazykem s vizuálním porozuměním aktuální obrazovce, plánuje další krok a vytváří informace, podle nichž jedná prostředí telefonního agenta. Jeho architektura je totožná s GLM 4.1V 9B Thinking; pojmenovaná edice Phone Multilingual přesto zůstává samostatnou volbou modelu.
Přehled projektu. Phone Agent od výrobce spojuje vnímání obrazovky s vykonávací smyčkou. Prostředí zachytí rozhraní, model uvažuje o úloze a komponenta pro ovládání zařízení provede vybranou operaci. Nová obrazovka pak poskytne zpětnou vazbu pro následující krok. Zveřejněný framework používá Android Debug Bridge pro zařízení Android a nabízí samostatnou cestu ovládání HarmonyOS. Model zajišťuje vnímání a plánování; připojené prostředí zajišťuje skutečnou interakci se zařízením.
Vícejazyčné odlišení. Původní AutoGLM Phone 9B je optimalizován pro čínské mobilní aplikace. Edice Multilingual přidává podporu anglických scénářů a je určena pro aplikace s anglickým obsahem nebo obsahem v dalších jazycích. Projekt také poskytuje čínské a anglické instrukční prompty. Při popisu úlohy zachovejte názvy aplikací, vyhledávací výrazy a viditelný text rozhraní; tyto podrobnosti pomáhají propojit požadovanou akci s obrazovkou namísto s předpokládaným překladem jejího obsahu.
Plánování akcí. Slovník akcí zveřejněného frameworku zahrnuje spuštění aplikace, klepnutí, psaní, přejetí, návrat zpět, návrat na domovskou obrazovku, dlouhé stisknutí, dvojité klepnutí a čekání na načtení stránky. Obsahuje také akci ručního převzetí ovládání. Používejte je jako slovník postupu založeného na obrazovce: otevřete příslušnou aplikaci, najděte potřebný ovládací prvek, zadejte požadovaný text a zkontrolujte novou stránku. Další akce by měla vycházet z nejnovějšího stavu rozhraní, protože načítání nebo změna rozvržení mohou zneplatnit dřívější pozorování.
Připravte konkrétní úlohu. Uveďte aplikaci, hledané informace nebo výsledek a důležité podmínky. U vyhledávání dodejte přesný dotaz, kritéria výběru a požadovaný výsledek, například seznam odpovídajících položek s jejich viditelnými vlastnostmi. U kancelářského postupu určete, které informace z obrazovky se mají shromáždit a jak má být předloženo závěrečné shrnutí. Připojte aktuální snímek obrazovky a dostatek předchozích kroků k vysvětlení, v jaké fázi se asistent nachází. Výstup pak může navrhnout další operaci nebo vysvětlit, který viditelný detail brání pokračování.
Zapojení člověka. Oficiální framework poskytuje callbacky pro potvrzení citlivých operací a ruční převzetí ovládání při přihlašování nebo zadávání ověřovacích kódů. Aplikace může vrátit telefon uživateli a poté, co člověk krok dokončí, pokračovat z nově zachycené obrazovky. Zadejte jasnou podmínku dokončení, aby asistent odlišil nalezení informací, přípravu akce a dosažení zamýšleného výsledku.
Praktické nastavení ovlivňuje pracovní postup. Oprávnění zařízení, funkční zachycování snímků obrazovky a zadávání textu zajišťuje okolní prostředí. Nastavení výrobce pro Android používá k zadávání textu specializovanou klávesnicovou komponentu, zatímco cesta pro HarmonyOS využívá nativní vstup. Některé chráněné obrazovky mohou vracet černý snímek. Pokud obrazovka není dostupná nebo je ovládací prvek nejednoznačný, opatřete použitelný pohled nebo pokyny člověka, než vytvoříte další akci. Samotná odpověď modelu nedokládá, že byla operace na telefonu provedena; postup potvrďte kontrolou výsledné obrazovky.
", "aboutText": "AutoGLM Phone 9B Multilingual je model společnosti Z.ai pro asistenta pracujícího prostřednictvím rozhraní chytrého telefonu. Spojuje úlohu zadanou přirozeným jazykem s vizuálním porozuměním aktuální obrazovce, plánuje další krok a vytváří informace, podle nichž jedná prostředí telefonního agenta. Jeho architektura je totožná s GLM 4.1V 9B Thinking; pojmenovaná edice Phone Multilingual přesto zůstává samostatnou volbou modelu.\n\nPřehled projektu. Phone Agent od výrobce spojuje vnímání obrazovky s vykonávací smyčkou. Prostředí zachytí rozhraní, model uvažuje o úloze a komponenta pro ovládání zařízení provede vybranou operaci. Nová obrazovka pak poskytne zpětnou vazbu pro následující krok. Zveřejněný framework používá Android Debug Bridge pro zařízení Android a nabízí samostatnou cestu ovládání HarmonyOS. Model zajišťuje vnímání a plánování; připojené prostředí zajišťuje skutečnou interakci se zařízením.\n\nVícejazyčné odlišení. Původní AutoGLM Phone 9B je optimalizován pro čínské mobilní aplikace. Edice Multilingual přidává podporu anglických scénářů a je určena pro aplikace s anglickým obsahem nebo obsahem v dalších jazycích. Projekt také poskytuje čínské a anglické instrukční prompty. Při popisu úlohy zachovejte názvy aplikací, vyhledávací výrazy a viditelný text rozhraní; tyto podrobnosti pomáhají propojit požadovanou akci s obrazovkou namísto s předpokládaným překladem jejího obsahu.\n\nPlánování akcí. Slovník akcí zveřejněného frameworku zahrnuje spuštění aplikace, klepnutí, psaní, přejetí, návrat zpět, návrat na domovskou obrazovku, dlouhé stisknutí, dvojité klepnutí a čekání na načtení stránky. Obsahuje také akci ručního převzetí ovládání. Používejte je jako slovník postupu založeného na obrazovce: otevřete příslušnou aplikaci, najděte potřebný ovládací prvek, zadejte požadovaný text a zkontrolujte novou stránku. Další akce by měla vycházet z nejnovějšího stavu rozhraní, protože načítání nebo změna rozvržení mohou zneplatnit dřívější pozorování.\n\nPřipravte konkrétní úlohu. Uveďte aplikaci, hledané informace nebo výsledek a důležité podmínky. U vyhledávání dodejte přesný dotaz, kritéria výběru a požadovaný výsledek, například seznam odpovídajících položek s jejich viditelnými vlastnostmi. U kancelářského postupu určete, které informace z obrazovky se mají shromáždit a jak má být předloženo závěrečné shrnutí. Připojte aktuální snímek obrazovky a dostatek předchozích kroků k vysvětlení, v jaké fázi se asistent nachází. Výstup pak může navrhnout další operaci nebo vysvětlit, který viditelný detail brání pokračování.\n\nZapojení člověka. Oficiální framework poskytuje callbacky pro potvrzení citlivých operací a ruční převzetí ovládání při přihlašování nebo zadávání ověřovacích kódů. Aplikace může vrátit telefon uživateli a poté, co člověk krok dokončí, pokračovat z nově zachycené obrazovky. Zadejte jasnou podmínku dokončení, aby asistent odlišil nalezení informací, přípravu akce a dosažení zamýšleného výsledku.\n\nPraktické nastavení ovlivňuje pracovní postup. Oprávnění zařízení, funkční zachycování snímků obrazovky a zadávání textu zajišťuje okolní prostředí. Nastavení výrobce pro Android používá k zadávání textu specializovanou klávesnicovou komponentu, zatímco cesta pro HarmonyOS využívá nativní vstup. Některé chráněné obrazovky mohou vracet černý snímek. Pokud obrazovka není dostupná nebo je ovládací prvek nejednoznačný, opatřete použitelný pohled nebo pokyny člověka, než vytvoříte další akci. Samotná odpověď modelu nedokládá, že byla operace na telefonu provedena; postup potvrďte kontrolou výsledné obrazovky.", "editorialOverlay": { "copy_fields": { "practical_html": "Technický příklad v angličtině
Plan the next phone-search step\n\nUse this text transcription of the current phone screen: app 'City Library'; search field 'Search catalog'; button 'Search'; no results shown. Goal: find books matching the exact title 'The Glass Harbor'. Propose only the next input action and the screen evidence needed afterward. Preserve the title and do not claim that a search has already run.One next-action proposal and a short description of the resulting screen evidence to inspect.The response uses the exact title and distinguishes proposed text entry from an executed search or a found book.zai-org/autoglm-phone-9b-multilingualVizuálně-jazykový model společnosti Z.ai pro porozumění obrazovkám chytrých telefonů a plánování akcí v rozhraní. Edice Multilingual podporuje anglické scénáře a rozhraní s obsahem v dalších jazycích; navržené operace provádí připojené prostředí telefonního agenta.
Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu.
AutoGLM Phone 9B Multilingual je model společnosti Z.ai pro asistenta pracujícího prostřednictvím rozhraní chytrého telefonu. Spojuje úlohu zadanou přirozeným jazykem s vizuálním porozuměním aktuální obrazovce, plánuje další krok a vytváří informace, podle nichž jedná prostředí telefonního agenta. Jeho architektura je totožná s GLM 4.1V 9B Thinking; pojmenovaná edice Phone Multilingual přesto zůstává samostatnou volbou modelu.
Přehled projektu. Phone Agent od výrobce spojuje vnímání obrazovky s vykonávací smyčkou. Prostředí zachytí rozhraní, model uvažuje o úloze a komponenta pro ovládání zařízení provede vybranou operaci. Nová obrazovka pak poskytne zpětnou vazbu pro následující krok. Zveřejněný framework používá Android Debug Bridge pro zařízení Android a nabízí samostatnou cestu ovládání HarmonyOS. Model zajišťuje vnímání a plánování; připojené prostředí zajišťuje skutečnou interakci se zařízením.
Vícejazyčné odlišení. Původní AutoGLM Phone 9B je optimalizován pro čínské mobilní aplikace. Edice Multilingual přidává podporu anglických scénářů a je určena pro aplikace s anglickým obsahem nebo obsahem v dalších jazycích. Projekt také poskytuje čínské a anglické instrukční prompty. Při popisu úlohy zachovejte názvy aplikací, vyhledávací výrazy a viditelný text rozhraní; tyto podrobnosti pomáhají propojit požadovanou akci s obrazovkou namísto s předpokládaným překladem jejího obsahu.
Plánování akcí. Slovník akcí zveřejněného frameworku zahrnuje spuštění aplikace, klepnutí, psaní, přejetí, návrat zpět, návrat na domovskou obrazovku, dlouhé stisknutí, dvojité klepnutí a čekání na načtení stránky. Obsahuje také akci ručního převzetí ovládání. Používejte je jako slovník postupu založeného na obrazovce: otevřete příslušnou aplikaci, najděte potřebný ovládací prvek, zadejte požadovaný text a zkontrolujte novou stránku. Další akce by měla vycházet z nejnovějšího stavu rozhraní, protože načítání nebo změna rozvržení mohou zneplatnit dřívější pozorování.
Připravte konkrétní úlohu. Uveďte aplikaci, hledané informace nebo výsledek a důležité podmínky. U vyhledávání dodejte přesný dotaz, kritéria výběru a požadovaný výsledek, například seznam odpovídajících položek s jejich viditelnými vlastnostmi. U kancelářského postupu určete, které informace z obrazovky se mají shromáždit a jak má být předloženo závěrečné shrnutí. Připojte aktuální snímek obrazovky a dostatek předchozích kroků k vysvětlení, v jaké fázi se asistent nachází. Výstup pak může navrhnout další operaci nebo vysvětlit, který viditelný detail brání pokračování.
Zapojení člověka. Oficiální framework poskytuje callbacky pro potvrzení citlivých operací a ruční převzetí ovládání při přihlašování nebo zadávání ověřovacích kódů. Aplikace může vrátit telefon uživateli a poté, co člověk krok dokončí, pokračovat z nově zachycené obrazovky. Zadejte jasnou podmínku dokončení, aby asistent odlišil nalezení informací, přípravu akce a dosažení zamýšleného výsledku.
Praktické nastavení ovlivňuje pracovní postup. Oprávnění zařízení, funkční zachycování snímků obrazovky a zadávání textu zajišťuje okolní prostředí. Nastavení výrobce pro Android používá k zadávání textu specializovanou klávesnicovou komponentu, zatímco cesta pro HarmonyOS využívá nativní vstup. Některé chráněné obrazovky mohou vracet černý snímek. Pokud obrazovka není dostupná nebo je ovládací prvek nejednoznačný, opatřete použitelný pohled nebo pokyny člověka, než vytvoříte další akci. Samotná odpověď modelu nedokládá, že byla operace na telefonu provedena; postup potvrďte kontrolou výsledné obrazovky.
POST /v1/chat/completionstexttext| Pole | Typ | Požadavek | Hodnoty a limity | Výchozí |
|---|---|---|---|---|
Polemodel | Typstring | PožadavekPovinné | Hodnoty a limity zai-org/autoglm-phone-9b-multilingual | Výchozí— |
Polemessages | Typmessage[] | PožadavekPovinné | Hodnoty a limity Minimální počet položek: 1 | Výchozí— |
Polemessages[].role | Typstring | PožadavekPovinné | Hodnoty a limity Příklady: system, user, assistant, tool, function Podmínky: Tyto role jsou výslovně zastoupeny typy kompatibility zdrojového kódu; přesná sada rolí zůstává specifická pro daný model. Závisí na modelu | Výchozí— |
Polemessages[].content | Typstring|content_part[]|null | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Polemessages[].tool_calls | Typtool_call[] | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Polemessages[].tool_call_id | Typstring | PožadavekVolitelné | Hodnoty a limity Platí, když: role=tool; použijte skutečně vrácené ID | Výchozí— |
Polemessages[].name | Typstring | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Polemessages[].reasoning_content | Typstring | PožadavekVolitelné | Hodnoty a limity Platí, když: Předávejte zpět skutečně vrácené uvažování tam, kde je tento model používá | Výchozí— |
Polemessages[].reasoning_details | Typobject|array | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polemax_tokens | Typinteger | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— |
Polemax_completion_tokens | Typinteger | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— |
Polestream | Typboolean | PožadavekVolitelné | Hodnoty a limity | Výchozífalse |
Polestream_options.include_usage | Typboolean | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poletemperature | Typnumber | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poletop_p | Typnumber | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polestop | Typstring|string[] | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poletools | Typfunction_tool[] | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poletools[].type | Typstring | PožadavekVolitelné | Hodnoty a limity function Závisí na modelu | Výchozí— |
Poletools[].function.name | Typstring | PožadavekPovinné | Hodnoty a limity Platí, když: nástroj typu funkce je dodán | Výchozí— |
Poletools[].function.description | Typstring | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Poletools[].function.parameters | TypJSON_schema | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Poletool_choice | Typstring|object | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleparallel_tool_calls | Typboolean | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleresponse_format | Typobject | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polereasoning_effort | Typstring | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polereasoning | Typobject | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleservice_tier | Typstring | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleinstructions | Typstring | PožadavekVolitelné | Hodnoty a limity Pole kompatibility | Výchozí— |
Polefunctions | Typfunction[] | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polefunction_call | Typstring|object | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleprompt_cache_options | Typobject | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polemodalities | Typstring[] | PožadavekVolitelné | Hodnoty a limity text | Výchozí— |
Poleprovider | Typobject | PožadavekVolitelné | Hodnoty a limity Podmínky: provider.options je na této textové trase Ultra odmítáno | Výchozí— |
Polecache_control.ttl | Typstring | PožadavekVolitelné | Hodnoty a limity Podmínky: Hodnota 1h je ve skutečných umístěních mezipaměti promptů odmítána | Výchozí— |
Text · text UTF8
messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages |
Parametrmaterial_types | Kontrakttext |
Parametrmessages | Kontraktpole zpráv se strukturou role/content |
Parametrfile_material | Kontraktskutečný dokument UTF-8 vložený jako doslovný text; ID souboru se neodvozuje |
Parametroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrcontrol_scope | Kontraktspecifické pro model; nástroje uživatelských funkcí se liší od hostovaných nástrojů |
Parametroutput_modalities | Kontrakttext |
Parametrhosted_operations | Kontraktfalse |
Parametrmultimodal_input_binding | Kontraktnull |
Životní cyklus: synchronous_or_streamed
Odešlete přesné ID modelu spolu s messages.
Délka kontextu není limitem výstupu.
Textový soubor může dodat doslovný text; obrazové/zvukové vstupy a vstupy v podobě souborových objektů vyžadují přesnou vazbu.
Údaje o tarifech nepřidávají možnosti požadavku. Podporované parametry jsou uvedeny u vybrané metody.
| Konfigurace | Tabulka sazeb | Poplatek |
|---|---|---|
| KonfiguraceZákladní sazby za tokeny | Tabulka sazebZákladní sazba | Poplatek Vstup · Vstupní tokeny $0.000072 / 1K tokenů Výstup · Výstupní tokeny $0.000286 / 1K tokenů Vstup · Čtení z mezipaměti $0 / 1K tokenů Vstup · Zápis do mezipaměti $0 / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. Jak funguje rezervace a vyúčtování →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "zai-org/autoglm-phone-9b-multilingual", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='zai-org/autoglm-phone-9b-multilingual',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='zai-org/autoglm-phone-9b-multilingual',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson nebo SSE
Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu.
Zachovejte každou volbu a její obsah/volání nástrojů/uvažování. V SSE sestavujte přírůstky podle indexu volby/nástroje a zachovejte konečný důvod ukončení i údaje o využití.
Zachovejte ID požadavků/odpovědí a hlavičky. Není dodána obecná URL pro načtení textové úlohy.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpověď | Podmínka | Další krok |
|---|---|---|
Odpověď400 · invalid_request_error | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. |
Ailoot Ultra zai-org/autoglm-phone-9b-multilingual
Použijte cesty metod uvedené výše.
zai-org/autoglm-phone-9b-multilingualVizuálně-jazykový model společnosti Z.ai pro porozumění obrazovkám chytrých telefonů a plánování akcí v rozhraní. Edice Multilingual podporuje anglické scénáře a rozhraní s obsahem v dalších jazycích; navržené operace provádí připojené prostředí telefonního agenta.
Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu.
AutoGLM Phone 9B Multilingual je model společnosti Z.ai pro asistenta pracujícího prostřednictvím rozhraní chytrého telefonu. Spojuje úlohu zadanou přirozeným jazykem s vizuálním porozuměním aktuální obrazovce, plánuje další krok a vytváří informace, podle nichž jedná prostředí telefonního agenta. Jeho architektura je totožná s GLM 4.1V 9B Thinking; pojmenovaná edice Phone Multilingual přesto zůstává samostatnou volbou modelu.
Přehled projektu. Phone Agent od výrobce spojuje vnímání obrazovky s vykonávací smyčkou. Prostředí zachytí rozhraní, model uvažuje o úloze a komponenta pro ovládání zařízení provede vybranou operaci. Nová obrazovka pak poskytne zpětnou vazbu pro následující krok. Zveřejněný framework používá Android Debug Bridge pro zařízení Android a nabízí samostatnou cestu ovládání HarmonyOS. Model zajišťuje vnímání a plánování; připojené prostředí zajišťuje skutečnou interakci se zařízením.
Vícejazyčné odlišení. Původní AutoGLM Phone 9B je optimalizován pro čínské mobilní aplikace. Edice Multilingual přidává podporu anglických scénářů a je určena pro aplikace s anglickým obsahem nebo obsahem v dalších jazycích. Projekt také poskytuje čínské a anglické instrukční prompty. Při popisu úlohy zachovejte názvy aplikací, vyhledávací výrazy a viditelný text rozhraní; tyto podrobnosti pomáhají propojit požadovanou akci s obrazovkou namísto s předpokládaným překladem jejího obsahu.
Plánování akcí. Slovník akcí zveřejněného frameworku zahrnuje spuštění aplikace, klepnutí, psaní, přejetí, návrat zpět, návrat na domovskou obrazovku, dlouhé stisknutí, dvojité klepnutí a čekání na načtení stránky. Obsahuje také akci ručního převzetí ovládání. Používejte je jako slovník postupu založeného na obrazovce: otevřete příslušnou aplikaci, najděte potřebný ovládací prvek, zadejte požadovaný text a zkontrolujte novou stránku. Další akce by měla vycházet z nejnovějšího stavu rozhraní, protože načítání nebo změna rozvržení mohou zneplatnit dřívější pozorování.
Připravte konkrétní úlohu. Uveďte aplikaci, hledané informace nebo výsledek a důležité podmínky. U vyhledávání dodejte přesný dotaz, kritéria výběru a požadovaný výsledek, například seznam odpovídajících položek s jejich viditelnými vlastnostmi. U kancelářského postupu určete, které informace z obrazovky se mají shromáždit a jak má být předloženo závěrečné shrnutí. Připojte aktuální snímek obrazovky a dostatek předchozích kroků k vysvětlení, v jaké fázi se asistent nachází. Výstup pak může navrhnout další operaci nebo vysvětlit, který viditelný detail brání pokračování.
Zapojení člověka. Oficiální framework poskytuje callbacky pro potvrzení citlivých operací a ruční převzetí ovládání při přihlašování nebo zadávání ověřovacích kódů. Aplikace může vrátit telefon uživateli a poté, co člověk krok dokončí, pokračovat z nově zachycené obrazovky. Zadejte jasnou podmínku dokončení, aby asistent odlišil nalezení informací, přípravu akce a dosažení zamýšleného výsledku.
Praktické nastavení ovlivňuje pracovní postup. Oprávnění zařízení, funkční zachycování snímků obrazovky a zadávání textu zajišťuje okolní prostředí. Nastavení výrobce pro Android používá k zadávání textu specializovanou klávesnicovou komponentu, zatímco cesta pro HarmonyOS využívá nativní vstup. Některé chráněné obrazovky mohou vracet černý snímek. Pokud obrazovka není dostupná nebo je ovládací prvek nejednoznačný, opatřete použitelný pohled nebo pokyny člověka, než vytvoříte další akci. Samotná odpověď modelu nedokládá, že byla operace na telefonu provedena; postup potvrďte kontrolou výsledné obrazovky.
POST /v1/messagestextjson, sse| Pole | Typ | Požadavek | Hodnoty a limity | Výchozí |
|---|---|---|---|---|
Polemodel | Typstring | PožadavekPovinné | Hodnoty a limity zai-org/autoglm-phone-9b-multilingual | Výchozí— |
Polemessages | Typmessage[] | PožadavekPovinné | Hodnoty a limity | Výchozí— |
Polemessages[].role | Typstring | PožadavekPovinné | Hodnoty a limity user, assistant | Výchozí— |
Polemessages[].content | Typstring | PožadavekPovinné | Hodnoty a limity | Výchozí— |
Polemax_tokens | Typinteger | PožadavekPovinné | Hodnoty a limity | Výchozí— |
Polestream | Typboolean | PožadavekVolitelné | Hodnoty a limity | Výchozífalse |
Text · text UTF-8
řetězec messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages, max_tokens |
Parametroptional_controls | Kontraktstream |
Parametrmaterial_types | Kontrakttext |
Parametrtext_file_material | KontraktPřečtěte skutečný dokument UTF-8 a vložte jeho text do uvedeného pole input nebo do řetězce obsahu zprávy. |
Životní cyklus: synchronous_or_streamed
Údaje o tarifech nepřidávají možnosti požadavku. Podporované parametry jsou uvedeny u vybrané metody.
| Konfigurace | Tabulka sazeb | Poplatek |
|---|---|---|
| KonfiguraceZákladní sazby za tokeny | Tabulka sazebZákladní sazba | Poplatek Vstup · Vstupní tokeny $0.000072 / 1K tokenů Výstup · Výstupní tokeny $0.000286 / 1K tokenů Vstup · Čtení z mezipaměti $0 / 1K tokenů Vstup · Zápis do mezipaměti $0 / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. Jak funguje rezervace a vyúčtování →
{\n "model": "zai-org/autoglm-phone-9b-multilingual",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'zai-org/autoglm-phone-9b-multilingual', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'zai-org/autoglm-phone-9b-multilingual', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON nebo SSE
Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu.
Zachovejte všechny bloky obsahu, podpisy uvažování a skutečná ID použití nástrojů. Sestavte všechny přírůstky bloků SSE; první textový blok není úplný výstup.
Zachovejte ID požadavků/odpovědí a hlavičky. Není dodána obecná URL pro načtení textové úlohy.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpověď | Podmínka | Další krok |
|---|---|---|
Odpověď400 · invalid_request_error | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. |
Ailoot Ultra zai-org/autoglm-phone-9b-multilingual
Použijte cesty metod uvedené výše.
Technický příklad v angličtině
Plan the next phone-search step\n\nUse this text transcription of the current phone screen: app 'City Library'; search field 'Search catalog'; button 'Search'; no results shown. Goal: find books matching the exact title 'The Glass Harbor'. Propose only the next input action and the screen evidence needed afterward. Preserve the title and do not claim that a search has already run.One next-action proposal and a short description of the resulting screen evidence to inspect.The response uses the exact title and distinguishes proposed text entry from an executed search or a found book.