GLM-4V to model wizyjno-językowy Zhipu AI łączący obraz z pisemnym pytaniem. Natywny przykład multimodalny producenta dostarcza obie części w jednej wiadomości user i zwraca odpowiedź tekstową. Przewodnik tworzenia agentów również identyfikuje GLM-4V jako model obraz–tekst, czyniąc obraz źródłowy i brzmienie pytania głównymi wejściami zadania.
Wybierz obraz zawierający dowody potrzebne do odpowiedzi, a następnie powiedz, co zbadać. Pytanie ogólne może żądać opisu sceny, a ukierunkowane wskazywać obiekt, oznaczenie lub relację do wyjaśnienia. Podaj kontekst wystarczający do rozstrzygnięcia niejednoznaczności zadania, na przykład przedmiot na zdjęciu produktu, który ma znaczenie, lub obszar zrzutu ekranu do opisania.
Przykład producenta używa obrazu JPEG zakodowanego jako odwołanie do obrazu obok pytania tekstowego. Przygotowując żądanie, zachowaj oryginalny obraz, zwłaszcza jeśli wykadrowanie usunęłoby oznaczenia lub otaczający kontekst. Dla przykładowego zadania wsparcia podaj zrzut ekranu i poproś o opis widocznego stanu, oddzielając dokładny komunikat ekranowy od proponowanego wyjaśnienia jego przyczyny.
Określ, czy wynikiem ma być podpis, krótkie wyjaśnienie, uporządkowany opis czy notatka robocza z osobnymi obserwacjami. Dla fotografii inwentaryzacyjnej przykładowy brief brzmi: „Opisz widoczne obiekty i ich rozmieszczenie; wskaż przedmiot wymieniony w moim pytaniu”. Dla obrazu dokumentu zapytaj o widoczny fragment i zachowaj identyfikator obrazu lub strony przy odpowiedzi.
Utrzymuj pytanie na tyle wąskie, aby istotne dowody pozostały łatwe do zbadania. Jeśli następny krok wymaga nazwy, liczby lub cytowanego oznaczenia, poproś o ten element osobno i porównaj zwrócone brzmienie z oryginalnym obrazem.
Proces agentowy producenta łączy przesłany obraz z nazwanym wejściem i towarzyszącym promptem. Zachowaj to powiązanie przy kontynuacji dyskusji. Przydatne kolejne pytanie wskazuje ten sam obraz i zawęża zakres do konkretnego obszaru lub relacji, aby następna odpowiedź dotyczyła zamierzonego materiału.
Zapisz ukończony tekst z identyfikatorem obrazu, pytaniem i odwołaniem do obszaru użytym w zadaniu. Daje to praktyczną podstawę do przekazania pracy nad rozmową z pomocą wizualną, opisem katalogowym lub notatką dokumentową powiązaną ze źródłem. Rolą modelu jest przekładanie treści dostarczonego obrazu na opis językowy; oryginalny obraz pozostaje dostępny do sprawdzania konkretnych szczegółów i korygowania następnego pytania.
", "aboutText": "GLM-4V to model wizyjno-językowy Zhipu AI łączący obraz z pisemnym pytaniem. Natywny przykład multimodalny producenta dostarcza obie części w jednej wiadomości user i zwraca odpowiedź tekstową. Przewodnik tworzenia agentów również identyfikuje GLM-4V jako model obraz–tekst, czyniąc obraz źródłowy i brzmienie pytania głównymi wejściami zadania.\n\n### Umieść pytanie obok obrazu\n\nWybierz obraz zawierający dowody potrzebne do odpowiedzi, a następnie powiedz, co zbadać. Pytanie ogólne może żądać opisu sceny, a ukierunkowane wskazywać obiekt, oznaczenie lub relację do wyjaśnienia. Podaj kontekst wystarczający do rozstrzygnięcia niejednoznaczności zadania, na przykład przedmiot na zdjęciu produktu, który ma znaczenie, lub obszar zrzutu ekranu do opisania.\n\nPrzykład producenta używa obrazu JPEG zakodowanego jako odwołanie do obrazu obok pytania tekstowego. Przygotowując żądanie, zachowaj oryginalny obraz, zwłaszcza jeśli wykadrowanie usunęłoby oznaczenia lub otaczający kontekst. Dla przykładowego zadania wsparcia podaj zrzut ekranu i poproś o opis widocznego stanu, oddzielając dokładny komunikat ekranowy od proponowanego wyjaśnienia jego przyczyny.\n\n### Jawnie określ oczekiwany materiał pisemny\n\nOkreśl, czy wynikiem ma być podpis, krótkie wyjaśnienie, uporządkowany opis czy notatka robocza z osobnymi obserwacjami. Dla fotografii inwentaryzacyjnej przykładowy brief brzmi: „Opisz widoczne obiekty i ich rozmieszczenie; wskaż przedmiot wymieniony w moim pytaniu”. Dla obrazu dokumentu zapytaj o widoczny fragment i zachowaj identyfikator obrazu lub strony przy odpowiedzi.\n\nUtrzymuj pytanie na tyle wąskie, aby istotne dowody pozostały łatwe do zbadania. Jeśli następny krok wymaga nazwy, liczby lub cytowanego oznaczenia, poproś o ten element osobno i porównaj zwrócone brzmienie z oryginalnym obrazem.\n\n### Przenieś obraz do rozmowy wizualnej\n\nProces agentowy producenta łączy przesłany obraz z nazwanym wejściem i towarzyszącym promptem. Zachowaj to powiązanie przy kontynuacji dyskusji. Przydatne kolejne pytanie wskazuje ten sam obraz i zawęża zakres do konkretnego obszaru lub relacji, aby następna odpowiedź dotyczyła zamierzonego materiału.\n\nZapisz ukończony tekst z identyfikatorem obrazu, pytaniem i odwołaniem do obszaru użytym w zadaniu. Daje to praktyczną podstawę do przekazania pracy nad rozmową z pomocą wizualną, opisem katalogowym lub notatką dokumentową powiązaną ze źródłem. Rolą modelu jest przekładanie treści dostarczonego obrazu na opis językowy; oryginalny obraz pozostaje dostępny do sprawdzania konkretnych szczegółów i korygowania następnego pytania.", "editorialOverlay": { "copy_fields": { "practical_html": "Przykład techniczny po angielsku
Explain a transcribed screen state\n\nUse this screenshot transcription only: heading 'Export orders'; format 'CSV'; button 'Download' disabled; note 'Select at least one order'; selected count '0'. Write a two-sentence help message explaining the visible state and the next user step. Keep the visible note separate from any cause you cannot verify.Two help sentences grounded in the selected count, disabled button and selection note.The message asks the user to select an order and introduces no unsupported account, network or permission diagnosis.glm-4vGLM-4V to model wizyjno-językowy Zhipu AI do zadawania pytań o obraz i otrzymywania pisemnej odpowiedzi. Podaj obraz z ukierunkowanym promptem tekstowym, aby utworzyć opis, zinterpretować widoczny szczegół lub przygotować notatkę wizualną powiązaną z dowodami.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
GLM-4V to model wizyjno-językowy Zhipu AI łączący obraz z pisemnym pytaniem. Natywny przykład multimodalny producenta dostarcza obie części w jednej wiadomości user i zwraca odpowiedź tekstową. Przewodnik tworzenia agentów również identyfikuje GLM-4V jako model obraz–tekst, czyniąc obraz źródłowy i brzmienie pytania głównymi wejściami zadania.
Wybierz obraz zawierający dowody potrzebne do odpowiedzi, a następnie powiedz, co zbadać. Pytanie ogólne może żądać opisu sceny, a ukierunkowane wskazywać obiekt, oznaczenie lub relację do wyjaśnienia. Podaj kontekst wystarczający do rozstrzygnięcia niejednoznaczności zadania, na przykład przedmiot na zdjęciu produktu, który ma znaczenie, lub obszar zrzutu ekranu do opisania.
Przykład producenta używa obrazu JPEG zakodowanego jako odwołanie do obrazu obok pytania tekstowego. Przygotowując żądanie, zachowaj oryginalny obraz, zwłaszcza jeśli wykadrowanie usunęłoby oznaczenia lub otaczający kontekst. Dla przykładowego zadania wsparcia podaj zrzut ekranu i poproś o opis widocznego stanu, oddzielając dokładny komunikat ekranowy od proponowanego wyjaśnienia jego przyczyny.
Określ, czy wynikiem ma być podpis, krótkie wyjaśnienie, uporządkowany opis czy notatka robocza z osobnymi obserwacjami. Dla fotografii inwentaryzacyjnej przykładowy brief brzmi: „Opisz widoczne obiekty i ich rozmieszczenie; wskaż przedmiot wymieniony w moim pytaniu”. Dla obrazu dokumentu zapytaj o widoczny fragment i zachowaj identyfikator obrazu lub strony przy odpowiedzi.
Utrzymuj pytanie na tyle wąskie, aby istotne dowody pozostały łatwe do zbadania. Jeśli następny krok wymaga nazwy, liczby lub cytowanego oznaczenia, poproś o ten element osobno i porównaj zwrócone brzmienie z oryginalnym obrazem.
Proces agentowy producenta łączy przesłany obraz z nazwanym wejściem i towarzyszącym promptem. Zachowaj to powiązanie przy kontynuacji dyskusji. Przydatne kolejne pytanie wskazuje ten sam obraz i zawęża zakres do konkretnego obszaru lub relacji, aby następna odpowiedź dotyczyła zamierzonego materiału.
Zapisz ukończony tekst z identyfikatorem obrazu, pytaniem i odwołaniem do obszaru użytym w zadaniu. Daje to praktyczną podstawę do przekazania pracy nad rozmową z pomocą wizualną, opisem katalogowym lub notatką dokumentową powiązaną ze źródłem. Rolą modelu jest przekładanie treści dostarczonego obrazu na opis językowy; oryginalny obraz pozostaje dostępny do sprawdzania konkretnych szczegółów i korygowania następnego pytania.
POST /v1/chat/completionstexttext| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity glm-4v | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity Minimalna liczba elementów: 1 | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity Przykłady: system, user, assistant, tool, function Warunki: Te role są jawnie reprezentowane przez typy zgodności w kodzie źródłowym; dokładny zestaw ról pozostaje właściwy dla danego modelu. Zależy od modelu | Domyślnie— |
Polemessages[].content | Typstring|content_part[]|null | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_calls | Typtool_call[] | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_call_id | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: role=tool; użyj rzeczywiście zwróconego ID | Domyślnie— |
Polemessages[].name | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].reasoning_content | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: Przekazuj z powrotem rzeczywiście zwróconą treść rozumowania, gdy ten model jej używa | Domyślnie— |
Polemessages[].reasoning_details | Typobject|array | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polemax_completion_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Polestream_options.include_usage | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletemperature | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletop_p | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polestop | Typstring|string[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools | Typfunction_tool[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools[].type | Typstring | WymaganieOpcjonalne | Wartości i limity function Zależy od modelu | Domyślnie— |
Poletools[].function.name | Typstring | WymaganieWymagane | Wartości i limity Obowiązuje, gdy: udostępnione narzędzie funkcji | Domyślnie— |
Poletools[].function.description | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletools[].function.parameters | TypJSON_schema | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletool_choice | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleparallel_tool_calls | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleresponse_format | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning_effort | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleservice_tier | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleinstructions | Typstring | WymaganieOpcjonalne | Wartości i limity Pole zgodności | Domyślnie— |
Polefunctions | Typfunction[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polefunction_call | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleprompt_cache_options | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemodalities | Typstring[] | WymaganieOpcjonalne | Wartości i limity text | Domyślnie— |
Poleprovider | Typobject | WymaganieOpcjonalne | Wartości i limity Warunki: provider.options jest odrzucane na tej tekstowej trasie Ultra | Domyślnie— |
Polecache_control.ttl | Typstring | WymaganieOpcjonalne | Wartości i limity Warunki: 1h jest odrzucane w rzeczywistych miejscach pamięci podręcznej promptów | Domyślnie— |
Tekst · tekst UTF8
messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages |
Parametrmaterial_types | Kontrakttext |
Parametrmessages | Kontrakttablica wiadomości o strukturze role/content |
Parametrfile_material | Kontraktrzeczywisty dokument UTF-8 wstawiony jako dosłowny tekst; bez wywnioskowanego ID pliku |
Parametroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrcontrol_scope | Kontraktwłaściwe dla modelu; narzędzia funkcji użytkownika różnią się od narzędzi hostowanych |
Parametroutput_modalities | Kontrakttext |
Parametrhosted_operations | Kontraktfalse |
Parametrmultimodal_input_binding | Kontraktnull |
Cykl życia: synchronous_or_streamed
Wyślij dokładne ID modelu wraz z messages.
Długość kontekstu nie jest limitem wyjścia.
Plik tekstowy może dostarczyć dosłowny tekst; wejścia obrazowe/dźwiękowe/obiekty plików wymagają dokładnego powiązania.
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
| Konfiguracja | Tabela stawek | Opłata |
|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Opłata Wejście · Tokeny wejściowe $0.014 / 1K tokenów Wyjście · Tokeny wyjściowe $0.014 / 1K tokenów Wejście · Odczyt cache $0 / 1K tokenów Wejście · Zapis do cache $0 / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "glm-4v", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='glm-4v',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='glm-4v',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj każdy wariant i jego treść/wywołania narzędzi/rozumowanie. W SSE składaj przyrosty według indeksu wariantu/narzędzia, zachowując końcowy powód zakończenia i dane użycia.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra glm-4v
Użyj ścieżek metod podanych powyżej.
glm-4vGLM-4V to model wizyjno-językowy Zhipu AI do zadawania pytań o obraz i otrzymywania pisemnej odpowiedzi. Podaj obraz z ukierunkowanym promptem tekstowym, aby utworzyć opis, zinterpretować widoczny szczegół lub przygotować notatkę wizualną powiązaną z dowodami.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
GLM-4V to model wizyjno-językowy Zhipu AI łączący obraz z pisemnym pytaniem. Natywny przykład multimodalny producenta dostarcza obie części w jednej wiadomości user i zwraca odpowiedź tekstową. Przewodnik tworzenia agentów również identyfikuje GLM-4V jako model obraz–tekst, czyniąc obraz źródłowy i brzmienie pytania głównymi wejściami zadania.
Wybierz obraz zawierający dowody potrzebne do odpowiedzi, a następnie powiedz, co zbadać. Pytanie ogólne może żądać opisu sceny, a ukierunkowane wskazywać obiekt, oznaczenie lub relację do wyjaśnienia. Podaj kontekst wystarczający do rozstrzygnięcia niejednoznaczności zadania, na przykład przedmiot na zdjęciu produktu, który ma znaczenie, lub obszar zrzutu ekranu do opisania.
Przykład producenta używa obrazu JPEG zakodowanego jako odwołanie do obrazu obok pytania tekstowego. Przygotowując żądanie, zachowaj oryginalny obraz, zwłaszcza jeśli wykadrowanie usunęłoby oznaczenia lub otaczający kontekst. Dla przykładowego zadania wsparcia podaj zrzut ekranu i poproś o opis widocznego stanu, oddzielając dokładny komunikat ekranowy od proponowanego wyjaśnienia jego przyczyny.
Określ, czy wynikiem ma być podpis, krótkie wyjaśnienie, uporządkowany opis czy notatka robocza z osobnymi obserwacjami. Dla fotografii inwentaryzacyjnej przykładowy brief brzmi: „Opisz widoczne obiekty i ich rozmieszczenie; wskaż przedmiot wymieniony w moim pytaniu”. Dla obrazu dokumentu zapytaj o widoczny fragment i zachowaj identyfikator obrazu lub strony przy odpowiedzi.
Utrzymuj pytanie na tyle wąskie, aby istotne dowody pozostały łatwe do zbadania. Jeśli następny krok wymaga nazwy, liczby lub cytowanego oznaczenia, poproś o ten element osobno i porównaj zwrócone brzmienie z oryginalnym obrazem.
Proces agentowy producenta łączy przesłany obraz z nazwanym wejściem i towarzyszącym promptem. Zachowaj to powiązanie przy kontynuacji dyskusji. Przydatne kolejne pytanie wskazuje ten sam obraz i zawęża zakres do konkretnego obszaru lub relacji, aby następna odpowiedź dotyczyła zamierzonego materiału.
Zapisz ukończony tekst z identyfikatorem obrazu, pytaniem i odwołaniem do obszaru użytym w zadaniu. Daje to praktyczną podstawę do przekazania pracy nad rozmową z pomocą wizualną, opisem katalogowym lub notatką dokumentową powiązaną ze źródłem. Rolą modelu jest przekładanie treści dostarczonego obrazu na opis językowy; oryginalny obraz pozostaje dostępny do sprawdzania konkretnych szczegółów i korygowania następnego pytania.
POST /v1/messagestextjson, sse| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity glm-4v | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity user, assistant | Domyślnie— |
Polemessages[].content | Typstring | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Tekst · tekst UTF-8
ciąg messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages, max_tokens |
Parametroptional_controls | Kontraktstream |
Parametrmaterial_types | Kontrakttext |
Parametrtext_file_material | KontraktOdczytaj rzeczywisty dokument UTF-8 i umieść jego tekst we wskazanym polu input lub w ciągu treści wiadomości. |
Cykl życia: synchronous_or_streamed
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
| Konfiguracja | Tabela stawek | Opłata |
|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Opłata Wejście · Tokeny wejściowe $0.014 / 1K tokenów Wyjście · Tokeny wyjściowe $0.014 / 1K tokenów Wejście · Odczyt cache $0 / 1K tokenów Wejście · Zapis do cache $0 / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
{\n "model": "glm-4v",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'glm-4v', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'glm-4v', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj wszystkie bloki treści, sygnatury myślenia i rzeczywiste ID użycia narzędzi. Złóż wszystkie przyrosty bloków SSE; pierwszy blok tekstowy nie jest pełnym wyjściem.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra glm-4v
Użyj ścieżek metod podanych powyżej.
Przykład techniczny po angielsku
Explain a transcribed screen state\n\nUse this screenshot transcription only: heading 'Export orders'; format 'CSV'; button 'Download' disabled; note 'Select at least one order'; selected count '0'. Write a two-sentence help message explaining the visible state and the next user step. Keep the visible note separate from any cause you cannot verify.Two help sentences grounded in the selected count, disabled button and selection note.The message asks the user to select an order and introduces no unsupported account, network or permission diagnosis.