Llama 3.2 Vision 11B Instruct erhält Text und Bilder und formuliert das Ergebnis als Text. Die Grundlage ist das Sprachmodell Llama 3.1; ein separat trainierter visueller Adapter übermittelt Bilddarstellungen durch überkreuzte Aufmerksamkeit. Die Instruct-Version ist auf die Befolgung von Anweisungen und Dialoge abgestimmt.
Das Modell umfasst etwa 10,6 Milliarden Parameter, gewöhnlich als 11B bezeichnet. Der Kontext beträgt 128 Tausend Tokens. Das Vortraining umfasst Bild-Text-Paare; das Wissen in den Trainingsdaten ist auf Dezember 2023 begrenzt.
Das Modell erkennt sichtbare Objekte, denkt über die Szene nach und beantwortet Fragen zum Bild. Bei einem Dokument berücksichtigt es nicht nur den gelesenen Text, sondern auch die Anordnung der Elemente. Zu den vorgesehenen Aufgaben gehören:
Anhand einer Grafik kann das Modell helfen festzustellen, in welchem Monat der Umsatz am höchsten war; anhand einer Karte kann es eine Frage zur Route beantworten. Bei solchen Aufgaben bezieht sich die Frage auf ein konkretes visuelles Detail. Die extrahierte Information wird zu einer Textantwort und nicht zu einem separaten Bild.
Für Textaufgaben werden Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai aufgeführt. Für die Kombination von Bild und Text wird offiziell Englisch unterstützt. Ein breiteres Sprachtraining bedeutet nicht, dass visuelle Aufgaben in jeder Sprache gleichermassen unterstützt werden.
Das Modell erstellt Antworten, keine Bilder. Visuelle Fähigkeiten benötigen eine Methode mit entsprechendem Eingabeformat; der Name Vision allein bestimmt die akzeptierten Datenarten nicht.
", "aboutText": "### Sprachmodell mit visuellem Adapter\n\nLlama 3.2 Vision 11B Instruct erhält Text und Bilder und formuliert das Ergebnis als Text. Die Grundlage ist das Sprachmodell Llama 3.1; ein separat trainierter visueller Adapter übermittelt Bilddarstellungen durch überkreuzte Aufmerksamkeit. Die Instruct-Version ist auf die Befolgung von Anweisungen und Dialoge abgestimmt.\n\nDas Modell umfasst etwa 10,6 Milliarden Parameter, gewöhnlich als 11B bezeichnet. Der Kontext beträgt 128 Tausend Tokens. Das Vortraining umfasst Bild-Text-Paare; das Wissen in den Trainingsdaten ist auf Dezember 2023 begrenzt.\n\n### Arbeit mit visuellen Informationen\n\nDas Modell erkennt sichtbare Objekte, denkt über die Szene nach und beantwortet Fragen zum Bild. Bei einem Dokument berücksichtigt es nicht nur den gelesenen Text, sondern auch die Anordnung der Elemente. Zu den vorgesehenen Aufgaben gehören:\n\n- Fragen zu einem Bild und seinen Details beantworten.\n- Eine Dokumentseite unter Berücksichtigung von Text und Layout auswerten.\n- Eine Szene und abgebildete Objekte textuell beschreiben.\n- Ein Bild mit einer Beschreibung abgleichen.\n- Eine sprachliche Anweisung einem Objekt oder Bildbereich zuordnen.\n\nAnhand einer Grafik kann das Modell helfen festzustellen, in welchem Monat der Umsatz am höchsten war; anhand einer Karte kann es eine Frage zur Route beantworten. Bei solchen Aufgaben bezieht sich die Frage auf ein konkretes visuelles Detail. Die extrahierte Information wird zu einer Textantwort und nicht zu einem separaten Bild.\n\n### Sprachen und Einschränkungen\n\nFür Textaufgaben werden Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai aufgeführt. Für die Kombination von Bild und Text wird offiziell Englisch unterstützt. Ein breiteres Sprachtraining bedeutet nicht, dass visuelle Aufgaben in jeder Sprache gleichermassen unterstützt werden.\n\nDas Modell erstellt Antworten, keine Bilder. Visuelle Fähigkeiten benötigen eine Methode mit entsprechendem Eingabeformat; der Name Vision allein bestimmt die akzeptierten Datenarten nicht.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisches Beispiel auf Englisch
Explain transcribed chart values\n\nUse these transcribed chart values: January sales 18 units, February 25, March 21. The vertical axis is units sold. Identify the highest month, describe the month-to-month changes and write a two-sentence caption. Use only the transcribed data; do not infer causes, revenue or details about chart appearance.A highest-month statement, the two numerical changes and a two-sentence data caption.Check the two differences against 25−18 and 21−25 and ensure no visual feature or causal explanation is invented.meta/llama-3.2-11b-vision-instructLlama 3.2 Vision 11B Instruct ist ein Meta-Modell für Fragen zu Bildern, Szenenbeschreibungen und die Analyse von Text zusammen mit dem Dokumentlayout.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
Llama 3.2 Vision 11B Instruct erhält Text und Bilder und formuliert das Ergebnis als Text. Die Grundlage ist das Sprachmodell Llama 3.1; ein separat trainierter visueller Adapter übermittelt Bilddarstellungen durch überkreuzte Aufmerksamkeit. Die Instruct-Version ist auf die Befolgung von Anweisungen und Dialoge abgestimmt.
Das Modell umfasst etwa 10,6 Milliarden Parameter, gewöhnlich als 11B bezeichnet. Der Kontext beträgt 128 Tausend Tokens. Das Vortraining umfasst Bild-Text-Paare; das Wissen in den Trainingsdaten ist auf Dezember 2023 begrenzt.
Das Modell erkennt sichtbare Objekte, denkt über die Szene nach und beantwortet Fragen zum Bild. Bei einem Dokument berücksichtigt es nicht nur den gelesenen Text, sondern auch die Anordnung der Elemente. Zu den vorgesehenen Aufgaben gehören:
Anhand einer Grafik kann das Modell helfen festzustellen, in welchem Monat der Umsatz am höchsten war; anhand einer Karte kann es eine Frage zur Route beantworten. Bei solchen Aufgaben bezieht sich die Frage auf ein konkretes visuelles Detail. Die extrahierte Information wird zu einer Textantwort und nicht zu einem separaten Bild.
Für Textaufgaben werden Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai aufgeführt. Für die Kombination von Bild und Text wird offiziell Englisch unterstützt. Ein breiteres Sprachtraining bedeutet nicht, dass visuelle Aufgaben in jeder Sprache gleichermassen unterstützt werden.
Das Modell erstellt Antworten, keine Bilder. Visuelle Fähigkeiten benötigen eine Methode mit entsprechendem Eingabeformat; der Name Vision allein bestimmt die akzeptierten Datenarten nicht.
POST /v1/chat/completionstexttext| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits meta/llama-3.2-11b-vision-instruct | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits Beispiele: system, user, assistant, tool, function Bedingungen: Diese Rollen sind in den Kompatibilitätstypen des Quellcodes ausdrücklich dargestellt; der genaue Rollenumfang bleibt modellspezifisch. Modellabhängig | Standard— |
Feldmessages[].content | Typstring|content_part[]|null | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_calls | Typtool_call[] | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_call_id | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: role=tool; die tatsächlich zurückgegebene ID verwenden | Standard— |
Feldmessages[].name | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].reasoning_content | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: Tatsächlich zurückgegebene Reasoning-Daten erneut übermitteln, sofern dieses Modell sie verwendet | Standard— |
Feldmessages[].reasoning_details | Typobject|array | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmax_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldmax_completion_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Feldstream_options.include_usage | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtemperature | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtop_p | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldstop | Typstring|string[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools | Typfunction_tool[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools[].type | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools[].function.name | Typstring | AnforderungErforderlich | Werte und Limits Gilt, wenn: Funktionswerkzeug bereitgestellt | Standard— |
Feldtools[].function.description | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldtools[].function.parameters | TypJSON_schema | AnforderungOptional | Werte und Limits | Standard— |
Feldtool_choice | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldparallel_tool_calls | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldresponse_format | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning_effort | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldservice_tier | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldinstructions | Typstring | AnforderungOptional | Werte und Limits Kompatibilitätsfeld | Standard— |
Feldfunctions | Typfunction[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldfunction_call | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldprompt_cache_options | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Text · UTF8-Text
messages[].content
| Parameter | Vertrag |
|---|---|
Parametermaterial_types | Vertragtext |
Parameterrequired | Vertragmodel, messages |
Parameteroptional_controls | Vertragnull |
Parametercontent_type | Vertragapplication/json |
Parametertext_file_material | VertragTatsächlicher UTF-8-Inhalt wird als Text eingefügt; Datei-IDs/URLs müssen separat und exakt unterstützt werden |
Lebenszyklus: exact retained published method
Methodenstrukturen und IDs sind exakt; die Fähigkeiten des Anbieters sind von der Zulassung einer Anfrage zu unterscheiden.
POST /v1/chat/completionsAiloot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschliessenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta/llama-3.2-11b-vision-instruct", "messages": []}')\nf=Path(os.environ["AILOOT_TEXT_FILE"])\nif not f.is_file():raise SystemExit("Choose your actual UTF-8 source material")\ntext=f.read_text(encoding="utf-8")\nif not text.strip():raise SystemExit("Source material must contain text")\np["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\\n\\n"+text}]\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0)\nresp = client.chat.completions.create(\n model="meta/llama-3.2-11b-vision-instruct",\n messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(resp.to_dict(mode="json"))\nimport OpenAI from "openai";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request");\nconst client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n model: "meta/llama-3.2-11b-vision-instruct",\n messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }],\n});\nimport { writeFileSync } from "node:fs";\n\nfunction saveResult(data, stem = "result") {\n writeFileSync(stem + ".json", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, "base64");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log("Saved", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log("Output", i, JSON.stringify(item));\n if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log("Candidate/part", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(resp);\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta/llama-3.2-11b-vision-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Antwortvarianten mit ihren Inhalten, Werkzeugaufrufen und Reasoning-Daten beibehalten. In SSE die Deltas nach Varianten- und Werkzeugindex zusammensetzen; endgültigen Beendigungsgrund und Verbrauchsdaten beibehalten.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldchoices[].index | Typinteger |
Feldchoices[].message.content | Typstring|null |
Feldchoices[].message.tool_calls | Typtool_call[] |
Feldchoices[].message.reasoning_content | Typstring |
Feldchoices[].message.reasoning_details | Typobject|array |
Feldchoices[].finish_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot meta/llama-3.2-11b-vision-instruct
Verwenden Sie die oben angezeigten Methodenpfade.
Technisches Beispiel auf Englisch
Explain transcribed chart values\n\nUse these transcribed chart values: January sales 18 units, February 25, March 21. The vertical axis is units sold. Identify the highest month, describe the month-to-month changes and write a two-sentence caption. Use only the transcribed data; do not infer causes, revenue or details about chart appearance.A highest-month statement, the two numerical changes and a two-sentence data caption.Check the two differences against 25−18 and 21−25 and ensure no visual feature or causal explanation is invented.