Llama 3.2 Vision 11B Instruct menerima teks dan imej, lalu merumuskan hasil sebagai teks. Asasnya ialah model bahasa Llama 3.1; penyesuai visual yang dilatih secara berasingan menghantar perwakilan imej kepadanya melalui perhatian silang. Versi Instruct ditala untuk pematuhan arahan dan dialog.
Saiz model ialah kira-kira 10,6 bilion parameter, yang biasanya dilabelkan sebagai 11B. Konteks ialah 128 ribu token. Pralatihan merangkumi pasangan imej dan teks; pengetahuan dalam data latihan terhad kepada Disember 2023.
Model mengenal pasti objek yang kelihatan, menaakul tentang adegan dan menjawab soalan tentang imej. Bagi dokumen, model mengambil kira bukan sahaja teks yang dibaca, tetapi juga kedudukan unsur. Antara tugasan yang disediakan ialah:
Berdasarkan graf, model boleh membantu menentukan bulan jualan tertinggi; berdasarkan peta, model boleh menjawab tentang laluan. Dalam tugasan sebegini, soalan berkait dengan butiran visual tertentu. Maklumat yang diekstrak menjadi respons teks, bukannya imej berasingan.
Bahasa Inggeris, Jerman, Perancis, Itali, Portugis, Hindi, Sepanyol dan Thai disenaraikan untuk tugasan teks. Bahasa Inggeris disokong secara rasmi untuk gabungan imej dengan teks. Latihan bahasa yang lebih luas tidak bermaksud tugasan visual disokong secara sama rata dalam setiap bahasa.
Model menghasilkan respons, bukannya imej. Keupayaan visual memerlukan kaedah dengan format input yang sepadan; nama Vision sahaja tidak menentukan jenis data yang diterima.
", "aboutText": "### Model bahasa dengan penyesuai visual\n\nLlama 3.2 Vision 11B Instruct menerima teks dan imej, lalu merumuskan hasil sebagai teks. Asasnya ialah model bahasa Llama 3.1; penyesuai visual yang dilatih secara berasingan menghantar perwakilan imej kepadanya melalui perhatian silang. Versi Instruct ditala untuk pematuhan arahan dan dialog.\n\nSaiz model ialah kira-kira 10,6 bilion parameter, yang biasanya dilabelkan sebagai 11B. Konteks ialah 128 ribu token. Pralatihan merangkumi pasangan imej dan teks; pengetahuan dalam data latihan terhad kepada Disember 2023.\n\n### Penggunaan maklumat visual\n\nModel mengenal pasti objek yang kelihatan, menaakul tentang adegan dan menjawab soalan tentang imej. Bagi dokumen, model mengambil kira bukan sahaja teks yang dibaca, tetapi juga kedudukan unsur. Antara tugasan yang disediakan ialah:\n\n- Menjawab soalan tentang imej dan butirannya.\n- Menganalisis halaman dokumen dengan mengambil kira teks dan susun atur.\n- Memberikan penerangan teks tentang adegan dan objek yang digambarkan.\n- Memadankan imej dengan penerangan.\n- Mengaitkan arahan bertulis dengan objek atau kawasan imej.\n\nBerdasarkan graf, model boleh membantu menentukan bulan jualan tertinggi; berdasarkan peta, model boleh menjawab tentang laluan. Dalam tugasan sebegini, soalan berkait dengan butiran visual tertentu. Maklumat yang diekstrak menjadi respons teks, bukannya imej berasingan.\n\n### Bahasa dan batasan\n\nBahasa Inggeris, Jerman, Perancis, Itali, Portugis, Hindi, Sepanyol dan Thai disenaraikan untuk tugasan teks. Bahasa Inggeris disokong secara rasmi untuk gabungan imej dengan teks. Latihan bahasa yang lebih luas tidak bermaksud tugasan visual disokong secara sama rata dalam setiap bahasa.\n\nModel menghasilkan respons, bukannya imej. Keupayaan visual memerlukan kaedah dengan format input yang sepadan; nama Vision sahaja tidak menentukan jenis data yang diterima.", "editorialOverlay": { "copy_fields": { "practical_html": "Contoh teknikal dalam bahasa Inggeris
Explain transcribed chart values\n\nUse these transcribed chart values: January sales 18 units, February 25, March 21. The vertical axis is units sold. Identify the highest month, describe the month-to-month changes and write a two-sentence caption. Use only the transcribed data; do not infer causes, revenue or details about chart appearance.A highest-month statement, the two numerical changes and a two-sentence data caption.Check the two differences against 25−18 and 21−25 and ensure no visual feature or causal explanation is invented.meta/llama-3.2-11b-vision-instructLlama 3.2 Vision 11B Instruct ialah model Meta untuk soalan tentang imej, penerangan adegan dan analisis teks bersama susun atur dokumen.
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
Llama 3.2 Vision 11B Instruct menerima teks dan imej, lalu merumuskan hasil sebagai teks. Asasnya ialah model bahasa Llama 3.1; penyesuai visual yang dilatih secara berasingan menghantar perwakilan imej kepadanya melalui perhatian silang. Versi Instruct ditala untuk pematuhan arahan dan dialog.
Saiz model ialah kira-kira 10,6 bilion parameter, yang biasanya dilabelkan sebagai 11B. Konteks ialah 128 ribu token. Pralatihan merangkumi pasangan imej dan teks; pengetahuan dalam data latihan terhad kepada Disember 2023.
Model mengenal pasti objek yang kelihatan, menaakul tentang adegan dan menjawab soalan tentang imej. Bagi dokumen, model mengambil kira bukan sahaja teks yang dibaca, tetapi juga kedudukan unsur. Antara tugasan yang disediakan ialah:
Berdasarkan graf, model boleh membantu menentukan bulan jualan tertinggi; berdasarkan peta, model boleh menjawab tentang laluan. Dalam tugasan sebegini, soalan berkait dengan butiran visual tertentu. Maklumat yang diekstrak menjadi respons teks, bukannya imej berasingan.
Bahasa Inggeris, Jerman, Perancis, Itali, Portugis, Hindi, Sepanyol dan Thai disenaraikan untuk tugasan teks. Bahasa Inggeris disokong secara rasmi untuk gabungan imej dengan teks. Latihan bahasa yang lebih luas tidak bermaksud tugasan visual disokong secara sama rata dalam setiap bahasa.
Model menghasilkan respons, bukannya imej. Keupayaan visual memerlukan kaedah dengan format input yang sepadan; nama Vision sahaja tidak menentukan jenis data yang diterima.
POST /v1/chat/completionstexttext| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had meta/llama-3.2-11b-vision-instruct | Lalai— |
Medanmessages | Jenismessage[] | KeperluanDiperlukan | Nilai & had Item minimum: 1 | Lalai— |
Medanmessages[].role | Jenisstring | KeperluanDiperlukan | Nilai & had Contoh: system, user, assistant, tool, function Syarat: Peranan ini diwakili secara eksplisit oleh jenis keserasian dalam kod sumber; set peranan model yang tepat kekal khusus untuk setiap model. Bergantung pada model | Lalai— |
Medanmessages[].content | Jenisstring|content_part[]|null | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].tool_calls | Jenistool_call[] | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].tool_call_id | Jenisstring | KeperluanPilihan | Nilai & had Terpakai apabila: role=tool; gunakan ID sebenar yang dipulangkan | Lalai— |
Medanmessages[].name | Jenisstring | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].reasoning_content | Jenisstring | KeperluanPilihan | Nilai & had Terpakai apabila: Hantar semula penaakulan sebenar yang dipulangkan apabila model ini menggunakannya | Lalai— |
Medanmessages[].reasoning_details | Jenisobject|array | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanmax_tokens | Jenisinteger | KeperluanPilihan | Nilai & had Minimum: 1 Bergantung pada model | Lalai— |
Medanmax_completion_tokens | Jenisinteger | KeperluanPilihan | Nilai & had Minimum: 1 Bergantung pada model | Lalai— |
Medanstream | Jenisboolean | KeperluanPilihan | Nilai & had | Lalaifalse |
Medanstream_options.include_usage | Jenisboolean | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantemperature | Jenisnumber | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantop_p | Jenisnumber | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanstop | Jenisstring|string[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantools | Jenisfunction_tool[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantools[].type | Jenisstring | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantools[].function.name | Jenisstring | KeperluanDiperlukan | Nilai & had Terpakai apabila: alat fungsi dibekalkan | Lalai— |
Medantools[].function.description | Jenisstring | KeperluanPilihan | Nilai & had | Lalai— |
Medantools[].function.parameters | JenisJSON_schema | KeperluanPilihan | Nilai & had | Lalai— |
Medantool_choice | Jenisstring|object | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanparallel_tool_calls | Jenisboolean | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanresponse_format | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanreasoning_effort | Jenisstring | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanreasoning | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanservice_tier | Jenisstring | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medaninstructions | Jenisstring | KeperluanPilihan | Nilai & had Medan keserasian | Lalai— |
Medanfunctions | Jenisfunction[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanfunction_call | Jenisstring|object | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanprompt_cache_options | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Teks · Teks UTF8
messages[].content
| Parameter | Kontrak |
|---|---|
Parametermaterial_types | Kontraktext |
Parameterrequired | Kontrakmodel, messages |
Parameteroptional_controls | Kontraknull |
Parametercontent_type | Kontrakapplication/json |
Parametertext_file_material | Kontrakkandungan UTF-8 sebenar dimasukkan sebagai teks; ID fail atau alamat URL (URLs) memerlukan sokongan tepat yang berasingan |
Kitar hayat: exact retained published method
Struktur kaedah dan ID adalah tepat; keupayaan pembekal berasingan daripada penerimaan permintaan.
POST /v1/chat/completionsAiloot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta/llama-3.2-11b-vision-instruct", "messages": []}')\nf=Path(os.environ["AILOOT_TEXT_FILE"])\nif not f.is_file():raise SystemExit("Choose your actual UTF-8 source material")\ntext=f.read_text(encoding="utf-8")\nif not text.strip():raise SystemExit("Source material must contain text")\np["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\\n\\n"+text}]\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0)\nresp = client.chat.completions.create(\n model="meta/llama-3.2-11b-vision-instruct",\n messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(resp.to_dict(mode="json"))\nimport OpenAI from "openai";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request");\nconst client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n model: "meta/llama-3.2-11b-vision-instruct",\n messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }],\n});\nimport { writeFileSync } from "node:fs";\n\nfunction saveResult(data, stem = "result") {\n writeFileSync(stem + ".json", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, "base64");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log("Saved", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log("Output", i, JSON.stringify(item));\n if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log("Candidate/part", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(resp);\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta/llama-3.2-11b-vision-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson atau SSE
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Kekalkan setiap pilihan jawapan bersama kandungan, panggilan alat dan penaakulannya. Dalam SSE, gabungkan delta mengikut indeks pilihan jawapan/alat dan kekalkan sebab penamatan akhir serta data penggunaan.
Kekalkan ID permintaan/respons dan pengepala. Tiada URL umum bagi pengambilan tugas teks dibekalkan.
| Medan | Jenis |
|---|---|
Medanchoices[].index | Jenisinteger |
Medanchoices[].message.content | Jenisstring|null |
Medanchoices[].message.tool_calls | Jenistool_call[] |
Medanchoices[].message.reasoning_content | Jenisstring |
Medanchoices[].message.reasoning_details | Jenisobject|array |
Medanchoices[].finish_reason | Jenisstring|null |
Medanusage | Jenisobject |
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Ailoot meta/llama-3.2-11b-vision-instruct
Gunakan laluan kaedah yang dipaparkan di atas.
Contoh teknikal dalam bahasa Inggeris
Explain transcribed chart values\n\nUse these transcribed chart values: January sales 18 units, February 25, March 21. The vertical axis is units sold. Identify the highest month, describe the month-to-month changes and write a two-sentence caption. Use only the transcribed data; do not infer causes, revenue or details about chart appearance.A highest-month statement, the two numerical changes and a two-sentence data caption.Check the two differences against 25−18 and 21−25 and ensure no visual feature or causal explanation is invented.