Llama 3.2 Vision 11B Instruct는 텍스트와 이미지를 입력받고 텍스트로 결과를 구성합니다. 기반은 언어 모델 Llama 3.1입니다. 별도로 학습한 시각 어댑터가 교차 어텐션을 통해 이미지 표현을 전달합니다. Instruct 버전은 지시 수행과 대화에 맞춰 조정되었습니다.
모델 크기는 약 106억 개의 파라미터이며 일반적으로 11B라고 표시합니다. 컨텍스트는 12만 8000토큰입니다. 사전 학습은 이미지와 텍스트의 쌍을 다룹니다. 학습 데이터의 지식은 2023년 12월을 기준으로 합니다.
모델은 보이는 대상을 인식하고, 장면에 대해 추론하며, 이미지에 대한 질문에 답합니다. 문서에서는 읽은 텍스트뿐 아니라 요소의 배치도 고려합니다. 제공되는 과제에는 다음이 포함됩니다.
차트에서 판매량이 가장 높았던 달을 파악하거나, 지도에서 경로에 관한 질문에 답하는 데 도움을 줄 수 있습니다. 이런 과제에서는 질문이 특정한 시각적 세부 요소와 연결됩니다. 추출한 정보는 별도의 이미지가 아니라 텍스트 응답이 됩니다.
텍스트 과제의 지원 언어로 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어가 나열되어 있습니다. 이미지와 텍스트를 결합하는 과제에는 영어가 공식 지원됩니다. 더 넓은 언어 학습이 모든 언어의 시각적 과제를 같은 수준으로 지원한다는 뜻은 아닙니다.
모델은 이미지가 아니라 응답을 생성합니다. 시각 기능에는 적절한 입력 형식을 지원하는 호출 방식이 필요합니다. Vision이라는 이름만으로 입력 가능한 데이터 구성이 정해지는 것은 아닙니다.
", "aboutText": "### 시각 어댑터를 갖춘 언어 모델\n\nLlama 3.2 Vision 11B Instruct는 텍스트와 이미지를 입력받고 텍스트로 결과를 구성합니다. 기반은 언어 모델 Llama 3.1입니다. 별도로 학습한 시각 어댑터가 교차 어텐션을 통해 이미지 표현을 전달합니다. Instruct 버전은 지시 수행과 대화에 맞춰 조정되었습니다.\n\n모델 크기는 약 106억 개의 파라미터이며 일반적으로 11B라고 표시합니다. 컨텍스트는 12만 8000토큰입니다. 사전 학습은 이미지와 텍스트의 쌍을 다룹니다. 학습 데이터의 지식은 2023년 12월을 기준으로 합니다.\n\n### 시각 정보 처리\n\n모델은 보이는 대상을 인식하고, 장면에 대해 추론하며, 이미지에 대한 질문에 답합니다. 문서에서는 읽은 텍스트뿐 아니라 요소의 배치도 고려합니다. 제공되는 과제에는 다음이 포함됩니다.\n\n- 이미지와 그 세부 요소에 대한 질문에 답하기.\n- 텍스트와 레이아웃을 고려해 문서 페이지 분석하기.\n- 장면과 이미지 속 대상을 텍스트로 설명하기.\n- 이미지와 설명 비교하기.\n- 언어로 표현된 지시를 이미지의 대상 또는 영역과 연결하기.\n\n차트에서 판매량이 가장 높았던 달을 파악하거나, 지도에서 경로에 관한 질문에 답하는 데 도움을 줄 수 있습니다. 이런 과제에서는 질문이 특정한 시각적 세부 요소와 연결됩니다. 추출한 정보는 별도의 이미지가 아니라 텍스트 응답이 됩니다.\n\n### 언어와 제한\n\n텍스트 과제의 지원 언어로 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어가 나열되어 있습니다. 이미지와 텍스트를 결합하는 과제에는 영어가 공식 지원됩니다. 더 넓은 언어 학습이 모든 언어의 시각적 과제를 같은 수준으로 지원한다는 뜻은 아닙니다.\n\n모델은 이미지가 아니라 응답을 생성합니다. 시각 기능에는 적절한 입력 형식을 지원하는 호출 방식이 필요합니다. Vision이라는 이름만으로 입력 가능한 데이터 구성이 정해지는 것은 아닙니다.", "editorialOverlay": { "copy_fields": { "practical_html": "영어 기술 예제
Explain transcribed chart values\n\nUse these transcribed chart values: January sales 18 units, February 25, March 21. The vertical axis is units sold. Identify the highest month, describe the month-to-month changes and write a two-sentence caption. Use only the transcribed data; do not infer causes, revenue or details about chart appearance.A highest-month statement, the two numerical changes and a two-sentence data caption.Check the two differences against 25−18 and 21−25 and ensure no visual feature or causal explanation is invented.meta/llama-3.2-11b-vision-instructLlama 3.2 Vision 11B Instruct는 이미지에 대한 질문, 장면 설명, 문서 레이아웃과 함께 텍스트를 분석하는 작업을 위한 Meta 모델입니다.
이 설명은 모델의 기능을 다룹니다. Ailoot에서 사용할 수 있는 입력, 출력 및 옵션은 아래에 선택한 메서드별로 표시됩니다.
Llama 3.2 Vision 11B Instruct는 텍스트와 이미지를 입력받고 텍스트로 결과를 구성합니다. 기반은 언어 모델 Llama 3.1입니다. 별도로 학습한 시각 어댑터가 교차 어텐션을 통해 이미지 표현을 전달합니다. Instruct 버전은 지시 수행과 대화에 맞춰 조정되었습니다.
모델 크기는 약 106억 개의 파라미터이며 일반적으로 11B라고 표시합니다. 컨텍스트는 12만 8000토큰입니다. 사전 학습은 이미지와 텍스트의 쌍을 다룹니다. 학습 데이터의 지식은 2023년 12월을 기준으로 합니다.
모델은 보이는 대상을 인식하고, 장면에 대해 추론하며, 이미지에 대한 질문에 답합니다. 문서에서는 읽은 텍스트뿐 아니라 요소의 배치도 고려합니다. 제공되는 과제에는 다음이 포함됩니다.
차트에서 판매량이 가장 높았던 달을 파악하거나, 지도에서 경로에 관한 질문에 답하는 데 도움을 줄 수 있습니다. 이런 과제에서는 질문이 특정한 시각적 세부 요소와 연결됩니다. 추출한 정보는 별도의 이미지가 아니라 텍스트 응답이 됩니다.
텍스트 과제의 지원 언어로 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어가 나열되어 있습니다. 이미지와 텍스트를 결합하는 과제에는 영어가 공식 지원됩니다. 더 넓은 언어 학습이 모든 언어의 시각적 과제를 같은 수준으로 지원한다는 뜻은 아닙니다.
모델은 이미지가 아니라 응답을 생성합니다. 시각 기능에는 적절한 입력 형식을 지원하는 호출 방식이 필요합니다. Vision이라는 이름만으로 입력 가능한 데이터 구성이 정해지는 것은 아닙니다.
POST /v1/chat/completionstexttext| 필드 | 유형 | 요건 | 값과 한도 | 기본값 |
|---|---|---|---|---|
필드model | 유형string | 요건필수 | 값과 한도 meta/llama-3.2-11b-vision-instruct | 기본값— |
필드messages | 유형message[] | 요건필수 | 값과 한도 최소 항목 수: 1 | 기본값— |
필드messages[].role | 유형string | 요건필수 | 값과 한도 예시: system, user, assistant, tool, function 조건: 이 역할들은 소스 코드의 호환 타입에 명시적으로 표현됩니다. 정확한 모델 역할 집합은 모델별로 다릅니다. 모델에 따라 다름 | 기본값— |
필드messages[].content | 유형string|content_part[]|null | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].tool_calls | 유형tool_call[] | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].tool_call_id | 유형string | 요건선택 사항 | 값과 한도 적용 조건: role=tool. 실제 반환된 ID를 사용하세요 | 기본값— |
필드messages[].name | 유형string | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].reasoning_content | 유형string | 요건선택 사항 | 값과 한도 적용 조건: 이 모델이 추론을 사용하는 경우 실제 반환된 추론을 그대로 다음 요청에 다시 전달하세요 | 기본값— |
필드messages[].reasoning_details | 유형object|array | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드max_tokens | 유형integer | 요건선택 사항 | 값과 한도 최솟값: 1 모델에 따라 다름 | 기본값— |
필드max_completion_tokens | 유형integer | 요건선택 사항 | 값과 한도 최솟값: 1 모델에 따라 다름 | 기본값— |
필드stream | 유형boolean | 요건선택 사항 | 값과 한도 | 기본값false |
필드stream_options.include_usage | 유형boolean | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드temperature | 유형number | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드top_p | 유형number | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드stop | 유형string|string[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드tools | 유형function_tool[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드tools[].type | 유형string | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드tools[].function.name | 유형string | 요건필수 | 값과 한도 적용 조건: 함수 도구 지정됨 | 기본값— |
필드tools[].function.description | 유형string | 요건선택 사항 | 값과 한도 | 기본값— |
필드tools[].function.parameters | 유형JSON_schema | 요건선택 사항 | 값과 한도 | 기본값— |
필드tool_choice | 유형string|object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드parallel_tool_calls | 유형boolean | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드response_format | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드reasoning_effort | 유형string | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드reasoning | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드service_tier | 유형string | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드instructions | 유형string | 요건선택 사항 | 값과 한도 호환성 필드 | 기본값— |
필드functions | 유형function[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드function_call | 유형string|object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드prompt_cache_options | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
텍스트 · UTF8 텍스트
messages[].content
| 매개변수 | 명세 |
|---|---|
매개변수material_types | 명세text |
매개변수required | 명세model, messages |
매개변수optional_controls | 명세null |
매개변수content_type | 명세application/json |
매개변수text_file_material | 명세실제 UTF-8 콘텐츠를 텍스트로 삽입합니다. 파일 ID/URLs에는 별도의 정확한 지원이 필요합니다 |
수명 주기: exact retained published method
메서드 형식과 ID는 정확합니다. 공급자의 기능 지원과 요청 수락은 별개입니다.
POST /v1/chat/completionsAiloot는 요청 전에 예상 금액을 미리 확보합니다. 결과를 받은 뒤 측정된 사용량을 기준으로 최종 요금을 정산합니다. 스트리밍 정산에는 최종 사용량 기록을 사용합니다. 금액 확보와 정산 방식 →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta/llama-3.2-11b-vision-instruct", "messages": []}')\nf=Path(os.environ["AILOOT_TEXT_FILE"])\nif not f.is_file():raise SystemExit("Choose your actual UTF-8 source material")\ntext=f.read_text(encoding="utf-8")\nif not text.strip():raise SystemExit("Source material must contain text")\np["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\\n\\n"+text}]\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0)\nresp = client.chat.completions.create(\n model="meta/llama-3.2-11b-vision-instruct",\n messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(resp.to_dict(mode="json"))\nimport OpenAI from "openai";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request");\nconst client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n model: "meta/llama-3.2-11b-vision-instruct",\n messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }],\n});\nimport { writeFileSync } from "node:fs";\n\nfunction saveResult(data, stem = "result") {\n writeFileSync(stem + ".json", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, "base64");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log("Saved", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log("Output", i, JSON.stringify(item));\n if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log("Candidate/part", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(resp);\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta/llama-3.2-11b-vision-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson 또는 SSE
반환된 완전한 응답, 파일, 콘텐츠 부분을 모두 보관하세요.
각 선택지와 그 콘텐츠·도구 호출·추론을 모두 보존하세요. SSE에서는 선택지/도구 인덱스별로 증분을 조합하고 최종 종료 사유와 사용량을 유지하세요.
요청/응답 ID와 헤더를 보존하세요. 텍스트 작업을 조회하는 범용 URL은 제공되지 않습니다.
| 필드 | 유형 |
|---|---|
필드choices[].index | 유형integer |
필드choices[].message.content | 유형string|null |
필드choices[].message.tool_calls | 유형tool_call[] |
필드choices[].message.reasoning_content | 유형string |
필드choices[].message.reasoning_details | 유형object|array |
필드choices[].finish_reason | 유형string|null |
필드usage | 유형object |
| 응답 | 조건 | 다음 단계 |
|---|---|---|
응답400 · invalid_request_error | 조건필수 필드, 자료 표현 방식 또는 파라미터 값이 올바르지 않음 | 다음 단계새 생성 요청 전에 표시된 필드를 수정하세요. |
Ailoot meta/llama-3.2-11b-vision-instruct
위에 표시된 메서드 경로를 사용하세요.
영어 기술 예제
Explain transcribed chart values\n\nUse these transcribed chart values: January sales 18 units, February 25, March 21. The vertical axis is units sold. Identify the highest month, describe the month-to-month changes and write a two-sentence caption. Use only the transcribed data; do not infer causes, revenue or details about chart appearance.A highest-month statement, the two numerical changes and a two-sentence data caption.Check the two differences against 25−18 and 21−25 and ensure no visual feature or causal explanation is invented.