Llama 3.2 Vision 11B Instruct получает текст и изображения, а результат формулирует текстом. Основа — языковая Llama 3.1; отдельно обученный визуальный адаптер передаёт в неё представления изображения через перекрёстное внимание. Версия Instruct настроена на выполнение инструкций и диалог.
Размер модели — около 10,6 млрд параметров, обычно обозначаемых как 11B. Контекст составляет 128 тысяч токенов. Предварительное обучение охватывает пары изображений и текста; знания в обучающих данных ограничены декабрём 2023 года.
Модель распознаёт видимые объекты, рассуждает о сцене и отвечает на вопросы к изображению. Для документа она учитывает не только прочитанный текст, но и расположение элементов. Среди предусмотренных задач:
По графику модель может помочь выяснить, в каком месяце продажи были наибольшими; по карте — ответить о маршруте. В таких задачах вопрос связан с конкретной визуальной деталью. Извлечённая информация превращается в текстовый ответ, а не в отдельное изображение.
Для текстовых задач перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Для сочетания картинки с текстом официально поддерживается английский. Более широкое языковое обучение не означает, что визуальные задачи поддерживаются одинаково на любом языке.
Модель создаёт ответы, а не изображения. Визуальная способность требует метода с соответствующим входным форматом; название Vision само по себе не определяет состав принимаемых данных.
", "aboutText": "### Языковая модель с визуальным адаптером\n\nLlama 3.2 Vision 11B Instruct получает текст и изображения, а результат формулирует текстом. Основа — языковая Llama 3.1; отдельно обученный визуальный адаптер передаёт в неё представления изображения через перекрёстное внимание. Версия Instruct настроена на выполнение инструкций и диалог.\n\nРазмер модели — около 10,6 млрд параметров, обычно обозначаемых как 11B. Контекст составляет 128 тысяч токенов. Предварительное обучение охватывает пары изображений и текста; знания в обучающих данных ограничены декабрём 2023 года.\n\n### Работа с визуальной информацией\n\nМодель распознаёт видимые объекты, рассуждает о сцене и отвечает на вопросы к изображению. Для документа она учитывает не только прочитанный текст, но и расположение элементов. Среди предусмотренных задач:\n\n- Ответы на вопросы о картинке и её деталях.\n- Разбор страницы документа с учётом текста и разметки.\n- Текстовое описание сцены и изображённых объектов.\n- Сопоставление картинки с описанием.\n- Соотнесение словесного указания с объектом или областью изображения.\n\nПо графику модель может помочь выяснить, в каком месяце продажи были наибольшими; по карте — ответить о маршруте. В таких задачах вопрос связан с конкретной визуальной деталью. Извлечённая информация превращается в текстовый ответ, а не в отдельное изображение.\n\n### Языки и ограничения\n\nДля текстовых задач перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Для сочетания картинки с текстом официально поддерживается английский. Более широкое языковое обучение не означает, что визуальные задачи поддерживаются одинаково на любом языке.\n\nМодель создаёт ответы, а не изображения. Визуальная способность требует метода с соответствующим входным форматом; название Vision само по себе не определяет состав принимаемых данных.", "editorialOverlay": { "copy_fields": { "practical_html": "Технический пример на английском
Explain transcribed chart values\n\nUse these transcribed chart values: January sales 18 units, February 25, March 21. The vertical axis is units sold. Identify the highest month, describe the month-to-month changes and write a two-sentence caption. Use only the transcribed data; do not infer causes, revenue or details about chart appearance.A highest-month statement, the two numerical changes and a two-sentence data caption.Check the two differences against 25−18 and 21−25 and ensure no visual feature or causal explanation is invented.meta/llama-3.2-11b-vision-instructLlama 3.2 Vision 11B Instruct — модель Meta для вопросов по изображениям, описания сцен и анализа текста вместе с разметкой документа.
Описание раскрывает возможности модели. Доступные в Ailoot входные данные, результаты и параметры выбранного метода перечислены ниже.
Llama 3.2 Vision 11B Instruct получает текст и изображения, а результат формулирует текстом. Основа — языковая Llama 3.1; отдельно обученный визуальный адаптер передаёт в неё представления изображения через перекрёстное внимание. Версия Instruct настроена на выполнение инструкций и диалог.
Размер модели — около 10,6 млрд параметров, обычно обозначаемых как 11B. Контекст составляет 128 тысяч токенов. Предварительное обучение охватывает пары изображений и текста; знания в обучающих данных ограничены декабрём 2023 года.
Модель распознаёт видимые объекты, рассуждает о сцене и отвечает на вопросы к изображению. Для документа она учитывает не только прочитанный текст, но и расположение элементов. Среди предусмотренных задач:
По графику модель может помочь выяснить, в каком месяце продажи были наибольшими; по карте — ответить о маршруте. В таких задачах вопрос связан с конкретной визуальной деталью. Извлечённая информация превращается в текстовый ответ, а не в отдельное изображение.
Для текстовых задач перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Для сочетания картинки с текстом официально поддерживается английский. Более широкое языковое обучение не означает, что визуальные задачи поддерживаются одинаково на любом языке.
Модель создаёт ответы, а не изображения. Визуальная способность требует метода с соответствующим входным форматом; название Vision само по себе не определяет состав принимаемых данных.
POST /v1/chat/completionstexttext| Поле | Тип | Требование | Значения и ограничения | По умолчанию |
|---|---|---|---|---|
Полеmodel | Типstring | ТребованиеОбязательно | Значения и ограничения meta/llama-3.2-11b-vision-instruct | По умолчанию— |
Полеmessages | Типmessage[] | ТребованиеОбязательно | Значения и ограничения Минимум элементов: 1 | По умолчанию— |
Полеmessages[].role | Типstring | ТребованиеОбязательно | Значения и ограничения Примеры: system, user, assistant, tool, function Условия: Эти роли явно представлены типами совместимости исходного кода; точный набор ролей зависит от модели. Зависит от модели | По умолчанию— |
Полеmessages[].content | Типstring|content_part[]|null | ТребованиеНеобязательно | Значения и ограничения | По умолчанию— |
Полеmessages[].tool_calls | Типtool_call[] | ТребованиеНеобязательно | Значения и ограничения | По умолчанию— |
Полеmessages[].tool_call_id | Типstring | ТребованиеНеобязательно | Значения и ограничения Применяется, когда: role=tool; используйте фактически возвращённый ID | По умолчанию— |
Полеmessages[].name | Типstring | ТребованиеНеобязательно | Значения и ограничения | По умолчанию— |
Полеmessages[].reasoning_content | Типstring | ТребованиеНеобязательно | Значения и ограничения Применяется, когда: Передавайте обратно фактически возвращённые рассуждения, если эта модель их использует | По умолчанию— |
Полеmessages[].reasoning_details | Типobject|array | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеmax_tokens | Типinteger | ТребованиеНеобязательно | Значения и ограничения Минимум: 1 Зависит от модели | По умолчанию— |
Полеmax_completion_tokens | Типinteger | ТребованиеНеобязательно | Значения и ограничения Минимум: 1 Зависит от модели | По умолчанию— |
Полеstream | Типboolean | ТребованиеНеобязательно | Значения и ограничения | По умолчаниюfalse |
Полеstream_options.include_usage | Типboolean | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеtemperature | Типnumber | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеtop_p | Типnumber | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеstop | Типstring|string[] | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеtools | Типfunction_tool[] | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеtools[].type | Типstring | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеtools[].function.name | Типstring | ТребованиеОбязательно | Значения и ограничения Применяется, когда: передан инструмент-функция | По умолчанию— |
Полеtools[].function.description | Типstring | ТребованиеНеобязательно | Значения и ограничения | По умолчанию— |
Полеtools[].function.parameters | ТипJSON_schema | ТребованиеНеобязательно | Значения и ограничения | По умолчанию— |
Полеtool_choice | Типstring|object | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеparallel_tool_calls | Типboolean | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеresponse_format | Типobject | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеreasoning_effort | Типstring | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеreasoning | Типobject | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеservice_tier | Типstring | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеinstructions | Типstring | ТребованиеНеобязательно | Значения и ограничения Поле совместимости | По умолчанию— |
Полеfunctions | Типfunction[] | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеfunction_call | Типstring|object | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Полеprompt_cache_options | Типobject | ТребованиеНеобязательно | Значения и ограничения Зависит от модели | По умолчанию— |
Текст · Текст UTF8
messages[].content
| Параметр | Контракт |
|---|---|
Параметрmaterial_types | Контрактtext |
Параметрrequired | Контрактmodel, messages |
Параметрoptional_controls | Контрактnull |
Параметрcontent_type | Контрактapplication/json |
Параметрtext_file_material | Контрактфактическое содержимое UTF-8 вставляется как текст; ID файлов и URLs требуют отдельной точной поддержки |
Жизненный цикл: exact retained published method
Структуры методов и ID указаны точно; возможности поставщика рассматриваются отдельно от допуска.
POST /v1/chat/completionsAiloot резервирует расчётную сумму перед запросом. После получения результата списывает итоговую плату по измеренному расходу. Для окончательного списания за потоковый ответ используется итоговая запись расхода. Как работают резервирование и расчёт →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta/llama-3.2-11b-vision-instruct", "messages": []}')\nf=Path(os.environ["AILOOT_TEXT_FILE"])\nif not f.is_file():raise SystemExit("Choose your actual UTF-8 source material")\ntext=f.read_text(encoding="utf-8")\nif not text.strip():raise SystemExit("Source material must contain text")\np["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\\n\\n"+text}]\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0)\nresp = client.chat.completions.create(\n model="meta/llama-3.2-11b-vision-instruct",\n messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(resp.to_dict(mode="json"))\nimport OpenAI from "openai";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request");\nconst client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n model: "meta/llama-3.2-11b-vision-instruct",\n messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }],\n});\nimport { writeFileSync } from "node:fs";\n\nfunction saveResult(data, stem = "result") {\n writeFileSync(stem + ".json", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, "base64");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log("Saved", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log("Output", i, JSON.stringify(item));\n if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log("Candidate/part", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(resp);\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta/llama-3.2-11b-vision-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson или SSE
Сохраняйте каждый полностью полученный ответ, файл и элемент содержимого.
Сохраняйте каждый вариант ответа с его содержимым, вызовами инструментов и рассуждениями. В SSE собирайте изменения по индексам варианта и инструмента, сохраняйте итоговую причину завершения и данные использования.
Сохраняйте ID запросов и ответов, а также заголовки. Общий URL получения текстового задания не предоставлен.
| Поле | Тип |
|---|---|
Полеchoices[].index | Типinteger |
Полеchoices[].message.content | Типstring|null |
Полеchoices[].message.tool_calls | Типtool_call[] |
Полеchoices[].message.reasoning_content | Типstring |
Полеchoices[].message.reasoning_details | Типobject|array |
Полеchoices[].finish_reason | Типstring|null |
Полеusage | Типobject |
| Ответ | Условие | Следующий шаг |
|---|---|---|
Ответ400 · invalid_request_error | УсловиеНеверные обязательные поля, представление материалов или значение параметра | Следующий шагИсправьте указанные поля перед новым запросом на создание. |
Ailoot meta/llama-3.2-11b-vision-instruct
Используйте пути методов, указанные выше.
Технический пример на английском
Explain transcribed chart values\n\nUse these transcribed chart values: January sales 18 units, February 25, March 21. The vertical axis is units sold. Identify the highest month, describe the month-to-month changes and write a two-sentence caption. Use only the transcribed data; do not infer causes, revenue or details about chart appearance.A highest-month statement, the two numerical changes and a two-sentence data caption.Check the two differences against 25−18 and 21−25 and ensure no visual feature or causal explanation is invented.