Llama 3.2 11B Vision Instruct

Llama 3.2 Vision 11B Instruct é um modelo da Meta para perguntas sobre imagens, descrição de cenas e análise de texto juntamente com a disposição de um documento.

Ailoot · OpenAI Chat POST /v1/chat/completions meta/llama-3.2-11b-vision-instruct

Sobre o modelo

Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.

Modelo de linguagem com adaptador visual

Llama 3.2 Vision 11B Instruct recebe texto e imagens e formula o resultado em texto. A base é o modelo de linguagem Llama 3.1; um adaptador visual treinado separadamente transmite-lhe representações da imagem através de atenção cruzada. A versão Instruct está preparada para cumprir instruções e conversar.

O modelo tem cerca de 10,6 mil milhões de parâmetros, normalmente identificados por 11B. O contexto é de 128 mil tokens. O pré-treino abrange pares de imagens e texto; o conhecimento dos dados de treino está limitado a dezembro de 2023.

Trabalho com informação visual

O modelo reconhece objetos visíveis, raciocina sobre a cena e responde a perguntas sobre a imagem. Num documento, considera o texto lido e a posição dos elementos. As tarefas previstas incluem:

Responder a perguntas sobre uma imagem e os seus pormenores.
Analisar uma página de documento, considerando o texto e a disposição.
Descrever textualmente uma cena e os objetos representados.
Comparar uma imagem com uma descrição.
Relacionar uma indicação verbal com um objeto ou uma área da imagem.

A partir de um gráfico, o modelo pode ajudar a identificar o mês com mais vendas; a partir de um mapa, pode responder sobre um percurso. Nestas tarefas, a pergunta está relacionada com um pormenor visual concreto. A informação extraída transforma-se numa resposta textual, em vez de uma imagem separada.

Línguas e limitações

Para tarefas textuais, são enumerados inglês, alemão, francês, italiano, português, hindi, espanhol e tailandês. Para combinar imagem e texto, o inglês é a língua oficialmente suportada. Um treino linguístico mais amplo não implica suporte idêntico de tarefas visuais em qualquer língua.

O modelo cria respostas, sem criar imagens. A capacidade visual exige um método com o formato de entrada correspondente; o nome Vision, por si só, não determina o conjunto de dados aceites.

Tarefa prática

Exemplo técnico em inglês

Explain transcribed chart values

Use these transcribed chart values: January sales 18 units, February 25, March 21. The vertical axis is units sold. Identify the highest month, describe the month-to-month changes and write a two-sentence caption. Use only the transcribed data; do not infer causes, revenue or details about chart appearance.

Resultado esperado

A highest-month statement, the two numerical changes and a two-sentence data caption.

Verificar o resultado

Check the two differences against 25−18 and 21−25 and ensure no visual feature or causal explanation is invented.

Ailoot · OpenAI Chat POST /v1/chat/completions meta/llama-3.2-11b-vision-instruct

meta/llama-3.2-11b-vision-instruct

Meta /meta/llama-3.2-11b-vision-instruct

Introdução

Llama 3.2 Vision 11B Instruct é um modelo da Meta para perguntas sobre imagens, descrição de cenas e análise de texto juntamente com a disposição de um documento.

Entradas aceites: Texto
Resultados: Texto

Disponível no Ailoot · entradas e métodos

Ailoot · OpenAI Chat POST /v1/chat/completions

Entrada: text
Saída: text
Contexto: 4096 tokens
Saída máxima: 1024 tokens
Formato de saída: json ou SSE

Campo	Tipo	Requisito	Valores e limites	Predefinição
Campo`model`	Tipo`string`	RequisitoObrigatório	Valores e limites meta/llama-3.2-11b-vision-instruct	Predefinição—
Campo`messages`	Tipo`message[]`	RequisitoObrigatório	Valores e limites Número mínimo de elementos: 1	Predefinição—
Campo`messages[].role`	Tipo`string`	RequisitoObrigatório	Valores e limites Exemplos: system, user, assistant, tool, function Condições: Estes papéis são representados explicitamente pelos tipos de compatibilidade do código-fonte; o conjunto exato de papéis continua específico do modelo. Depende do modelo	Predefinição—
Campo`messages[].content`	Tipo`string\|content_part[]\|null`	RequisitoOpcional	Valores e limites	Predefinição—
Campo`messages[].tool_calls`	Tipo`tool_call[]`	RequisitoOpcional	Valores e limites	Predefinição—
Campo`messages[].tool_call_id`	Tipo`string`	RequisitoOpcional	Valores e limites Aplica-se quando: role=tool; use o ID realmente devolvido	Predefinição—
Campo`messages[].name`	Tipo`string`	RequisitoOpcional	Valores e limites	Predefinição—
Campo`messages[].reasoning_content`	Tipo`string`	RequisitoOpcional	Valores e limites Aplica-se quando: Reintroduza o raciocínio realmente devolvido quando este modelo o utiliza	Predefinição—
Campo`messages[].reasoning_details`	Tipo`object\|array`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`max_tokens`	Tipo`integer`	RequisitoOpcional	Valores e limites Mínimo: 1 Depende do modelo	Predefinição—
Campo`max_completion_tokens`	Tipo`integer`	RequisitoOpcional	Valores e limites Mínimo: 1 Depende do modelo	Predefinição—
Campo`stream`	Tipo`boolean`	RequisitoOpcional	Valores e limites	Predefiniçãofalse
Campo`stream_options.include_usage`	Tipo`boolean`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`temperature`	Tipo`number`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`top_p`	Tipo`number`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`stop`	Tipo`string\|string[]`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`tools`	Tipo`function_tool[]`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`tools[].type`	Tipo`string`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`tools[].function.name`	Tipo`string`	RequisitoObrigatório	Valores e limites Aplica-se quando: Função fornecida como ferramenta	Predefinição—
Campo`tools[].function.description`	Tipo`string`	RequisitoOpcional	Valores e limites	Predefinição—
Campo`tools[].function.parameters`	Tipo`JSON_schema`	RequisitoOpcional	Valores e limites	Predefinição—
Campo`tool_choice`	Tipo`string\|object`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`parallel_tool_calls`	Tipo`boolean`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`response_format`	Tipo`object`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`reasoning_effort`	Tipo`string`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`reasoning`	Tipo`object`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`service_tier`	Tipo`string`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`instructions`	Tipo`string`	RequisitoOpcional	Valores e limites Campo de compatibilidade	Predefinição—
Campo`functions`	Tipo`function[]`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`function_call`	Tipo`string\|object`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—
Campo`prompt_cache_options`	Tipo`object`	RequisitoOpcional	Valores e limites Depende do modelo	Predefinição—

Combinações de materiais de entrada

Texto · Texto UTF8

messages[].content

Parâmetros e ciclo de vida do método

Parâmetro	Contrato
Parâmetro`material_types`	Contratotext
Parâmetro`required`	Contratomodel, messages
Parâmetro`optional_controls`	Contratonull
Parâmetro`content_type`	Contratoapplication/json
Parâmetro`text_file_material`	ContratoConteúdo UTF-8 real inserido como texto; ID de ficheiros/URLs precisam de suporte separado e exato

Ciclo de vida: exact retained published method

As estruturas dos métodos e os ID são exatos; a capacidade do fornecedor é distinta da admissão dos pedidos.

Tarifários

Tarifas dos métodos Ailoot

Ailoot OpenAI ChatPOST /v1/chat/completions

Entrada: 0,0003 US$ / 1K
Saída: 0,0011 US$ / 1K
Leitura da cache: 0,0003 US$ / 1K
Escrita na cache: 0,0003 US$ / 1K
Escrita na cache, 5 min: 0,0003 US$ / 1K tokens

O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →

Exemplos de pedidos

Ailoot · OpenAI Chat

Exemplo de textoPython SDKNode.js SDKStreaming em Python

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}"
export AILOOT_TEXT_FILE
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "meta/llama-3.2-11b-vision-instruct", "messages": []}')
f=Path(os.environ["AILOOT_TEXT_FILE"])
if not f.is_file():raise SystemExit("Choose your actual UTF-8 source material")
text=f.read_text(encoding="utf-8")
if not text.strip():raise SystemExit("Source material must contain text")
p["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\n\n"+text}]
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2))
PY_RESULT

from openai import OpenAI
import os

if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")
client = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0)
resp = client.chat.completions.create(
    model="meta/llama-3.2-11b-vision-instruct",
    messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}],
)
import base64, json
from pathlib import Path

def save_result(data, stem="result"):
    # Keep every field, including usage, IDs, reasoning and tool requests.
    Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")
    print(json.dumps(data, ensure_ascii=False, indent=2))
    def save_blob(encoded, suffix, label):
        raw = base64.b64decode(encoded, altchars=b"-_", validate=True)
        ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix
        file = Path(stem + "-" + label + "." + ext)
        file.write_bytes(raw)
        print("Saved", file)
    for index, block in enumerate(data.get("content") or []):
        print("Content", index, json.dumps(block, ensure_ascii=False))
    for choice in data.get("choices") or []:
        print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))
    for index, item in enumerate(data.get("output") or []):
        print("Output", index, json.dumps(item, ensure_ascii=False))
        if item.get("type") == "image_generation_call" and item.get("result"):
            save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))
    for ci, candidate in enumerate(data.get("candidates") or []):
        for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):
            print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))
            blob = part.get("inlineData") or part.get("inline_data")
            if blob and blob.get("data"):
                mime = blob.get("mimeType") or blob.get("mime_type")
                suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")
                save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))

save_result(resp.to_dict(mode="json"))

import OpenAI from "openai";

if (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request");
const client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });
const resp = await client.chat.completions.create({
  model: "meta/llama-3.2-11b-vision-instruct",
  messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }],
});
import { writeFileSync } from "node:fs";

function saveResult(data, stem = "result") {
  writeFileSync(stem + ".json", JSON.stringify(data, null, 2));
  console.log(JSON.stringify(data, null, 2));
  const saveBlob = (encoded, suffix, label) => {
    const raw = Buffer.from(encoded, "base64");
    const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix;
    const file = `${stem}-${label}.${ext}`;
    writeFileSync(file, raw); console.log("Saved", file);
  };
  for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block));
  for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {}));
  for (const [i, item] of (data.output || []).entries()) {
    console.log("Output", i, JSON.stringify(item));
    if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`);
  }
  for (const [ci, candidate] of (data.candidates || []).entries()) {
    for (const [pi, part] of (candidate.content?.parts || []).entries()) {
      console.log("Candidate/part", ci, pi, JSON.stringify(part));
      const blob = part.inlineData || part.inline_data;
      if (blob?.data) {
        const mime = blob.mimeType || blob.mime_type;
        const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin";
        saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);
      }
    }
  }
}

saveResult(resp);

from openai import OpenAI
import os
from pathlib import Path

if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
import base64, json
from pathlib import Path

def save_result(data, stem="result"):
    # Keep every field, including usage, IDs, reasoning and tool requests.
    Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")
    print(json.dumps(data, ensure_ascii=False, indent=2))
    def save_blob(encoded, suffix, label):
        raw = base64.b64decode(encoded, altchars=b"-_", validate=True)
        ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix
        file = Path(stem + "-" + label + "." + ext)
        file.write_bytes(raw)
        print("Saved", file)
    for index, block in enumerate(data.get("content") or []):
        print("Content", index, json.dumps(block, ensure_ascii=False))
    for choice in data.get("choices") or []:
        print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))
    for index, item in enumerate(data.get("output") or []):
        print("Output", index, json.dumps(item, ensure_ascii=False))
        if item.get("type") == "image_generation_call" and item.get("result"):
            save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))
    for ci, candidate in enumerate(data.get("candidates") or []):
        for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):
            print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))
            blob = part.get("inlineData") or part.get("inline_data")
            if blob and blob.get("data"):
                mime = blob.get("mimeType") or blob.get("mime_type")
                suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")
                save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))

with client.chat.completions.stream(model='meta/llama-3.2-11b-vision-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:
    with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:
        for event in stream:
            payload=event.to_dict(mode="json")
            log.write(json.dumps(payload,ensure_ascii=False)+"\n"); log.flush()
            print(json.dumps(payload,ensure_ascii=False))
    final=stream.get_final_completion()
    save_result(final.to_dict(mode="json"),"stream-result")

Receber e guardar os resultados

Ailoot · OpenAI Chat

json ou SSE

Guardar todos os resultados concluídos

Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.

Conserve cada opção com o conteúdo, as chamadas de ferramentas e o raciocínio. Em SSE, junte os deltas por índice de opção e ferramenta e mantenha o motivo final de conclusão e os dados de utilização.

Se for necessário verificar a resposta original

Conserve os ID e cabeçalhos de pedido/resposta. Não é fornecido um URL genérico para obter uma tarefa textual.

Campos da resposta

Campo	Tipo
Campo`choices[].index`	Tipointeger
Campo`choices[].message.content`	Tipostring\|null
Campo`choices[].message.tool_calls`	Tipotool_call[]
Campo`choices[].message.reasoning_content`	Tipostring
Campo`choices[].message.reasoning_details`	Tipoobject\|array
Campo`choices[].finish_reason`	Tipostring\|null
Campo`usage`	Tipoobject

Erros e passos seguintes

Resposta	Condição	Passo seguinte
Resposta400 · `invalid_request_error`	CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos	Passo seguinteCorrija os campos indicados antes de um novo pedido de criação.

Aliases

Aliases do modelo

Ailoot meta/llama-3.2-11b-vision-instruct

Aliases dos caminhos dos métodos

Use os caminhos dos métodos indicados acima.

IDs de chamada relacionados

meta/llama-3.2-11b-vision-instruct

FAQ · meta/llama-3.2-11b-vision-instruct

Que entradas e resultados estão disponíveis?: POST /v1/chat/completions · meta/llama-3.2-11b-vision-instruct: text → text
Que campos utiliza o pedido?: POST /v1/chat/completions · meta/llama-3.2-11b-vision-instruct: model, messages, stream
Que limites se aplicam?: POST /v1/chat/completions · meta/llama-3.2-11b-vision-instruct: ctx: 4096; max_out: 1024; messages.min_items: 1

Llama 3.2 11B Vision Instruct