Llama 3.2 11B Vision er Metas mindre multimodale medlem af Llama 3.2 Vision-samlingen. Modellen kombinerer en Llama 3.1-sproggrundarkitektur med en særskilt trænet visionsadapter. Krydsopmærksomhed forbinder billedencoderens repræsentationer med den autoregressive tekstmodel, så svaret kan bruge visuel dokumentation sammen med den skriftlige opgave. Størrelsesklassen 11B har 10,6 milliarder parametre i Metas konfigurationstabel og bruger grouped-query attention.
Inputtet består af tekst og billeder; outputtet er tekst med en kontekstlængde på 128K tokens. Engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai understøttes officielt til opgaver med kun tekst. Billed- og tekstanvendelser understøttes officielt på engelsk. En flersproget tekstsamtale og et spørgsmål om et billede har derfor forskellige dokumenterede sprogområder.
De fortrænede og instruktionsfinjusterede udgaver tjener forskellige formål. Den fortrænede udgave giver et fundament for tilpasning til billedræsonnement. Den instruktionsfinjusterede udgave bruger superviseret finjustering og forstærkningslæring med menneskelig feedback til at understøtte visuel genkendelse, billedræsonnement, billedtekstning og samtale med billeder. Betegnelsen 11B identificerer denne størrelsesgren; den erstatter ikke valget af finjusteringsudgave.
De tilsigtede visuelle anvendelser omfatter at besvare spørgsmål om fotografier, forstå et dokuments tekst og layout, skrive billedtekster, matche billeder med beskrivelser og forankre sprog i objekter eller områder. En dokumentassistent kan forklare en formular afsnit for afsnit, forbinde en tabel med dens overskrift eller besvare et spørgsmål om den synlige side. En produktarbejdsgang kan beskrive objekterne og relationerne i et fotografi. Ved visuel forankring skal du navngive objektet eller området i spørgsmålet og bede om en forklaring knyttet til det vedlagte billede. Ved billed- og tekstmatchning skal du sammenligne det synlige indhold med kandidatbeskrivelser.
Ved en Ailoot API-opgave skal du koble billedet med en bestemt instruktion og vælge det tekstresultat, du har brug for: en billedtekst, et svar med observationer, en liste over udtrukne detaljer eller en forklaring. Angiv, hvilken del af billedet der er vigtig, og bevar forbindelsen til spørgsmålet, når svaret forbedres. Billedet fungerer som dokumentation for et tekstresultat; Metas eksempler genererer tekst ud fra et billede og en indledende prompt.
Vision-familiens fortræning bruger seks milliarder billed-tekst-par. Instruktionsfinjusteringen kombinerer offentlige visionsinstruktionsdatasæt med mere end tre millioner syntetiske eksempler. Fortræningens skæringsdato er december 2023, og udgivelsen er en statisk model trænet på et offline datasæt. Metas ansvarlighedsarbejde omfatter sikkerhedsfinjustering, adversarial test og værn på systemniveau. De angivne begrænsninger omfatter unøjagtige eller biasprægede svar og en evalueringsdækning, der ikke kan omfatte alle driftsscenarier. Gennemgå de resulterende beskrivelser mod det synlige materiale, og hold observationer adskilt fra fortolkning.
", "aboutText": "Llama 3.2 11B Vision er Metas mindre multimodale medlem af Llama 3.2 Vision-samlingen. Modellen kombinerer en Llama 3.1-sproggrundarkitektur med en særskilt trænet visionsadapter. Krydsopmærksomhed forbinder billedencoderens repræsentationer med den autoregressive tekstmodel, så svaret kan bruge visuel dokumentation sammen med den skriftlige opgave. Størrelsesklassen 11B har 10,6 milliarder parametre i Metas konfigurationstabel og bruger grouped-query attention.\n\nInputtet består af tekst og billeder; outputtet er tekst med en kontekstlængde på 128K tokens. Engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai understøttes officielt til opgaver med kun tekst. Billed- og tekstanvendelser understøttes officielt på engelsk. En flersproget tekstsamtale og et spørgsmål om et billede har derfor forskellige dokumenterede sprogområder.\n\nDe fortrænede og instruktionsfinjusterede udgaver tjener forskellige formål. Den fortrænede udgave giver et fundament for tilpasning til billedræsonnement. Den instruktionsfinjusterede udgave bruger superviseret finjustering og forstærkningslæring med menneskelig feedback til at understøtte visuel genkendelse, billedræsonnement, billedtekstning og samtale med billeder. Betegnelsen 11B identificerer denne størrelsesgren; den erstatter ikke valget af finjusteringsudgave.\n\nDe tilsigtede visuelle anvendelser omfatter at besvare spørgsmål om fotografier, forstå et dokuments tekst og layout, skrive billedtekster, matche billeder med beskrivelser og forankre sprog i objekter eller områder. En dokumentassistent kan forklare en formular afsnit for afsnit, forbinde en tabel med dens overskrift eller besvare et spørgsmål om den synlige side. En produktarbejdsgang kan beskrive objekterne og relationerne i et fotografi. Ved visuel forankring skal du navngive objektet eller området i spørgsmålet og bede om en forklaring knyttet til det vedlagte billede. Ved billed- og tekstmatchning skal du sammenligne det synlige indhold med kandidatbeskrivelser.\n\nVed en Ailoot API-opgave skal du koble billedet med en bestemt instruktion og vælge det tekstresultat, du har brug for: en billedtekst, et svar med observationer, en liste over udtrukne detaljer eller en forklaring. Angiv, hvilken del af billedet der er vigtig, og bevar forbindelsen til spørgsmålet, når svaret forbedres. Billedet fungerer som dokumentation for et tekstresultat; Metas eksempler genererer tekst ud fra et billede og en indledende prompt.\n\nVision-familiens fortræning bruger seks milliarder billed-tekst-par. Instruktionsfinjusteringen kombinerer offentlige visionsinstruktionsdatasæt med mere end tre millioner syntetiske eksempler. Fortræningens skæringsdato er december 2023, og udgivelsen er en statisk model trænet på et offline datasæt. Metas ansvarlighedsarbejde omfatter sikkerhedsfinjustering, adversarial test og værn på systemniveau. De angivne begrænsninger omfatter unøjagtige eller biasprægede svar og en evalueringsdækning, der ikke kan omfatte alle driftsscenarier. Gennemgå de resulterende beskrivelser mod det synlige materiale, og hold observationer adskilt fra fortolkning.", "editorialOverlay": { "copy_fields": { "practical_html": "Teknisk eksempel på engelsk
Match descriptions to a transcribed product view\n\nUse this text description of a product view: one blue mug with a handle, no lid, standing beside a silver spoon. Candidate captions: A, blue lidded travel cup; B, blue handled mug beside a spoon; C, two blue bowls. Select the caption supported by the description and explain each mismatch in the alternatives.One selected caption and a brief evidence comparison for all three candidates.Check that no unmentioned lid or second vessel is added and that the choice uses the supplied text only.llama3.2-11bMetas mindre Llama 3.2 Vision-udgave omdanner billed- og tekstprompter til beskrivelser, dokumentsvar og visuelle forklaringer. Den har et kontekstvindue på 128K med særskilte fortrænede og instruktionsfinjusterede udgaver.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Llama 3.2 11B Vision er Metas mindre multimodale medlem af Llama 3.2 Vision-samlingen. Modellen kombinerer en Llama 3.1-sproggrundarkitektur med en særskilt trænet visionsadapter. Krydsopmærksomhed forbinder billedencoderens repræsentationer med den autoregressive tekstmodel, så svaret kan bruge visuel dokumentation sammen med den skriftlige opgave. Størrelsesklassen 11B har 10,6 milliarder parametre i Metas konfigurationstabel og bruger grouped-query attention.
Inputtet består af tekst og billeder; outputtet er tekst med en kontekstlængde på 128K tokens. Engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai understøttes officielt til opgaver med kun tekst. Billed- og tekstanvendelser understøttes officielt på engelsk. En flersproget tekstsamtale og et spørgsmål om et billede har derfor forskellige dokumenterede sprogområder.
De fortrænede og instruktionsfinjusterede udgaver tjener forskellige formål. Den fortrænede udgave giver et fundament for tilpasning til billedræsonnement. Den instruktionsfinjusterede udgave bruger superviseret finjustering og forstærkningslæring med menneskelig feedback til at understøtte visuel genkendelse, billedræsonnement, billedtekstning og samtale med billeder. Betegnelsen 11B identificerer denne størrelsesgren; den erstatter ikke valget af finjusteringsudgave.
De tilsigtede visuelle anvendelser omfatter at besvare spørgsmål om fotografier, forstå et dokuments tekst og layout, skrive billedtekster, matche billeder med beskrivelser og forankre sprog i objekter eller områder. En dokumentassistent kan forklare en formular afsnit for afsnit, forbinde en tabel med dens overskrift eller besvare et spørgsmål om den synlige side. En produktarbejdsgang kan beskrive objekterne og relationerne i et fotografi. Ved visuel forankring skal du navngive objektet eller området i spørgsmålet og bede om en forklaring knyttet til det vedlagte billede. Ved billed- og tekstmatchning skal du sammenligne det synlige indhold med kandidatbeskrivelser.
Ved en Ailoot API-opgave skal du koble billedet med en bestemt instruktion og vælge det tekstresultat, du har brug for: en billedtekst, et svar med observationer, en liste over udtrukne detaljer eller en forklaring. Angiv, hvilken del af billedet der er vigtig, og bevar forbindelsen til spørgsmålet, når svaret forbedres. Billedet fungerer som dokumentation for et tekstresultat; Metas eksempler genererer tekst ud fra et billede og en indledende prompt.
Vision-familiens fortræning bruger seks milliarder billed-tekst-par. Instruktionsfinjusteringen kombinerer offentlige visionsinstruktionsdatasæt med mere end tre millioner syntetiske eksempler. Fortræningens skæringsdato er december 2023, og udgivelsen er en statisk model trænet på et offline datasæt. Metas ansvarlighedsarbejde omfatter sikkerhedsfinjustering, adversarial test og værn på systemniveau. De angivne begrænsninger omfatter unøjagtige eller biasprægede svar og en evalueringsdækning, der ikke kan omfatte alle driftsscenarier. Gennemgå de resulterende beskrivelser mod det synlige materiale, og hold observationer adskilt fra fortolkning.
POST /v1/chat/completionstexttext| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser llama3.2-11b | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser Minimumsantal elementer: 1 | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser Eksempler: system, user, assistant, tool, function Betingelser: Disse roller er eksplicit repræsenteret i kildekodens kompatibilitetstyper; modellens præcise rollesæt er fortsat modelspecifikt. Afhænger af modellen | Standard— |
Feltmessages[].content | Typestring|content_part[]|null | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_calls | Typetool_call[] | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_call_id | Typestring | KravValgfrit | Værdier og grænser Gælder når: role=tool; brug det faktisk returnerede ID | Standard— |
Feltmessages[].name | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].reasoning_content | Typestring | KravValgfrit | Værdier og grænser Gælder når: Send det faktisk returnerede ræsonnement tilbage, når modellen bruger det | Standard— |
Feltmessages[].reasoning_details | Typeobject|array | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmax_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltmax_completion_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Feltstream_options.include_usage | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttemperature | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttop_p | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltstop | Typestring|string[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools | Typefunction_tool[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools[].type | Typestring | KravValgfrit | Værdier og grænser function Afhænger af modellen | Standard— |
Felttools[].function.name | Typestring | KravPåkrævet | Værdier og grænser Gælder når: funktionsværktøj angivet | Standard— |
Felttools[].function.description | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Felttools[].function.parameters | TypeJSON_schema | KravValgfrit | Værdier og grænser | Standard— |
Felttool_choice | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltparallel_tool_calls | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltresponse_format | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning_effort | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltservice_tier | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltinstructions | Typestring | KravValgfrit | Værdier og grænser Kompatibilitetsfelt | Standard— |
Feltfunctions | Typefunction[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltfunction_call | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltprompt_cache_options | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmodalities | Typestring[] | KravValgfrit | Værdier og grænser text | Standard— |
Feltprovider | Typeobject | KravValgfrit | Værdier og grænser Betingelser: provider.options afvises på denne Ultra-tekstrute | Standard— |
Feltcache_control.ttl | Typestring | KravValgfrit | Værdier og grænser Betingelser: 1h afvises på de faktiske placeringer for promptcaching | Standard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages |
Parametermaterial_types | Kontrakttext |
Parametermessages | Kontraktbeskedarray med strukturen role/content |
Parameterfile_material | Kontraktfaktisk UTF-8-dokument indsat som bogstavelig tekst; intet fil-ID udledes |
Parameteroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontraktmodelspecifikt; brugerens funktionsværktøjer er forskellige fra hostede værktøjer |
Parameteroutput_modalities | Kontrakttext |
Parameterhosted_operations | Kontraktfalse |
Parametermultimodal_input_binding | Kontraktnull |
Livscyklus: synchronous_or_streamed
Send det præcise model-ID med messages.
Kontekstlængde er ikke et outputloft.
En tekstfil kan levere bogstavelig tekst; billed-, lyd- og filobjektinput kræver en præcis binding.
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
| Konfiguration | Takstplan | Beløb |
|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Beløb Input · Inputtokens $0.001 / 1K tokens Output · Outputtokens $0.001 / 1K tokens Input · Cachelæsning $0 / 1K tokens Input · Cacheskrivning $0 / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "llama3.2-11b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='llama3.2-11b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='llama3.2-11b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar hvert valg og dets indhold, værktøjskald og ræsonnement. Saml i SSE deltaer efter valg-/værktøjsindeks, og bevar den endelige afslutningsårsag og forbrugsoplysningerne.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltchoices[].index | Typeinteger |
Feltchoices[].message.content | Typestring|null |
Feltchoices[].message.tool_calls | Typetool_call[] |
Feltchoices[].message.reasoning_content | Typestring |
Feltchoices[].message.reasoning_details | Typeobject|array |
Feltchoices[].finish_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra llama3.2-11b
Brug metodestierne vist ovenfor.
llama3.2-11bMetas mindre Llama 3.2 Vision-udgave omdanner billed- og tekstprompter til beskrivelser, dokumentsvar og visuelle forklaringer. Den har et kontekstvindue på 128K med særskilte fortrænede og instruktionsfinjusterede udgaver.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Llama 3.2 11B Vision er Metas mindre multimodale medlem af Llama 3.2 Vision-samlingen. Modellen kombinerer en Llama 3.1-sproggrundarkitektur med en særskilt trænet visionsadapter. Krydsopmærksomhed forbinder billedencoderens repræsentationer med den autoregressive tekstmodel, så svaret kan bruge visuel dokumentation sammen med den skriftlige opgave. Størrelsesklassen 11B har 10,6 milliarder parametre i Metas konfigurationstabel og bruger grouped-query attention.
Inputtet består af tekst og billeder; outputtet er tekst med en kontekstlængde på 128K tokens. Engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai understøttes officielt til opgaver med kun tekst. Billed- og tekstanvendelser understøttes officielt på engelsk. En flersproget tekstsamtale og et spørgsmål om et billede har derfor forskellige dokumenterede sprogområder.
De fortrænede og instruktionsfinjusterede udgaver tjener forskellige formål. Den fortrænede udgave giver et fundament for tilpasning til billedræsonnement. Den instruktionsfinjusterede udgave bruger superviseret finjustering og forstærkningslæring med menneskelig feedback til at understøtte visuel genkendelse, billedræsonnement, billedtekstning og samtale med billeder. Betegnelsen 11B identificerer denne størrelsesgren; den erstatter ikke valget af finjusteringsudgave.
De tilsigtede visuelle anvendelser omfatter at besvare spørgsmål om fotografier, forstå et dokuments tekst og layout, skrive billedtekster, matche billeder med beskrivelser og forankre sprog i objekter eller områder. En dokumentassistent kan forklare en formular afsnit for afsnit, forbinde en tabel med dens overskrift eller besvare et spørgsmål om den synlige side. En produktarbejdsgang kan beskrive objekterne og relationerne i et fotografi. Ved visuel forankring skal du navngive objektet eller området i spørgsmålet og bede om en forklaring knyttet til det vedlagte billede. Ved billed- og tekstmatchning skal du sammenligne det synlige indhold med kandidatbeskrivelser.
Ved en Ailoot API-opgave skal du koble billedet med en bestemt instruktion og vælge det tekstresultat, du har brug for: en billedtekst, et svar med observationer, en liste over udtrukne detaljer eller en forklaring. Angiv, hvilken del af billedet der er vigtig, og bevar forbindelsen til spørgsmålet, når svaret forbedres. Billedet fungerer som dokumentation for et tekstresultat; Metas eksempler genererer tekst ud fra et billede og en indledende prompt.
Vision-familiens fortræning bruger seks milliarder billed-tekst-par. Instruktionsfinjusteringen kombinerer offentlige visionsinstruktionsdatasæt med mere end tre millioner syntetiske eksempler. Fortræningens skæringsdato er december 2023, og udgivelsen er en statisk model trænet på et offline datasæt. Metas ansvarlighedsarbejde omfatter sikkerhedsfinjustering, adversarial test og værn på systemniveau. De angivne begrænsninger omfatter unøjagtige eller biasprægede svar og en evalueringsdækning, der ikke kan omfatte alle driftsscenarier. Gennemgå de resulterende beskrivelser mod det synlige materiale, og hold observationer adskilt fra fortolkning.
POST /v1/messagestextjson, sse| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser llama3.2-11b | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser user, assistant | Standard— |
Feltmessages[].content | Typestring | KravPåkrævet | Værdier og grænser | Standard— |
Feltmax_tokens | Typeinteger | KravPåkrævet | Værdier og grænser | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Tekst · UTF-8-tekst
messages[].content som streng
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages, max_tokens |
Parameteroptional_controls | Kontraktstream |
Parametermaterial_types | Kontrakttext |
Parametertext_file_material | KontraktLæs det faktiske UTF-8-dokument, og indsæt teksten i det angivne input eller beskedens indholdsstreng. |
Livscyklus: synchronous_or_streamed
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
| Konfiguration | Takstplan | Beløb |
|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Beløb Input · Inputtokens $0.001 / 1K tokens Output · Outputtokens $0.001 / 1K tokens Input · Cachelæsning $0 / 1K tokens Input · Cacheskrivning $0 / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
{\n "model": "llama3.2-11b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'llama3.2-11b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'llama3.2-11b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar alle indholdsblokke, ræsonnementssignaturer og faktiske værktøjsbrugs-ID’er. Saml alle SSE-blokdeltaer; den første tekstblok er ikke hele outputtet.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltid | Typestring |
Feltmodel | Typestring |
Feltcontent[] | Typetext|thinking|tool_use|other content block |
Feltstop_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra llama3.2-11b
Brug metodestierne vist ovenfor.
Teknisk eksempel på engelsk
Match descriptions to a transcribed product view\n\nUse this text description of a product view: one blue mug with a handle, no lid, standing beside a silver spoon. Candidate captions: A, blue lidded travel cup; B, blue handled mug beside a spoon; C, two blue bowls. Select the caption supported by the description and explain each mismatch in the alternatives.One selected caption and a brief evidence comparison for all three candidates.Check that no unmentioned lid or second vessel is added and that the choice uses the supplied text only.