Llama 3.2 11B Vision – mažesnis daugiarūšis Meta Llama 3.2 Vision rinkinio narys. Modelis derina pagrindinį Llama 3.1 kalbos tinklą su atskirai mokytu regos adapteriu. Kryžminis dėmesys susieja vaizdo koduotuvo reprezentacijas su autoregresiniu teksto modeliu, todėl atsakymas gali naudoti vizualinius įrodymus kartu su rašytine užduotimi. 11B dydžio klasė Meta konfigūracijos lentelėje turi 10.6 milijardo parametrų ir naudoja sugrupuotų užklausų dėmesio mechanizmą.
Jo įvestį sudaro tekstas ir vaizdai; išvestis yra tekstas, o konteksto ilgis – 128K žetonų. Užduotims, kuriose naudojamas vien tekstas, oficialiai palaikomos anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų ir tajų kalbos. Vaizdų ir teksto taikymai oficialiai palaikomi anglų kalba. Todėl daugiakalbis tekstinis pokalbis ir klausimas apie vaizdą turi skirtingas dokumentuotas kalbų apimtis.
Iš anksto mokyti ir pagal nurodymus pritaikyti leidimai turi skirtingas paskirtis. Iš anksto mokytas leidimas suteikia pagrindą pritaikyti samprotavimui apie vaizdus. Pagal nurodymus pritaikytas leidimas naudoja prižiūrimąjį tikslinimą ir mokymąsi su pastiprinimu pagal žmonių grįžtamąjį ryšį, kad palaikytų vizualinį atpažinimą, samprotavimą apie vaizdus, vaizdų aprašų kūrimą ir pokalbius su vaizdais. 11B žyma nurodo šią dydžio šaką; ji nepakeičia pritaikymo leidimo pasirinkimo.
Numatyti vizualiniai taikymai apima atsakymus į klausimus apie nuotraukas, dokumento teksto ir išdėstymo supratimą, vaizdų aprašų rašymą, paveikslų susiejimą su aprašymais ir kalbos susiejimą su objektais ar sritimis. Dokumentų asistentas gali paaiškinti formą dalis po dalies, susieti lentelę su jos antrašte arba atsakyti į klausimą apie matomą puslapį. Gaminio darbo eiga gali aprašyti nuotraukoje esančius objektus ir jų ryšius. Vizualiniam susiejimui klausime įvardykite objektą ar sritį ir prašykite su pateiktu vaizdu susieto paaiškinimo. Vaizdo ir teksto atitikimo užduotyse lyginkite matomą turinį su kandidatiniais aprašymais.
Ailoot API užduotyje sujunkite vaizdą su konkrečiu nurodymu ir pasirinkite reikiamą tekstinį artefaktą: vaizdo aprašą, atsakymą su pastebėjimais, išgautų detalių sąrašą ar paaiškinimą. Nurodykite, kuri vaizdo dalis svarbi, ir tikslindami atsakymą išsaugokite jos ryšį su klausimu. Vaizdas yra įrodymas tekstiniam rezultatui; Meta pavyzdžiai generuoja tekstą iš vaizdo ir pradinės užklausos.
Vision šeimos išankstinis mokymas naudoja šešis milijardus vaizdo ir teksto porų. Pritaikymas pagal nurodymus derina viešus regos nurodymų duomenų rinkinius su daugiau nei trimis milijonais sintetinių pavyzdžių. Išankstinio mokymo riba yra 2023 m. gruodis, o leidimas yra statinis modelis, mokytas su neprijungtu duomenų rinkiniu. Meta atsakingo naudojimo darbas apima saugos tikslinimą, priešiškus bandymus ir sistemos lygmens apsaugas. Tarp nurodytų ribotumų yra netikslūs ar šališki atsakymai ir vertinimo aprėptis, negalinti apimti kiekvieno diegimo scenarijaus. Peržiūrėkite gautus aprašymus pagal matomą medžiagą ir atskirkite pastebėjimus nuo interpretacijos.
", "aboutText": "Llama 3.2 11B Vision – mažesnis daugiarūšis Meta Llama 3.2 Vision rinkinio narys. Modelis derina pagrindinį Llama 3.1 kalbos tinklą su atskirai mokytu regos adapteriu. Kryžminis dėmesys susieja vaizdo koduotuvo reprezentacijas su autoregresiniu teksto modeliu, todėl atsakymas gali naudoti vizualinius įrodymus kartu su rašytine užduotimi. 11B dydžio klasė Meta konfigūracijos lentelėje turi 10.6 milijardo parametrų ir naudoja sugrupuotų užklausų dėmesio mechanizmą.\n\nJo įvestį sudaro tekstas ir vaizdai; išvestis yra tekstas, o konteksto ilgis – 128K žetonų. Užduotims, kuriose naudojamas vien tekstas, oficialiai palaikomos anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų ir tajų kalbos. Vaizdų ir teksto taikymai oficialiai palaikomi anglų kalba. Todėl daugiakalbis tekstinis pokalbis ir klausimas apie vaizdą turi skirtingas dokumentuotas kalbų apimtis.\n\nIš anksto mokyti ir pagal nurodymus pritaikyti leidimai turi skirtingas paskirtis. Iš anksto mokytas leidimas suteikia pagrindą pritaikyti samprotavimui apie vaizdus. Pagal nurodymus pritaikytas leidimas naudoja prižiūrimąjį tikslinimą ir mokymąsi su pastiprinimu pagal žmonių grįžtamąjį ryšį, kad palaikytų vizualinį atpažinimą, samprotavimą apie vaizdus, vaizdų aprašų kūrimą ir pokalbius su vaizdais. 11B žyma nurodo šią dydžio šaką; ji nepakeičia pritaikymo leidimo pasirinkimo.\n\nNumatyti vizualiniai taikymai apima atsakymus į klausimus apie nuotraukas, dokumento teksto ir išdėstymo supratimą, vaizdų aprašų rašymą, paveikslų susiejimą su aprašymais ir kalbos susiejimą su objektais ar sritimis. Dokumentų asistentas gali paaiškinti formą dalis po dalies, susieti lentelę su jos antrašte arba atsakyti į klausimą apie matomą puslapį. Gaminio darbo eiga gali aprašyti nuotraukoje esančius objektus ir jų ryšius. Vizualiniam susiejimui klausime įvardykite objektą ar sritį ir prašykite su pateiktu vaizdu susieto paaiškinimo. Vaizdo ir teksto atitikimo užduotyse lyginkite matomą turinį su kandidatiniais aprašymais.\n\nAiloot API užduotyje sujunkite vaizdą su konkrečiu nurodymu ir pasirinkite reikiamą tekstinį artefaktą: vaizdo aprašą, atsakymą su pastebėjimais, išgautų detalių sąrašą ar paaiškinimą. Nurodykite, kuri vaizdo dalis svarbi, ir tikslindami atsakymą išsaugokite jos ryšį su klausimu. Vaizdas yra įrodymas tekstiniam rezultatui; Meta pavyzdžiai generuoja tekstą iš vaizdo ir pradinės užklausos.\n\nVision šeimos išankstinis mokymas naudoja šešis milijardus vaizdo ir teksto porų. Pritaikymas pagal nurodymus derina viešus regos nurodymų duomenų rinkinius su daugiau nei trimis milijonais sintetinių pavyzdžių. Išankstinio mokymo riba yra 2023 m. gruodis, o leidimas yra statinis modelis, mokytas su neprijungtu duomenų rinkiniu. Meta atsakingo naudojimo darbas apima saugos tikslinimą, priešiškus bandymus ir sistemos lygmens apsaugas. Tarp nurodytų ribotumų yra netikslūs ar šališki atsakymai ir vertinimo aprėptis, negalinti apimti kiekvieno diegimo scenarijaus. Peržiūrėkite gautus aprašymus pagal matomą medžiagą ir atskirkite pastebėjimus nuo interpretacijos.", "editorialOverlay": { "copy_fields": { "practical_html": "Techninis pavyzdys anglų kalba
Match descriptions to a transcribed product view\n\nUse this text description of a product view: one blue mug with a handle, no lid, standing beside a silver spoon. Candidate captions: A, blue lidded travel cup; B, blue handled mug beside a spoon; C, two blue bowls. Select the caption supported by the description and explain each mismatch in the alternatives.One selected caption and a brief evidence comparison for all three candidates.Check that no unmentioned lid or second vessel is added and that the choice uses the supplied text only.llama3.2-11bMažesnis Meta Llama 3.2 Vision leidimas vaizdo ir teksto užklausas paverčia aprašymais, atsakymais apie dokumentus ir vizualiniais paaiškinimais. Jis turi 128K konteksto langą ir atskirus iš anksto mokytus bei pagal nurodymus pritaikytus leidimus.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Llama 3.2 11B Vision – mažesnis daugiarūšis Meta Llama 3.2 Vision rinkinio narys. Modelis derina pagrindinį Llama 3.1 kalbos tinklą su atskirai mokytu regos adapteriu. Kryžminis dėmesys susieja vaizdo koduotuvo reprezentacijas su autoregresiniu teksto modeliu, todėl atsakymas gali naudoti vizualinius įrodymus kartu su rašytine užduotimi. 11B dydžio klasė Meta konfigūracijos lentelėje turi 10.6 milijardo parametrų ir naudoja sugrupuotų užklausų dėmesio mechanizmą.
Jo įvestį sudaro tekstas ir vaizdai; išvestis yra tekstas, o konteksto ilgis – 128K žetonų. Užduotims, kuriose naudojamas vien tekstas, oficialiai palaikomos anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų ir tajų kalbos. Vaizdų ir teksto taikymai oficialiai palaikomi anglų kalba. Todėl daugiakalbis tekstinis pokalbis ir klausimas apie vaizdą turi skirtingas dokumentuotas kalbų apimtis.
Iš anksto mokyti ir pagal nurodymus pritaikyti leidimai turi skirtingas paskirtis. Iš anksto mokytas leidimas suteikia pagrindą pritaikyti samprotavimui apie vaizdus. Pagal nurodymus pritaikytas leidimas naudoja prižiūrimąjį tikslinimą ir mokymąsi su pastiprinimu pagal žmonių grįžtamąjį ryšį, kad palaikytų vizualinį atpažinimą, samprotavimą apie vaizdus, vaizdų aprašų kūrimą ir pokalbius su vaizdais. 11B žyma nurodo šią dydžio šaką; ji nepakeičia pritaikymo leidimo pasirinkimo.
Numatyti vizualiniai taikymai apima atsakymus į klausimus apie nuotraukas, dokumento teksto ir išdėstymo supratimą, vaizdų aprašų rašymą, paveikslų susiejimą su aprašymais ir kalbos susiejimą su objektais ar sritimis. Dokumentų asistentas gali paaiškinti formą dalis po dalies, susieti lentelę su jos antrašte arba atsakyti į klausimą apie matomą puslapį. Gaminio darbo eiga gali aprašyti nuotraukoje esančius objektus ir jų ryšius. Vizualiniam susiejimui klausime įvardykite objektą ar sritį ir prašykite su pateiktu vaizdu susieto paaiškinimo. Vaizdo ir teksto atitikimo užduotyse lyginkite matomą turinį su kandidatiniais aprašymais.
Ailoot API užduotyje sujunkite vaizdą su konkrečiu nurodymu ir pasirinkite reikiamą tekstinį artefaktą: vaizdo aprašą, atsakymą su pastebėjimais, išgautų detalių sąrašą ar paaiškinimą. Nurodykite, kuri vaizdo dalis svarbi, ir tikslindami atsakymą išsaugokite jos ryšį su klausimu. Vaizdas yra įrodymas tekstiniam rezultatui; Meta pavyzdžiai generuoja tekstą iš vaizdo ir pradinės užklausos.
Vision šeimos išankstinis mokymas naudoja šešis milijardus vaizdo ir teksto porų. Pritaikymas pagal nurodymus derina viešus regos nurodymų duomenų rinkinius su daugiau nei trimis milijonais sintetinių pavyzdžių. Išankstinio mokymo riba yra 2023 m. gruodis, o leidimas yra statinis modelis, mokytas su neprijungtu duomenų rinkiniu. Meta atsakingo naudojimo darbas apima saugos tikslinimą, priešiškus bandymus ir sistemos lygmens apsaugas. Tarp nurodytų ribotumų yra netikslūs ar šališki atsakymai ir vertinimo aprėptis, negalinti apimti kiekvieno diegimo scenarijaus. Peržiūrėkite gautus aprašymus pagal matomą medžiagą ir atskirkite pastebėjimus nuo interpretacijos.
POST /v1/chat/completionstexttext| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos llama3.2-11b | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Pavyzdžiai: system, user, assistant, tool, function Sąlygos: Šie vaidmenys aiškiai išreikšti šaltinio kodo suderinamumo tipuose; tikslus vaidmenų rinkinys priklauso nuo konkretaus modelio. Priklauso nuo modelio | Numatyta— |
Laukasmessages[].content | Tipasstring|content_part[]|null | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_calls | Tipastool_call[] | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_call_id | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: role=tool; naudokite tikrąjį grąžintą ID | Numatyta— |
Laukasmessages[].name | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].reasoning_content | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: Grąžinkite tikrąjį gautą samprotavimą ten, kur šis modelis jį naudoja | Numatyta— |
Laukasmessages[].reasoning_details | Tipasobject|array | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasmax_completion_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Laukasstream_options.include_usage | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastemperature | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastop_p | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasstop | Tipasstring|string[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools | Tipasfunction_tool[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools[].type | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos function Priklauso nuo modelio | Numatyta— |
Laukastools[].function.name | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Taikoma, kai: pateiktas funkcijos tipo įrankis | Numatyta— |
Laukastools[].function.description | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastools[].function.parameters | TipasJSON_schema | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastool_choice | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasparallel_tool_calls | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasresponse_format | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning_effort | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasservice_tier | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasinstructions | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Suderinamumo laukas | Numatyta— |
Laukasfunctions | Tipasfunction[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasfunction_call | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasprompt_cache_options | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmodalities | Tipasstring[] | ReikalavimasNeprivaloma | Reikšmės ir ribos text | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options šiame Ultra teksto maršrute atmetamas | Numatyta— |
Laukascache_control.ttl | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: 1h atmetamas tikrosiose užklausų podėlio vietose | Numatyta— |
Tekstas · UTF8 tekstas
messages[].content
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages |
Parametrasmaterial_types | Specifikacijatext |
Parametrasmessages | Specifikacijapranešimų masyvas su role/content struktūra |
Parametrasfile_material | Specifikacijatikrasis UTF-8 dokumentas įterptas kaip pažodinis tekstas; failo ID nenumanomas |
Parametrasoptional_controls | Specifikacijastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrascontrol_scope | Specifikacijapriklauso nuo modelio; naudotojo funkcijų įrankiai skiriasi nuo priglobtų įrankių |
Parametrasoutput_modalities | Specifikacijatext |
Parametrashosted_operations | Specifikacijafalse |
Parametrasmultimodal_input_binding | Specifikacijanull |
Gyvavimo ciklas: synchronous_or_streamed
Siųskite tikslų modelio ID kartu su messages.
Konteksto ilgis nėra išvesties limitas.
Teksto failas gali pateikti pažodinį tekstą; vaizdų / garso / failų objektų įvestims reikia tikslaus susiejimo.
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.001 / 1K tokenų Išvestis · Išvesties tokenai $0.001 / 1K tokenų Įvestis · Talpyklos skaitymas $0 / 1K tokenų Įvestis · Rašymas į talpyklą $0 / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "llama3.2-11b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='llama3.2-11b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='llama3.2-11b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną variantą ir jo turinį / įrankių iškvietimus / samprotavimą. SSE prieaugius surinkite pagal varianto / įrankio indeksą; išsaugokite galutinę užbaigimo priežastį ir naudojimo duomenis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukaschoices[].index | Tipasinteger |
Laukaschoices[].message.content | Tipasstring|null |
Laukaschoices[].message.tool_calls | Tipastool_call[] |
Laukaschoices[].message.reasoning_content | Tipasstring |
Laukaschoices[].message.reasoning_details | Tipasobject|array |
Laukaschoices[].finish_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra llama3.2-11b
Naudokite aukščiau nurodytus metodų kelius.
llama3.2-11bMažesnis Meta Llama 3.2 Vision leidimas vaizdo ir teksto užklausas paverčia aprašymais, atsakymais apie dokumentus ir vizualiniais paaiškinimais. Jis turi 128K konteksto langą ir atskirus iš anksto mokytus bei pagal nurodymus pritaikytus leidimus.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Llama 3.2 11B Vision – mažesnis daugiarūšis Meta Llama 3.2 Vision rinkinio narys. Modelis derina pagrindinį Llama 3.1 kalbos tinklą su atskirai mokytu regos adapteriu. Kryžminis dėmesys susieja vaizdo koduotuvo reprezentacijas su autoregresiniu teksto modeliu, todėl atsakymas gali naudoti vizualinius įrodymus kartu su rašytine užduotimi. 11B dydžio klasė Meta konfigūracijos lentelėje turi 10.6 milijardo parametrų ir naudoja sugrupuotų užklausų dėmesio mechanizmą.
Jo įvestį sudaro tekstas ir vaizdai; išvestis yra tekstas, o konteksto ilgis – 128K žetonų. Užduotims, kuriose naudojamas vien tekstas, oficialiai palaikomos anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų ir tajų kalbos. Vaizdų ir teksto taikymai oficialiai palaikomi anglų kalba. Todėl daugiakalbis tekstinis pokalbis ir klausimas apie vaizdą turi skirtingas dokumentuotas kalbų apimtis.
Iš anksto mokyti ir pagal nurodymus pritaikyti leidimai turi skirtingas paskirtis. Iš anksto mokytas leidimas suteikia pagrindą pritaikyti samprotavimui apie vaizdus. Pagal nurodymus pritaikytas leidimas naudoja prižiūrimąjį tikslinimą ir mokymąsi su pastiprinimu pagal žmonių grįžtamąjį ryšį, kad palaikytų vizualinį atpažinimą, samprotavimą apie vaizdus, vaizdų aprašų kūrimą ir pokalbius su vaizdais. 11B žyma nurodo šią dydžio šaką; ji nepakeičia pritaikymo leidimo pasirinkimo.
Numatyti vizualiniai taikymai apima atsakymus į klausimus apie nuotraukas, dokumento teksto ir išdėstymo supratimą, vaizdų aprašų rašymą, paveikslų susiejimą su aprašymais ir kalbos susiejimą su objektais ar sritimis. Dokumentų asistentas gali paaiškinti formą dalis po dalies, susieti lentelę su jos antrašte arba atsakyti į klausimą apie matomą puslapį. Gaminio darbo eiga gali aprašyti nuotraukoje esančius objektus ir jų ryšius. Vizualiniam susiejimui klausime įvardykite objektą ar sritį ir prašykite su pateiktu vaizdu susieto paaiškinimo. Vaizdo ir teksto atitikimo užduotyse lyginkite matomą turinį su kandidatiniais aprašymais.
Ailoot API užduotyje sujunkite vaizdą su konkrečiu nurodymu ir pasirinkite reikiamą tekstinį artefaktą: vaizdo aprašą, atsakymą su pastebėjimais, išgautų detalių sąrašą ar paaiškinimą. Nurodykite, kuri vaizdo dalis svarbi, ir tikslindami atsakymą išsaugokite jos ryšį su klausimu. Vaizdas yra įrodymas tekstiniam rezultatui; Meta pavyzdžiai generuoja tekstą iš vaizdo ir pradinės užklausos.
Vision šeimos išankstinis mokymas naudoja šešis milijardus vaizdo ir teksto porų. Pritaikymas pagal nurodymus derina viešus regos nurodymų duomenų rinkinius su daugiau nei trimis milijonais sintetinių pavyzdžių. Išankstinio mokymo riba yra 2023 m. gruodis, o leidimas yra statinis modelis, mokytas su neprijungtu duomenų rinkiniu. Meta atsakingo naudojimo darbas apima saugos tikslinimą, priešiškus bandymus ir sistemos lygmens apsaugas. Tarp nurodytų ribotumų yra netikslūs ar šališki atsakymai ir vertinimo aprėptis, negalinti apimti kiekvieno diegimo scenarijaus. Peržiūrėkite gautus aprašymus pagal matomą medžiagą ir atskirkite pastebėjimus nuo interpretacijos.
POST /v1/messagestextjson, sse| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos llama3.2-11b | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos user, assistant | Numatyta— |
Laukasmessages[].content | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Tekstas · UTF-8 tekstas
messages[].content eilutė
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages, max_tokens |
Parametrasoptional_controls | Specifikacijastream |
Parametrasmaterial_types | Specifikacijatext |
Parametrastext_file_material | SpecifikacijaPerskaitykite tikrąjį UTF-8 dokumentą ir įterpkite jo tekstą į nurodytą input lauką arba pranešimo turinio eilutę. |
Gyvavimo ciklas: synchronous_or_streamed
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.001 / 1K tokenų Išvestis · Išvesties tokenai $0.001 / 1K tokenų Įvestis · Talpyklos skaitymas $0 / 1K tokenų Įvestis · Rašymas į talpyklą $0 / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
{\n "model": "llama3.2-11b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'llama3.2-11b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'llama3.2-11b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visus turinio blokus, mąstymo parašus ir tikruosius įrankių naudojimo ID. Surinkite visus SSE blokų prieaugius; pirmasis teksto blokas nėra visa išvestis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukasid | Tipasstring |
Laukasmodel | Tipasstring |
Laukascontent[] | Tipastext|thinking|tool_use|other content block |
Laukasstop_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra llama3.2-11b
Naudokite aukščiau nurodytus metodų kelius.
Techninis pavyzdys anglų kalba
Match descriptions to a transcribed product view\n\nUse this text description of a product view: one blue mug with a handle, no lid, standing beside a silver spoon. Candidate captions: A, blue lidded travel cup; B, blue handled mug beside a spoon; C, two blue bowls. Select the caption supported by the description and explain each mismatch in the alternatives.One selected caption and a brief evidence comparison for all three candidates.Check that no unmentioned lid or second vessel is added and that the choice uses the supplied text only.