{ "aboutHtml": "

Ұзақ процестің жұмыс моделі

Nemotron 3.5 Lightning автономды агенттерге және бірнеше қадам бойы жалғасатын әрекет тізбектеріне арналған. Ол диалог көмекшілерінде, құжаттарға сүйенген іздеуде және нұсқауларды орындауда да қолданылады. Кіріс пен шығыс мәтіндік.

Архитектурасы және контекст

Гибридті сарапшылар қоспасы Mamba-2 мен жеке назар қабаттарын біріктіреді. Модельде жалпы 30 млрд параметр бар, әр токенге 3 млрд белсенді. Контекст миллион токенге дейін жетеді.

Бірнеше келесі токенді болжау қабаттары өз ұсыныстарын негізгі модель үлестірімімен үйлестіруге қосымша үйретіледі. Шығарылыммен бірге спекулятивті декодтау тәсілдері ұсынылған. Олар генерацияны ұйымдастыруға көмектеседі, бірақ сұраудың кепілдендірілген жылдамдығын белгілемейді.

Даярлықтың бес кезеңі

Код, математика, ғылым және жалпы білімнің 20 трлн-нан астам токені бойынша NVFP4 форматындағы даярлықпен алдын ала үйрету.
Бірнеше болашақ токенді болжау қабаттарын алдын ала үйретуді жалғастыру: олардың ұсыныстары негізгі модель үлестірімімен үйлеседі.
Нұсқауларды, құрал шақыруларын, құрылымды нәтижелерді, алыс үзінділерді іздеуді және құжаттарды біріктіруді қамтитын мысалдар бойынша үйрету.
Пайымдау, код, ғылым, көп қадамды құрал тапсырмалары және диалог үшін бірнеше ортада нығайтпалы оқыту.
Жарияланған нұсқаны кейін сандық сығу.

Соңғы кезең өндірушінің нақты шығарылымын сипаттайды және қызмет көрсетілетін сұраудың есептеу дәлдігін белгілемейді. Сыртқы процесте модель әрекеттер мен мәтіндік нәтиже ұсынады; құралдарды қолданба орындайды.

Тілдер және нұсқалар

Ресми түрде ағылшын, испан, француз, неміс, итальян және жапон тілдері, сондай-ақ бағдарламалау тілдері тізілген. Алдын ала үйрету үшін деректер кесімі 2025 жылғы қыркүйекке дейін, кейінгі үйрету үшін 2026 жылғы мамырға дейін деп көрсетілген.

Сандық сығуы бар жарияланған шығарылым сипаттамалары дәл осы нұсқаны сипаттайды. Модель атауынан нақты орындалудың есептеу дәлдігін анықтауға болмайды. Миллион токен — шығыс ұзындығының жеке уәдесі емес, жалпы контекст.

", "aboutText": "### Ұзақ процестің жұмыс моделі\n\nNemotron 3.5 Lightning автономды агенттерге және бірнеше қадам бойы жалғасатын әрекет тізбектеріне арналған. Ол диалог көмекшілерінде, құжаттарға сүйенген іздеуде және нұсқауларды орындауда да қолданылады. Кіріс пен шығыс мәтіндік.\n\n### Архитектурасы және контекст\n\nГибридті сарапшылар қоспасы Mamba-2 мен жеке назар қабаттарын біріктіреді. Модельде жалпы 30 млрд параметр бар, әр токенге 3 млрд белсенді. Контекст миллион токенге дейін жетеді.\n\nБірнеше келесі токенді болжау қабаттары өз ұсыныстарын негізгі модель үлестірімімен үйлестіруге қосымша үйретіледі. Шығарылыммен бірге спекулятивті декодтау тәсілдері ұсынылған. Олар генерацияны ұйымдастыруға көмектеседі, бірақ сұраудың кепілдендірілген жылдамдығын белгілемейді.\n\n### Даярлықтың бес кезеңі\n\n1. Код, математика, ғылым және жалпы білімнің 20 трлн-нан астам токені бойынша NVFP4 форматындағы даярлықпен алдын ала үйрету.\n2. Бірнеше болашақ токенді болжау қабаттарын алдын ала үйретуді жалғастыру: олардың ұсыныстары негізгі модель үлестірімімен үйлеседі.\n3. Нұсқауларды, құрал шақыруларын, құрылымды нәтижелерді, алыс үзінділерді іздеуді және құжаттарды біріктіруді қамтитын мысалдар бойынша үйрету.\n4. Пайымдау, код, ғылым, көп қадамды құрал тапсырмалары және диалог үшін бірнеше ортада нығайтпалы оқыту.\n5. Жарияланған нұсқаны кейін сандық сығу.\n\nСоңғы кезең өндірушінің нақты шығарылымын сипаттайды және қызмет көрсетілетін сұраудың есептеу дәлдігін белгілемейді. Сыртқы процесте модель әрекеттер мен мәтіндік нәтиже ұсынады; құралдарды қолданба орындайды.\n\n### Тілдер және нұсқалар\n\nРесми түрде ағылшын, испан, француз, неміс, итальян және жапон тілдері, сондай-ақ бағдарламалау тілдері тізілген. Алдын ала үйрету үшін деректер кесімі 2025 жылғы қыркүйекке дейін, кейінгі үйрету үшін 2026 жылғы мамырға дейін деп көрсетілген.\n\nСандық сығуы бар жарияланған шығарылым сипаттамалары дәл осы нұсқаны сипаттайды. Модель атауынан нақты орындалудың есептеу дәлдігін анықтауға болмайды. Миллион токен — шығыс ұзындығының жеке уәдесі емес, жалпы контекст.", "editorialOverlay": { "copy_fields": { "practical_html": "

Практикалық тапсырма

Ағылшын тіліндегі техникалық мысал

Apply a document-grounded procedure\n\nUse these procedure excerpts to draft the next action for case C-09. [Rule 1] Packages with a damaged seal go to inspection. [Rule 2] Only inspection-cleared packages enter stock. [Record] C-09 has a damaged seal and no inspection result. Return the current permitted step, blocked step and supporting rule labels.

Күтілетін нәтиже

Three concise fields covering the permitted inspection step, blocked stocking and source evidence.

Нәтижені тексеру

Check that missing inspection clearance prevents stocking and does not become an assumed failed inspection.

" }, "copy_sha256": "0513a0253086fa3560a953451b804d4e16e62873453a51ae4bde04778f03e431", "copy_source": { "locale": "kk", "pack_sha256": "0f56d90ba41881e1134accf82e57338f246f8753ca4c0cee929aaffada5d10e7", "record_model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "source_facts_sha256": "e8f78703db2b138f3905689ee8ddec043d89f423c7b74ce24a86e132aa2a504f", "validation_sha256": "a2ac2f28056280fc0b2ea34a501bf156d5ce155406e57e708edf30bfdf6bfdc6" }, "html_sha256": "e9ae5cece4562250fa7ebdb49a7f0ac971b56370c22c122dce158fa201a02589", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "kk", "methods": [ { "html": "

NV

Nemotron 3.5 Lightning 30B A3B

NVIDIA /nvidia/nemotron-3.5-lightning-30b-a3b

Бастау

Nemotron 3.5 Lightning — ұзақ агенттік тапсырмаларға, бағдарламалауға, құжаттардан іздеуге және диалогқа арналған NVIDIA мәтіндік моделі.

Қабылданатын кіріс деректері: Мәтін
Нәтижелер: Мәтін

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

Ұзақ процестің жұмыс моделі

Nemotron 3.5 Lightning автономды агенттерге және бірнеше қадам бойы жалғасатын әрекет тізбектеріне арналған. Ол диалог көмекшілерінде, құжаттарға сүйенген іздеуде және нұсқауларды орындауда да қолданылады. Кіріс пен шығыс мәтіндік.

Архитектурасы және контекст

Гибридті сарапшылар қоспасы Mamba-2 мен жеке назар қабаттарын біріктіреді. Модельде жалпы 30 млрд параметр бар, әр токенге 3 млрд белсенді. Контекст миллион токенге дейін жетеді.

Бірнеше келесі токенді болжау қабаттары өз ұсыныстарын негізгі модель үлестірімімен үйлестіруге қосымша үйретіледі. Шығарылыммен бірге спекулятивті декодтау тәсілдері ұсынылған. Олар генерацияны ұйымдастыруға көмектеседі, бірақ сұраудың кепілдендірілген жылдамдығын белгілемейді.

Даярлықтың бес кезеңі

Код, математика, ғылым және жалпы білімнің 20 трлн-нан астам токені бойынша NVFP4 форматындағы даярлықпен алдын ала үйрету.
Бірнеше болашақ токенді болжау қабаттарын алдын ала үйретуді жалғастыру: олардың ұсыныстары негізгі модель үлестірімімен үйлеседі.
Нұсқауларды, құрал шақыруларын, құрылымды нәтижелерді, алыс үзінділерді іздеуді және құжаттарды біріктіруді қамтитын мысалдар бойынша үйрету.
Пайымдау, код, ғылым, көп қадамды құрал тапсырмалары және диалог үшін бірнеше ортада нығайтпалы оқыту.
Жарияланған нұсқаны кейін сандық сығу.

Соңғы кезең өндірушінің нақты шығарылымын сипаттайды және қызмет көрсетілетін сұраудың есептеу дәлдігін белгілемейді. Сыртқы процесте модель әрекеттер мен мәтіндік нәтиже ұсынады; құралдарды қолданба орындайды.

Тілдер және нұсқалар

Ресми түрде ағылшын, испан, француз, неміс, итальян және жапон тілдері, сондай-ақ бағдарламалау тілдері тізілген. Алдын ала үйрету үшін деректер кесімі 2025 жылғы қыркүйекке дейін, кейінгі үйрету үшін 2026 жылғы мамырға дейін деп көрсетілген.

Сандық сығуы бар жарияланған шығарылым сипаттамалары дәл осы нұсқаны сипаттайды. Модель атауынан нақты орындалудың есептеу дәлдігін анықтауға болмайды. Миллион токен — шығыс ұзындығының жеке уәдесі емес, жалпы контекст.

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot · Anthropic хабарламалары POST /v1/messages

Кіріс: text
Шығыс: text
Контекст: 262 144 tokens
Ең үлкен шығыс: 32 768 tokens
Шығыс пішімі: json немесе SSE

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер nvidia/nemotron-3.5-lightning-30b-a3b	Әдепкі—
Өріс`messages`	Түрі`message[]`	ТалапМіндетті	Мәндер мен шектеулер Элементтердің ең аз саны: 1	Әдепкі—
Өріс`messages[].role`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер user, assistant	Әдепкі—
Өріс`messages[].content`	Түрі`string\|content_block[]`	ТалапМіндетті	Мәндер мен шектеулер	Әдепкі—
Өріс`system`	Түрі`string\|content_block[]`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`max_tokens`	Түрі`integer`	ТалапМіндетті	Мәндер мен шектеулер Ең азы: 1 Шектеу қолданылатын нысан: таңдалған модельдің/карточканың нақты жоғарғы шегі	Әдепкі—
Өріс`stream`	Түрі`boolean`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкіfalse
Өріс`temperature`	Түрі`number`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`top_p`	Түрі`number`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`stop_sequences`	Түрі`string[]`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`tools`	Түрі`tool[]`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`tools[].name`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Мына жағдайда қолданылады: құрал берілген	Әдепкі—
Өріс`tools[].description`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`tools[].input_schema`	Түрі`JSON_schema`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`tool_choice`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`thinking.type`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`thinking.budget_tokens`	Түрі`integer`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`output_config.effort`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`metadata`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`cache_control`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—

Кіріс материалдарының үйлесімдері

Мәтін · UTF8 мәтіні

messages[].content немесе type=text блогы

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`material_types`	Параметр талаптарыtext
Параметр`required`	Параметр талаптарыmodel, messages, max_tokens
Параметр`optional_controls`	Параметр талаптарыnull
Параметр`content_type`	Параметр талаптарыapplication/json
Параметр`text_file_material`	Параметр талаптарынақты UTF-8 мазмұны мәтін ретінде енгізіледі; файл ID мәндері мен URLs үшін бөлек нақты қолдау қажет

Өмірлік цикл: exact retained published method

Әдіс құрылымдары мен ID мәндері дәл берілген; жеткізушінің мүмкіндігі сұрауды қабылдаудан бөлек қаралады.

Тарифтер

Ailoot әдістерінің мөлшерлемелері

Ailoot Anthropic хабарламаларыPOST /v1/messages

Кіріс: 0,00008 $ / 1K
Шығыс: 0,0002 $ / 1K
Кэшті оқу: 0,00008 $ / 1K
Кэшке жазу: 0,00008 $ / 1K
Кэшке жазу, 5 мин: 0,00008 $ / 1K tokens

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Сұрау мысалдары

Ailoot · Anthropic хабарламалары

set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3.5-lightning-30b-a3b", "max_tokens": 1024, "messages": []}')\nf=Path(os.environ["AILOOT_TEXT_FILE"])\nif not f.is_file():raise SystemExit("Choose your actual UTF-8 source material")\ntext=f.read_text(encoding="utf-8")\nif not text.strip():raise SystemExit("Source material must contain text")\np["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\\n\\n"+text}]\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n  -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n  --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\n

import anthropic\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient = anthropic.Anthropic(base_url="https://api.ailoot.ai", api_key=os.environ["AILOOT_API_KEY"], max_retries=0)\nmsg = client.messages.create(\n    model="nvidia/nemotron-3.5-lightning-30b-a3b",\n    max_tokens=1024,\n    messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n    # Keep every field, including usage, IDs, reasoning and tool requests.\n    Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n    print(json.dumps(data, ensure_ascii=False, indent=2))\n    def save_blob(encoded, suffix, label):\n        raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n        ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n        file = Path(stem + "-" + label + "." + ext)\n        file.write_bytes(raw)\n        print("Saved", file)\n    for index, block in enumerate(data.get("content") or []):\n        print("Content", index, json.dumps(block, ensure_ascii=False))\n    for choice in data.get("choices") or []:\n        print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n    for index, item in enumerate(data.get("output") or []):\n        print("Output", index, json.dumps(item, ensure_ascii=False))\n        if item.get("type") == "image_generation_call" and item.get("result"):\n            save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n    for ci, candidate in enumerate(data.get("candidates") or []):\n        for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n            print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n            blob = part.get("inlineData") or part.get("inline_data")\n            if blob and blob.get("data"):\n                mime = blob.get("mimeType") or blob.get("mime_type")\n                suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n                save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(msg.to_dict(mode="json"))\n

import Anthropic from "@anthropic-ai/sdk";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request");\nconst client = new Anthropic({ baseURL: "https://api.ailoot.ai", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst msg = await client.messages.create({\n  model: "nvidia/nemotron-3.5-lightning-30b-a3b",\n  max_tokens: 1024,\n  messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }],\n});\nimport { writeFileSync } from "node:fs";\n\nfunction saveResult(data, stem = "result") {\n  writeFileSync(stem + ".json", JSON.stringify(data, null, 2));\n  console.log(JSON.stringify(data, null, 2));\n  const saveBlob = (encoded, suffix, label) => {\n    const raw = Buffer.from(encoded, "base64");\n    const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix;\n    const file = `${stem}-${label}.${ext}`;\n    writeFileSync(file, raw); console.log("Saved", file);\n  };\n  for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block));\n  for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n  for (const [i, item] of (data.output || []).entries()) {\n    console.log("Output", i, JSON.stringify(item));\n    if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`);\n  }\n  for (const [ci, candidate] of (data.candidates || []).entries()) {\n    for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n      console.log("Candidate/part", ci, pi, JSON.stringify(part));\n      const blob = part.inlineData || part.inline_data;\n      if (blob?.data) {\n        const mime = blob.mimeType || blob.mime_type;\n        const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin";\n        saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n      }\n    }\n  }\n}\n\nsaveResult(msg);\n

import anthropic,os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=anthropic.Anthropic(base_url="https://api.ailoot.ai",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n    # Keep every field, including usage, IDs, reasoning and tool requests.\n    Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n    print(json.dumps(data, ensure_ascii=False, indent=2))\n    def save_blob(encoded, suffix, label):\n        raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n        ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n        file = Path(stem + "-" + label + "." + ext)\n        file.write_bytes(raw)\n        print("Saved", file)\n    for index, block in enumerate(data.get("content") or []):\n        print("Content", index, json.dumps(block, ensure_ascii=False))\n    for choice in data.get("choices") or []:\n        print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n    for index, item in enumerate(data.get("output") or []):\n        print("Output", index, json.dumps(item, ensure_ascii=False))\n        if item.get("type") == "image_generation_call" and item.get("result"):\n            save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n    for ci, candidate in enumerate(data.get("candidates") or []):\n        for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n            print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n            blob = part.get("inlineData") or part.get("inline_data")\n            if blob and blob.get("data"):\n                mime = blob.get("mimeType") or blob.get("mime_type")\n                suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n                save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.messages.stream(model='nvidia/nemotron-3.5-lightning-30b-a3b',max_tokens=1024,messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n    with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n        for event in stream:\n            payload=event.to_dict(mode="json")\n            log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n            print(json.dumps(payload,ensure_ascii=False))\n    final=stream.get_final_message()\n    save_result(final.to_dict(mode="json"),"stream-result")\n

Нәтижелерді алу және сақтау

Ailoot · Anthropic хабарламалары

json немесе SSE

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Барлық мазмұн блоктарын, пайымдау қолтаңбаларын және құрал қолданудың нақты ID мәндерін сақтаңыз. SSE блоктарының барлық өзгерістерін жинаңыз; алғашқы мәтіндік блок толық шығыс емес.

Бастапқы жауапты тексеру қажет болса

Сұрау мен жауаптың ID мәндерін және тақырыптарын сақтаңыз. Мәтіндік тапсырманы алуға арналған ортақ URL берілмеген.

Жауап өрістері

Өріс	Түрі
Өріс`id`	Түріstring
Өріс`model`	Түріstring
Өріс`content[]`	Түріtext\|thinking\|tool_use\|other content block
Өріс`stop_reason`	Түріstring\|null
Өріс`usage`	Түріobject

Қателер және келесі қадамдар

Жауап	Шарт	Келесі қадам
Жауап400 · `invalid_request_error`	ШартМіндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате	Келесі қадамЖаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.

Балама атаулар

Модельдердің балама атаулары

Ailoot nvidia/nemotron-3.5-lightning-30b-a3b, nemotron-lightning, nemotron-lightning-latest

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

nvidia/nemotron-3.5-lightning-30b-a3b, nemotron-lightning, nemotron-lightning-latest

", "method_identity": { "effective_request_model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "fmt": "messages", "http": "POST", "path": "/v1/messages", "request_model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "route_label": "Core" }, "method_key": "Core|messages|/v1/messages|nvidia%2Fnemotron-3.5-lightning-30b-a3b", "ordinal": 0, "rawMethod": { "cache_read": 0.08, "cache_write": 0.08, "cache_write_1h": null, "cache_write_5m": 0.08, "conditional_meter": null, "contract": { "data": { "all_results": "Keep all content blocks, thinking signatures and actual tool-use IDs. Assemble all SSE block deltas; a first text block is not the complete output.", "authentication": { "api_key_source": "AILOOT_API_KEY", "headers": [ "x-api-key", "anthropic-version" ], "version_example": "2023-06-01" }, "errors": [ { "code": null, "condition": "Міндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате", "http_status": 400, "recovery": "Жаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.", "type": "invalid_request_error" } ], "hints": [ "Model context is not an output cap.", "A model-dependent field needs the exact published model profile; unspecified defaults/enums are not guessed.", "Tool calls propose actions; the client application returns actual observations with the returned call ID." ], "ignored_fields": [], "lifecycle": { "create": { "http": "POST", "path": "/v1/messages" }, "job_read": null, "mode": "synchronous_or_streamed", "unknown": "Сұрау мен жауаптың ID мәндерін және тақырыптарын сақтаңыз. Мәтіндік тапсырманы алуға арналған ортақ URL берілмеген." }, "material_combinations": [ { "mode": "text", "representation": "messages[].content немесе type=text блогы", "required_material": "UTF8 мәтіні" } ], "operation_modes": [ "conversation", "function_tool_continuation", "streaming" ], "outputs": { "all_results": "Барлық мазмұн блоктарын, пайымдау қолтаңбаларын және құрал қолданудың нақты ID мәндерін сақтаңыз. SSE блоктарының барлық өзгерістерін жинаңыз; алғашқы мәтіндік блок толық шығыс емес.", "family": "text", "fields": [ { "description": null, "name": "id", "type": "string" }, { "description": null, "name": "model", "type": "string" }, { "description": null, "name": "content[]", "type": "text|thinking|tool_use|other content block" }, { "description": null, "name": "stop_reason", "type": "string|null" }, { "description": null, "name": "usage", "type": "object" } ], "format": "json немесе SSE" }, "parameters": [ { "availability": "source_interface", "default": null, "default_known": false, "enum": [ "nvidia/nemotron-3.5-lightning-30b-a3b" ], "enum_known": true, "name": "model", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "min_items": 1, "name": "messages", "required": true, "type": "message[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": [ "user", "assistant" ], "enum_known": true, "name": "messages[].role", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].content", "required": true, "type": "string|content_block[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "system", "required": false, "type": "string|content_block[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "limit_scope": "таңдалған модельдің/карточканың нақты жоғарғы шегі", "minimum": 1, "name": "max_tokens", "required": true, "type": "integer" }, { "availability": "source_interface", "default": false, "default_known": true, "enum": null, "enum_known": false, "name": "stream", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "temperature", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "top_p", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stop_sequences", "required": false, "type": "string[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools", "required": false, "type": "tool[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].name", "required": false, "type": "string", "when": "құрал берілген" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].description", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].input_schema", "required": false, "type": "JSON_schema" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tool_choice", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "thinking.type", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "thinking.budget_tokens", "required": false, "type": "integer" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "output_config.effort", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "metadata", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "cache_control", "required": false, "type": "object" } ], "profile_binding": "Exact existing Ailoot model and method; interface constraints below do not assert provider qualification.", "unsupported": [] }, "hints": [ "Әдіс құрылымдары мен ID мәндері дәл берілген; жеткізушінің мүмкіндігі сұрауды қабылдаудан бөлек қаралады." ], "input": { "content_type": "application/json", "material_types": [ "text" ], "optional_controls": null, "required": [ "model", "messages", "max_tokens" ], "text_file_material": "нақты UTF-8 мазмұны мәтін ретінде енгізіледі; файл ID мәндері мен URLs үшін бөлек нақты қолдау қажет" }, "lifecycle": { "mode": "exact retained published method" }, "method": { "http": "POST", "path": "/v1/messages" }, "operation_modes": [ "messages" ], "output": { "family": [ "text" ], "format": "JSON or supported SSE", "multioutputs": "retain every actual response output" } }, "ctx": 262144, "examples": [ { "code": "set -eu\n: \"${AILOOT_API_KEY:?Set your Ailoot API key}\"\n: \"${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}\"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{\"model\": \"nvidia/nemotron-3.5-lightning-30b-a3b\", \"max_tokens\": 1024, \"messages\": []}')\nf=Path(os.environ[\"AILOOT_TEXT_FILE\"])\nif not f.is_file():raise SystemExit(\"Choose your actual UTF-8 source material\")\ntext=f.read_text(encoding=\"utf-8\")\nif not text.strip():raise SystemExit(\"Source material must contain text\")\np[\"messages\"]=[{\"role\":\"user\",\"content\":\"Summarize this material and quote supporting source passages.\\n\\n\"+text}]\nPath(\"request.json\").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H \"x-api-key: $AILOOT_API_KEY\" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path(\"result.json\").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\n", "label": "Use actual text material", "language": "bash" }, { "code": "import anthropic\nimport os\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient = anthropic.Anthropic(base_url=\"https://api.ailoot.ai\", api_key=os.environ[\"AILOOT_API_KEY\"], max_retries=0)\nmsg = client.messages.create(\n model=\"nvidia/nemotron-3.5-lightning-30b-a3b\",\n max_tokens=1024,\n messages=[{\"role\": \"user\", \"content\": \"Explain the difference between an observation and a hypothesis in three sentences.\"}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nsave_result(msg.to_dict(mode=\"json\"))\n", "label": "Python · retained SDK call", "language": "python" }, { "SDK_retry_proof": { "field": "maxRetries", "scope": "normalclient options; no provider/account/proxy switches", "source_urls": [ "https://raw.githubusercontent.com/openai/openai-node/master/src/client.ts", "https://raw.githubusercontent.com/anthropics/anthropic-sdk-typescript/main/src/client.ts" ], "value": 0 }, "code": "import Anthropic from \"@anthropic-ai/sdk\";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error(\"Set AILOOT_API_KEY before making a request\");\nconst client = new Anthropic({ baseURL: \"https://api.ailoot.ai\", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst msg = await client.messages.create({\n model: \"nvidia/nemotron-3.5-lightning-30b-a3b\",\n max_tokens: 1024,\n messages: [{ role: \"user\", content: \"Explain the difference between an observation and a hypothesis in three sentences.\" }],\n});\nimport { writeFileSync } from \"node:fs\";\n\nfunction saveResult(data, stem = \"result\") {\n writeFileSync(stem + \".json\", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, \"base64\");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? \"png\" : raw[0]===255 && raw[1]===216 ? \"jpg\" : raw.subarray(0,4).toString()===\"RIFF\" && raw.subarray(8,12).toString()===\"WEBP\" ? \"webp\" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log(\"Saved\", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log(\"Content\", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log(\"Choice\", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log(\"Output\", i, JSON.stringify(item));\n if (item.type === \"image_generation_call\" && item.result) saveBlob(item.result, item.output_format || \"bin\", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log(\"Candidate/part\", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"})[mime] || \"bin\";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(msg);\n", "label": "Node.js · retained SDK call", "language": "js" }, { "code": "import anthropic,os\nfrom pathlib import Path\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient=anthropic.Anthropic(base_url=\"https://api.ailoot.ai\",api_key=os.environ[\"AILOOT_API_KEY\"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nwith client.messages.stream(model='nvidia/nemotron-3.5-lightning-30b-a3b',max_tokens=1024,messages=[{\"role\":\"user\",\"content\":\"Explain observations and hypotheses in three sentences.\"}]) as stream:\n with Path(\"stream-events.jsonl\").open(\"w\",encoding=\"utf-8\") as log:\n for event in stream:\n payload=event.to_dict(mode=\"json\")\n log.write(json.dumps(payload,ensure_ascii=False)+\"\\n\"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_message()\n save_result(final.to_dict(mode=\"json\"),\"stream-result\")\n", "label": "Python streaming · complete final message", "language": "python" } ], "family": "anthropic", "fast_multiplier": null, "flex_multiplier": null, "fmt": "messages", "http": "POST", "img_in": null, "img_out": null, "in": 0.08, "input": [ "text" ], "label": "Anthropic хабарламалары", "max_out": 32768, "max_tool_calls": null, "out": 0.2, "output": [ "text" ], "path": "/v1/messages", "pricing_profiles": [ { "dimensions": {}, "label": "Core", "units": [ { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "in", "label": "Input", "side": "in" }, { "amount": 0.2, "amount_unit": "usd_per_million_tokens", "key": "out", "label": "Output", "side": "out" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_read", "label": "Cache read", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write", "label": "Cache write", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write_5m", "label": "Cache write 5m", "side": "in" } ] } ], "request_model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "route_label": "Core", "status_reads": [], "tiers": [], "tool_prices": null, "unit": "token", "units": [] } }, { "html": "

NV

Nemotron 3.5 Lightning 30B A3B

NVIDIA /nvidia/nemotron-3.5-lightning-30b-a3b

Модель ID

Бастау

Nemotron 3.5 Lightning — ұзақ агенттік тапсырмаларға, бағдарламалауға, құжаттардан іздеуге және диалогқа арналған NVIDIA мәтіндік моделі.

Қабылданатын кіріс деректері: Мәтін
Нәтижелер: Мәтін

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

Ұзақ процестің жұмыс моделі

Nemotron 3.5 Lightning автономды агенттерге және бірнеше қадам бойы жалғасатын әрекет тізбектеріне арналған. Ол диалог көмекшілерінде, құжаттарға сүйенген іздеуде және нұсқауларды орындауда да қолданылады. Кіріс пен шығыс мәтіндік.

Архитектурасы және контекст

Гибридті сарапшылар қоспасы Mamba-2 мен жеке назар қабаттарын біріктіреді. Модельде жалпы 30 млрд параметр бар, әр токенге 3 млрд белсенді. Контекст миллион токенге дейін жетеді.

Бірнеше келесі токенді болжау қабаттары өз ұсыныстарын негізгі модель үлестірімімен үйлестіруге қосымша үйретіледі. Шығарылыммен бірге спекулятивті декодтау тәсілдері ұсынылған. Олар генерацияны ұйымдастыруға көмектеседі, бірақ сұраудың кепілдендірілген жылдамдығын белгілемейді.

Даярлықтың бес кезеңі

Код, математика, ғылым және жалпы білімнің 20 трлн-нан астам токені бойынша NVFP4 форматындағы даярлықпен алдын ала үйрету.
Бірнеше болашақ токенді болжау қабаттарын алдын ала үйретуді жалғастыру: олардың ұсыныстары негізгі модель үлестірімімен үйлеседі.
Нұсқауларды, құрал шақыруларын, құрылымды нәтижелерді, алыс үзінділерді іздеуді және құжаттарды біріктіруді қамтитын мысалдар бойынша үйрету.
Пайымдау, код, ғылым, көп қадамды құрал тапсырмалары және диалог үшін бірнеше ортада нығайтпалы оқыту.
Жарияланған нұсқаны кейін сандық сығу.

Соңғы кезең өндірушінің нақты шығарылымын сипаттайды және қызмет көрсетілетін сұраудың есептеу дәлдігін белгілемейді. Сыртқы процесте модель әрекеттер мен мәтіндік нәтиже ұсынады; құралдарды қолданба орындайды.

Тілдер және нұсқалар

Ресми түрде ағылшын, испан, француз, неміс, итальян және жапон тілдері, сондай-ақ бағдарламалау тілдері тізілген. Алдын ала үйрету үшін деректер кесімі 2025 жылғы қыркүйекке дейін, кейінгі үйрету үшін 2026 жылғы мамырға дейін деп көрсетілген.

Сандық сығуы бар жарияланған шығарылым сипаттамалары дәл осы нұсқаны сипаттайды. Модель атауынан нақты орындалудың есептеу дәлдігін анықтауға болмайды. Миллион токен — шығыс ұзындығының жеке уәдесі емес, жалпы контекст.

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot · OpenAI чаты POST /v1/chat/completions

Кіріс: text
Шығыс: text
Контекст: 4 096 tokens
Ең үлкен шығыс: 1 024 tokens
Шығыс пішімі: json немесе SSE

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер nvidia/nemotron-3.5-lightning-30b-a3b	Әдепкі—
Өріс`messages`	Түрі`message[]`	ТалапМіндетті	Мәндер мен шектеулер Элементтердің ең аз саны: 1	Әдепкі—
Өріс`messages[].role`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер Мысалдар: system, user, assistant, tool, function Шарттар: Бұл рөлдер бастапқы кодтағы үйлесімділік түрлерінде айқын көрсетілген; рөлдердің нақты жиыны әр модельге байланысты. Модельге байланысты	Әдепкі—
Өріс`messages[].content`	Түрі`string\|content_part[]\|null`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`messages[].tool_calls`	Түрі`tool_call[]`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`messages[].tool_call_id`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Мына жағдайда қолданылады: role=tool; нақты қайтарылған ID мәнін пайдаланыңыз	Әдепкі—
Өріс`messages[].name`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`messages[].reasoning_content`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Мына жағдайда қолданылады: Модель пайымдауды пайдаланса, нақты қайтарылған пайымдауды қайта жіберіңіз	Әдепкі—
Өріс`messages[].reasoning_details`	Түрі`object\|array`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`max_tokens`	Түрі`integer`	ТалапМіндетті емес	Мәндер мен шектеулер Ең азы: 1 Модельге байланысты	Әдепкі—
Өріс`max_completion_tokens`	Түрі`integer`	ТалапМіндетті емес	Мәндер мен шектеулер Ең азы: 1 Модельге байланысты	Әдепкі—
Өріс`stream`	Түрі`boolean`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкіfalse
Өріс`stream_options.include_usage`	Түрі`boolean`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`temperature`	Түрі`number`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`top_p`	Түрі`number`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`stop`	Түрі`string\|string[]`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`tools`	Түрі`function_tool[]`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`tools[].type`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`tools[].function.name`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер Мына жағдайда қолданылады: функция құралы берілген	Әдепкі—
Өріс`tools[].function.description`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`tools[].function.parameters`	Түрі`JSON_schema`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`tool_choice`	Түрі`string\|object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`parallel_tool_calls`	Түрі`boolean`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`response_format`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`reasoning_effort`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`reasoning`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`service_tier`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`instructions`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Үйлесімділік өрісі	Әдепкі—
Өріс`functions`	Түрі`function[]`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`function_call`	Түрі`string\|object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`prompt_cache_options`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—

Кіріс материалдарының үйлесімдері

Мәтін · UTF8 мәтіні

messages[].content

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`material_types`	Параметр талаптарыtext
Параметр`required`	Параметр талаптарыmodel, messages
Параметр`optional_controls`	Параметр талаптарыnull
Параметр`content_type`	Параметр талаптарыapplication/json
Параметр`text_file_material`	Параметр талаптарынақты UTF-8 мазмұны мәтін ретінде енгізіледі; файл ID мәндері мен URLs үшін бөлек нақты қолдау қажет

Өмірлік цикл: exact retained published method

Әдіс құрылымдары мен ID мәндері дәл берілген; жеткізушінің мүмкіндігі сұрауды қабылдаудан бөлек қаралады.

Тарифтер

Ailoot әдістерінің мөлшерлемелері

Ailoot OpenAI чатыPOST /v1/chat/completions

Кіріс: 0,00008 $ / 1K
Шығыс: 0,0002 $ / 1K
Кэшті оқу: 0,00008 $ / 1K
Кэшке жазу: 0,00008 $ / 1K
Кэшке жазу, 5 мин: 0,00008 $ / 1K tokens

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Сұрау мысалдары

Ailoot · OpenAI чаты

set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3.5-lightning-30b-a3b", "messages": []}')\nf=Path(os.environ["AILOOT_TEXT_FILE"])\nif not f.is_file():raise SystemExit("Choose your actual UTF-8 source material")\ntext=f.read_text(encoding="utf-8")\nif not text.strip():raise SystemExit("Source material must contain text")\np["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\\n\\n"+text}]\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n  --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\n

from openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0)\nresp = client.chat.completions.create(\n    model="nvidia/nemotron-3.5-lightning-30b-a3b",\n    messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n    # Keep every field, including usage, IDs, reasoning and tool requests.\n    Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n    print(json.dumps(data, ensure_ascii=False, indent=2))\n    def save_blob(encoded, suffix, label):\n        raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n        ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n        file = Path(stem + "-" + label + "." + ext)\n        file.write_bytes(raw)\n        print("Saved", file)\n    for index, block in enumerate(data.get("content") or []):\n        print("Content", index, json.dumps(block, ensure_ascii=False))\n    for choice in data.get("choices") or []:\n        print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n    for index, item in enumerate(data.get("output") or []):\n        print("Output", index, json.dumps(item, ensure_ascii=False))\n        if item.get("type") == "image_generation_call" and item.get("result"):\n            save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n    for ci, candidate in enumerate(data.get("candidates") or []):\n        for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n            print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n            blob = part.get("inlineData") or part.get("inline_data")\n            if blob and blob.get("data"):\n                mime = blob.get("mimeType") or blob.get("mime_type")\n                suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n                save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(resp.to_dict(mode="json"))\n

import OpenAI from "openai";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request");\nconst client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n  model: "nvidia/nemotron-3.5-lightning-30b-a3b",\n  messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }],\n});\nimport { writeFileSync } from "node:fs";\n\nfunction saveResult(data, stem = "result") {\n  writeFileSync(stem + ".json", JSON.stringify(data, null, 2));\n  console.log(JSON.stringify(data, null, 2));\n  const saveBlob = (encoded, suffix, label) => {\n    const raw = Buffer.from(encoded, "base64");\n    const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix;\n    const file = `${stem}-${label}.${ext}`;\n    writeFileSync(file, raw); console.log("Saved", file);\n  };\n  for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block));\n  for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n  for (const [i, item] of (data.output || []).entries()) {\n    console.log("Output", i, JSON.stringify(item));\n    if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`);\n  }\n  for (const [ci, candidate] of (data.candidates || []).entries()) {\n    for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n      console.log("Candidate/part", ci, pi, JSON.stringify(part));\n      const blob = part.inlineData || part.inline_data;\n      if (blob?.data) {\n        const mime = blob.mimeType || blob.mime_type;\n        const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin";\n        saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n      }\n    }\n  }\n}\n\nsaveResult(resp);\n

from openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n    # Keep every field, including usage, IDs, reasoning and tool requests.\n    Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n    print(json.dumps(data, ensure_ascii=False, indent=2))\n    def save_blob(encoded, suffix, label):\n        raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n        ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n        file = Path(stem + "-" + label + "." + ext)\n        file.write_bytes(raw)\n        print("Saved", file)\n    for index, block in enumerate(data.get("content") or []):\n        print("Content", index, json.dumps(block, ensure_ascii=False))\n    for choice in data.get("choices") or []:\n        print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n    for index, item in enumerate(data.get("output") or []):\n        print("Output", index, json.dumps(item, ensure_ascii=False))\n        if item.get("type") == "image_generation_call" and item.get("result"):\n            save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n    for ci, candidate in enumerate(data.get("candidates") or []):\n        for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n            print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n            blob = part.get("inlineData") or part.get("inline_data")\n            if blob and blob.get("data"):\n                mime = blob.get("mimeType") or blob.get("mime_type")\n                suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n                save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning-30b-a3b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n    with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n        for event in stream:\n            payload=event.to_dict(mode="json")\n            log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n            print(json.dumps(payload,ensure_ascii=False))\n    final=stream.get_final_completion()\n    save_result(final.to_dict(mode="json"),"stream-result")\n

Нәтижелерді алу және сақтау

Ailoot · OpenAI чаты

json немесе SSE

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Әр жауап нұсқасын оның мазмұнымен, құрал шақыруларымен және пайымдауымен бірге сақтаңыз. SSE өзгерістерін жауап нұсқасы мен құрал индексі бойынша жинап, соңғы аяқталу себебі мен пайдалану деректерін сақтаңыз.

Бастапқы жауапты тексеру қажет болса

Сұрау мен жауаптың ID мәндерін және тақырыптарын сақтаңыз. Мәтіндік тапсырманы алуға арналған ортақ URL берілмеген.

Жауап өрістері

Өріс	Түрі
Өріс`choices[].index`	Түріinteger
Өріс`choices[].message.content`	Түріstring\|null
Өріс`choices[].message.tool_calls`	Түріtool_call[]
Өріс`choices[].message.reasoning_content`	Түріstring
Өріс`choices[].message.reasoning_details`	Түріobject\|array
Өріс`choices[].finish_reason`	Түріstring\|null
Өріс`usage`	Түріobject

Қателер және келесі қадамдар

Жауап	Шарт	Келесі қадам
Жауап400 · `invalid_request_error`	ШартМіндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате	Келесі қадамЖаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.

Балама атаулар

Модельдердің балама атаулары

Ailoot nvidia/nemotron-3.5-lightning-30b-a3b, nemotron-lightning, nemotron-lightning-latest

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

nvidia/nemotron-3.5-lightning-30b-a3b, nemotron-lightning, nemotron-lightning-latest

", "method_identity": { "effective_request_model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "fmt": "chat", "http": "POST", "path": "/v1/chat/completions", "request_model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "route_label": "Core" }, "method_key": "Core|chat|/v1/chat/completions|nvidia%2Fnemotron-3.5-lightning-30b-a3b", "ordinal": 1, "rawMethod": { "cache_read": 0.08, "cache_write": 0.08, "cache_write_1h": null, "cache_write_5m": 0.08, "conditional_meter": null, "contract": { "data": { "all_results": "Keep every choice and its content/tool calls/reasoning. In SSE assemble deltas by choice/tool index, retain the final finish reason and usage.", "authentication": { "api_key_source": "AILOOT_API_KEY", "header": "Authorization: Bearer" }, "errors": [ { "code": null, "condition": "Міндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате", "http_status": 400, "recovery": "Жаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.", "type": "invalid_request_error" } ], "hints": [ "Model context is not an output cap.", "A model-dependent field needs the exact published model profile; unspecified defaults/enums are not guessed.", "Tool calls propose actions; the client application returns actual observations with the returned call ID." ], "ignored_fields": [], "lifecycle": { "create": { "http": "POST", "path": "/v1/chat/completions" }, "job_read": null, "mode": "synchronous_or_streamed", "unknown": "Сұрау мен жауаптың ID мәндерін және тақырыптарын сақтаңыз. Мәтіндік тапсырманы алуға арналған ортақ URL берілмеген." }, "material_combinations": [ { "mode": "text", "representation": "messages[].content", "required_material": "UTF8 мәтіні" } ], "operation_modes": [ "conversation", "function_tool_continuation", "streaming" ], "outputs": { "all_results": "Әр жауап нұсқасын оның мазмұнымен, құрал шақыруларымен және пайымдауымен бірге сақтаңыз. SSE өзгерістерін жауап нұсқасы мен құрал индексі бойынша жинап, соңғы аяқталу себебі мен пайдалану деректерін сақтаңыз.", "family": "text", "fields": [ { "description": null, "name": "choices[].index", "type": "integer" }, { "description": null, "name": "choices[].message.content", "type": "string|null" }, { "description": null, "name": "choices[].message.tool_calls", "type": "tool_call[]" }, { "description": null, "name": "choices[].message.reasoning_content", "type": "string" }, { "description": null, "name": "choices[].message.reasoning_details", "type": "object|array" }, { "description": null, "name": "choices[].finish_reason", "type": "string|null" }, { "description": null, "name": "usage", "type": "object" } ], "format": "json немесе SSE" }, "parameters": [ { "availability": "source_interface", "default": null, "default_known": false, "enum": [ "nvidia/nemotron-3.5-lightning-30b-a3b" ], "enum_known": true, "name": "model", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "min_items": 1, "name": "messages", "required": true, "type": "message[]" }, { "availability": "model_dependent", "conditions": "Бұл рөлдер бастапқы кодтағы үйлесімділік түрлерінде айқын көрсетілген; рөлдердің нақты жиыны әр модельге байланысты.", "default": null, "default_known": false, "enum": [ "system", "user", "assistant", "tool", "function" ], "enum_exhaustive": false, "enum_known": true, "name": "messages[].role", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].content", "required": false, "type": "string|content_part[]|null" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].tool_calls", "required": false, "type": "tool_call[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].tool_call_id", "required": false, "type": "string", "when": "role=tool; нақты қайтарылған ID мәнін пайдаланыңыз" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].name", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].reasoning_content", "required": false, "type": "string", "when": "Модель пайымдауды пайдаланса, нақты қайтарылған пайымдауды қайта жіберіңіз" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].reasoning_details", "required": false, "type": "object|array" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "minimum": 1, "name": "max_tokens", "required": false, "type": "integer" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "minimum": 1, "name": "max_completion_tokens", "required": false, "type": "integer" }, { "availability": "source_interface", "default": false, "default_known": true, "enum": null, "enum_known": false, "name": "stream", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stream_options.include_usage", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "temperature", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "top_p", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stop", "required": false, "type": "string|string[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools", "required": false, "type": "function_tool[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].type", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.name", "required": true, "type": "string", "when": "функция құралы берілген" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.description", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.parameters", "required": false, "type": "JSON_schema" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tool_choice", "required": false, "type": "string|object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "parallel_tool_calls", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "response_format", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "reasoning_effort", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "reasoning", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "service_tier", "required": false, "type": "string" }, { "availability": "source_compatibility", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "instructions", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "functions", "required": false, "type": "function[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "function_call", "required": false, "type": "string|object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "prompt_cache_options", "required": false, "type": "object" } ], "profile_binding": "Exact existing Ailoot model and method; interface constraints below do not assert provider qualification.", "unsupported": [] }, "hints": [ "Әдіс құрылымдары мен ID мәндері дәл берілген; жеткізушінің мүмкіндігі сұрауды қабылдаудан бөлек қаралады." ], "input": { "content_type": "application/json", "material_types": [ "text" ], "optional_controls": null, "required": [ "model", "messages" ], "text_file_material": "нақты UTF-8 мазмұны мәтін ретінде енгізіледі; файл ID мәндері мен URLs үшін бөлек нақты қолдау қажет" }, "lifecycle": { "mode": "exact retained published method" }, "method": { "http": "POST", "path": "/v1/chat/completions" }, "operation_modes": [ "chat_completions" ], "output": { "family": [ "text" ], "format": "JSON or supported SSE", "multioutputs": "retain every actual response output" } }, "ctx": 4096, "examples": [ { "code": "set -eu\n: \"${AILOOT_API_KEY:?Set your Ailoot API key}\"\n: \"${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}\"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{\"model\": \"nvidia/nemotron-3.5-lightning-30b-a3b\", \"messages\": []}')\nf=Path(os.environ[\"AILOOT_TEXT_FILE\"])\nif not f.is_file():raise SystemExit(\"Choose your actual UTF-8 source material\")\ntext=f.read_text(encoding=\"utf-8\")\nif not text.strip():raise SystemExit(\"Source material must contain text\")\np[\"messages\"]=[{\"role\":\"user\",\"content\":\"Summarize this material and quote supporting source passages.\\n\\n\"+text}]\nPath(\"request.json\").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H \"Authorization: Bearer $AILOOT_API_KEY\" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path(\"result.json\").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\n", "label": "Use actual text material", "language": "bash" }, { "code": "from openai import OpenAI\nimport os\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient = OpenAI(base_url=\"https://api.ailoot.ai/v1\", api_key=os.environ[\"AILOOT_API_KEY\"], max_retries=0)\nresp = client.chat.completions.create(\n model=\"nvidia/nemotron-3.5-lightning-30b-a3b\",\n messages=[{\"role\": \"user\", \"content\": \"Explain the difference between an observation and a hypothesis in three sentences.\"}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nsave_result(resp.to_dict(mode=\"json\"))\n", "label": "Python · retained SDK call", "language": "python" }, { "SDK_retry_proof": { "field": "maxRetries", "scope": "normalclient options; no provider/account/proxy switches", "source_urls": [ "https://raw.githubusercontent.com/openai/openai-node/master/src/client.ts", "https://raw.githubusercontent.com/anthropics/anthropic-sdk-typescript/main/src/client.ts" ], "value": 0 }, "code": "import OpenAI from \"openai\";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error(\"Set AILOOT_API_KEY before making a request\");\nconst client = new OpenAI({ baseURL: \"https://api.ailoot.ai/v1\", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n model: \"nvidia/nemotron-3.5-lightning-30b-a3b\",\n messages: [{ role: \"user\", content: \"Explain the difference between an observation and a hypothesis in three sentences.\" }],\n});\nimport { writeFileSync } from \"node:fs\";\n\nfunction saveResult(data, stem = \"result\") {\n writeFileSync(stem + \".json\", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, \"base64\");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? \"png\" : raw[0]===255 && raw[1]===216 ? \"jpg\" : raw.subarray(0,4).toString()===\"RIFF\" && raw.subarray(8,12).toString()===\"WEBP\" ? \"webp\" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log(\"Saved\", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log(\"Content\", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log(\"Choice\", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log(\"Output\", i, JSON.stringify(item));\n if (item.type === \"image_generation_call\" && item.result) saveBlob(item.result, item.output_format || \"bin\", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log(\"Candidate/part\", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"})[mime] || \"bin\";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(resp);\n", "label": "Node.js · retained SDK call", "language": "js" }, { "code": "from openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient=OpenAI(base_url=\"https://api.ailoot.ai/v1\",api_key=os.environ[\"AILOOT_API_KEY\"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning-30b-a3b',messages=[{\"role\":\"user\",\"content\":\"Explain observations and hypotheses in three sentences.\"}]) as stream:\n with Path(\"stream-events.jsonl\").open(\"w\",encoding=\"utf-8\") as log:\n for event in stream:\n payload=event.to_dict(mode=\"json\")\n log.write(json.dumps(payload,ensure_ascii=False)+\"\\n\"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode=\"json\"),\"stream-result\")\n", "label": "Python streaming · retain all events", "language": "python" } ], "family": "openai", "fast_multiplier": null, "flex_multiplier": null, "fmt": "chat", "http": "POST", "img_in": null, "img_out": null, "in": 0.08, "input": [ "text" ], "label": "OpenAI чаты", "max_out": 1024, "max_tool_calls": null, "out": 0.2, "output": [ "text" ], "path": "/v1/chat/completions", "pricing_profiles": [ { "dimensions": {}, "label": "Core", "units": [ { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "in", "label": "Input", "side": "in" }, { "amount": 0.2, "amount_unit": "usd_per_million_tokens", "key": "out", "label": "Output", "side": "out" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_read", "label": "Cache read", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write", "label": "Cache write", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write_5m", "label": "Cache write 5m", "side": "in" } ] } ], "request_model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "route_label": "Core", "status_reads": [], "tiers": [], "tool_prices": null, "unit": "token", "units": [] } }, { "html": "

NV

Nemotron 3.5 Lightning 30B A3B

NVIDIA /nemotron-lightning

Модель ID

Бастау

Nemotron 3.5 Lightning — ұзақ агенттік тапсырмаларға, бағдарламалауға, құжаттардан іздеуге және диалогқа арналған NVIDIA мәтіндік моделі.

Қабылданатын кіріс деректері: Мәтін
Нәтижелер: Мәтін

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

Ұзақ процестің жұмыс моделі

Nemotron 3.5 Lightning автономды агенттерге және бірнеше қадам бойы жалғасатын әрекет тізбектеріне арналған. Ол диалог көмекшілерінде, құжаттарға сүйенген іздеуде және нұсқауларды орындауда да қолданылады. Кіріс пен шығыс мәтіндік.

Архитектурасы және контекст

Гибридті сарапшылар қоспасы Mamba-2 мен жеке назар қабаттарын біріктіреді. Модельде жалпы 30 млрд параметр бар, әр токенге 3 млрд белсенді. Контекст миллион токенге дейін жетеді.

Бірнеше келесі токенді болжау қабаттары өз ұсыныстарын негізгі модель үлестірімімен үйлестіруге қосымша үйретіледі. Шығарылыммен бірге спекулятивті декодтау тәсілдері ұсынылған. Олар генерацияны ұйымдастыруға көмектеседі, бірақ сұраудың кепілдендірілген жылдамдығын белгілемейді.

Даярлықтың бес кезеңі

Код, математика, ғылым және жалпы білімнің 20 трлн-нан астам токені бойынша NVFP4 форматындағы даярлықпен алдын ала үйрету.
Бірнеше болашақ токенді болжау қабаттарын алдын ала үйретуді жалғастыру: олардың ұсыныстары негізгі модель үлестірімімен үйлеседі.
Нұсқауларды, құрал шақыруларын, құрылымды нәтижелерді, алыс үзінділерді іздеуді және құжаттарды біріктіруді қамтитын мысалдар бойынша үйрету.
Пайымдау, код, ғылым, көп қадамды құрал тапсырмалары және диалог үшін бірнеше ортада нығайтпалы оқыту.
Жарияланған нұсқаны кейін сандық сығу.

Соңғы кезең өндірушінің нақты шығарылымын сипаттайды және қызмет көрсетілетін сұраудың есептеу дәлдігін белгілемейді. Сыртқы процесте модель әрекеттер мен мәтіндік нәтиже ұсынады; құралдарды қолданба орындайды.

Тілдер және нұсқалар

Ресми түрде ағылшын, испан, француз, неміс, итальян және жапон тілдері, сондай-ақ бағдарламалау тілдері тізілген. Алдын ала үйрету үшін деректер кесімі 2025 жылғы қыркүйекке дейін, кейінгі үйрету үшін 2026 жылғы мамырға дейін деп көрсетілген.

Сандық сығуы бар жарияланған шығарылым сипаттамалары дәл осы нұсқаны сипаттайды. Модель атауынан нақты орындалудың есептеу дәлдігін анықтауға болмайды. Миллион токен — шығыс ұзындығының жеке уәдесі емес, жалпы контекст.

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot · OpenAI чаты POST /v1/chat/completions

Кіріс: text
Шығыс: text
Контекст: 4 096 tokens
Ең үлкен шығыс: 1 024 tokens
Шығыс пішімі: json немесе SSE

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер nemotron-lightning	Әдепкі—
Өріс`messages`	Түрі`message[]`	ТалапМіндетті	Мәндер мен шектеулер Элементтердің ең аз саны: 1	Әдепкі—
Өріс`messages[].role`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер Мысалдар: system, user, assistant, tool, function Шарттар: Бұл рөлдер бастапқы кодтағы үйлесімділік түрлерінде айқын көрсетілген; рөлдердің нақты жиыны әр модельге байланысты. Модельге байланысты	Әдепкі—
Өріс`messages[].content`	Түрі`string\|content_part[]\|null`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`messages[].tool_calls`	Түрі`tool_call[]`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`messages[].tool_call_id`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Мына жағдайда қолданылады: role=tool; нақты қайтарылған ID мәнін пайдаланыңыз	Әдепкі—
Өріс`messages[].name`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`messages[].reasoning_content`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Мына жағдайда қолданылады: Модель пайымдауды пайдаланса, нақты қайтарылған пайымдауды қайта жіберіңіз	Әдепкі—
Өріс`messages[].reasoning_details`	Түрі`object\|array`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`max_tokens`	Түрі`integer`	ТалапМіндетті емес	Мәндер мен шектеулер Ең азы: 1 Модельге байланысты	Әдепкі—
Өріс`max_completion_tokens`	Түрі`integer`	ТалапМіндетті емес	Мәндер мен шектеулер Ең азы: 1 Модельге байланысты	Әдепкі—
Өріс`stream`	Түрі`boolean`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкіfalse
Өріс`stream_options.include_usage`	Түрі`boolean`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`temperature`	Түрі`number`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`top_p`	Түрі`number`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`stop`	Түрі`string\|string[]`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`tools`	Түрі`function_tool[]`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`tools[].type`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`tools[].function.name`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер Мына жағдайда қолданылады: функция құралы берілген	Әдепкі—
Өріс`tools[].function.description`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`tools[].function.parameters`	Түрі`JSON_schema`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`tool_choice`	Түрі`string\|object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`parallel_tool_calls`	Түрі`boolean`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`response_format`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`reasoning_effort`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`reasoning`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`service_tier`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`instructions`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Үйлесімділік өрісі	Әдепкі—
Өріс`functions`	Түрі`function[]`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`function_call`	Түрі`string\|object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`prompt_cache_options`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—

Кіріс материалдарының үйлесімдері

Мәтін · UTF8 мәтіні

messages[].content

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`material_types`	Параметр талаптарыtext
Параметр`required`	Параметр талаптарыmodel, messages
Параметр`optional_controls`	Параметр талаптарыnull
Параметр`content_type`	Параметр талаптарыapplication/json
Параметр`text_file_material`	Параметр талаптарынақты UTF-8 мазмұны мәтін ретінде енгізіледі; файл ID мәндері мен URLs үшін бөлек нақты қолдау қажет

Өмірлік цикл: exact retained published method

Әдіс құрылымдары мен ID мәндері дәл берілген; жеткізушінің мүмкіндігі сұрауды қабылдаудан бөлек қаралады.

Тарифтер

Ailoot әдістерінің мөлшерлемелері

Ailoot OpenAI чатыPOST /v1/chat/completions

Кіріс: 0,00008 $ / 1K
Шығыс: 0,0002 $ / 1K
Кэшті оқу: 0,00008 $ / 1K
Кэшке жазу: 0,00008 $ / 1K
Кэшке жазу, 5 мин: 0,00008 $ / 1K tokens

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Сұрау мысалдары

Ailoot · OpenAI чаты

set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nemotron-lightning", "messages": []}')\nf=Path(os.environ["AILOOT_TEXT_FILE"])\nif not f.is_file():raise SystemExit("Choose your actual UTF-8 source material")\ntext=f.read_text(encoding="utf-8")\nif not text.strip():raise SystemExit("Source material must contain text")\np["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\\n\\n"+text}]\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n  --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\n

from openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0)\nresp = client.chat.completions.create(\n    model="nemotron-lightning",\n    messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n    # Keep every field, including usage, IDs, reasoning and tool requests.\n    Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n    print(json.dumps(data, ensure_ascii=False, indent=2))\n    def save_blob(encoded, suffix, label):\n        raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n        ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n        file = Path(stem + "-" + label + "." + ext)\n        file.write_bytes(raw)\n        print("Saved", file)\n    for index, block in enumerate(data.get("content") or []):\n        print("Content", index, json.dumps(block, ensure_ascii=False))\n    for choice in data.get("choices") or []:\n        print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n    for index, item in enumerate(data.get("output") or []):\n        print("Output", index, json.dumps(item, ensure_ascii=False))\n        if item.get("type") == "image_generation_call" and item.get("result"):\n            save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n    for ci, candidate in enumerate(data.get("candidates") or []):\n        for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n            print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n            blob = part.get("inlineData") or part.get("inline_data")\n            if blob and blob.get("data"):\n                mime = blob.get("mimeType") or blob.get("mime_type")\n                suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n                save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(resp.to_dict(mode="json"))\n

import OpenAI from "openai";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request");\nconst client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n  model: "nemotron-lightning",\n  messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }],\n});\nimport { writeFileSync } from "node:fs";\n\nfunction saveResult(data, stem = "result") {\n  writeFileSync(stem + ".json", JSON.stringify(data, null, 2));\n  console.log(JSON.stringify(data, null, 2));\n  const saveBlob = (encoded, suffix, label) => {\n    const raw = Buffer.from(encoded, "base64");\n    const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix;\n    const file = `${stem}-${label}.${ext}`;\n    writeFileSync(file, raw); console.log("Saved", file);\n  };\n  for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block));\n  for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n  for (const [i, item] of (data.output || []).entries()) {\n    console.log("Output", i, JSON.stringify(item));\n    if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`);\n  }\n  for (const [ci, candidate] of (data.candidates || []).entries()) {\n    for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n      console.log("Candidate/part", ci, pi, JSON.stringify(part));\n      const blob = part.inlineData || part.inline_data;\n      if (blob?.data) {\n        const mime = blob.mimeType || blob.mime_type;\n        const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin";\n        saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n      }\n    }\n  }\n}\n\nsaveResult(resp);\n

from openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n    # Keep every field, including usage, IDs, reasoning and tool requests.\n    Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n    print(json.dumps(data, ensure_ascii=False, indent=2))\n    def save_blob(encoded, suffix, label):\n        raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n        ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n        file = Path(stem + "-" + label + "." + ext)\n        file.write_bytes(raw)\n        print("Saved", file)\n    for index, block in enumerate(data.get("content") or []):\n        print("Content", index, json.dumps(block, ensure_ascii=False))\n    for choice in data.get("choices") or []:\n        print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n    for index, item in enumerate(data.get("output") or []):\n        print("Output", index, json.dumps(item, ensure_ascii=False))\n        if item.get("type") == "image_generation_call" and item.get("result"):\n            save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n    for ci, candidate in enumerate(data.get("candidates") or []):\n        for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n            print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n            blob = part.get("inlineData") or part.get("inline_data")\n            if blob and blob.get("data"):\n                mime = blob.get("mimeType") or blob.get("mime_type")\n                suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n                save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nemotron-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n    with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n        for event in stream:\n            payload=event.to_dict(mode="json")\n            log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n            print(json.dumps(payload,ensure_ascii=False))\n    final=stream.get_final_completion()\n    save_result(final.to_dict(mode="json"),"stream-result")\n

Нәтижелерді алу және сақтау

Ailoot · OpenAI чаты

json немесе SSE

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Әр жауап нұсқасын оның мазмұнымен, құрал шақыруларымен және пайымдауымен бірге сақтаңыз. SSE өзгерістерін жауап нұсқасы мен құрал индексі бойынша жинап, соңғы аяқталу себебі мен пайдалану деректерін сақтаңыз.

Бастапқы жауапты тексеру қажет болса

Сұрау мен жауаптың ID мәндерін және тақырыптарын сақтаңыз. Мәтіндік тапсырманы алуға арналған ортақ URL берілмеген.

Жауап өрістері

Өріс	Түрі
Өріс`choices[].index`	Түріinteger
Өріс`choices[].message.content`	Түріstring\|null
Өріс`choices[].message.tool_calls`	Түріtool_call[]
Өріс`choices[].message.reasoning_content`	Түріstring
Өріс`choices[].message.reasoning_details`	Түріobject\|array
Өріс`choices[].finish_reason`	Түріstring\|null
Өріс`usage`	Түріobject

Қателер және келесі қадамдар

Жауап	Шарт	Келесі қадам
Жауап400 · `invalid_request_error`	ШартМіндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате	Келесі қадамЖаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.

Балама атаулар

Модельдердің балама атаулары

Ailoot nvidia/nemotron-3.5-lightning-30b-a3b, nemotron-lightning, nemotron-lightning-latest

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

nvidia/nemotron-3.5-lightning-30b-a3b, nemotron-lightning, nemotron-lightning-latest

", "method_identity": { "effective_request_model_id": "nemotron-lightning", "fmt": "chat", "http": "POST", "path": "/v1/chat/completions", "request_model_id": "nemotron-lightning", "route_label": "Core" }, "method_key": "Core|chat|/v1/chat/completions|nemotron-lightning", "ordinal": 2, "rawMethod": { "cache_read": 0.08, "cache_write": 0.08, "cache_write_1h": null, "cache_write_5m": 0.08, "conditional_meter": null, "contract": { "data": { "all_results": "Keep every choice and its content/tool calls/reasoning. In SSE assemble deltas by choice/tool index, retain the final finish reason and usage.", "authentication": { "api_key_source": "AILOOT_API_KEY", "header": "Authorization: Bearer" }, "errors": [ { "code": null, "condition": "Міндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате", "http_status": 400, "recovery": "Жаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.", "type": "invalid_request_error" } ], "hints": [ "Model context is not an output cap.", "A model-dependent field needs the exact published model profile; unspecified defaults/enums are not guessed.", "Tool calls propose actions; the client application returns actual observations with the returned call ID." ], "ignored_fields": [], "lifecycle": { "create": { "http": "POST", "path": "/v1/chat/completions" }, "job_read": null, "mode": "synchronous_or_streamed", "unknown": "Сұрау мен жауаптың ID мәндерін және тақырыптарын сақтаңыз. Мәтіндік тапсырманы алуға арналған ортақ URL берілмеген." }, "material_combinations": [ { "mode": "text", "representation": "messages[].content", "required_material": "UTF8 мәтіні" } ], "operation_modes": [ "conversation", "function_tool_continuation", "streaming" ], "outputs": { "all_results": "Әр жауап нұсқасын оның мазмұнымен, құрал шақыруларымен және пайымдауымен бірге сақтаңыз. SSE өзгерістерін жауап нұсқасы мен құрал индексі бойынша жинап, соңғы аяқталу себебі мен пайдалану деректерін сақтаңыз.", "family": "text", "fields": [ { "description": null, "name": "choices[].index", "type": "integer" }, { "description": null, "name": "choices[].message.content", "type": "string|null" }, { "description": null, "name": "choices[].message.tool_calls", "type": "tool_call[]" }, { "description": null, "name": "choices[].message.reasoning_content", "type": "string" }, { "description": null, "name": "choices[].message.reasoning_details", "type": "object|array" }, { "description": null, "name": "choices[].finish_reason", "type": "string|null" }, { "description": null, "name": "usage", "type": "object" } ], "format": "json немесе SSE" }, "parameters": [ { "availability": "source_interface", "default": null, "default_known": false, "enum": [ "nemotron-lightning" ], "enum_known": true, "name": "model", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "min_items": 1, "name": "messages", "required": true, "type": "message[]" }, { "availability": "model_dependent", "conditions": "Бұл рөлдер бастапқы кодтағы үйлесімділік түрлерінде айқын көрсетілген; рөлдердің нақты жиыны әр модельге байланысты.", "default": null, "default_known": false, "enum": [ "system", "user", "assistant", "tool", "function" ], "enum_exhaustive": false, "enum_known": true, "name": "messages[].role", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].content", "required": false, "type": "string|content_part[]|null" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].tool_calls", "required": false, "type": "tool_call[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].tool_call_id", "required": false, "type": "string", "when": "role=tool; нақты қайтарылған ID мәнін пайдаланыңыз" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].name", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].reasoning_content", "required": false, "type": "string", "when": "Модель пайымдауды пайдаланса, нақты қайтарылған пайымдауды қайта жіберіңіз" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].reasoning_details", "required": false, "type": "object|array" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "minimum": 1, "name": "max_tokens", "required": false, "type": "integer" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "minimum": 1, "name": "max_completion_tokens", "required": false, "type": "integer" }, { "availability": "source_interface", "default": false, "default_known": true, "enum": null, "enum_known": false, "name": "stream", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stream_options.include_usage", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "temperature", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "top_p", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stop", "required": false, "type": "string|string[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools", "required": false, "type": "function_tool[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].type", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.name", "required": true, "type": "string", "when": "функция құралы берілген" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.description", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.parameters", "required": false, "type": "JSON_schema" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tool_choice", "required": false, "type": "string|object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "parallel_tool_calls", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "response_format", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "reasoning_effort", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "reasoning", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "service_tier", "required": false, "type": "string" }, { "availability": "source_compatibility", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "instructions", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "functions", "required": false, "type": "function[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "function_call", "required": false, "type": "string|object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "prompt_cache_options", "required": false, "type": "object" } ], "profile_binding": "Exact existing Ailoot model and method; interface constraints below do not assert provider qualification.", "unsupported": [] }, "hints": [ "Әдіс құрылымдары мен ID мәндері дәл берілген; жеткізушінің мүмкіндігі сұрауды қабылдаудан бөлек қаралады." ], "input": { "content_type": "application/json", "material_types": [ "text" ], "optional_controls": null, "required": [ "model", "messages" ], "text_file_material": "нақты UTF-8 мазмұны мәтін ретінде енгізіледі; файл ID мәндері мен URLs үшін бөлек нақты қолдау қажет" }, "lifecycle": { "mode": "exact retained published method" }, "method": { "http": "POST", "path": "/v1/chat/completions" }, "operation_modes": [ "chat_completions" ], "output": { "family": [ "text" ], "format": "JSON or supported SSE", "multioutputs": "retain every actual response output" } }, "ctx": 4096, "examples": [ { "code": "set -eu\n: \"${AILOOT_API_KEY:?Set your Ailoot API key}\"\n: \"${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}\"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{\"model\": \"nemotron-lightning\", \"messages\": []}')\nf=Path(os.environ[\"AILOOT_TEXT_FILE\"])\nif not f.is_file():raise SystemExit(\"Choose your actual UTF-8 source material\")\ntext=f.read_text(encoding=\"utf-8\")\nif not text.strip():raise SystemExit(\"Source material must contain text\")\np[\"messages\"]=[{\"role\":\"user\",\"content\":\"Summarize this material and quote supporting source passages.\\n\\n\"+text}]\nPath(\"request.json\").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H \"Authorization: Bearer $AILOOT_API_KEY\" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path(\"result.json\").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\n", "label": "Use actual text material", "language": "bash" }, { "code": "from openai import OpenAI\nimport os\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient = OpenAI(base_url=\"https://api.ailoot.ai/v1\", api_key=os.environ[\"AILOOT_API_KEY\"], max_retries=0)\nresp = client.chat.completions.create(\n model=\"nemotron-lightning\",\n messages=[{\"role\": \"user\", \"content\": \"Explain the difference between an observation and a hypothesis in three sentences.\"}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nsave_result(resp.to_dict(mode=\"json\"))\n", "label": "Python · retained SDK call", "language": "python" }, { "SDK_retry_proof": { "field": "maxRetries", "scope": "normalclient options; no provider/account/proxy switches", "source_urls": [ "https://raw.githubusercontent.com/openai/openai-node/master/src/client.ts", "https://raw.githubusercontent.com/anthropics/anthropic-sdk-typescript/main/src/client.ts" ], "value": 0 }, "code": "import OpenAI from \"openai\";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error(\"Set AILOOT_API_KEY before making a request\");\nconst client = new OpenAI({ baseURL: \"https://api.ailoot.ai/v1\", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n model: \"nemotron-lightning\",\n messages: [{ role: \"user\", content: \"Explain the difference between an observation and a hypothesis in three sentences.\" }],\n});\nimport { writeFileSync } from \"node:fs\";\n\nfunction saveResult(data, stem = \"result\") {\n writeFileSync(stem + \".json\", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, \"base64\");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? \"png\" : raw[0]===255 && raw[1]===216 ? \"jpg\" : raw.subarray(0,4).toString()===\"RIFF\" && raw.subarray(8,12).toString()===\"WEBP\" ? \"webp\" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log(\"Saved\", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log(\"Content\", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log(\"Choice\", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log(\"Output\", i, JSON.stringify(item));\n if (item.type === \"image_generation_call\" && item.result) saveBlob(item.result, item.output_format || \"bin\", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log(\"Candidate/part\", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"})[mime] || \"bin\";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(resp);\n", "label": "Node.js · retained SDK call", "language": "js" }, { "code": "from openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient=OpenAI(base_url=\"https://api.ailoot.ai/v1\",api_key=os.environ[\"AILOOT_API_KEY\"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nwith client.chat.completions.stream(model='nemotron-lightning',messages=[{\"role\":\"user\",\"content\":\"Explain observations and hypotheses in three sentences.\"}]) as stream:\n with Path(\"stream-events.jsonl\").open(\"w\",encoding=\"utf-8\") as log:\n for event in stream:\n payload=event.to_dict(mode=\"json\")\n log.write(json.dumps(payload,ensure_ascii=False)+\"\\n\"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode=\"json\"),\"stream-result\")\n", "label": "Python streaming · retain all events", "language": "python" } ], "family": "openai", "fast_multiplier": null, "flex_multiplier": null, "fmt": "chat", "http": "POST", "img_in": null, "img_out": null, "in": 0.08, "input": [ "text" ], "label": "OpenAI чаты", "max_out": 1024, "max_tool_calls": null, "out": 0.2, "output": [ "text" ], "path": "/v1/chat/completions", "pricing_profiles": [ { "dimensions": {}, "label": "Core", "units": [ { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "in", "label": "Input", "side": "in" }, { "amount": 0.2, "amount_unit": "usd_per_million_tokens", "key": "out", "label": "Output", "side": "out" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_read", "label": "Cache read", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write", "label": "Cache write", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write_5m", "label": "Cache write 5m", "side": "in" } ] } ], "request_model_id": "nemotron-lightning", "route_label": "Core", "status_reads": [], "tiers": [], "tool_prices": null, "unit": "token", "units": [] } }, { "html": "

NV

Nemotron 3.5 Lightning 30B A3B

NVIDIA /nemotron-lightning-latest

Модель ID

Бастау

Nemotron 3.5 Lightning — ұзақ агенттік тапсырмаларға, бағдарламалауға, құжаттардан іздеуге және диалогқа арналған NVIDIA мәтіндік моделі.

Қабылданатын кіріс деректері: Мәтін
Нәтижелер: Мәтін

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

Ұзақ процестің жұмыс моделі

Nemotron 3.5 Lightning автономды агенттерге және бірнеше қадам бойы жалғасатын әрекет тізбектеріне арналған. Ол диалог көмекшілерінде, құжаттарға сүйенген іздеуде және нұсқауларды орындауда да қолданылады. Кіріс пен шығыс мәтіндік.

Архитектурасы және контекст

Гибридті сарапшылар қоспасы Mamba-2 мен жеке назар қабаттарын біріктіреді. Модельде жалпы 30 млрд параметр бар, әр токенге 3 млрд белсенді. Контекст миллион токенге дейін жетеді.

Бірнеше келесі токенді болжау қабаттары өз ұсыныстарын негізгі модель үлестірімімен үйлестіруге қосымша үйретіледі. Шығарылыммен бірге спекулятивті декодтау тәсілдері ұсынылған. Олар генерацияны ұйымдастыруға көмектеседі, бірақ сұраудың кепілдендірілген жылдамдығын белгілемейді.

Даярлықтың бес кезеңі

Код, математика, ғылым және жалпы білімнің 20 трлн-нан астам токені бойынша NVFP4 форматындағы даярлықпен алдын ала үйрету.
Бірнеше болашақ токенді болжау қабаттарын алдын ала үйретуді жалғастыру: олардың ұсыныстары негізгі модель үлестірімімен үйлеседі.
Нұсқауларды, құрал шақыруларын, құрылымды нәтижелерді, алыс үзінділерді іздеуді және құжаттарды біріктіруді қамтитын мысалдар бойынша үйрету.
Пайымдау, код, ғылым, көп қадамды құрал тапсырмалары және диалог үшін бірнеше ортада нығайтпалы оқыту.
Жарияланған нұсқаны кейін сандық сығу.

Соңғы кезең өндірушінің нақты шығарылымын сипаттайды және қызмет көрсетілетін сұраудың есептеу дәлдігін белгілемейді. Сыртқы процесте модель әрекеттер мен мәтіндік нәтиже ұсынады; құралдарды қолданба орындайды.

Тілдер және нұсқалар

Ресми түрде ағылшын, испан, француз, неміс, итальян және жапон тілдері, сондай-ақ бағдарламалау тілдері тізілген. Алдын ала үйрету үшін деректер кесімі 2025 жылғы қыркүйекке дейін, кейінгі үйрету үшін 2026 жылғы мамырға дейін деп көрсетілген.

Сандық сығуы бар жарияланған шығарылым сипаттамалары дәл осы нұсқаны сипаттайды. Модель атауынан нақты орындалудың есептеу дәлдігін анықтауға болмайды. Миллион токен — шығыс ұзындығының жеке уәдесі емес, жалпы контекст.

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot · OpenAI чаты POST /v1/chat/completions

Кіріс: text
Шығыс: text
Контекст: 4 096 tokens
Ең үлкен шығыс: 1 024 tokens
Шығыс пішімі: json немесе SSE

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер nemotron-lightning-latest	Әдепкі—
Өріс`messages`	Түрі`message[]`	ТалапМіндетті	Мәндер мен шектеулер Элементтердің ең аз саны: 1	Әдепкі—
Өріс`messages[].role`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер Мысалдар: system, user, assistant, tool, function Шарттар: Бұл рөлдер бастапқы кодтағы үйлесімділік түрлерінде айқын көрсетілген; рөлдердің нақты жиыны әр модельге байланысты. Модельге байланысты	Әдепкі—
Өріс`messages[].content`	Түрі`string\|content_part[]\|null`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`messages[].tool_calls`	Түрі`tool_call[]`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`messages[].tool_call_id`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Мына жағдайда қолданылады: role=tool; нақты қайтарылған ID мәнін пайдаланыңыз	Әдепкі—
Өріс`messages[].name`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`messages[].reasoning_content`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Мына жағдайда қолданылады: Модель пайымдауды пайдаланса, нақты қайтарылған пайымдауды қайта жіберіңіз	Әдепкі—
Өріс`messages[].reasoning_details`	Түрі`object\|array`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`max_tokens`	Түрі`integer`	ТалапМіндетті емес	Мәндер мен шектеулер Ең азы: 1 Модельге байланысты	Әдепкі—
Өріс`max_completion_tokens`	Түрі`integer`	ТалапМіндетті емес	Мәндер мен шектеулер Ең азы: 1 Модельге байланысты	Әдепкі—
Өріс`stream`	Түрі`boolean`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкіfalse
Өріс`stream_options.include_usage`	Түрі`boolean`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`temperature`	Түрі`number`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`top_p`	Түрі`number`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`stop`	Түрі`string\|string[]`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`tools`	Түрі`function_tool[]`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`tools[].type`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`tools[].function.name`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер Мына жағдайда қолданылады: функция құралы берілген	Әдепкі—
Өріс`tools[].function.description`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`tools[].function.parameters`	Түрі`JSON_schema`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`tool_choice`	Түрі`string\|object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`parallel_tool_calls`	Түрі`boolean`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`response_format`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`reasoning_effort`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`reasoning`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`service_tier`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`instructions`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер Үйлесімділік өрісі	Әдепкі—
Өріс`functions`	Түрі`function[]`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`function_call`	Түрі`string\|object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—
Өріс`prompt_cache_options`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Модельге байланысты	Әдепкі—

Кіріс материалдарының үйлесімдері

Мәтін · UTF8 мәтіні

messages[].content

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`material_types`	Параметр талаптарыtext
Параметр`required`	Параметр талаптарыmodel, messages
Параметр`optional_controls`	Параметр талаптарыnull
Параметр`content_type`	Параметр талаптарыapplication/json
Параметр`text_file_material`	Параметр талаптарынақты UTF-8 мазмұны мәтін ретінде енгізіледі; файл ID мәндері мен URLs үшін бөлек нақты қолдау қажет

Өмірлік цикл: exact retained published method

Әдіс құрылымдары мен ID мәндері дәл берілген; жеткізушінің мүмкіндігі сұрауды қабылдаудан бөлек қаралады.

Тарифтер

Ailoot әдістерінің мөлшерлемелері

Ailoot OpenAI чатыPOST /v1/chat/completions

Кіріс: 0,00008 $ / 1K
Шығыс: 0,0002 $ / 1K
Кэшті оқу: 0,00008 $ / 1K
Кэшке жазу: 0,00008 $ / 1K
Кэшке жазу, 5 мин: 0,00008 $ / 1K tokens

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Сұрау мысалдары

Ailoot · OpenAI чаты

set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nemotron-lightning-latest", "messages": []}')\nf=Path(os.environ["AILOOT_TEXT_FILE"])\nif not f.is_file():raise SystemExit("Choose your actual UTF-8 source material")\ntext=f.read_text(encoding="utf-8")\nif not text.strip():raise SystemExit("Source material must contain text")\np["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\\n\\n"+text}]\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n  --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\n

from openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0)\nresp = client.chat.completions.create(\n    model="nemotron-lightning-latest",\n    messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n    # Keep every field, including usage, IDs, reasoning and tool requests.\n    Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n    print(json.dumps(data, ensure_ascii=False, indent=2))\n    def save_blob(encoded, suffix, label):\n        raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n        ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n        file = Path(stem + "-" + label + "." + ext)\n        file.write_bytes(raw)\n        print("Saved", file)\n    for index, block in enumerate(data.get("content") or []):\n        print("Content", index, json.dumps(block, ensure_ascii=False))\n    for choice in data.get("choices") or []:\n        print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n    for index, item in enumerate(data.get("output") or []):\n        print("Output", index, json.dumps(item, ensure_ascii=False))\n        if item.get("type") == "image_generation_call" and item.get("result"):\n            save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n    for ci, candidate in enumerate(data.get("candidates") or []):\n        for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n            print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n            blob = part.get("inlineData") or part.get("inline_data")\n            if blob and blob.get("data"):\n                mime = blob.get("mimeType") or blob.get("mime_type")\n                suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n                save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(resp.to_dict(mode="json"))\n

import OpenAI from "openai";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request");\nconst client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n  model: "nemotron-lightning-latest",\n  messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }],\n});\nimport { writeFileSync } from "node:fs";\n\nfunction saveResult(data, stem = "result") {\n  writeFileSync(stem + ".json", JSON.stringify(data, null, 2));\n  console.log(JSON.stringify(data, null, 2));\n  const saveBlob = (encoded, suffix, label) => {\n    const raw = Buffer.from(encoded, "base64");\n    const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix;\n    const file = `${stem}-${label}.${ext}`;\n    writeFileSync(file, raw); console.log("Saved", file);\n  };\n  for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block));\n  for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n  for (const [i, item] of (data.output || []).entries()) {\n    console.log("Output", i, JSON.stringify(item));\n    if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`);\n  }\n  for (const [ci, candidate] of (data.candidates || []).entries()) {\n    for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n      console.log("Candidate/part", ci, pi, JSON.stringify(part));\n      const blob = part.inlineData || part.inline_data;\n      if (blob?.data) {\n        const mime = blob.mimeType || blob.mime_type;\n        const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin";\n        saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n      }\n    }\n  }\n}\n\nsaveResult(resp);\n

from openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n    # Keep every field, including usage, IDs, reasoning and tool requests.\n    Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n    print(json.dumps(data, ensure_ascii=False, indent=2))\n    def save_blob(encoded, suffix, label):\n        raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n        ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n        file = Path(stem + "-" + label + "." + ext)\n        file.write_bytes(raw)\n        print("Saved", file)\n    for index, block in enumerate(data.get("content") or []):\n        print("Content", index, json.dumps(block, ensure_ascii=False))\n    for choice in data.get("choices") or []:\n        print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n    for index, item in enumerate(data.get("output") or []):\n        print("Output", index, json.dumps(item, ensure_ascii=False))\n        if item.get("type") == "image_generation_call" and item.get("result"):\n            save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n    for ci, candidate in enumerate(data.get("candidates") or []):\n        for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n            print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n            blob = part.get("inlineData") or part.get("inline_data")\n            if blob and blob.get("data"):\n                mime = blob.get("mimeType") or blob.get("mime_type")\n                suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n                save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nemotron-lightning-latest',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n    with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n        for event in stream:\n            payload=event.to_dict(mode="json")\n            log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n            print(json.dumps(payload,ensure_ascii=False))\n    final=stream.get_final_completion()\n    save_result(final.to_dict(mode="json"),"stream-result")\n

Нәтижелерді алу және сақтау

Ailoot · OpenAI чаты

json немесе SSE

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Әр жауап нұсқасын оның мазмұнымен, құрал шақыруларымен және пайымдауымен бірге сақтаңыз. SSE өзгерістерін жауап нұсқасы мен құрал индексі бойынша жинап, соңғы аяқталу себебі мен пайдалану деректерін сақтаңыз.

Бастапқы жауапты тексеру қажет болса

Сұрау мен жауаптың ID мәндерін және тақырыптарын сақтаңыз. Мәтіндік тапсырманы алуға арналған ортақ URL берілмеген.

Жауап өрістері

Өріс	Түрі
Өріс`choices[].index`	Түріinteger
Өріс`choices[].message.content`	Түріstring\|null
Өріс`choices[].message.tool_calls`	Түріtool_call[]
Өріс`choices[].message.reasoning_content`	Түріstring
Өріс`choices[].message.reasoning_details`	Түріobject\|array
Өріс`choices[].finish_reason`	Түріstring\|null
Өріс`usage`	Түріobject

Қателер және келесі қадамдар

Жауап	Шарт	Келесі қадам
Жауап400 · `invalid_request_error`	ШартМіндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате	Келесі қадамЖаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.

Балама атаулар

Модельдердің балама атаулары

Ailoot nvidia/nemotron-3.5-lightning-30b-a3b, nemotron-lightning, nemotron-lightning-latest

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

nvidia/nemotron-3.5-lightning-30b-a3b, nemotron-lightning, nemotron-lightning-latest

", "method_identity": { "effective_request_model_id": "nemotron-lightning-latest", "fmt": "chat", "http": "POST", "path": "/v1/chat/completions", "request_model_id": "nemotron-lightning-latest", "route_label": "Core" }, "method_key": "Core|chat|/v1/chat/completions|nemotron-lightning-latest", "ordinal": 3, "rawMethod": { "cache_read": 0.08, "cache_write": 0.08, "cache_write_1h": null, "cache_write_5m": 0.08, "conditional_meter": null, "contract": { "data": { "all_results": "Keep every choice and its content/tool calls/reasoning. In SSE assemble deltas by choice/tool index, retain the final finish reason and usage.", "authentication": { "api_key_source": "AILOOT_API_KEY", "header": "Authorization: Bearer" }, "errors": [ { "code": null, "condition": "Міндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате", "http_status": 400, "recovery": "Жаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.", "type": "invalid_request_error" } ], "hints": [ "Model context is not an output cap.", "A model-dependent field needs the exact published model profile; unspecified defaults/enums are not guessed.", "Tool calls propose actions; the client application returns actual observations with the returned call ID." ], "ignored_fields": [], "lifecycle": { "create": { "http": "POST", "path": "/v1/chat/completions" }, "job_read": null, "mode": "synchronous_or_streamed", "unknown": "Сұрау мен жауаптың ID мәндерін және тақырыптарын сақтаңыз. Мәтіндік тапсырманы алуға арналған ортақ URL берілмеген." }, "material_combinations": [ { "mode": "text", "representation": "messages[].content", "required_material": "UTF8 мәтіні" } ], "operation_modes": [ "conversation", "function_tool_continuation", "streaming" ], "outputs": { "all_results": "Әр жауап нұсқасын оның мазмұнымен, құрал шақыруларымен және пайымдауымен бірге сақтаңыз. SSE өзгерістерін жауап нұсқасы мен құрал индексі бойынша жинап, соңғы аяқталу себебі мен пайдалану деректерін сақтаңыз.", "family": "text", "fields": [ { "description": null, "name": "choices[].index", "type": "integer" }, { "description": null, "name": "choices[].message.content", "type": "string|null" }, { "description": null, "name": "choices[].message.tool_calls", "type": "tool_call[]" }, { "description": null, "name": "choices[].message.reasoning_content", "type": "string" }, { "description": null, "name": "choices[].message.reasoning_details", "type": "object|array" }, { "description": null, "name": "choices[].finish_reason", "type": "string|null" }, { "description": null, "name": "usage", "type": "object" } ], "format": "json немесе SSE" }, "parameters": [ { "availability": "source_interface", "default": null, "default_known": false, "enum": [ "nemotron-lightning-latest" ], "enum_known": true, "name": "model", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "min_items": 1, "name": "messages", "required": true, "type": "message[]" }, { "availability": "model_dependent", "conditions": "Бұл рөлдер бастапқы кодтағы үйлесімділік түрлерінде айқын көрсетілген; рөлдердің нақты жиыны әр модельге байланысты.", "default": null, "default_known": false, "enum": [ "system", "user", "assistant", "tool", "function" ], "enum_exhaustive": false, "enum_known": true, "name": "messages[].role", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].content", "required": false, "type": "string|content_part[]|null" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].tool_calls", "required": false, "type": "tool_call[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].tool_call_id", "required": false, "type": "string", "when": "role=tool; нақты қайтарылған ID мәнін пайдаланыңыз" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].name", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].reasoning_content", "required": false, "type": "string", "when": "Модель пайымдауды пайдаланса, нақты қайтарылған пайымдауды қайта жіберіңіз" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].reasoning_details", "required": false, "type": "object|array" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "minimum": 1, "name": "max_tokens", "required": false, "type": "integer" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "minimum": 1, "name": "max_completion_tokens", "required": false, "type": "integer" }, { "availability": "source_interface", "default": false, "default_known": true, "enum": null, "enum_known": false, "name": "stream", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stream_options.include_usage", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "temperature", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "top_p", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stop", "required": false, "type": "string|string[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools", "required": false, "type": "function_tool[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].type", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.name", "required": true, "type": "string", "when": "функция құралы берілген" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.description", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.parameters", "required": false, "type": "JSON_schema" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tool_choice", "required": false, "type": "string|object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "parallel_tool_calls", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "response_format", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "reasoning_effort", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "reasoning", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "service_tier", "required": false, "type": "string" }, { "availability": "source_compatibility", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "instructions", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "functions", "required": false, "type": "function[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "function_call", "required": false, "type": "string|object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "prompt_cache_options", "required": false, "type": "object" } ], "profile_binding": "Exact existing Ailoot model and method; interface constraints below do not assert provider qualification.", "unsupported": [] }, "hints": [ "Әдіс құрылымдары мен ID мәндері дәл берілген; жеткізушінің мүмкіндігі сұрауды қабылдаудан бөлек қаралады." ], "input": { "content_type": "application/json", "material_types": [ "text" ], "optional_controls": null, "required": [ "model", "messages" ], "text_file_material": "нақты UTF-8 мазмұны мәтін ретінде енгізіледі; файл ID мәндері мен URLs үшін бөлек нақты қолдау қажет" }, "lifecycle": { "mode": "exact retained published method" }, "method": { "http": "POST", "path": "/v1/chat/completions" }, "operation_modes": [ "chat_completions" ], "output": { "family": [ "text" ], "format": "JSON or supported SSE", "multioutputs": "retain every actual response output" } }, "ctx": 4096, "examples": [ { "code": "set -eu\n: \"${AILOOT_API_KEY:?Set your Ailoot API key}\"\n: \"${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}\"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{\"model\": \"nemotron-lightning-latest\", \"messages\": []}')\nf=Path(os.environ[\"AILOOT_TEXT_FILE\"])\nif not f.is_file():raise SystemExit(\"Choose your actual UTF-8 source material\")\ntext=f.read_text(encoding=\"utf-8\")\nif not text.strip():raise SystemExit(\"Source material must contain text\")\np[\"messages\"]=[{\"role\":\"user\",\"content\":\"Summarize this material and quote supporting source passages.\\n\\n\"+text}]\nPath(\"request.json\").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H \"Authorization: Bearer $AILOOT_API_KEY\" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path(\"result.json\").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\n", "label": "Use actual text material", "language": "bash" }, { "code": "from openai import OpenAI\nimport os\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient = OpenAI(base_url=\"https://api.ailoot.ai/v1\", api_key=os.environ[\"AILOOT_API_KEY\"], max_retries=0)\nresp = client.chat.completions.create(\n model=\"nemotron-lightning-latest\",\n messages=[{\"role\": \"user\", \"content\": \"Explain the difference between an observation and a hypothesis in three sentences.\"}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nsave_result(resp.to_dict(mode=\"json\"))\n", "label": "Python · retained SDK call", "language": "python" }, { "SDK_retry_proof": { "field": "maxRetries", "scope": "normalclient options; no provider/account/proxy switches", "source_urls": [ "https://raw.githubusercontent.com/openai/openai-node/master/src/client.ts", "https://raw.githubusercontent.com/anthropics/anthropic-sdk-typescript/main/src/client.ts" ], "value": 0 }, "code": "import OpenAI from \"openai\";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error(\"Set AILOOT_API_KEY before making a request\");\nconst client = new OpenAI({ baseURL: \"https://api.ailoot.ai/v1\", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n model: \"nemotron-lightning-latest\",\n messages: [{ role: \"user\", content: \"Explain the difference between an observation and a hypothesis in three sentences.\" }],\n});\nimport { writeFileSync } from \"node:fs\";\n\nfunction saveResult(data, stem = \"result\") {\n writeFileSync(stem + \".json\", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, \"base64\");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? \"png\" : raw[0]===255 && raw[1]===216 ? \"jpg\" : raw.subarray(0,4).toString()===\"RIFF\" && raw.subarray(8,12).toString()===\"WEBP\" ? \"webp\" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log(\"Saved\", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log(\"Content\", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log(\"Choice\", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log(\"Output\", i, JSON.stringify(item));\n if (item.type === \"image_generation_call\" && item.result) saveBlob(item.result, item.output_format || \"bin\", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log(\"Candidate/part\", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"})[mime] || \"bin\";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(resp);\n", "label": "Node.js · retained SDK call", "language": "js" }, { "code": "from openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient=OpenAI(base_url=\"https://api.ailoot.ai/v1\",api_key=os.environ[\"AILOOT_API_KEY\"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nwith client.chat.completions.stream(model='nemotron-lightning-latest',messages=[{\"role\":\"user\",\"content\":\"Explain observations and hypotheses in three sentences.\"}]) as stream:\n with Path(\"stream-events.jsonl\").open(\"w\",encoding=\"utf-8\") as log:\n for event in stream:\n payload=event.to_dict(mode=\"json\")\n log.write(json.dumps(payload,ensure_ascii=False)+\"\\n\"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode=\"json\"),\"stream-result\")\n", "label": "Python streaming · retain all events", "language": "python" } ], "family": "openai", "fast_multiplier": null, "flex_multiplier": null, "fmt": "chat", "http": "POST", "img_in": null, "img_out": null, "in": 0.08, "input": [ "text" ], "label": "OpenAI чаты", "max_out": 1024, "max_tool_calls": null, "out": 0.2, "output": [ "text" ], "path": "/v1/chat/completions", "pricing_profiles": [ { "dimensions": {}, "label": "Core", "units": [ { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "in", "label": "Input", "side": "in" }, { "amount": 0.2, "amount_unit": "usd_per_million_tokens", "key": "out", "label": "Output", "side": "out" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_read", "label": "Cache read", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write", "label": "Cache write", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write_5m", "label": "Cache write 5m", "side": "in" } ] } ], "request_model_id": "nemotron-lightning-latest", "route_label": "Core", "status_reads": [], "tiers": [], "tool_prices": null, "unit": "token", "units": [] } } ], "model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "nativeProvenance": { "input_facts_canonical_sha256": "549bcef6185e3f484c9b64f49b41324f459d878d5a4b756aaabec9ee7b28e50a", "input_html_sha256": "326231be6395f92b42f036e345916ed65a7e19aa7bc6b461e0ac6979b5c45c35", "private_audit_sha256": "60ec1943745b86d16271bb2d09a9a8b9c082c843405f616d5e4449771c8260fa", "role": "historical-normalized-input-audit-hashes", "schema": "ailoot-native-model-provenance-v2" }, "page": { "canonical": "https://ailoot.ai/models/kk/nvidia-nemotron-3-5-lightning-30b-a3b/", "description": "Nemotron 3.5 Lightning — ұзақ агенттік тапсырмаларға, бағдарламалауға, құжаттардан іздеуге және диалогқа арналған NVIDIA мәтіндік моделі.", "locale": "kk", "md_url": "https://ailoot.ai/models/kk/nvidia-nemotron-3-5-lightning-30b-a3b/index.md", "title": "Nemotron 3.5 Lightning 30B A3B — Ailoot", "url": "https://ailoot.ai/models/kk/nvidia-nemotron-3-5-lightning-30b-a3b/" }, "practicalHtml": "

Практикалық тапсырма

Ағылшын тіліндегі техникалық мысал

Apply a document-grounded procedure\n\nUse these procedure excerpts to draft the next action for case C-09. [Rule 1] Packages with a damaged seal go to inspection. [Rule 2] Only inspection-cleared packages enter stock. [Record] C-09 has a damaged seal and no inspection result. Return the current permitted step, blocked step and supporting rule labels.

Күтілетін нәтиже

Three concise fields covering the permitted inspection step, blocked stocking and source evidence.

Нәтижені тексеру

Check that missing inspection clearance prevents stocking and does not become an assumed failed inspection.

", "practicalText": "Практикалық тапсырма Ағылшын тіліндегі техникалық мысал Apply a document-grounded procedure Use these procedure excerpts to draft the next action for case C-09. [Rule 1] Packages with a damaged seal go to inspection. [Rule 2] Only inspection-cleared packages enter stock. [Record] C-09 has a damaged seal and no inspection result. Return the current permitted step, blocked step and supporting rule labels. Күтілетін нәтиже Three concise fields covering the permitted inspection step, blocked stocking and source evidence. Нәтижені тексеру Check that missing inspection clearance prevents stocking and does not become an assumed failed inspection.", "rawModel": { "about": "### Ұзақ процестің жұмыс моделі\n\nNemotron 3.5 Lightning автономды агенттерге және бірнеше қадам бойы жалғасатын әрекет тізбектеріне арналған. Ол диалог көмекшілерінде, құжаттарға сүйенген іздеуде және нұсқауларды орындауда да қолданылады. Кіріс пен шығыс мәтіндік.\n\n### Архитектурасы және контекст\n\nГибридті сарапшылар қоспасы Mamba-2 мен жеке назар қабаттарын біріктіреді. Модельде жалпы 30 млрд параметр бар, әр токенге 3 млрд белсенді. Контекст миллион токенге дейін жетеді.\n\nБірнеше келесі токенді болжау қабаттары өз ұсыныстарын негізгі модель үлестірімімен үйлестіруге қосымша үйретіледі. Шығарылыммен бірге спекулятивті декодтау тәсілдері ұсынылған. Олар генерацияны ұйымдастыруға көмектеседі, бірақ сұраудың кепілдендірілген жылдамдығын белгілемейді.\n\n### Даярлықтың бес кезеңі\n\n1. Код, математика, ғылым және жалпы білімнің 20 трлн-нан астам токені бойынша NVFP4 форматындағы даярлықпен алдын ала үйрету.\n2. Бірнеше болашақ токенді болжау қабаттарын алдын ала үйретуді жалғастыру: олардың ұсыныстары негізгі модель үлестірімімен үйлеседі.\n3. Нұсқауларды, құрал шақыруларын, құрылымды нәтижелерді, алыс үзінділерді іздеуді және құжаттарды біріктіруді қамтитын мысалдар бойынша үйрету.\n4. Пайымдау, код, ғылым, көп қадамды құрал тапсырмалары және диалог үшін бірнеше ортада нығайтпалы оқыту.\n5. Жарияланған нұсқаны кейін сандық сығу.\n\nСоңғы кезең өндірушінің нақты шығарылымын сипаттайды және қызмет көрсетілетін сұраудың есептеу дәлдігін белгілемейді. Сыртқы процесте модель әрекеттер мен мәтіндік нәтиже ұсынады; құралдарды қолданба орындайды.\n\n### Тілдер және нұсқалар\n\nРесми түрде ағылшын, испан, француз, неміс, итальян және жапон тілдері, сондай-ақ бағдарламалау тілдері тізілген. Алдын ала үйрету үшін деректер кесімі 2025 жылғы қыркүйекке дейін, кейінгі үйрету үшін 2026 жылғы мамырға дейін деп көрсетілген.\n\nСандық сығуы бар жарияланған шығарылым сипаттамалары дәл осы нұсқаны сипаттайды. Модель атауынан нақты орындалудың есептеу дәлдігін анықтауға болмайды. Миллион токен — шығыс ұзындығының жеке уәдесі емес, жалпы контекст.", "alias_of": null, "aliases": [ "nemotron-lightning", "nemotron-lightning-latest" ], "author": "NVIDIA", "ctx": 262144, "display_name": "Nemotron 3.5 Lightning 30B A3B", "formats": [ "messages", "chat" ], "id": "nvidia/nemotron-3.5-lightning-30b-a3b", "input": [ "text" ], "kind": "text", "max_out": 32768, "methods": [ { "cache_read": 0.08, "cache_write": 0.08, "cache_write_1h": null, "cache_write_5m": 0.08, "conditional_meter": null, "contract": { "data": { "all_results": "Keep all content blocks, thinking signatures and actual tool-use IDs. Assemble all SSE block deltas; a first text block is not the complete output.", "authentication": { "api_key_source": "AILOOT_API_KEY", "headers": [ "x-api-key", "anthropic-version" ], "version_example": "2023-06-01" }, "errors": [ { "code": null, "condition": "Міндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате", "http_status": 400, "recovery": "Жаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.", "type": "invalid_request_error" } ], "hints": [ "Model context is not an output cap.", "A model-dependent field needs the exact published model profile; unspecified defaults/enums are not guessed.", "Tool calls propose actions; the client application returns actual observations with the returned call ID." ], "ignored_fields": [], "lifecycle": { "create": { "http": "POST", "path": "/v1/messages" }, "job_read": null, "mode": "synchronous_or_streamed", "unknown": "Сұрау мен жауаптың ID мәндерін және тақырыптарын сақтаңыз. Мәтіндік тапсырманы алуға арналған ортақ URL берілмеген." }, "material_combinations": [ { "mode": "text", "representation": "messages[].content немесе type=text блогы", "required_material": "UTF8 мәтіні" } ], "operation_modes": [ "conversation", "function_tool_continuation", "streaming" ], "outputs": { "all_results": "Барлық мазмұн блоктарын, пайымдау қолтаңбаларын және құрал қолданудың нақты ID мәндерін сақтаңыз. SSE блоктарының барлық өзгерістерін жинаңыз; алғашқы мәтіндік блок толық шығыс емес.", "family": "text", "fields": [ { "description": null, "name": "id", "type": "string" }, { "description": null, "name": "model", "type": "string" }, { "description": null, "name": "content[]", "type": "text|thinking|tool_use|other content block" }, { "description": null, "name": "stop_reason", "type": "string|null" }, { "description": null, "name": "usage", "type": "object" } ], "format": "json немесе SSE" }, "parameters": [ { "availability": "source_interface", "default": null, "default_known": false, "enum": [ "nvidia/nemotron-3.5-lightning-30b-a3b" ], "enum_known": true, "name": "model", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "min_items": 1, "name": "messages", "required": true, "type": "message[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": [ "user", "assistant" ], "enum_known": true, "name": "messages[].role", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].content", "required": true, "type": "string|content_block[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "system", "required": false, "type": "string|content_block[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "limit_scope": "таңдалған модельдің/карточканың нақты жоғарғы шегі", "minimum": 1, "name": "max_tokens", "required": true, "type": "integer" }, { "availability": "source_interface", "default": false, "default_known": true, "enum": null, "enum_known": false, "name": "stream", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "temperature", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "top_p", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stop_sequences", "required": false, "type": "string[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools", "required": false, "type": "tool[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].name", "required": false, "type": "string", "when": "құрал берілген" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].description", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].input_schema", "required": false, "type": "JSON_schema" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tool_choice", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "thinking.type", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "thinking.budget_tokens", "required": false, "type": "integer" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "output_config.effort", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "metadata", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "cache_control", "required": false, "type": "object" } ], "profile_binding": "Exact existing Ailoot model and method; interface constraints below do not assert provider qualification.", "unsupported": [] }, "hints": [ "Әдіс құрылымдары мен ID мәндері дәл берілген; жеткізушінің мүмкіндігі сұрауды қабылдаудан бөлек қаралады." ], "input": { "content_type": "application/json", "material_types": [ "text" ], "optional_controls": null, "required": [ "model", "messages", "max_tokens" ], "text_file_material": "нақты UTF-8 мазмұны мәтін ретінде енгізіледі; файл ID мәндері мен URLs үшін бөлек нақты қолдау қажет" }, "lifecycle": { "mode": "exact retained published method" }, "method": { "http": "POST", "path": "/v1/messages" }, "operation_modes": [ "messages" ], "output": { "family": [ "text" ], "format": "JSON or supported SSE", "multioutputs": "retain every actual response output" } }, "ctx": 262144, "examples": [ { "code": "set -eu\n: \"${AILOOT_API_KEY:?Set your Ailoot API key}\"\n: \"${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}\"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{\"model\": \"nvidia/nemotron-3.5-lightning-30b-a3b\", \"max_tokens\": 1024, \"messages\": []}')\nf=Path(os.environ[\"AILOOT_TEXT_FILE\"])\nif not f.is_file():raise SystemExit(\"Choose your actual UTF-8 source material\")\ntext=f.read_text(encoding=\"utf-8\")\nif not text.strip():raise SystemExit(\"Source material must contain text\")\np[\"messages\"]=[{\"role\":\"user\",\"content\":\"Summarize this material and quote supporting source passages.\\n\\n\"+text}]\nPath(\"request.json\").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H \"x-api-key: $AILOOT_API_KEY\" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path(\"result.json\").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\n", "label": "Use actual text material", "language": "bash" }, { "code": "import anthropic\nimport os\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient = anthropic.Anthropic(base_url=\"https://api.ailoot.ai\", api_key=os.environ[\"AILOOT_API_KEY\"], max_retries=0)\nmsg = client.messages.create(\n model=\"nvidia/nemotron-3.5-lightning-30b-a3b\",\n max_tokens=1024,\n messages=[{\"role\": \"user\", \"content\": \"Explain the difference between an observation and a hypothesis in three sentences.\"}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nsave_result(msg.to_dict(mode=\"json\"))\n", "label": "Python · retained SDK call", "language": "python" }, { "SDK_retry_proof": { "field": "maxRetries", "scope": "normalclient options; no provider/account/proxy switches", "source_urls": [ "https://raw.githubusercontent.com/openai/openai-node/master/src/client.ts", "https://raw.githubusercontent.com/anthropics/anthropic-sdk-typescript/main/src/client.ts" ], "value": 0 }, "code": "import Anthropic from \"@anthropic-ai/sdk\";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error(\"Set AILOOT_API_KEY before making a request\");\nconst client = new Anthropic({ baseURL: \"https://api.ailoot.ai\", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst msg = await client.messages.create({\n model: \"nvidia/nemotron-3.5-lightning-30b-a3b\",\n max_tokens: 1024,\n messages: [{ role: \"user\", content: \"Explain the difference between an observation and a hypothesis in three sentences.\" }],\n});\nimport { writeFileSync } from \"node:fs\";\n\nfunction saveResult(data, stem = \"result\") {\n writeFileSync(stem + \".json\", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, \"base64\");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? \"png\" : raw[0]===255 && raw[1]===216 ? \"jpg\" : raw.subarray(0,4).toString()===\"RIFF\" && raw.subarray(8,12).toString()===\"WEBP\" ? \"webp\" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log(\"Saved\", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log(\"Content\", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log(\"Choice\", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log(\"Output\", i, JSON.stringify(item));\n if (item.type === \"image_generation_call\" && item.result) saveBlob(item.result, item.output_format || \"bin\", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log(\"Candidate/part\", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"})[mime] || \"bin\";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(msg);\n", "label": "Node.js · retained SDK call", "language": "js" }, { "code": "import anthropic,os\nfrom pathlib import Path\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient=anthropic.Anthropic(base_url=\"https://api.ailoot.ai\",api_key=os.environ[\"AILOOT_API_KEY\"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nwith client.messages.stream(model='nvidia/nemotron-3.5-lightning-30b-a3b',max_tokens=1024,messages=[{\"role\":\"user\",\"content\":\"Explain observations and hypotheses in three sentences.\"}]) as stream:\n with Path(\"stream-events.jsonl\").open(\"w\",encoding=\"utf-8\") as log:\n for event in stream:\n payload=event.to_dict(mode=\"json\")\n log.write(json.dumps(payload,ensure_ascii=False)+\"\\n\"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_message()\n save_result(final.to_dict(mode=\"json\"),\"stream-result\")\n", "label": "Python streaming · complete final message", "language": "python" } ], "family": "anthropic", "fast_multiplier": null, "flex_multiplier": null, "fmt": "messages", "http": "POST", "img_in": null, "img_out": null, "in": 0.08, "input": [ "text" ], "label": "Anthropic хабарламалары", "max_out": 32768, "max_tool_calls": null, "out": 0.2, "output": [ "text" ], "path": "/v1/messages", "pricing_profiles": [ { "dimensions": {}, "label": "Core", "units": [ { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "in", "label": "Input", "side": "in" }, { "amount": 0.2, "amount_unit": "usd_per_million_tokens", "key": "out", "label": "Output", "side": "out" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_read", "label": "Cache read", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write", "label": "Cache write", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write_5m", "label": "Cache write 5m", "side": "in" } ] } ], "request_model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "route_label": "Core", "status_reads": [], "tiers": [], "tool_prices": null, "unit": "token", "units": [] }, { "cache_read": 0.08, "cache_write": 0.08, "cache_write_1h": null, "cache_write_5m": 0.08, "conditional_meter": null, "contract": { "data": { "all_results": "Keep every choice and its content/tool calls/reasoning. In SSE assemble deltas by choice/tool index, retain the final finish reason and usage.", "authentication": { "api_key_source": "AILOOT_API_KEY", "header": "Authorization: Bearer" }, "errors": [ { "code": null, "condition": "Міндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате", "http_status": 400, "recovery": "Жаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.", "type": "invalid_request_error" } ], "hints": [ "Model context is not an output cap.", "A model-dependent field needs the exact published model profile; unspecified defaults/enums are not guessed.", "Tool calls propose actions; the client application returns actual observations with the returned call ID." ], "ignored_fields": [], "lifecycle": { "create": { "http": "POST", "path": "/v1/chat/completions" }, "job_read": null, "mode": "synchronous_or_streamed", "unknown": "Сұрау мен жауаптың ID мәндерін және тақырыптарын сақтаңыз. Мәтіндік тапсырманы алуға арналған ортақ URL берілмеген." }, "material_combinations": [ { "mode": "text", "representation": "messages[].content", "required_material": "UTF8 мәтіні" } ], "operation_modes": [ "conversation", "function_tool_continuation", "streaming" ], "outputs": { "all_results": "Әр жауап нұсқасын оның мазмұнымен, құрал шақыруларымен және пайымдауымен бірге сақтаңыз. SSE өзгерістерін жауап нұсқасы мен құрал индексі бойынша жинап, соңғы аяқталу себебі мен пайдалану деректерін сақтаңыз.", "family": "text", "fields": [ { "description": null, "name": "choices[].index", "type": "integer" }, { "description": null, "name": "choices[].message.content", "type": "string|null" }, { "description": null, "name": "choices[].message.tool_calls", "type": "tool_call[]" }, { "description": null, "name": "choices[].message.reasoning_content", "type": "string" }, { "description": null, "name": "choices[].message.reasoning_details", "type": "object|array" }, { "description": null, "name": "choices[].finish_reason", "type": "string|null" }, { "description": null, "name": "usage", "type": "object" } ], "format": "json немесе SSE" }, "parameters": [ { "availability": "source_interface", "default": null, "default_known": false, "enum": [ "nvidia/nemotron-3.5-lightning-30b-a3b" ], "enum_known": true, "name": "model", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "min_items": 1, "name": "messages", "required": true, "type": "message[]" }, { "availability": "model_dependent", "conditions": "Бұл рөлдер бастапқы кодтағы үйлесімділік түрлерінде айқын көрсетілген; рөлдердің нақты жиыны әр модельге байланысты.", "default": null, "default_known": false, "enum": [ "system", "user", "assistant", "tool", "function" ], "enum_exhaustive": false, "enum_known": true, "name": "messages[].role", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].content", "required": false, "type": "string|content_part[]|null" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].tool_calls", "required": false, "type": "tool_call[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].tool_call_id", "required": false, "type": "string", "when": "role=tool; нақты қайтарылған ID мәнін пайдаланыңыз" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].name", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].reasoning_content", "required": false, "type": "string", "when": "Модель пайымдауды пайдаланса, нақты қайтарылған пайымдауды қайта жіберіңіз" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].reasoning_details", "required": false, "type": "object|array" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "minimum": 1, "name": "max_tokens", "required": false, "type": "integer" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "minimum": 1, "name": "max_completion_tokens", "required": false, "type": "integer" }, { "availability": "source_interface", "default": false, "default_known": true, "enum": null, "enum_known": false, "name": "stream", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stream_options.include_usage", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "temperature", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "top_p", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stop", "required": false, "type": "string|string[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools", "required": false, "type": "function_tool[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].type", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.name", "required": true, "type": "string", "when": "функция құралы берілген" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.description", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.parameters", "required": false, "type": "JSON_schema" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tool_choice", "required": false, "type": "string|object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "parallel_tool_calls", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "response_format", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "reasoning_effort", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "reasoning", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "service_tier", "required": false, "type": "string" }, { "availability": "source_compatibility", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "instructions", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "functions", "required": false, "type": "function[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "function_call", "required": false, "type": "string|object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "prompt_cache_options", "required": false, "type": "object" } ], "profile_binding": "Exact existing Ailoot model and method; interface constraints below do not assert provider qualification.", "unsupported": [] }, "hints": [ "Әдіс құрылымдары мен ID мәндері дәл берілген; жеткізушінің мүмкіндігі сұрауды қабылдаудан бөлек қаралады." ], "input": { "content_type": "application/json", "material_types": [ "text" ], "optional_controls": null, "required": [ "model", "messages" ], "text_file_material": "нақты UTF-8 мазмұны мәтін ретінде енгізіледі; файл ID мәндері мен URLs үшін бөлек нақты қолдау қажет" }, "lifecycle": { "mode": "exact retained published method" }, "method": { "http": "POST", "path": "/v1/chat/completions" }, "operation_modes": [ "chat_completions" ], "output": { "family": [ "text" ], "format": "JSON or supported SSE", "multioutputs": "retain every actual response output" } }, "ctx": 4096, "examples": [ { "code": "set -eu\n: \"${AILOOT_API_KEY:?Set your Ailoot API key}\"\n: \"${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}\"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{\"model\": \"nvidia/nemotron-3.5-lightning-30b-a3b\", \"messages\": []}')\nf=Path(os.environ[\"AILOOT_TEXT_FILE\"])\nif not f.is_file():raise SystemExit(\"Choose your actual UTF-8 source material\")\ntext=f.read_text(encoding=\"utf-8\")\nif not text.strip():raise SystemExit(\"Source material must contain text\")\np[\"messages\"]=[{\"role\":\"user\",\"content\":\"Summarize this material and quote supporting source passages.\\n\\n\"+text}]\nPath(\"request.json\").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H \"Authorization: Bearer $AILOOT_API_KEY\" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path(\"result.json\").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\n", "label": "Use actual text material", "language": "bash" }, { "code": "from openai import OpenAI\nimport os\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient = OpenAI(base_url=\"https://api.ailoot.ai/v1\", api_key=os.environ[\"AILOOT_API_KEY\"], max_retries=0)\nresp = client.chat.completions.create(\n model=\"nvidia/nemotron-3.5-lightning-30b-a3b\",\n messages=[{\"role\": \"user\", \"content\": \"Explain the difference between an observation and a hypothesis in three sentences.\"}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nsave_result(resp.to_dict(mode=\"json\"))\n", "label": "Python · retained SDK call", "language": "python" }, { "SDK_retry_proof": { "field": "maxRetries", "scope": "normalclient options; no provider/account/proxy switches", "source_urls": [ "https://raw.githubusercontent.com/openai/openai-node/master/src/client.ts", "https://raw.githubusercontent.com/anthropics/anthropic-sdk-typescript/main/src/client.ts" ], "value": 0 }, "code": "import OpenAI from \"openai\";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error(\"Set AILOOT_API_KEY before making a request\");\nconst client = new OpenAI({ baseURL: \"https://api.ailoot.ai/v1\", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n model: \"nvidia/nemotron-3.5-lightning-30b-a3b\",\n messages: [{ role: \"user\", content: \"Explain the difference between an observation and a hypothesis in three sentences.\" }],\n});\nimport { writeFileSync } from \"node:fs\";\n\nfunction saveResult(data, stem = \"result\") {\n writeFileSync(stem + \".json\", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, \"base64\");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? \"png\" : raw[0]===255 && raw[1]===216 ? \"jpg\" : raw.subarray(0,4).toString()===\"RIFF\" && raw.subarray(8,12).toString()===\"WEBP\" ? \"webp\" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log(\"Saved\", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log(\"Content\", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log(\"Choice\", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log(\"Output\", i, JSON.stringify(item));\n if (item.type === \"image_generation_call\" && item.result) saveBlob(item.result, item.output_format || \"bin\", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log(\"Candidate/part\", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"})[mime] || \"bin\";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(resp);\n", "label": "Node.js · retained SDK call", "language": "js" }, { "code": "from openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient=OpenAI(base_url=\"https://api.ailoot.ai/v1\",api_key=os.environ[\"AILOOT_API_KEY\"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning-30b-a3b',messages=[{\"role\":\"user\",\"content\":\"Explain observations and hypotheses in three sentences.\"}]) as stream:\n with Path(\"stream-events.jsonl\").open(\"w\",encoding=\"utf-8\") as log:\n for event in stream:\n payload=event.to_dict(mode=\"json\")\n log.write(json.dumps(payload,ensure_ascii=False)+\"\\n\"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode=\"json\"),\"stream-result\")\n", "label": "Python streaming · retain all events", "language": "python" } ], "family": "openai", "fast_multiplier": null, "flex_multiplier": null, "fmt": "chat", "http": "POST", "img_in": null, "img_out": null, "in": 0.08, "input": [ "text" ], "label": "OpenAI чаты", "max_out": 1024, "max_tool_calls": null, "out": 0.2, "output": [ "text" ], "path": "/v1/chat/completions", "pricing_profiles": [ { "dimensions": {}, "label": "Core", "units": [ { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "in", "label": "Input", "side": "in" }, { "amount": 0.2, "amount_unit": "usd_per_million_tokens", "key": "out", "label": "Output", "side": "out" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_read", "label": "Cache read", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write", "label": "Cache write", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write_5m", "label": "Cache write 5m", "side": "in" } ] } ], "request_model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "route_label": "Core", "status_reads": [], "tiers": [], "tool_prices": null, "unit": "token", "units": [] }, { "cache_read": 0.08, "cache_write": 0.08, "cache_write_1h": null, "cache_write_5m": 0.08, "conditional_meter": null, "contract": { "data": { "all_results": "Keep every choice and its content/tool calls/reasoning. In SSE assemble deltas by choice/tool index, retain the final finish reason and usage.", "authentication": { "api_key_source": "AILOOT_API_KEY", "header": "Authorization: Bearer" }, "errors": [ { "code": null, "condition": "Міндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате", "http_status": 400, "recovery": "Жаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.", "type": "invalid_request_error" } ], "hints": [ "Model context is not an output cap.", "A model-dependent field needs the exact published model profile; unspecified defaults/enums are not guessed.", "Tool calls propose actions; the client application returns actual observations with the returned call ID." ], "ignored_fields": [], "lifecycle": { "create": { "http": "POST", "path": "/v1/chat/completions" }, "job_read": null, "mode": "synchronous_or_streamed", "unknown": "Сұрау мен жауаптың ID мәндерін және тақырыптарын сақтаңыз. Мәтіндік тапсырманы алуға арналған ортақ URL берілмеген." }, "material_combinations": [ { "mode": "text", "representation": "messages[].content", "required_material": "UTF8 мәтіні" } ], "operation_modes": [ "conversation", "function_tool_continuation", "streaming" ], "outputs": { "all_results": "Әр жауап нұсқасын оның мазмұнымен, құрал шақыруларымен және пайымдауымен бірге сақтаңыз. SSE өзгерістерін жауап нұсқасы мен құрал индексі бойынша жинап, соңғы аяқталу себебі мен пайдалану деректерін сақтаңыз.", "family": "text", "fields": [ { "description": null, "name": "choices[].index", "type": "integer" }, { "description": null, "name": "choices[].message.content", "type": "string|null" }, { "description": null, "name": "choices[].message.tool_calls", "type": "tool_call[]" }, { "description": null, "name": "choices[].message.reasoning_content", "type": "string" }, { "description": null, "name": "choices[].message.reasoning_details", "type": "object|array" }, { "description": null, "name": "choices[].finish_reason", "type": "string|null" }, { "description": null, "name": "usage", "type": "object" } ], "format": "json немесе SSE" }, "parameters": [ { "availability": "source_interface", "default": null, "default_known": false, "enum": [ "nemotron-lightning" ], "enum_known": true, "name": "model", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "min_items": 1, "name": "messages", "required": true, "type": "message[]" }, { "availability": "model_dependent", "conditions": "Бұл рөлдер бастапқы кодтағы үйлесімділік түрлерінде айқын көрсетілген; рөлдердің нақты жиыны әр модельге байланысты.", "default": null, "default_known": false, "enum": [ "system", "user", "assistant", "tool", "function" ], "enum_exhaustive": false, "enum_known": true, "name": "messages[].role", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].content", "required": false, "type": "string|content_part[]|null" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].tool_calls", "required": false, "type": "tool_call[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].tool_call_id", "required": false, "type": "string", "when": "role=tool; нақты қайтарылған ID мәнін пайдаланыңыз" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].name", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].reasoning_content", "required": false, "type": "string", "when": "Модель пайымдауды пайдаланса, нақты қайтарылған пайымдауды қайта жіберіңіз" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].reasoning_details", "required": false, "type": "object|array" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "minimum": 1, "name": "max_tokens", "required": false, "type": "integer" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "minimum": 1, "name": "max_completion_tokens", "required": false, "type": "integer" }, { "availability": "source_interface", "default": false, "default_known": true, "enum": null, "enum_known": false, "name": "stream", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stream_options.include_usage", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "temperature", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "top_p", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stop", "required": false, "type": "string|string[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools", "required": false, "type": "function_tool[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].type", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.name", "required": true, "type": "string", "when": "функция құралы берілген" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.description", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.parameters", "required": false, "type": "JSON_schema" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tool_choice", "required": false, "type": "string|object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "parallel_tool_calls", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "response_format", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "reasoning_effort", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "reasoning", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "service_tier", "required": false, "type": "string" }, { "availability": "source_compatibility", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "instructions", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "functions", "required": false, "type": "function[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "function_call", "required": false, "type": "string|object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "prompt_cache_options", "required": false, "type": "object" } ], "profile_binding": "Exact existing Ailoot model and method; interface constraints below do not assert provider qualification.", "unsupported": [] }, "hints": [ "Әдіс құрылымдары мен ID мәндері дәл берілген; жеткізушінің мүмкіндігі сұрауды қабылдаудан бөлек қаралады." ], "input": { "content_type": "application/json", "material_types": [ "text" ], "optional_controls": null, "required": [ "model", "messages" ], "text_file_material": "нақты UTF-8 мазмұны мәтін ретінде енгізіледі; файл ID мәндері мен URLs үшін бөлек нақты қолдау қажет" }, "lifecycle": { "mode": "exact retained published method" }, "method": { "http": "POST", "path": "/v1/chat/completions" }, "operation_modes": [ "chat_completions" ], "output": { "family": [ "text" ], "format": "JSON or supported SSE", "multioutputs": "retain every actual response output" } }, "ctx": 4096, "examples": [ { "code": "set -eu\n: \"${AILOOT_API_KEY:?Set your Ailoot API key}\"\n: \"${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}\"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{\"model\": \"nemotron-lightning\", \"messages\": []}')\nf=Path(os.environ[\"AILOOT_TEXT_FILE\"])\nif not f.is_file():raise SystemExit(\"Choose your actual UTF-8 source material\")\ntext=f.read_text(encoding=\"utf-8\")\nif not text.strip():raise SystemExit(\"Source material must contain text\")\np[\"messages\"]=[{\"role\":\"user\",\"content\":\"Summarize this material and quote supporting source passages.\\n\\n\"+text}]\nPath(\"request.json\").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H \"Authorization: Bearer $AILOOT_API_KEY\" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path(\"result.json\").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\n", "label": "Use actual text material", "language": "bash" }, { "code": "from openai import OpenAI\nimport os\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient = OpenAI(base_url=\"https://api.ailoot.ai/v1\", api_key=os.environ[\"AILOOT_API_KEY\"], max_retries=0)\nresp = client.chat.completions.create(\n model=\"nemotron-lightning\",\n messages=[{\"role\": \"user\", \"content\": \"Explain the difference between an observation and a hypothesis in three sentences.\"}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nsave_result(resp.to_dict(mode=\"json\"))\n", "label": "Python · retained SDK call", "language": "python" }, { "SDK_retry_proof": { "field": "maxRetries", "scope": "normalclient options; no provider/account/proxy switches", "source_urls": [ "https://raw.githubusercontent.com/openai/openai-node/master/src/client.ts", "https://raw.githubusercontent.com/anthropics/anthropic-sdk-typescript/main/src/client.ts" ], "value": 0 }, "code": "import OpenAI from \"openai\";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error(\"Set AILOOT_API_KEY before making a request\");\nconst client = new OpenAI({ baseURL: \"https://api.ailoot.ai/v1\", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n model: \"nemotron-lightning\",\n messages: [{ role: \"user\", content: \"Explain the difference between an observation and a hypothesis in three sentences.\" }],\n});\nimport { writeFileSync } from \"node:fs\";\n\nfunction saveResult(data, stem = \"result\") {\n writeFileSync(stem + \".json\", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, \"base64\");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? \"png\" : raw[0]===255 && raw[1]===216 ? \"jpg\" : raw.subarray(0,4).toString()===\"RIFF\" && raw.subarray(8,12).toString()===\"WEBP\" ? \"webp\" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log(\"Saved\", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log(\"Content\", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log(\"Choice\", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log(\"Output\", i, JSON.stringify(item));\n if (item.type === \"image_generation_call\" && item.result) saveBlob(item.result, item.output_format || \"bin\", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log(\"Candidate/part\", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"})[mime] || \"bin\";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(resp);\n", "label": "Node.js · retained SDK call", "language": "js" }, { "code": "from openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient=OpenAI(base_url=\"https://api.ailoot.ai/v1\",api_key=os.environ[\"AILOOT_API_KEY\"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nwith client.chat.completions.stream(model='nemotron-lightning',messages=[{\"role\":\"user\",\"content\":\"Explain observations and hypotheses in three sentences.\"}]) as stream:\n with Path(\"stream-events.jsonl\").open(\"w\",encoding=\"utf-8\") as log:\n for event in stream:\n payload=event.to_dict(mode=\"json\")\n log.write(json.dumps(payload,ensure_ascii=False)+\"\\n\"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode=\"json\"),\"stream-result\")\n", "label": "Python streaming · retain all events", "language": "python" } ], "family": "openai", "fast_multiplier": null, "flex_multiplier": null, "fmt": "chat", "http": "POST", "img_in": null, "img_out": null, "in": 0.08, "input": [ "text" ], "label": "OpenAI чаты", "max_out": 1024, "max_tool_calls": null, "out": 0.2, "output": [ "text" ], "path": "/v1/chat/completions", "pricing_profiles": [ { "dimensions": {}, "label": "Core", "units": [ { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "in", "label": "Input", "side": "in" }, { "amount": 0.2, "amount_unit": "usd_per_million_tokens", "key": "out", "label": "Output", "side": "out" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_read", "label": "Cache read", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write", "label": "Cache write", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write_5m", "label": "Cache write 5m", "side": "in" } ] } ], "request_model_id": "nemotron-lightning", "route_label": "Core", "status_reads": [], "tiers": [], "tool_prices": null, "unit": "token", "units": [] }, { "cache_read": 0.08, "cache_write": 0.08, "cache_write_1h": null, "cache_write_5m": 0.08, "conditional_meter": null, "contract": { "data": { "all_results": "Keep every choice and its content/tool calls/reasoning. In SSE assemble deltas by choice/tool index, retain the final finish reason and usage.", "authentication": { "api_key_source": "AILOOT_API_KEY", "header": "Authorization: Bearer" }, "errors": [ { "code": null, "condition": "Міндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате", "http_status": 400, "recovery": "Жаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.", "type": "invalid_request_error" } ], "hints": [ "Model context is not an output cap.", "A model-dependent field needs the exact published model profile; unspecified defaults/enums are not guessed.", "Tool calls propose actions; the client application returns actual observations with the returned call ID." ], "ignored_fields": [], "lifecycle": { "create": { "http": "POST", "path": "/v1/chat/completions" }, "job_read": null, "mode": "synchronous_or_streamed", "unknown": "Сұрау мен жауаптың ID мәндерін және тақырыптарын сақтаңыз. Мәтіндік тапсырманы алуға арналған ортақ URL берілмеген." }, "material_combinations": [ { "mode": "text", "representation": "messages[].content", "required_material": "UTF8 мәтіні" } ], "operation_modes": [ "conversation", "function_tool_continuation", "streaming" ], "outputs": { "all_results": "Әр жауап нұсқасын оның мазмұнымен, құрал шақыруларымен және пайымдауымен бірге сақтаңыз. SSE өзгерістерін жауап нұсқасы мен құрал индексі бойынша жинап, соңғы аяқталу себебі мен пайдалану деректерін сақтаңыз.", "family": "text", "fields": [ { "description": null, "name": "choices[].index", "type": "integer" }, { "description": null, "name": "choices[].message.content", "type": "string|null" }, { "description": null, "name": "choices[].message.tool_calls", "type": "tool_call[]" }, { "description": null, "name": "choices[].message.reasoning_content", "type": "string" }, { "description": null, "name": "choices[].message.reasoning_details", "type": "object|array" }, { "description": null, "name": "choices[].finish_reason", "type": "string|null" }, { "description": null, "name": "usage", "type": "object" } ], "format": "json немесе SSE" }, "parameters": [ { "availability": "source_interface", "default": null, "default_known": false, "enum": [ "nemotron-lightning-latest" ], "enum_known": true, "name": "model", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "min_items": 1, "name": "messages", "required": true, "type": "message[]" }, { "availability": "model_dependent", "conditions": "Бұл рөлдер бастапқы кодтағы үйлесімділік түрлерінде айқын көрсетілген; рөлдердің нақты жиыны әр модельге байланысты.", "default": null, "default_known": false, "enum": [ "system", "user", "assistant", "tool", "function" ], "enum_exhaustive": false, "enum_known": true, "name": "messages[].role", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].content", "required": false, "type": "string|content_part[]|null" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].tool_calls", "required": false, "type": "tool_call[]" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].tool_call_id", "required": false, "type": "string", "when": "role=tool; нақты қайтарылған ID мәнін пайдаланыңыз" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].name", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].reasoning_content", "required": false, "type": "string", "when": "Модель пайымдауды пайдаланса, нақты қайтарылған пайымдауды қайта жіберіңіз" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "messages[].reasoning_details", "required": false, "type": "object|array" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "minimum": 1, "name": "max_tokens", "required": false, "type": "integer" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "minimum": 1, "name": "max_completion_tokens", "required": false, "type": "integer" }, { "availability": "source_interface", "default": false, "default_known": true, "enum": null, "enum_known": false, "name": "stream", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stream_options.include_usage", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "temperature", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "top_p", "required": false, "type": "number" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "stop", "required": false, "type": "string|string[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools", "required": false, "type": "function_tool[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].type", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.name", "required": true, "type": "string", "when": "функция құралы берілген" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.description", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tools[].function.parameters", "required": false, "type": "JSON_schema" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "tool_choice", "required": false, "type": "string|object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "parallel_tool_calls", "required": false, "type": "boolean" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "response_format", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "reasoning_effort", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "reasoning", "required": false, "type": "object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "service_tier", "required": false, "type": "string" }, { "availability": "source_compatibility", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "instructions", "required": false, "type": "string" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "functions", "required": false, "type": "function[]" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "function_call", "required": false, "type": "string|object" }, { "availability": "model_dependent", "default": null, "default_known": false, "enum": null, "enum_known": false, "name": "prompt_cache_options", "required": false, "type": "object" } ], "profile_binding": "Exact existing Ailoot model and method; interface constraints below do not assert provider qualification.", "unsupported": [] }, "hints": [ "Әдіс құрылымдары мен ID мәндері дәл берілген; жеткізушінің мүмкіндігі сұрауды қабылдаудан бөлек қаралады." ], "input": { "content_type": "application/json", "material_types": [ "text" ], "optional_controls": null, "required": [ "model", "messages" ], "text_file_material": "нақты UTF-8 мазмұны мәтін ретінде енгізіледі; файл ID мәндері мен URLs үшін бөлек нақты қолдау қажет" }, "lifecycle": { "mode": "exact retained published method" }, "method": { "http": "POST", "path": "/v1/chat/completions" }, "operation_modes": [ "chat_completions" ], "output": { "family": [ "text" ], "format": "JSON or supported SSE", "multioutputs": "retain every actual response output" } }, "ctx": 4096, "examples": [ { "code": "set -eu\n: \"${AILOOT_API_KEY:?Set your Ailoot API key}\"\n: \"${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}\"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{\"model\": \"nemotron-lightning-latest\", \"messages\": []}')\nf=Path(os.environ[\"AILOOT_TEXT_FILE\"])\nif not f.is_file():raise SystemExit(\"Choose your actual UTF-8 source material\")\ntext=f.read_text(encoding=\"utf-8\")\nif not text.strip():raise SystemExit(\"Source material must contain text\")\np[\"messages\"]=[{\"role\":\"user\",\"content\":\"Summarize this material and quote supporting source passages.\\n\\n\"+text}]\nPath(\"request.json\").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H \"Authorization: Bearer $AILOOT_API_KEY\" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path(\"result.json\").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\n", "label": "Use actual text material", "language": "bash" }, { "code": "from openai import OpenAI\nimport os\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient = OpenAI(base_url=\"https://api.ailoot.ai/v1\", api_key=os.environ[\"AILOOT_API_KEY\"], max_retries=0)\nresp = client.chat.completions.create(\n model=\"nemotron-lightning-latest\",\n messages=[{\"role\": \"user\", \"content\": \"Explain the difference between an observation and a hypothesis in three sentences.\"}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nsave_result(resp.to_dict(mode=\"json\"))\n", "label": "Python · retained SDK call", "language": "python" }, { "SDK_retry_proof": { "field": "maxRetries", "scope": "normalclient options; no provider/account/proxy switches", "source_urls": [ "https://raw.githubusercontent.com/openai/openai-node/master/src/client.ts", "https://raw.githubusercontent.com/anthropics/anthropic-sdk-typescript/main/src/client.ts" ], "value": 0 }, "code": "import OpenAI from \"openai\";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error(\"Set AILOOT_API_KEY before making a request\");\nconst client = new OpenAI({ baseURL: \"https://api.ailoot.ai/v1\", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n model: \"nemotron-lightning-latest\",\n messages: [{ role: \"user\", content: \"Explain the difference between an observation and a hypothesis in three sentences.\" }],\n});\nimport { writeFileSync } from \"node:fs\";\n\nfunction saveResult(data, stem = \"result\") {\n writeFileSync(stem + \".json\", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, \"base64\");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? \"png\" : raw[0]===255 && raw[1]===216 ? \"jpg\" : raw.subarray(0,4).toString()===\"RIFF\" && raw.subarray(8,12).toString()===\"WEBP\" ? \"webp\" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log(\"Saved\", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log(\"Content\", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log(\"Choice\", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log(\"Output\", i, JSON.stringify(item));\n if (item.type === \"image_generation_call\" && item.result) saveBlob(item.result, item.output_format || \"bin\", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log(\"Candidate/part\", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"})[mime] || \"bin\";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(resp);\n", "label": "Node.js · retained SDK call", "language": "js" }, { "code": "from openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get(\"AILOOT_API_KEY\", \"\").strip(): raise SystemExit(\"Set AILOOT_API_KEY before making a request\")\nclient=OpenAI(base_url=\"https://api.ailoot.ai/v1\",api_key=os.environ[\"AILOOT_API_KEY\"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem=\"result\"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + \".json\").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b\"-_\", validate=True)\n ext = \"png\" if raw.startswith(b\"\\x89PNG\\r\\n\\x1a\\n\") else \"jpg\" if raw.startswith(b\"\\xff\\xd8\") else \"webp\" if raw[:4] == b\"RIFF\" and raw[8:12] == b\"WEBP\" else suffix\n file = Path(stem + \"-\" + label + \".\" + ext)\n file.write_bytes(raw)\n print(\"Saved\", file)\n for index, block in enumerate(data.get(\"content\") or []):\n print(\"Content\", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get(\"choices\") or []:\n print(\"Choice\", choice.get(\"index\"), json.dumps(choice.get(\"message\", choice.get(\"delta\", {})), ensure_ascii=False))\n for index, item in enumerate(data.get(\"output\") or []):\n print(\"Output\", index, json.dumps(item, ensure_ascii=False))\n if item.get(\"type\") == \"image_generation_call\" and item.get(\"result\"):\n save_blob(item[\"result\"], item.get(\"output_format\") or \"bin\", \"output-\" + str(index))\n for ci, candidate in enumerate(data.get(\"candidates\") or []):\n for pi, part in enumerate((candidate.get(\"content\") or {}).get(\"parts\") or []):\n print(\"Candidate/part\", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get(\"inlineData\") or part.get(\"inline_data\")\n if blob and blob.get(\"data\"):\n mime = blob.get(\"mimeType\") or blob.get(\"mime_type\")\n suffix = {\"image/png\":\"png\", \"image/jpeg\":\"jpg\", \"image/webp\":\"webp\", \"audio/wav\":\"wav\", \"audio/mpeg\":\"mp3\", \"video/mp4\":\"mp4\"}.get(mime, \"bin\")\n save_blob(blob[\"data\"], suffix, \"candidate-\" + str(ci) + \"-part-\" + str(pi))\n\nwith client.chat.completions.stream(model='nemotron-lightning-latest',messages=[{\"role\":\"user\",\"content\":\"Explain observations and hypotheses in three sentences.\"}]) as stream:\n with Path(\"stream-events.jsonl\").open(\"w\",encoding=\"utf-8\") as log:\n for event in stream:\n payload=event.to_dict(mode=\"json\")\n log.write(json.dumps(payload,ensure_ascii=False)+\"\\n\"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode=\"json\"),\"stream-result\")\n", "label": "Python streaming · retain all events", "language": "python" } ], "family": "openai", "fast_multiplier": null, "flex_multiplier": null, "fmt": "chat", "http": "POST", "img_in": null, "img_out": null, "in": 0.08, "input": [ "text" ], "label": "OpenAI чаты", "max_out": 1024, "max_tool_calls": null, "out": 0.2, "output": [ "text" ], "path": "/v1/chat/completions", "pricing_profiles": [ { "dimensions": {}, "label": "Core", "units": [ { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "in", "label": "Input", "side": "in" }, { "amount": 0.2, "amount_unit": "usd_per_million_tokens", "key": "out", "label": "Output", "side": "out" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_read", "label": "Cache read", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write", "label": "Cache write", "side": "in" }, { "amount": 0.08, "amount_unit": "usd_per_million_tokens", "key": "cache_write_5m", "label": "Cache write 5m", "side": "in" } ] } ], "request_model_id": "nemotron-lightning-latest", "route_label": "Core", "status_reads": [], "tiers": [], "tool_prices": null, "unit": "token", "units": [] } ], "model_aliases": [ { "canonical_model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "request_model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "route_label": "Core" }, { "canonical_model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "request_model_id": "nemotron-lightning", "route_label": "Core" }, { "canonical_model_id": "nvidia/nemotron-3.5-lightning-30b-a3b", "request_model_id": "nemotron-lightning-latest", "route_label": "Core" } ], "name": "nvidia/nemotron-3.5-lightning-30b-a3b", "price": { "in": 0.08, "in_label": null, "out": 0.2, "out_label": null, "sort_in": 0.08, "sort_out": 0.2, "varies": false }, "short": "Nemotron 3.5 Lightning — ұзақ агенттік тапсырмаларға, бағдарламалауға, құжаттардан іздеуге және диалогқа арналған NVIDIA мәтіндік моделі." }, "renderer_schema": { "method_order": "Original DTO methods order; every exact route/format/path/caller survives.", "prices": "Original public DTO fields and original native display HTML; no flattened or normalized offers." }, "representation": "exact-public-dto-and-native-renderer-html", "representationNotes": { "current_reference": { "about_json_pointer": "/aboutHtml", "methods": [ { "contract_json_pointer": "/methods/0/rawMethod/contract", "html_json_pointer": "/methods/0/html", "method_ordinal": 0 }, { "contract_json_pointer": "/methods/1/rawMethod/contract", "html_json_pointer": "/methods/1/html", "method_ordinal": 1 }, { "contract_json_pointer": "/methods/2/rawMethod/contract", "html_json_pointer": "/methods/2/html", "method_ordinal": 2 }, { "contract_json_pointer": "/methods/3/rawMethod/contract", "html_json_pointer": "/methods/3/html", "method_ordinal": 3 } ], "role": "current-semantic-reference" }, "raw_input": { "examples_role": "historical-input-not-current-ready-examples", "json_pointers": [ "/rawModel", "/methods/0/rawMethod", "/methods/1/rawMethod", "/methods/2/rawMethod", "/methods/3/rawMethod" ], "role": "historical-owner-input" }, "schema": "ailoot-native-model-representations-v1" }, "schema": "ailoot-static-model-facts-v1", "schema_version": 1, "shortText": "Nemotron 3.5 Lightning — ұзақ агенттік тапсырмаларға, бағдарламалауға, құжаттардан іздеуге және диалогқа арналған NVIDIA мәтіндік моделі.", "source": { "audit_sha256": "2e00086bcbfc28e64d0cebe97aa47c17d8d5618963027f8ffb9dc6123d7d25b1", "bridge_map_sha256": "1125275768b9636fc8461bc7da5061239a81ddfe508e2557843ca42c58ab0036", "raw_model_json_sha256": "70109a9aa363fc25d7339856ae1e4620fc383d893aef21201b54dd83e620286c", "renderer_sha256": "def3bb6e69c8ddb72f88ec6540bbe55d0e503790f964d84073ecda781b13bedf" }, "sourceRevision": "a9fca18d216d6b1713725fd70570ab76061f3a38b9840d0835b5c44b29a022e7" }