Nemotron 3 Ultra là mô hình mở của NVIDIA dành cho suy luận và điều phối trong công việc kéo dài, gồm nhiều bước. Mô hình kết hợp kiến trúc lai Transformer–Mamba với hỗn hợp chuyên gia, kích hoạt 55 tỷ tham số trong tổng số 550 tỷ. Đầu vào và đầu ra đều là văn bản. Vai trò được công bố bao gồm tác nhân lập trình, nghiên cứu, lập kế hoạch và điều phối các nhiệm vụ ứng dụng dài hơn.
Xác định kết quả cần tạo ra và bằng chứng cần thiết để quyết định ở mỗi bước. Bản giao việc nghiên cứu có thể nêu câu hỏi, các nguồn sẵn có và hình thức của bản so sánh cuối. Nhiệm vụ phát triển có thể cung cấp mã liên quan, lỗi đã quan sát được và hành vi phải đúng sau khi thay đổi. Giữ mục tiêu rõ ràng khi ngữ cảnh làm việc tích lũy thêm quan sát.
Với nhiều bước liên quan, giữ rõ quyết định nào đã được xác lập và quyết định nào còn mở. Yêu cầu thao tác tiếp theo cụ thể khi cần thêm bằng chứng, rồi tiếp tục từ kết quả thực tế của thao tác đó. Cách này tạo ra chuỗi sản phẩm và quan sát hữu ích thay vì một kế hoạch dần tách rời trạng thái nhiệm vụ.
Hồ sơ triển khai được công bố hỗ trợ gọi hàm và đầu ra có cấu trúc theo lược đồ JSON. Xác định các thao tác mà ứng dụng có thể thực hiện và các trường cần có trong kết quả. Lệnh gọi công cụ của mô hình đề xuất một hành động; ứng dụng thực hiện và trả về quan sát. Giữ quan sát đó cùng thao tác đã tạo ra nó trước khi sử dụng trong kết luận về sau.
Với phân tích có cấu trúc, giữ định danh nguồn cùng các phát hiện và nêu cách biểu diễn thông tin còn thiếu. Kiểm tra hình dạng đầu ra lẫn các giá trị chứa trong đó. Bản ghi đúng cú pháp hữu ích khi nội dung cũng phù hợp với bằng chứng được cung cấp.
Tổ chức lượng tài liệu nguồn lớn thành các mục có tên và lập kế hoạch yêu cầu theo hạn mức ngữ cảnh, đầu ra thực tế của giao diện phục vụ. Giữ các quan sát liên quan mới nhất, công việc đã hoàn thành và điều kiện chấp nhận còn lại. Mô tả ngữ cảnh dài vốn có của mô hình và hạn mức của một yêu cầu trên dịch vụ cụ thể thuộc các phạm vi khác nhau.
Nhiệm vụ hoàn tất cần để lại sản phẩm được yêu cầu và bằng chứng cần thiết để đánh giá: bản vá kèm xác minh, báo cáo dựa trên nguồn hoặc hành động tiếp theo gắn với câu hỏi mà nó sẽ giải đáp. Giữ trạng thái này sẵn có cho bước tiếp theo của quy trình.
", "aboutText": "Nemotron 3 Ultra là mô hình mở của NVIDIA dành cho suy luận và điều phối trong công việc kéo dài, gồm nhiều bước. Mô hình kết hợp kiến trúc lai Transformer–Mamba với hỗn hợp chuyên gia, kích hoạt 55 tỷ tham số trong tổng số 550 tỷ. Đầu vào và đầu ra đều là văn bản. Vai trò được công bố bao gồm tác nhân lập trình, nghiên cứu, lập kế hoạch và điều phối các nhiệm vụ ứng dụng dài hơn.\n\n### Lập kế hoạch theo kết quả cụ thể\n\nXác định kết quả cần tạo ra và bằng chứng cần thiết để quyết định ở mỗi bước. Bản giao việc nghiên cứu có thể nêu câu hỏi, các nguồn sẵn có và hình thức của bản so sánh cuối. Nhiệm vụ phát triển có thể cung cấp mã liên quan, lỗi đã quan sát được và hành vi phải đúng sau khi thay đổi. Giữ mục tiêu rõ ràng khi ngữ cảnh làm việc tích lũy thêm quan sát.\n\nVới nhiều bước liên quan, giữ rõ quyết định nào đã được xác lập và quyết định nào còn mở. Yêu cầu thao tác tiếp theo cụ thể khi cần thêm bằng chứng, rồi tiếp tục từ kết quả thực tế của thao tác đó. Cách này tạo ra chuỗi sản phẩm và quan sát hữu ích thay vì một kế hoạch dần tách rời trạng thái nhiệm vụ.\n\n### Công cụ và kết quả có cấu trúc\n\nHồ sơ triển khai được công bố hỗ trợ gọi hàm và đầu ra có cấu trúc theo lược đồ JSON. Xác định các thao tác mà ứng dụng có thể thực hiện và các trường cần có trong kết quả. Lệnh gọi công cụ của mô hình đề xuất một hành động; ứng dụng thực hiện và trả về quan sát. Giữ quan sát đó cùng thao tác đã tạo ra nó trước khi sử dụng trong kết luận về sau.\n\nVới phân tích có cấu trúc, giữ định danh nguồn cùng các phát hiện và nêu cách biểu diễn thông tin còn thiếu. Kiểm tra hình dạng đầu ra lẫn các giá trị chứa trong đó. Bản ghi đúng cú pháp hữu ích khi nội dung cũng phù hợp với bằng chứng được cung cấp.\n\n### Công việc dài và sản phẩm có thể kiểm tra\n\nTổ chức lượng tài liệu nguồn lớn thành các mục có tên và lập kế hoạch yêu cầu theo hạn mức ngữ cảnh, đầu ra thực tế của giao diện phục vụ. Giữ các quan sát liên quan mới nhất, công việc đã hoàn thành và điều kiện chấp nhận còn lại. Mô tả ngữ cảnh dài vốn có của mô hình và hạn mức của một yêu cầu trên dịch vụ cụ thể thuộc các phạm vi khác nhau.\n\nNhiệm vụ hoàn tất cần để lại sản phẩm được yêu cầu và bằng chứng cần thiết để đánh giá: bản vá kèm xác minh, báo cáo dựa trên nguồn hoặc hành động tiếp theo gắn với câu hỏi mà nó sẽ giải đáp. Giữ trạng thái này sẵn có cho bước tiếp theo của quy trình.", "editorialOverlay": { "copy_fields": { "practical_html": "Ví dụ kỹ thuật bằng tiếng Anh
Choose the next step in an incomplete workflow\n\nPlan the next step for this software-delivery state: the patch is drafted; unit tests passed; an integration test is blocked because its fixture is missing; no deployment occurred. The outcome requires an integration-verified export. List completed evidence, the single next action and its acceptance condition, then the remaining release gate. Do not report the feature complete.A state-aware workflow note with completed evidence, next action, its expected observation and the remaining gate.The next action addresses the missing integration fixture, and unit-test success is not treated as full completion.nvidia/nemotron-3-ultra-550b-a55bNemotron 3 Ultra là mô hình suy luận văn bản và điều phối của NVIDIA, với 55B tham số hoạt động trong tổng số 550B. Kiến trúc lai Transformer–Mamba hướng đến công việc tác nhân kéo dài, lập trình và nghiên cứu, với khả năng gọi công cụ và kết quả theo lược đồ.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Nemotron 3 Ultra là mô hình mở của NVIDIA dành cho suy luận và điều phối trong công việc kéo dài, gồm nhiều bước. Mô hình kết hợp kiến trúc lai Transformer–Mamba với hỗn hợp chuyên gia, kích hoạt 55 tỷ tham số trong tổng số 550 tỷ. Đầu vào và đầu ra đều là văn bản. Vai trò được công bố bao gồm tác nhân lập trình, nghiên cứu, lập kế hoạch và điều phối các nhiệm vụ ứng dụng dài hơn.
Xác định kết quả cần tạo ra và bằng chứng cần thiết để quyết định ở mỗi bước. Bản giao việc nghiên cứu có thể nêu câu hỏi, các nguồn sẵn có và hình thức của bản so sánh cuối. Nhiệm vụ phát triển có thể cung cấp mã liên quan, lỗi đã quan sát được và hành vi phải đúng sau khi thay đổi. Giữ mục tiêu rõ ràng khi ngữ cảnh làm việc tích lũy thêm quan sát.
Với nhiều bước liên quan, giữ rõ quyết định nào đã được xác lập và quyết định nào còn mở. Yêu cầu thao tác tiếp theo cụ thể khi cần thêm bằng chứng, rồi tiếp tục từ kết quả thực tế của thao tác đó. Cách này tạo ra chuỗi sản phẩm và quan sát hữu ích thay vì một kế hoạch dần tách rời trạng thái nhiệm vụ.
Hồ sơ triển khai được công bố hỗ trợ gọi hàm và đầu ra có cấu trúc theo lược đồ JSON. Xác định các thao tác mà ứng dụng có thể thực hiện và các trường cần có trong kết quả. Lệnh gọi công cụ của mô hình đề xuất một hành động; ứng dụng thực hiện và trả về quan sát. Giữ quan sát đó cùng thao tác đã tạo ra nó trước khi sử dụng trong kết luận về sau.
Với phân tích có cấu trúc, giữ định danh nguồn cùng các phát hiện và nêu cách biểu diễn thông tin còn thiếu. Kiểm tra hình dạng đầu ra lẫn các giá trị chứa trong đó. Bản ghi đúng cú pháp hữu ích khi nội dung cũng phù hợp với bằng chứng được cung cấp.
Tổ chức lượng tài liệu nguồn lớn thành các mục có tên và lập kế hoạch yêu cầu theo hạn mức ngữ cảnh, đầu ra thực tế của giao diện phục vụ. Giữ các quan sát liên quan mới nhất, công việc đã hoàn thành và điều kiện chấp nhận còn lại. Mô tả ngữ cảnh dài vốn có của mô hình và hạn mức của một yêu cầu trên dịch vụ cụ thể thuộc các phạm vi khác nhau.
Nhiệm vụ hoàn tất cần để lại sản phẩm được yêu cầu và bằng chứng cần thiết để đánh giá: bản vá kèm xác minh, báo cáo dựa trên nguồn hoặc hành động tiếp theo gắn với câu hỏi mà nó sẽ giải đáp. Giữ trạng thái này sẵn có cho bước tiếp theo của quy trình.
POST /v1/messagestexttext| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn nvidia/nemotron-3-ultra-550b-a55b | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn user, assistant | Mặc định— |
Trườngmessages[].content | Loạistring|content_block[] | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngsystem | Loạistring|content_block[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuBắt buộc | Giá trị & giới hạn Tối thiểu: 1 Giới hạn áp dụng cho: Giới hạn trên chính xác của mô hình hoặc thẻ được chọn | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Trườngtemperature | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtop_p | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngstop_sequences | Loạistring[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools | Loạitool[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].name | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: Có cung cấp công cụ | Mặc định— |
Trườngtools[].description | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtools[].input_schema | LoạiJSON_schema | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtool_choice | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngthinking.type | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngthinking.budget_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngoutput_config.effort | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmetadata | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngcache_control | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Văn bản · Văn bản UTF8
messages[].content hoặc khối type=text
| Tham số | Hợp đồng |
|---|---|
Tham sốmaterial_types | Hợp đồngtext |
Tham sốrequired | Hợp đồngmodel, messages, max_tokens |
Tham sốoptional_controls | Hợp đồngnull |
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốtext_file_material | Hợp đồngNội dung UTF-8 thực tế được chèn dưới dạng văn bản; ID tệp/URLs cần được hỗ trợ chính xác riêng |
Vòng đời: exact retained published method
Cấu trúc phương thức và ID là chính xác; khả năng của nhà cung cấp tách biệt với việc cho phép tiếp nhận yêu cầu.
POST /v1/messagesAiloot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
Biểu tham chiếu cấp mô hình không thay đổi việc chọn phương thức, báo giá hoặc khoản phí. Khoản phí đang áp dụng dùng mức phí phương thức Ailoot đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhOpenAI Chat · Đơn giá token cơ bản | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0012 / 1K token Đầu ra · Token đầu ra $0.0048 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00024 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhOpenAI Chat · Bậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0012 / 1K token Đầu ra · Token đầu ra $0.0048 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00024 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhAnthropic Messages · Đơn giá token cơ bản | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0012 / 1K token Đầu ra · Token đầu ra $0.0048 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00024 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhAnthropic Messages · Bậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0012 / 1K token Đầu ra · Token đầu ra $0.0048 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00024 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3-ultra-550b-a55b", "max_tokens": 1024, "messages": []}')\nf=Path(os.environ["AILOOT_TEXT_FILE"])\nif not f.is_file():raise SystemExit("Choose your actual UTF-8 source material")\ntext=f.read_text(encoding="utf-8")\nif not text.strip():raise SystemExit("Source material must contain text")\np["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\\n\\n"+text}]\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\nimport anthropic\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient = anthropic.Anthropic(base_url="https://api.ailoot.ai", api_key=os.environ["AILOOT_API_KEY"], max_retries=0)\nmsg = client.messages.create(\n model="nvidia/nemotron-3-ultra-550b-a55b",\n max_tokens=1024,\n messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(msg.to_dict(mode="json"))\nimport Anthropic from "@anthropic-ai/sdk";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request");\nconst client = new Anthropic({ baseURL: "https://api.ailoot.ai", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst msg = await client.messages.create({\n model: "nvidia/nemotron-3-ultra-550b-a55b",\n max_tokens: 1024,\n messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }],\n});\nimport { writeFileSync } from "node:fs";\n\nfunction saveResult(data, stem = "result") {\n writeFileSync(stem + ".json", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, "base64");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log("Saved", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log("Output", i, JSON.stringify(item));\n if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log("Candidate/part", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(msg);\nimport anthropic,os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=anthropic.Anthropic(base_url="https://api.ailoot.ai",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.messages.stream(model='nvidia/nemotron-3-ultra-550b-a55b',max_tokens=1024,messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_message()\n save_result(final.to_dict(mode="json"),"stream-result")\njson hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi khối nội dung, chữ ký suy nghĩ và ID sử dụng công cụ thực tế. Ghép tất cả các phần thay đổi của khối SSE; khối văn bản đầu tiên không phải toàn bộ đầu ra.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngid | Loạistring |
Trườngmodel | Loạistring |
Trườngcontent[] | Loạitext|thinking|tool_use|other content block |
Trườngstop_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot nvidia/nemotron-3-ultra-550b-a55b
Ailoot Ultra nvidia/nemotron-3-ultra-550b-a55b
Dùng các đường dẫn phương thức hiển thị ở trên.
nvidia/nemotron-3-ultra-550b-a55b, nvidia/nemotron-3-ultra-550b-a55b
nvidia/nemotron-3-ultra-550b-a55bNemotron 3 Ultra là mô hình suy luận văn bản và điều phối của NVIDIA, với 55B tham số hoạt động trong tổng số 550B. Kiến trúc lai Transformer–Mamba hướng đến công việc tác nhân kéo dài, lập trình và nghiên cứu, với khả năng gọi công cụ và kết quả theo lược đồ.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Nemotron 3 Ultra là mô hình mở của NVIDIA dành cho suy luận và điều phối trong công việc kéo dài, gồm nhiều bước. Mô hình kết hợp kiến trúc lai Transformer–Mamba với hỗn hợp chuyên gia, kích hoạt 55 tỷ tham số trong tổng số 550 tỷ. Đầu vào và đầu ra đều là văn bản. Vai trò được công bố bao gồm tác nhân lập trình, nghiên cứu, lập kế hoạch và điều phối các nhiệm vụ ứng dụng dài hơn.
Xác định kết quả cần tạo ra và bằng chứng cần thiết để quyết định ở mỗi bước. Bản giao việc nghiên cứu có thể nêu câu hỏi, các nguồn sẵn có và hình thức của bản so sánh cuối. Nhiệm vụ phát triển có thể cung cấp mã liên quan, lỗi đã quan sát được và hành vi phải đúng sau khi thay đổi. Giữ mục tiêu rõ ràng khi ngữ cảnh làm việc tích lũy thêm quan sát.
Với nhiều bước liên quan, giữ rõ quyết định nào đã được xác lập và quyết định nào còn mở. Yêu cầu thao tác tiếp theo cụ thể khi cần thêm bằng chứng, rồi tiếp tục từ kết quả thực tế của thao tác đó. Cách này tạo ra chuỗi sản phẩm và quan sát hữu ích thay vì một kế hoạch dần tách rời trạng thái nhiệm vụ.
Hồ sơ triển khai được công bố hỗ trợ gọi hàm và đầu ra có cấu trúc theo lược đồ JSON. Xác định các thao tác mà ứng dụng có thể thực hiện và các trường cần có trong kết quả. Lệnh gọi công cụ của mô hình đề xuất một hành động; ứng dụng thực hiện và trả về quan sát. Giữ quan sát đó cùng thao tác đã tạo ra nó trước khi sử dụng trong kết luận về sau.
Với phân tích có cấu trúc, giữ định danh nguồn cùng các phát hiện và nêu cách biểu diễn thông tin còn thiếu. Kiểm tra hình dạng đầu ra lẫn các giá trị chứa trong đó. Bản ghi đúng cú pháp hữu ích khi nội dung cũng phù hợp với bằng chứng được cung cấp.
Tổ chức lượng tài liệu nguồn lớn thành các mục có tên và lập kế hoạch yêu cầu theo hạn mức ngữ cảnh, đầu ra thực tế của giao diện phục vụ. Giữ các quan sát liên quan mới nhất, công việc đã hoàn thành và điều kiện chấp nhận còn lại. Mô tả ngữ cảnh dài vốn có của mô hình và hạn mức của một yêu cầu trên dịch vụ cụ thể thuộc các phạm vi khác nhau.
Nhiệm vụ hoàn tất cần để lại sản phẩm được yêu cầu và bằng chứng cần thiết để đánh giá: bản vá kèm xác minh, báo cáo dựa trên nguồn hoặc hành động tiếp theo gắn với câu hỏi mà nó sẽ giải đáp. Giữ trạng thái này sẵn có cho bước tiếp theo của quy trình.
POST /v1/chat/completionstexttext| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn nvidia/nemotron-3-ultra-550b-a55b | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Ví dụ: system, user, assistant, tool, function Điều kiện: Các vai trò này được biểu diễn rõ trong các kiểu tương thích của mã nguồn; tập vai trò chính xác vẫn tùy từng mô hình. Tùy thuộc vào mô hình | Mặc định— |
Trườngmessages[].content | Loạistring|content_part[]|null | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_calls | Loạitool_call[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_call_id | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: role=tool; dùng ID thực tế được trả về | Mặc định— |
Trườngmessages[].name | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].reasoning_content | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: Gửi lại dữ liệu suy luận thực tế đã được trả về khi mô hình này sử dụng dữ liệu đó | Mặc định— |
Trườngmessages[].reasoning_details | Loạiobject|array | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_completion_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Trườngstream_options.include_usage | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtemperature | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtop_p | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngstop | Loạistring|string[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools | Loạifunction_tool[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].type | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].function.name | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Áp dụng khi: Có cung cấp công cụ hàm | Mặc định— |
Trườngtools[].function.description | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtools[].function.parameters | LoạiJSON_schema | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtool_choice | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngparallel_tool_calls | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngresponse_format | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning_effort | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngservice_tier | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườnginstructions | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Trường tương thích | Mặc định— |
Trườngfunctions | Loạifunction[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngfunction_call | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngprompt_cache_options | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Văn bản · Văn bản UTF8
messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốmaterial_types | Hợp đồngtext |
Tham sốrequired | Hợp đồngmodel, messages |
Tham sốoptional_controls | Hợp đồngnull |
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốtext_file_material | Hợp đồngNội dung UTF-8 thực tế được chèn dưới dạng văn bản; ID tệp/URLs cần được hỗ trợ chính xác riêng |
Vòng đời: exact retained published method
Cấu trúc phương thức và ID là chính xác; khả năng của nhà cung cấp tách biệt với việc cho phép tiếp nhận yêu cầu.
POST /v1/chat/completionsAiloot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
Biểu tham chiếu cấp mô hình không thay đổi việc chọn phương thức, báo giá hoặc khoản phí. Khoản phí đang áp dụng dùng mức phí phương thức Ailoot đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhOpenAI Chat · Đơn giá token cơ bản | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0012 / 1K token Đầu ra · Token đầu ra $0.0048 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00024 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhOpenAI Chat · Bậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0012 / 1K token Đầu ra · Token đầu ra $0.0048 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00024 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhAnthropic Messages · Đơn giá token cơ bản | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0012 / 1K token Đầu ra · Token đầu ra $0.0048 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00024 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhAnthropic Messages · Bậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0012 / 1K token Đầu ra · Token đầu ra $0.0048 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00024 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3-ultra-550b-a55b", "messages": []}')\nf=Path(os.environ["AILOOT_TEXT_FILE"])\nif not f.is_file():raise SystemExit("Choose your actual UTF-8 source material")\ntext=f.read_text(encoding="utf-8")\nif not text.strip():raise SystemExit("Source material must contain text")\np["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\\n\\n"+text}]\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0)\nresp = client.chat.completions.create(\n model="nvidia/nemotron-3-ultra-550b-a55b",\n messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}],\n)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(resp.to_dict(mode="json"))\nimport OpenAI from "openai";\n\nif (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request");\nconst client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 });\nconst resp = await client.chat.completions.create({\n model: "nvidia/nemotron-3-ultra-550b-a55b",\n messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }],\n});\nimport { writeFileSync } from "node:fs";\n\nfunction saveResult(data, stem = "result") {\n writeFileSync(stem + ".json", JSON.stringify(data, null, 2));\n console.log(JSON.stringify(data, null, 2));\n const saveBlob = (encoded, suffix, label) => {\n const raw = Buffer.from(encoded, "base64");\n const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix;\n const file = `${stem}-${label}.${ext}`;\n writeFileSync(file, raw); console.log("Saved", file);\n };\n for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block));\n for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {}));\n for (const [i, item] of (data.output || []).entries()) {\n console.log("Output", i, JSON.stringify(item));\n if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`);\n }\n for (const [ci, candidate] of (data.candidates || []).entries()) {\n for (const [pi, part] of (candidate.content?.parts || []).entries()) {\n console.log("Candidate/part", ci, pi, JSON.stringify(part));\n const blob = part.inlineData || part.inline_data;\n if (blob?.data) {\n const mime = blob.mimeType || blob.mime_type;\n const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin";\n saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`);\n }\n }\n }\n}\n\nsaveResult(resp);\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3-ultra-550b-a55b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi phương án trả lời cùng nội dung, lệnh gọi công cụ và dữ liệu suy luận của phương án đó. Với SSE, ghép các phần thay đổi theo chỉ số phương án và công cụ, giữ lý do kết thúc cuối cùng cùng dữ liệu sử dụng.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngchoices[].index | Loạiinteger |
Trườngchoices[].message.content | Loạistring|null |
Trườngchoices[].message.tool_calls | Loạitool_call[] |
Trườngchoices[].message.reasoning_content | Loạistring |
Trườngchoices[].message.reasoning_details | Loạiobject|array |
Trườngchoices[].finish_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot nvidia/nemotron-3-ultra-550b-a55b
Ailoot Ultra nvidia/nemotron-3-ultra-550b-a55b
Dùng các đường dẫn phương thức hiển thị ở trên.
nvidia/nemotron-3-ultra-550b-a55b, nvidia/nemotron-3-ultra-550b-a55b
nvidia/nemotron-3-ultra-550b-a55bNemotron 3 Ultra là mô hình suy luận văn bản và điều phối của NVIDIA, với 55B tham số hoạt động trong tổng số 550B. Kiến trúc lai Transformer–Mamba hướng đến công việc tác nhân kéo dài, lập trình và nghiên cứu, với khả năng gọi công cụ và kết quả theo lược đồ.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Nemotron 3 Ultra là mô hình mở của NVIDIA dành cho suy luận và điều phối trong công việc kéo dài, gồm nhiều bước. Mô hình kết hợp kiến trúc lai Transformer–Mamba với hỗn hợp chuyên gia, kích hoạt 55 tỷ tham số trong tổng số 550 tỷ. Đầu vào và đầu ra đều là văn bản. Vai trò được công bố bao gồm tác nhân lập trình, nghiên cứu, lập kế hoạch và điều phối các nhiệm vụ ứng dụng dài hơn.
Xác định kết quả cần tạo ra và bằng chứng cần thiết để quyết định ở mỗi bước. Bản giao việc nghiên cứu có thể nêu câu hỏi, các nguồn sẵn có và hình thức của bản so sánh cuối. Nhiệm vụ phát triển có thể cung cấp mã liên quan, lỗi đã quan sát được và hành vi phải đúng sau khi thay đổi. Giữ mục tiêu rõ ràng khi ngữ cảnh làm việc tích lũy thêm quan sát.
Với nhiều bước liên quan, giữ rõ quyết định nào đã được xác lập và quyết định nào còn mở. Yêu cầu thao tác tiếp theo cụ thể khi cần thêm bằng chứng, rồi tiếp tục từ kết quả thực tế của thao tác đó. Cách này tạo ra chuỗi sản phẩm và quan sát hữu ích thay vì một kế hoạch dần tách rời trạng thái nhiệm vụ.
Hồ sơ triển khai được công bố hỗ trợ gọi hàm và đầu ra có cấu trúc theo lược đồ JSON. Xác định các thao tác mà ứng dụng có thể thực hiện và các trường cần có trong kết quả. Lệnh gọi công cụ của mô hình đề xuất một hành động; ứng dụng thực hiện và trả về quan sát. Giữ quan sát đó cùng thao tác đã tạo ra nó trước khi sử dụng trong kết luận về sau.
Với phân tích có cấu trúc, giữ định danh nguồn cùng các phát hiện và nêu cách biểu diễn thông tin còn thiếu. Kiểm tra hình dạng đầu ra lẫn các giá trị chứa trong đó. Bản ghi đúng cú pháp hữu ích khi nội dung cũng phù hợp với bằng chứng được cung cấp.
Tổ chức lượng tài liệu nguồn lớn thành các mục có tên và lập kế hoạch yêu cầu theo hạn mức ngữ cảnh, đầu ra thực tế của giao diện phục vụ. Giữ các quan sát liên quan mới nhất, công việc đã hoàn thành và điều kiện chấp nhận còn lại. Mô tả ngữ cảnh dài vốn có của mô hình và hạn mức của một yêu cầu trên dịch vụ cụ thể thuộc các phạm vi khác nhau.
Nhiệm vụ hoàn tất cần để lại sản phẩm được yêu cầu và bằng chứng cần thiết để đánh giá: bản vá kèm xác minh, báo cáo dựa trên nguồn hoặc hành động tiếp theo gắn với câu hỏi mà nó sẽ giải đáp. Giữ trạng thái này sẵn có cho bước tiếp theo của quy trình.
POST /v1/chat/completionstexttext| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn nvidia/nemotron-3-ultra-550b-a55b | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Ví dụ: system, user, assistant, tool, function Điều kiện: Các vai trò này được biểu diễn rõ trong các kiểu tương thích của mã nguồn; tập vai trò chính xác vẫn tùy từng mô hình. Tùy thuộc vào mô hình | Mặc định— |
Trườngmessages[].content | Loạistring|content_part[]|null | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_calls | Loạitool_call[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_call_id | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: role=tool; dùng ID thực tế được trả về | Mặc định— |
Trườngmessages[].name | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].reasoning_content | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: Gửi lại dữ liệu suy luận thực tế đã được trả về khi mô hình này sử dụng dữ liệu đó | Mặc định— |
Trườngmessages[].reasoning_details | Loạiobject|array | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_completion_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Trườngstream_options.include_usage | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtemperature | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtop_p | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngstop | Loạistring|string[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools | Loạifunction_tool[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].type | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn function Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].function.name | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Áp dụng khi: Có cung cấp công cụ hàm | Mặc định— |
Trườngtools[].function.description | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtools[].function.parameters | LoạiJSON_schema | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtool_choice | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngparallel_tool_calls | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngresponse_format | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning_effort | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngservice_tier | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườnginstructions | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Trường tương thích | Mặc định— |
Trườngfunctions | Loạifunction[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngfunction_call | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngprompt_cache_options | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmodalities | Loạistring[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn text | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: provider.options bị từ chối trên tuyến văn bản Ultra này | Mặc định— |
Trườngcache_control.ttl | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: 1h bị từ chối tại các vị trí lưu đệm prompt thực tế | Mặc định— |
Văn bản · Văn bản UTF8
messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốmessages | Hợp đồngMảng thông điệp có cấu trúc role/content |
Tham sốfile_material | Hợp đồngTài liệu UTF-8 thực tế được chèn nguyên dạng văn bản; không suy ra ID tệp |
Tham sốoptional_controls | Hợp đồngstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Tham sốcontrol_scope | Hợp đồngTùy từng mô hình; công cụ hàm của người dùng khác với công cụ do dịch vụ cung cấp |
Tham sốoutput_modalities | Hợp đồngtext |
Tham sốhosted_operations | Hợp đồngfalse |
Tham sốmultimodal_input_binding | Hợp đồngnull |
Vòng đời: synchronous_or_streamed
Gửi ID mô hình chính xác cùng messages.
Độ dài ngữ cảnh không phải giới hạn đầu ra.
Tệp văn bản có thể cung cấp nguyên văn nội dung; đầu vào hình ảnh, âm thanh hoặc đối tượng tệp cần có liên kết chính xác.
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0012 / 1K token Đầu ra · Token đầu ra $0.0048 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00024 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhBậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0012 / 1K token Đầu ra · Token đầu ra $0.0048 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00024 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3-ultra-550b-a55b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='nvidia/nemotron-3-ultra-550b-a55b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3-ultra-550b-a55b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi phương án trả lời cùng nội dung, lệnh gọi công cụ và dữ liệu suy luận của phương án đó. Với SSE, ghép các phần thay đổi theo chỉ số phương án và công cụ, giữ lý do kết thúc cuối cùng cùng dữ liệu sử dụng.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngchoices[].index | Loạiinteger |
Trườngchoices[].message.content | Loạistring|null |
Trườngchoices[].message.tool_calls | Loạitool_call[] |
Trườngchoices[].message.reasoning_content | Loạistring |
Trườngchoices[].message.reasoning_details | Loạiobject|array |
Trườngchoices[].finish_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot nvidia/nemotron-3-ultra-550b-a55b
Ailoot Ultra nvidia/nemotron-3-ultra-550b-a55b
Dùng các đường dẫn phương thức hiển thị ở trên.
nvidia/nemotron-3-ultra-550b-a55b, nvidia/nemotron-3-ultra-550b-a55b
nvidia/nemotron-3-ultra-550b-a55bNemotron 3 Ultra là mô hình suy luận văn bản và điều phối của NVIDIA, với 55B tham số hoạt động trong tổng số 550B. Kiến trúc lai Transformer–Mamba hướng đến công việc tác nhân kéo dài, lập trình và nghiên cứu, với khả năng gọi công cụ và kết quả theo lược đồ.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Nemotron 3 Ultra là mô hình mở của NVIDIA dành cho suy luận và điều phối trong công việc kéo dài, gồm nhiều bước. Mô hình kết hợp kiến trúc lai Transformer–Mamba với hỗn hợp chuyên gia, kích hoạt 55 tỷ tham số trong tổng số 550 tỷ. Đầu vào và đầu ra đều là văn bản. Vai trò được công bố bao gồm tác nhân lập trình, nghiên cứu, lập kế hoạch và điều phối các nhiệm vụ ứng dụng dài hơn.
Xác định kết quả cần tạo ra và bằng chứng cần thiết để quyết định ở mỗi bước. Bản giao việc nghiên cứu có thể nêu câu hỏi, các nguồn sẵn có và hình thức của bản so sánh cuối. Nhiệm vụ phát triển có thể cung cấp mã liên quan, lỗi đã quan sát được và hành vi phải đúng sau khi thay đổi. Giữ mục tiêu rõ ràng khi ngữ cảnh làm việc tích lũy thêm quan sát.
Với nhiều bước liên quan, giữ rõ quyết định nào đã được xác lập và quyết định nào còn mở. Yêu cầu thao tác tiếp theo cụ thể khi cần thêm bằng chứng, rồi tiếp tục từ kết quả thực tế của thao tác đó. Cách này tạo ra chuỗi sản phẩm và quan sát hữu ích thay vì một kế hoạch dần tách rời trạng thái nhiệm vụ.
Hồ sơ triển khai được công bố hỗ trợ gọi hàm và đầu ra có cấu trúc theo lược đồ JSON. Xác định các thao tác mà ứng dụng có thể thực hiện và các trường cần có trong kết quả. Lệnh gọi công cụ của mô hình đề xuất một hành động; ứng dụng thực hiện và trả về quan sát. Giữ quan sát đó cùng thao tác đã tạo ra nó trước khi sử dụng trong kết luận về sau.
Với phân tích có cấu trúc, giữ định danh nguồn cùng các phát hiện và nêu cách biểu diễn thông tin còn thiếu. Kiểm tra hình dạng đầu ra lẫn các giá trị chứa trong đó. Bản ghi đúng cú pháp hữu ích khi nội dung cũng phù hợp với bằng chứng được cung cấp.
Tổ chức lượng tài liệu nguồn lớn thành các mục có tên và lập kế hoạch yêu cầu theo hạn mức ngữ cảnh, đầu ra thực tế của giao diện phục vụ. Giữ các quan sát liên quan mới nhất, công việc đã hoàn thành và điều kiện chấp nhận còn lại. Mô tả ngữ cảnh dài vốn có của mô hình và hạn mức của một yêu cầu trên dịch vụ cụ thể thuộc các phạm vi khác nhau.
Nhiệm vụ hoàn tất cần để lại sản phẩm được yêu cầu và bằng chứng cần thiết để đánh giá: bản vá kèm xác minh, báo cáo dựa trên nguồn hoặc hành động tiếp theo gắn với câu hỏi mà nó sẽ giải đáp. Giữ trạng thái này sẵn có cho bước tiếp theo của quy trình.
POST /v1/messagestextjson, sse| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn nvidia/nemotron-3-ultra-550b-a55b | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn user, assistant | Mặc định— |
Trườngmessages[].content | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Văn bản · Văn bản UTF-8
Chuỗi messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages, max_tokens |
Tham sốoptional_controls | Hợp đồngstream |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốtext_file_material | Hợp đồngĐọc tài liệu UTF-8 thực tế và đặt nội dung văn bản vào chuỗi đầu vào hoặc nội dung thông điệp được chỉ định. |
Vòng đời: synchronous_or_streamed
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0012 / 1K token Đầu ra · Token đầu ra $0.0048 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00024 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhBậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0012 / 1K token Đầu ra · Token đầu ra $0.0048 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00024 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
{\n "model": "nvidia/nemotron-3-ultra-550b-a55b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3-ultra-550b-a55b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3-ultra-550b-a55b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi khối nội dung, chữ ký suy nghĩ và ID sử dụng công cụ thực tế. Ghép tất cả các phần thay đổi của khối SSE; khối văn bản đầu tiên không phải toàn bộ đầu ra.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngid | Loạistring |
Trườngmodel | Loạistring |
Trườngcontent[] | Loạitext|thinking|tool_use|other content block |
Trườngstop_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot nvidia/nemotron-3-ultra-550b-a55b
Ailoot Ultra nvidia/nemotron-3-ultra-550b-a55b
Dùng các đường dẫn phương thức hiển thị ở trên.
nvidia/nemotron-3-ultra-550b-a55b, nvidia/nemotron-3-ultra-550b-a55b
Ví dụ kỹ thuật bằng tiếng Anh
Choose the next step in an incomplete workflow\n\nPlan the next step for this software-delivery state: the patch is drafted; unit tests passed; an integration test is blocked because its fixture is missing; no deployment occurred. The outcome requires an integration-verified export. List completed evidence, the single next action and its acceptance condition, then the remaining release gate. Do not report the feature complete.A state-aware workflow note with completed evidence, next action, its expected observation and the remaining gate.The next action addresses the missing integration fixture, and unit-test success is not treated as full completion.