Nemotron 3 Nano 30B A3B là mô hình văn bản lai hỗn hợp chuyên gia của NVIDIA, được phát triển thành một cấu hình phục vụ cả tác vụ có suy luận và không suy luận. Mô hình nhận văn bản và tạo văn bản, thường xây dựng chuỗi suy luận trước khi đưa ra câu trả lời cuối cùng. Mẫu hội thoại của nhà sản xuất có thể tắt chuỗi này để trả lời trực tiếp, với khả năng phải đánh đổi chất lượng ở những yêu cầu khó cần phân tích.
Kiến trúc của nhà sản xuất kết hợp Mamba-2 và transformer, với tổng cộng khoảng ba mươi tỷ tham số. Thiết kế gồm năm mươi hai lớp: hai mươi ba lớp Mamba-2, hai mươi ba lớp chuyên gia và sáu lớp chú ý. Mỗi lớp chuyên gia có 128 chuyên gia được định tuyến và một chuyên gia dùng chung, kích hoạt sáu chuyên gia được định tuyến cho mỗi token.
NVIDIA mô tả quá trình huấn luyện trên hai mươi lăm nghìn tỷ token, tiếp theo là tinh chỉnh có giám sát và học tăng cường trong nhiều môi trường. Các lĩnh vực hậu huấn luyện bao gồm lập trình, toán học, khoa học, làm theo chỉ dẫn, đầu ra có cấu trúc, sử dụng công cụ qua nhiều bước và hội thoại nhiều lượt. Đây là các đặc tính của Nano nguyên bản, tách biệt với bản phát hành 3.5 Lightning dự đoán nhiều token về sau.
Với toán học, hãy cung cấp đầy đủ đề bài và định dạng kết quả cuối cùng. Với mã nguồn, cung cấp hàm liên quan, đầu vào đại diện, lỗi đã quan sát và hành vi cần đạt. Một yêu cầu hữu ích là: “Theo dõi đầu vào này qua phần triển khai, xác định điều kiện sai đầu tiên và trả về bản sửa có phạm vi tập trung cùng lời giải thích làm căn cứ.” Với việc trích xuất thông thường, có thể yêu cầu chỉ trả về các trường đã định nghĩa.
Nhà sản xuất liệt kê tiếng Anh, Tây Ban Nha, Pháp, Đức, Nhật và Ý. Hãy chỉ định ngôn ngữ trả lời và giữ nguyên thuật ngữ bắt buộc. Yêu cầu sản phẩm cuối cùng tách biệt với suy luận trung gian để kết quả vẫn hữu ích dưới dạng lời giải thích, mã nguồn hoặc bản ghi có cấu trúc.
NVIDIA minh họa một trình khách tham chiếu: trước tiên lấy nội dung suy luận, khép lại chuỗi còn dang dở, rồi dùng phần ngân sách sinh còn lại cho câu trả lời cuối cùng. Đây là thủ tục ở trình khách của nhà sản xuất, không phải một ngưỡng cắt chính xác vốn có được suy ra từ tên mô hình. Chọn ngân sách phản hồi đủ chỗ cho câu trả lời cuối cùng thay vì dùng toàn bộ dung lượng sẵn có cho phân tích.
Cấu hình của nhà sản xuất bao gồm huấn luyện sử dụng công cụ và tạo đầu ra có cấu trúc. Ứng dụng cung cấp định nghĩa hàm, thực hiện các thao tác được chọn và trả về những kết quả quan sát được. Giữ các kết quả này gắn với lời gọi tương ứng. Một câu trả lời có căn cứ có thể sử dụng đúng tài liệu đã truy xuất hoặc phép tính thực tế, còn một lần sửa mã nên sử dụng phản hồi kiểm chứng đã quan sát.
Thẻ mô hình liệt kê cấu hình đầu vào và đầu ra tối đa một triệu token cho thiết kế ngữ cảnh dài. Cần áp dụng những con số này theo cấu hình thực thi đã chọn và ngân sách ngữ cảnh dùng chung; lời nhắc, lịch sử, suy luận và phản hồi vẫn cùng chiếm dung lượng. Một cửa sổ dài không tự biến tập hợp nguồn thiếu tổ chức thành một nhiệm vụ rõ ràng.
Sắp xếp tài liệu theo nguồn và mã theo các ranh giới liên quan, đồng thời nêu điều kiện hoàn tất nhiệm vụ. Đối chiếu các giá trị với tài liệu và kiểm tra mã trong ứng dụng dự kiến sử dụng. Kết quả hữu ích là sản phẩm văn bản nêu rõ căn cứ và thông tin còn chưa xác định, giữ đúng phiên bản Nano thay vì gán cho nó các tính năng Nemotron ra đời sau hoặc các giả định về độ chính xác số học.
", "aboutText": "Nemotron 3 Nano 30B A3B là mô hình văn bản lai hỗn hợp chuyên gia của NVIDIA, được phát triển thành một cấu hình phục vụ cả tác vụ có suy luận và không suy luận. Mô hình nhận văn bản và tạo văn bản, thường xây dựng chuỗi suy luận trước khi đưa ra câu trả lời cuối cùng. Mẫu hội thoại của nhà sản xuất có thể tắt chuỗi này để trả lời trực tiếp, với khả năng phải đánh đổi chất lượng ở những yêu cầu khó cần phân tích.\n\n### Kiến trúc và huấn luyện\n\nKiến trúc của nhà sản xuất kết hợp Mamba-2 và transformer, với tổng cộng khoảng ba mươi tỷ tham số. Thiết kế gồm năm mươi hai lớp: hai mươi ba lớp Mamba-2, hai mươi ba lớp chuyên gia và sáu lớp chú ý. Mỗi lớp chuyên gia có 128 chuyên gia được định tuyến và một chuyên gia dùng chung, kích hoạt sáu chuyên gia được định tuyến cho mỗi token.\n\nNVIDIA mô tả quá trình huấn luyện trên hai mươi lăm nghìn tỷ token, tiếp theo là tinh chỉnh có giám sát và học tăng cường trong nhiều môi trường. Các lĩnh vực hậu huấn luyện bao gồm lập trình, toán học, khoa học, làm theo chỉ dẫn, đầu ra có cấu trúc, sử dụng công cụ qua nhiều bước và hội thoại nhiều lượt. Đây là các đặc tính của Nano nguyên bản, tách biệt với bản phát hành 3.5 Lightning dự đoán nhiều token về sau.\n\n### Chuẩn bị tác vụ suy luận hoặc trả lời trực tiếp\n\nVới toán học, hãy cung cấp đầy đủ đề bài và định dạng kết quả cuối cùng. Với mã nguồn, cung cấp hàm liên quan, đầu vào đại diện, lỗi đã quan sát và hành vi cần đạt. Một yêu cầu hữu ích là: “Theo dõi đầu vào này qua phần triển khai, xác định điều kiện sai đầu tiên và trả về bản sửa có phạm vi tập trung cùng lời giải thích làm căn cứ.” Với việc trích xuất thông thường, có thể yêu cầu chỉ trả về các trường đã định nghĩa.\n\nNhà sản xuất liệt kê tiếng Anh, Tây Ban Nha, Pháp, Đức, Nhật và Ý. Hãy chỉ định ngôn ngữ trả lời và giữ nguyên thuật ngữ bắt buộc. Yêu cầu sản phẩm cuối cùng tách biệt với suy luận trung gian để kết quả vẫn hữu ích dưới dạng lời giải thích, mã nguồn hoặc bản ghi có cấu trúc.\n\n### Phương pháp tham chiếu về ngân sách suy luận\n\nNVIDIA minh họa một trình khách tham chiếu: trước tiên lấy nội dung suy luận, khép lại chuỗi còn dang dở, rồi dùng phần ngân sách sinh còn lại cho câu trả lời cuối cùng. Đây là thủ tục ở trình khách của nhà sản xuất, không phải một ngưỡng cắt chính xác vốn có được suy ra từ tên mô hình. Chọn ngân sách phản hồi đủ chỗ cho câu trả lời cuối cùng thay vì dùng toàn bộ dung lượng sẵn có cho phân tích.\n\n### Công cụ và ngữ cảnh dài\n\nCấu hình của nhà sản xuất bao gồm huấn luyện sử dụng công cụ và tạo đầu ra có cấu trúc. Ứng dụng cung cấp định nghĩa hàm, thực hiện các thao tác được chọn và trả về những kết quả quan sát được. Giữ các kết quả này gắn với lời gọi tương ứng. Một câu trả lời có căn cứ có thể sử dụng đúng tài liệu đã truy xuất hoặc phép tính thực tế, còn một lần sửa mã nên sử dụng phản hồi kiểm chứng đã quan sát.\n\nThẻ mô hình liệt kê cấu hình đầu vào và đầu ra tối đa một triệu token cho thiết kế ngữ cảnh dài. Cần áp dụng những con số này theo cấu hình thực thi đã chọn và ngân sách ngữ cảnh dùng chung; lời nhắc, lịch sử, suy luận và phản hồi vẫn cùng chiếm dung lượng. Một cửa sổ dài không tự biến tập hợp nguồn thiếu tổ chức thành một nhiệm vụ rõ ràng.\n\nSắp xếp tài liệu theo nguồn và mã theo các ranh giới liên quan, đồng thời nêu điều kiện hoàn tất nhiệm vụ. Đối chiếu các giá trị với tài liệu và kiểm tra mã trong ứng dụng dự kiến sử dụng. Kết quả hữu ích là sản phẩm văn bản nêu rõ căn cứ và thông tin còn chưa xác định, giữ đúng phiên bản Nano thay vì gán cho nó các tính năng Nemotron ra đời sau hoặc các giả định về độ chính xác số học.", "editorialOverlay": { "copy_fields": { "practical_html": "Ví dụ kỹ thuật bằng tiếng Anh
Trace an inclusive-range defect\n\nTrace this Python code for start=2 and end=4: values = []\nfor n in range(start, end):\n values.append(n)\n The caller expects both endpoints included. Explain the first mismatch and propose a focused correction preserving ascending integer inputs. Include tests for 2 through 4 and equal endpoints, and state how descending inputs should be handled.A short trace, an inclusive-range correction, two tests and an explicit descending-input assumption.The equal-endpoint test yields one included value, and the changed bound does not omit end.nvidia/nemotron-3-nano-30b-a3bNemotron 3 Nano là mô hình văn bản lai Mamba-2/transformer của NVIDIA, dành cho suy luận và trả lời trực tiếp. Cấu hình khoảng 30B tham số của nhà sản xuất hỗ trợ câu hỏi có ngữ cảnh dài, lập trình, tác vụ có cấu trúc và công cụ, với khả năng tùy chỉnh chế độ suy nghĩ cùng một phương pháp tham chiếu để kiểm soát độ dài suy luận.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Nemotron 3 Nano 30B A3B là mô hình văn bản lai hỗn hợp chuyên gia của NVIDIA, được phát triển thành một cấu hình phục vụ cả tác vụ có suy luận và không suy luận. Mô hình nhận văn bản và tạo văn bản, thường xây dựng chuỗi suy luận trước khi đưa ra câu trả lời cuối cùng. Mẫu hội thoại của nhà sản xuất có thể tắt chuỗi này để trả lời trực tiếp, với khả năng phải đánh đổi chất lượng ở những yêu cầu khó cần phân tích.
Kiến trúc của nhà sản xuất kết hợp Mamba-2 và transformer, với tổng cộng khoảng ba mươi tỷ tham số. Thiết kế gồm năm mươi hai lớp: hai mươi ba lớp Mamba-2, hai mươi ba lớp chuyên gia và sáu lớp chú ý. Mỗi lớp chuyên gia có 128 chuyên gia được định tuyến và một chuyên gia dùng chung, kích hoạt sáu chuyên gia được định tuyến cho mỗi token.
NVIDIA mô tả quá trình huấn luyện trên hai mươi lăm nghìn tỷ token, tiếp theo là tinh chỉnh có giám sát và học tăng cường trong nhiều môi trường. Các lĩnh vực hậu huấn luyện bao gồm lập trình, toán học, khoa học, làm theo chỉ dẫn, đầu ra có cấu trúc, sử dụng công cụ qua nhiều bước và hội thoại nhiều lượt. Đây là các đặc tính của Nano nguyên bản, tách biệt với bản phát hành 3.5 Lightning dự đoán nhiều token về sau.
Với toán học, hãy cung cấp đầy đủ đề bài và định dạng kết quả cuối cùng. Với mã nguồn, cung cấp hàm liên quan, đầu vào đại diện, lỗi đã quan sát và hành vi cần đạt. Một yêu cầu hữu ích là: “Theo dõi đầu vào này qua phần triển khai, xác định điều kiện sai đầu tiên và trả về bản sửa có phạm vi tập trung cùng lời giải thích làm căn cứ.” Với việc trích xuất thông thường, có thể yêu cầu chỉ trả về các trường đã định nghĩa.
Nhà sản xuất liệt kê tiếng Anh, Tây Ban Nha, Pháp, Đức, Nhật và Ý. Hãy chỉ định ngôn ngữ trả lời và giữ nguyên thuật ngữ bắt buộc. Yêu cầu sản phẩm cuối cùng tách biệt với suy luận trung gian để kết quả vẫn hữu ích dưới dạng lời giải thích, mã nguồn hoặc bản ghi có cấu trúc.
NVIDIA minh họa một trình khách tham chiếu: trước tiên lấy nội dung suy luận, khép lại chuỗi còn dang dở, rồi dùng phần ngân sách sinh còn lại cho câu trả lời cuối cùng. Đây là thủ tục ở trình khách của nhà sản xuất, không phải một ngưỡng cắt chính xác vốn có được suy ra từ tên mô hình. Chọn ngân sách phản hồi đủ chỗ cho câu trả lời cuối cùng thay vì dùng toàn bộ dung lượng sẵn có cho phân tích.
Cấu hình của nhà sản xuất bao gồm huấn luyện sử dụng công cụ và tạo đầu ra có cấu trúc. Ứng dụng cung cấp định nghĩa hàm, thực hiện các thao tác được chọn và trả về những kết quả quan sát được. Giữ các kết quả này gắn với lời gọi tương ứng. Một câu trả lời có căn cứ có thể sử dụng đúng tài liệu đã truy xuất hoặc phép tính thực tế, còn một lần sửa mã nên sử dụng phản hồi kiểm chứng đã quan sát.
Thẻ mô hình liệt kê cấu hình đầu vào và đầu ra tối đa một triệu token cho thiết kế ngữ cảnh dài. Cần áp dụng những con số này theo cấu hình thực thi đã chọn và ngân sách ngữ cảnh dùng chung; lời nhắc, lịch sử, suy luận và phản hồi vẫn cùng chiếm dung lượng. Một cửa sổ dài không tự biến tập hợp nguồn thiếu tổ chức thành một nhiệm vụ rõ ràng.
Sắp xếp tài liệu theo nguồn và mã theo các ranh giới liên quan, đồng thời nêu điều kiện hoàn tất nhiệm vụ. Đối chiếu các giá trị với tài liệu và kiểm tra mã trong ứng dụng dự kiến sử dụng. Kết quả hữu ích là sản phẩm văn bản nêu rõ căn cứ và thông tin còn chưa xác định, giữ đúng phiên bản Nano thay vì gán cho nó các tính năng Nemotron ra đời sau hoặc các giả định về độ chính xác số học.
POST /v1/chat/completionstexttext| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn nvidia/nemotron-3-nano-30b-a3b | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Ví dụ: system, user, assistant, tool, function Điều kiện: Các vai trò này được biểu diễn rõ trong các kiểu tương thích của mã nguồn; tập vai trò chính xác vẫn tùy từng mô hình. Tùy thuộc vào mô hình | Mặc định— |
Trườngmessages[].content | Loạistring|content_part[]|null | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_calls | Loạitool_call[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_call_id | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: role=tool; dùng ID thực tế được trả về | Mặc định— |
Trườngmessages[].name | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].reasoning_content | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: Gửi lại dữ liệu suy luận thực tế đã được trả về khi mô hình này sử dụng dữ liệu đó | Mặc định— |
Trườngmessages[].reasoning_details | Loạiobject|array | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_completion_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Trườngstream_options.include_usage | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtemperature | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtop_p | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngstop | Loạistring|string[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools | Loạifunction_tool[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].type | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn function Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].function.name | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Áp dụng khi: Có cung cấp công cụ hàm | Mặc định— |
Trườngtools[].function.description | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtools[].function.parameters | LoạiJSON_schema | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtool_choice | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngparallel_tool_calls | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngresponse_format | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning_effort | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngservice_tier | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườnginstructions | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Trường tương thích | Mặc định— |
Trườngfunctions | Loạifunction[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngfunction_call | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngprompt_cache_options | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmodalities | Loạistring[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn text | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: provider.options bị từ chối trên tuyến văn bản Ultra này | Mặc định— |
Trườngcache_control.ttl | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: 1h bị từ chối tại các vị trí lưu đệm prompt thực tế | Mặc định— |
Văn bản · Văn bản UTF8
messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốmessages | Hợp đồngMảng thông điệp có cấu trúc role/content |
Tham sốfile_material | Hợp đồngTài liệu UTF-8 thực tế được chèn nguyên dạng văn bản; không suy ra ID tệp |
Tham sốoptional_controls | Hợp đồngstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Tham sốcontrol_scope | Hợp đồngTùy từng mô hình; công cụ hàm của người dùng khác với công cụ do dịch vụ cung cấp |
Tham sốoutput_modalities | Hợp đồngtext |
Tham sốhosted_operations | Hợp đồngfalse |
Tham sốmultimodal_input_binding | Hợp đồngnull |
Vòng đời: synchronous_or_streamed
Gửi ID mô hình chính xác cùng messages.
Độ dài ngữ cảnh không phải giới hạn đầu ra.
Tệp văn bản có thể cung cấp nguyên văn nội dung; đầu vào hình ảnh, âm thanh hoặc đối tượng tệp cần có liên kết chính xác.
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0001 / 1K token Đầu ra · Token đầu ra $0.0004 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhBậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0001 / 1K token Đầu ra · Token đầu ra $0.0004 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3-nano-30b-a3b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='nvidia/nemotron-3-nano-30b-a3b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3-nano-30b-a3b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi phương án trả lời cùng nội dung, lệnh gọi công cụ và dữ liệu suy luận của phương án đó. Với SSE, ghép các phần thay đổi theo chỉ số phương án và công cụ, giữ lý do kết thúc cuối cùng cùng dữ liệu sử dụng.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngchoices[].index | Loạiinteger |
Trườngchoices[].message.content | Loạistring|null |
Trườngchoices[].message.tool_calls | Loạitool_call[] |
Trườngchoices[].message.reasoning_content | Loạistring |
Trườngchoices[].message.reasoning_details | Loạiobject|array |
Trườngchoices[].finish_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra nvidia/nemotron-3-nano-30b-a3b
Dùng các đường dẫn phương thức hiển thị ở trên.
nvidia/nemotron-3-nano-30b-a3bNemotron 3 Nano là mô hình văn bản lai Mamba-2/transformer của NVIDIA, dành cho suy luận và trả lời trực tiếp. Cấu hình khoảng 30B tham số của nhà sản xuất hỗ trợ câu hỏi có ngữ cảnh dài, lập trình, tác vụ có cấu trúc và công cụ, với khả năng tùy chỉnh chế độ suy nghĩ cùng một phương pháp tham chiếu để kiểm soát độ dài suy luận.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Nemotron 3 Nano 30B A3B là mô hình văn bản lai hỗn hợp chuyên gia của NVIDIA, được phát triển thành một cấu hình phục vụ cả tác vụ có suy luận và không suy luận. Mô hình nhận văn bản và tạo văn bản, thường xây dựng chuỗi suy luận trước khi đưa ra câu trả lời cuối cùng. Mẫu hội thoại của nhà sản xuất có thể tắt chuỗi này để trả lời trực tiếp, với khả năng phải đánh đổi chất lượng ở những yêu cầu khó cần phân tích.
Kiến trúc của nhà sản xuất kết hợp Mamba-2 và transformer, với tổng cộng khoảng ba mươi tỷ tham số. Thiết kế gồm năm mươi hai lớp: hai mươi ba lớp Mamba-2, hai mươi ba lớp chuyên gia và sáu lớp chú ý. Mỗi lớp chuyên gia có 128 chuyên gia được định tuyến và một chuyên gia dùng chung, kích hoạt sáu chuyên gia được định tuyến cho mỗi token.
NVIDIA mô tả quá trình huấn luyện trên hai mươi lăm nghìn tỷ token, tiếp theo là tinh chỉnh có giám sát và học tăng cường trong nhiều môi trường. Các lĩnh vực hậu huấn luyện bao gồm lập trình, toán học, khoa học, làm theo chỉ dẫn, đầu ra có cấu trúc, sử dụng công cụ qua nhiều bước và hội thoại nhiều lượt. Đây là các đặc tính của Nano nguyên bản, tách biệt với bản phát hành 3.5 Lightning dự đoán nhiều token về sau.
Với toán học, hãy cung cấp đầy đủ đề bài và định dạng kết quả cuối cùng. Với mã nguồn, cung cấp hàm liên quan, đầu vào đại diện, lỗi đã quan sát và hành vi cần đạt. Một yêu cầu hữu ích là: “Theo dõi đầu vào này qua phần triển khai, xác định điều kiện sai đầu tiên và trả về bản sửa có phạm vi tập trung cùng lời giải thích làm căn cứ.” Với việc trích xuất thông thường, có thể yêu cầu chỉ trả về các trường đã định nghĩa.
Nhà sản xuất liệt kê tiếng Anh, Tây Ban Nha, Pháp, Đức, Nhật và Ý. Hãy chỉ định ngôn ngữ trả lời và giữ nguyên thuật ngữ bắt buộc. Yêu cầu sản phẩm cuối cùng tách biệt với suy luận trung gian để kết quả vẫn hữu ích dưới dạng lời giải thích, mã nguồn hoặc bản ghi có cấu trúc.
NVIDIA minh họa một trình khách tham chiếu: trước tiên lấy nội dung suy luận, khép lại chuỗi còn dang dở, rồi dùng phần ngân sách sinh còn lại cho câu trả lời cuối cùng. Đây là thủ tục ở trình khách của nhà sản xuất, không phải một ngưỡng cắt chính xác vốn có được suy ra từ tên mô hình. Chọn ngân sách phản hồi đủ chỗ cho câu trả lời cuối cùng thay vì dùng toàn bộ dung lượng sẵn có cho phân tích.
Cấu hình của nhà sản xuất bao gồm huấn luyện sử dụng công cụ và tạo đầu ra có cấu trúc. Ứng dụng cung cấp định nghĩa hàm, thực hiện các thao tác được chọn và trả về những kết quả quan sát được. Giữ các kết quả này gắn với lời gọi tương ứng. Một câu trả lời có căn cứ có thể sử dụng đúng tài liệu đã truy xuất hoặc phép tính thực tế, còn một lần sửa mã nên sử dụng phản hồi kiểm chứng đã quan sát.
Thẻ mô hình liệt kê cấu hình đầu vào và đầu ra tối đa một triệu token cho thiết kế ngữ cảnh dài. Cần áp dụng những con số này theo cấu hình thực thi đã chọn và ngân sách ngữ cảnh dùng chung; lời nhắc, lịch sử, suy luận và phản hồi vẫn cùng chiếm dung lượng. Một cửa sổ dài không tự biến tập hợp nguồn thiếu tổ chức thành một nhiệm vụ rõ ràng.
Sắp xếp tài liệu theo nguồn và mã theo các ranh giới liên quan, đồng thời nêu điều kiện hoàn tất nhiệm vụ. Đối chiếu các giá trị với tài liệu và kiểm tra mã trong ứng dụng dự kiến sử dụng. Kết quả hữu ích là sản phẩm văn bản nêu rõ căn cứ và thông tin còn chưa xác định, giữ đúng phiên bản Nano thay vì gán cho nó các tính năng Nemotron ra đời sau hoặc các giả định về độ chính xác số học.
POST /v1/messagestextjson, sse| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn nvidia/nemotron-3-nano-30b-a3b | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn user, assistant | Mặc định— |
Trườngmessages[].content | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Văn bản · Văn bản UTF-8
Chuỗi messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages, max_tokens |
Tham sốoptional_controls | Hợp đồngstream |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốtext_file_material | Hợp đồngĐọc tài liệu UTF-8 thực tế và đặt nội dung văn bản vào chuỗi đầu vào hoặc nội dung thông điệp được chỉ định. |
Vòng đời: synchronous_or_streamed
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0001 / 1K token Đầu ra · Token đầu ra $0.0004 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhBậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0001 / 1K token Đầu ra · Token đầu ra $0.0004 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
{\n "model": "nvidia/nemotron-3-nano-30b-a3b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3-nano-30b-a3b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3-nano-30b-a3b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi khối nội dung, chữ ký suy nghĩ và ID sử dụng công cụ thực tế. Ghép tất cả các phần thay đổi của khối SSE; khối văn bản đầu tiên không phải toàn bộ đầu ra.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngid | Loạistring |
Trườngmodel | Loạistring |
Trườngcontent[] | Loạitext|thinking|tool_use|other content block |
Trườngstop_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra nvidia/nemotron-3-nano-30b-a3b
Dùng các đường dẫn phương thức hiển thị ở trên.
Ví dụ kỹ thuật bằng tiếng Anh
Trace an inclusive-range defect\n\nTrace this Python code for start=2 and end=4: values = []\nfor n in range(start, end):\n values.append(n)\n The caller expects both endpoints included. Explain the first mismatch and propose a focused correction preserving ascending integer inputs. Include tests for 2 through 4 and equal endpoints, and state how descending inputs should be handled.A short trace, an inclusive-range correction, two tests and an explicit descending-input assumption.The equal-endpoint test yields one included value, and the changed bound does not omit end.