NVIDIA Nemotron 3 Super là mô hình suy luận và hội thoại đa dụng, được thiết kế cho tác tử cộng tác và quy trình khối lượng lớn, bao gồm tự động hóa phiếu hỗ trợ CNTT. Mô hình có tổng cộng 120B tham số và kích hoạt 12B. Kiến trúc lai kết hợp các lớp Mamba-2, chú ý và Latent Mixture-of-Experts. Các lớp Multi-Token Prediction bổ sung cơ chế dự đoán token tương lai và hỗ trợ các quy trình giải mã suy đoán gốc của NVIDIA.
Mô hình nhận văn bản và trả về văn bản, bao gồm lời giải thích, phản hồi soạn thảo, mã nguồn và yêu cầu gọi công cụ trong ứng dụng có kết nối công cụ phù hợp. Các mục đích sử dụng bao gồm tác tử, chatbot, sinh nội dung tăng cường bằng truy xuất, làm theo chỉ dẫn phức tạp và suy luận ngữ cảnh dài. Lời nhắc hữu ích xác định sản phẩm mong muốn và các điều kiện chi phối sản phẩm đó. Ví dụ: “Phân loại sự cố này theo chính sách được cung cấp, giải thích mức ưu tiên từ bằng chứng, soạn phản hồi và liệt kê những dữ kiện còn thiếu cần có trước khi khuyến nghị cách khắc phục.”
Với xử lý phiếu hỗ trợ CNTT, cung cấp nội dung phiếu, lịch sử liên quan, chi tiết môi trường và quy tắc chuyển xử lý hoặc chuyển lên cấp hỗ trợ cao hơn áp dụng. Yêu cầu các trường riêng cho triệu chứng đã quan sát, nguyên nhân có khả năng xảy ra, phép kiểm tra đề xuất và câu trả lời cho người dùng. Sự phân biệt này ngăn một giả thuyết bị ghi thành chẩn đoán đã xác nhận. Nếu công cụ chẩn đoán được chạy, đưa kết quả thực tế vào hội thoại trước khi yêu cầu bước tiếp theo. Bản tổng hợp phiếu đã hoàn tất cần nêu điều đã quan sát, điều đã giải quyết và câu hỏi nào còn bỏ ngỏ.
Với RAG và cơ sở tri thức, gắn nhãn các đoạn đã truy xuất và nêu rõ mô hình có phải chỉ trả lời từ chúng hay không. Yêu cầu câu trả lời kèm tham chiếu nguồn làm căn cứ và mọi mâu thuẫn giữa tài liệu. Một ví dụ thực tế là: “So sánh các phần hướng dẫn vận hành này, xác định những bước áp dụng cho môi trường được cung cấp và trả về quy trình theo thứ tự, có phép kiểm tra sau mỗi bước quan trọng.” Giữ các phiên bản và điều kiện từ nguồn; quy trình rõ ràng vẫn có thể sai nếu ghép chỉ dẫn cho những môi trường không tương thích.
Với nhiệm vụ tác tử cộng tác, đặt mục tiêu rõ ràng cho từng giai đoạn và giữ lại những kết quả trung gian hữu ích. Super được thiết kế để suy luận trên kết quả quan sát từ công cụ và duy trì hội thoại nhiều bước. Ứng dụng thực thi công cụ và giữ trạng thái nhiệm vụ. Yêu cầu mô hình giải thích một kết quả quan sát mới làm thay đổi điều gì, giữ những phát hiện trước vẫn đúng và phân biệt hành động đề xuất với kết quả đã ghi nhận. Với lập trình, cung cấp các tệp liên quan và hành vi mong đợi, rồi yêu cầu mã đã sửa, lời giải thích thay đổi và các trường hợp cần thiết để kiểm chứng.
NVIDIA ghi rõ chế độ suy nghĩ được bật mặc định và có chế độ trả lời trực tiếp bằng cách tắt suy nghĩ qua mẫu hội thoại. Super cũng có tùy chọn suy luận low-effort, sử dụng ít token suy luận hơn chế độ suy nghĩ đầy đủ và được gợi ý làm điểm khởi đầu trước khi tinh chỉnh ngân sách một cách tường minh. Đây là thiết lập của Super; không nên đưa tùy chọn medium-effort riêng của Ultra vào đây. Chọn dạng phản hồi cuối cùng và chừa chỗ cho phản hồi đó sau suy luận, đặc biệt khi kết quả công cụ hoặc phép so sánh nguồn phức tạp cần lời giải thích.
Mô hình hỗ trợ ngữ cảnh tối đa 1M token, trong khi cấu hình Hugging Face của nhà sản xuất mặc định là 256K vì ngữ cảnh dài hơn cần thêm bộ nhớ. Với đầu vào dài, làm việc trong cấu hình áp dụng, giữ ranh giới tài liệu cùng nhãn nguồn và dành chỗ cho phản hồi. Yêu cầu mối quan hệ cần lần theo xuyên suốt tài liệu thay vì một bản tóm tắt toàn bộ không có định hướng. Mức tối đa ở cấp mô hình không phải cam kết rằng mọi cấu hình phục vụ đều dùng cùng cửa sổ.
Nhà sản xuất liệt kê tiếng Anh, Pháp, Đức, Ý, Nhật, Tây Ban Nha và Trung Quốc. Chỉ định ngôn ngữ cuối cùng, đồng thời giữ mã định danh trong mã nguồn và thuật ngữ nguồn cần chính xác. Với công việc hỗ trợ đa ngôn ngữ, yêu cầu mô hình bảo toàn ý nghĩa kỹ thuật và tiêu chí chuyển lên cấp hỗ trợ cao hơn khi điều chỉnh cách diễn đạt cho người đọc. Rà soát thuật ngữ chưa quen hoặc đầu vào mơ hồ thay vì coi sự trôi chảy là bằng chứng rằng cách hiểu đã đúng.
Sản phẩm cuối cùng hữu ích cần gọn và có thể kiểm tra: câu trả lời hoặc sản phẩm đã sửa, những kết quả quan sát làm căn cứ, các giả định và công việc còn lại. Với quy trình được tạo ra, kiểm tra các bước kiểm chứng theo môi trường thực tế. Với mã nguồn, so sánh thay đổi đề xuất với hành vi đã quan sát. Với câu trả lời dựa trên nguồn, xác nhận đoạn được trích dẫn hỗ trợ cho nhận định. Huấn luyện suy luận và tác tử của Super giúp tổ chức công việc này; kết quả thực tế được xác lập bằng tài liệu và bản ghi thực thi dùng để kiểm tra nó.
", "aboutText": "NVIDIA Nemotron 3 Super là mô hình suy luận và hội thoại đa dụng, được thiết kế cho tác tử cộng tác và quy trình khối lượng lớn, bao gồm tự động hóa phiếu hỗ trợ CNTT. Mô hình có tổng cộng 120B tham số và kích hoạt 12B. Kiến trúc lai kết hợp các lớp Mamba-2, chú ý và Latent Mixture-of-Experts. Các lớp Multi-Token Prediction bổ sung cơ chế dự đoán token tương lai và hỗ trợ các quy trình giải mã suy đoán gốc của NVIDIA.\n\nMô hình nhận văn bản và trả về văn bản, bao gồm lời giải thích, phản hồi soạn thảo, mã nguồn và yêu cầu gọi công cụ trong ứng dụng có kết nối công cụ phù hợp. Các mục đích sử dụng bao gồm tác tử, chatbot, sinh nội dung tăng cường bằng truy xuất, làm theo chỉ dẫn phức tạp và suy luận ngữ cảnh dài. Lời nhắc hữu ích xác định sản phẩm mong muốn và các điều kiện chi phối sản phẩm đó. Ví dụ: “Phân loại sự cố này theo chính sách được cung cấp, giải thích mức ưu tiên từ bằng chứng, soạn phản hồi và liệt kê những dữ kiện còn thiếu cần có trước khi khuyến nghị cách khắc phục.”\n\nVới xử lý phiếu hỗ trợ CNTT, cung cấp nội dung phiếu, lịch sử liên quan, chi tiết môi trường và quy tắc chuyển xử lý hoặc chuyển lên cấp hỗ trợ cao hơn áp dụng. Yêu cầu các trường riêng cho triệu chứng đã quan sát, nguyên nhân có khả năng xảy ra, phép kiểm tra đề xuất và câu trả lời cho người dùng. Sự phân biệt này ngăn một giả thuyết bị ghi thành chẩn đoán đã xác nhận. Nếu công cụ chẩn đoán được chạy, đưa kết quả thực tế vào hội thoại trước khi yêu cầu bước tiếp theo. Bản tổng hợp phiếu đã hoàn tất cần nêu điều đã quan sát, điều đã giải quyết và câu hỏi nào còn bỏ ngỏ.\n\nVới RAG và cơ sở tri thức, gắn nhãn các đoạn đã truy xuất và nêu rõ mô hình có phải chỉ trả lời từ chúng hay không. Yêu cầu câu trả lời kèm tham chiếu nguồn làm căn cứ và mọi mâu thuẫn giữa tài liệu. Một ví dụ thực tế là: “So sánh các phần hướng dẫn vận hành này, xác định những bước áp dụng cho môi trường được cung cấp và trả về quy trình theo thứ tự, có phép kiểm tra sau mỗi bước quan trọng.” Giữ các phiên bản và điều kiện từ nguồn; quy trình rõ ràng vẫn có thể sai nếu ghép chỉ dẫn cho những môi trường không tương thích.\n\nVới nhiệm vụ tác tử cộng tác, đặt mục tiêu rõ ràng cho từng giai đoạn và giữ lại những kết quả trung gian hữu ích. Super được thiết kế để suy luận trên kết quả quan sát từ công cụ và duy trì hội thoại nhiều bước. Ứng dụng thực thi công cụ và giữ trạng thái nhiệm vụ. Yêu cầu mô hình giải thích một kết quả quan sát mới làm thay đổi điều gì, giữ những phát hiện trước vẫn đúng và phân biệt hành động đề xuất với kết quả đã ghi nhận. Với lập trình, cung cấp các tệp liên quan và hành vi mong đợi, rồi yêu cầu mã đã sửa, lời giải thích thay đổi và các trường hợp cần thiết để kiểm chứng.\n\nNVIDIA ghi rõ chế độ suy nghĩ được bật mặc định và có chế độ trả lời trực tiếp bằng cách tắt suy nghĩ qua mẫu hội thoại. Super cũng có tùy chọn suy luận low-effort, sử dụng ít token suy luận hơn chế độ suy nghĩ đầy đủ và được gợi ý làm điểm khởi đầu trước khi tinh chỉnh ngân sách một cách tường minh. Đây là thiết lập của Super; không nên đưa tùy chọn medium-effort riêng của Ultra vào đây. Chọn dạng phản hồi cuối cùng và chừa chỗ cho phản hồi đó sau suy luận, đặc biệt khi kết quả công cụ hoặc phép so sánh nguồn phức tạp cần lời giải thích.\n\nMô hình hỗ trợ ngữ cảnh tối đa 1M token, trong khi cấu hình Hugging Face của nhà sản xuất mặc định là 256K vì ngữ cảnh dài hơn cần thêm bộ nhớ. Với đầu vào dài, làm việc trong cấu hình áp dụng, giữ ranh giới tài liệu cùng nhãn nguồn và dành chỗ cho phản hồi. Yêu cầu mối quan hệ cần lần theo xuyên suốt tài liệu thay vì một bản tóm tắt toàn bộ không có định hướng. Mức tối đa ở cấp mô hình không phải cam kết rằng mọi cấu hình phục vụ đều dùng cùng cửa sổ.\n\nNhà sản xuất liệt kê tiếng Anh, Pháp, Đức, Ý, Nhật, Tây Ban Nha và Trung Quốc. Chỉ định ngôn ngữ cuối cùng, đồng thời giữ mã định danh trong mã nguồn và thuật ngữ nguồn cần chính xác. Với công việc hỗ trợ đa ngôn ngữ, yêu cầu mô hình bảo toàn ý nghĩa kỹ thuật và tiêu chí chuyển lên cấp hỗ trợ cao hơn khi điều chỉnh cách diễn đạt cho người đọc. Rà soát thuật ngữ chưa quen hoặc đầu vào mơ hồ thay vì coi sự trôi chảy là bằng chứng rằng cách hiểu đã đúng.\n\nSản phẩm cuối cùng hữu ích cần gọn và có thể kiểm tra: câu trả lời hoặc sản phẩm đã sửa, những kết quả quan sát làm căn cứ, các giả định và công việc còn lại. Với quy trình được tạo ra, kiểm tra các bước kiểm chứng theo môi trường thực tế. Với mã nguồn, so sánh thay đổi đề xuất với hành vi đã quan sát. Với câu trả lời dựa trên nguồn, xác nhận đoạn được trích dẫn hỗ trợ cho nhận định. Huấn luyện suy luận và tác tử của Super giúp tổ chức công việc này; kết quả thực tế được xác lập bằng tài liệu và bản ghi thực thi dùng để kiểm tra nó.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "933d8557455f1902c389ed69e890405b274b12393e61f7fe5eb9a0b11de65243", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "vi", "methods": [ { "html": "nvidia/nemotron-3-super-120b-a12b:freeNVIDIA Nemotron 3 Super là mô hình suy luận văn bản và hội thoại có tổng cộng 120B tham số, trong đó 12B được kích hoạt. Mô hình được thiết kế cho tác tử cộng tác, tác vụ khối lượng lớn như xử lý phiếu hỗ trợ CNTT, sử dụng công cụ và RAG, với các chế độ suy nghĩ, trả lời trực tiếp và suy luận low-effort được NVIDIA tài liệu hóa.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
NVIDIA Nemotron 3 Super là mô hình suy luận và hội thoại đa dụng, được thiết kế cho tác tử cộng tác và quy trình khối lượng lớn, bao gồm tự động hóa phiếu hỗ trợ CNTT. Mô hình có tổng cộng 120B tham số và kích hoạt 12B. Kiến trúc lai kết hợp các lớp Mamba-2, chú ý và Latent Mixture-of-Experts. Các lớp Multi-Token Prediction bổ sung cơ chế dự đoán token tương lai và hỗ trợ các quy trình giải mã suy đoán gốc của NVIDIA.
Mô hình nhận văn bản và trả về văn bản, bao gồm lời giải thích, phản hồi soạn thảo, mã nguồn và yêu cầu gọi công cụ trong ứng dụng có kết nối công cụ phù hợp. Các mục đích sử dụng bao gồm tác tử, chatbot, sinh nội dung tăng cường bằng truy xuất, làm theo chỉ dẫn phức tạp và suy luận ngữ cảnh dài. Lời nhắc hữu ích xác định sản phẩm mong muốn và các điều kiện chi phối sản phẩm đó. Ví dụ: “Phân loại sự cố này theo chính sách được cung cấp, giải thích mức ưu tiên từ bằng chứng, soạn phản hồi và liệt kê những dữ kiện còn thiếu cần có trước khi khuyến nghị cách khắc phục.”
Với xử lý phiếu hỗ trợ CNTT, cung cấp nội dung phiếu, lịch sử liên quan, chi tiết môi trường và quy tắc chuyển xử lý hoặc chuyển lên cấp hỗ trợ cao hơn áp dụng. Yêu cầu các trường riêng cho triệu chứng đã quan sát, nguyên nhân có khả năng xảy ra, phép kiểm tra đề xuất và câu trả lời cho người dùng. Sự phân biệt này ngăn một giả thuyết bị ghi thành chẩn đoán đã xác nhận. Nếu công cụ chẩn đoán được chạy, đưa kết quả thực tế vào hội thoại trước khi yêu cầu bước tiếp theo. Bản tổng hợp phiếu đã hoàn tất cần nêu điều đã quan sát, điều đã giải quyết và câu hỏi nào còn bỏ ngỏ.
Với RAG và cơ sở tri thức, gắn nhãn các đoạn đã truy xuất và nêu rõ mô hình có phải chỉ trả lời từ chúng hay không. Yêu cầu câu trả lời kèm tham chiếu nguồn làm căn cứ và mọi mâu thuẫn giữa tài liệu. Một ví dụ thực tế là: “So sánh các phần hướng dẫn vận hành này, xác định những bước áp dụng cho môi trường được cung cấp và trả về quy trình theo thứ tự, có phép kiểm tra sau mỗi bước quan trọng.” Giữ các phiên bản và điều kiện từ nguồn; quy trình rõ ràng vẫn có thể sai nếu ghép chỉ dẫn cho những môi trường không tương thích.
Với nhiệm vụ tác tử cộng tác, đặt mục tiêu rõ ràng cho từng giai đoạn và giữ lại những kết quả trung gian hữu ích. Super được thiết kế để suy luận trên kết quả quan sát từ công cụ và duy trì hội thoại nhiều bước. Ứng dụng thực thi công cụ và giữ trạng thái nhiệm vụ. Yêu cầu mô hình giải thích một kết quả quan sát mới làm thay đổi điều gì, giữ những phát hiện trước vẫn đúng và phân biệt hành động đề xuất với kết quả đã ghi nhận. Với lập trình, cung cấp các tệp liên quan và hành vi mong đợi, rồi yêu cầu mã đã sửa, lời giải thích thay đổi và các trường hợp cần thiết để kiểm chứng.
NVIDIA ghi rõ chế độ suy nghĩ được bật mặc định và có chế độ trả lời trực tiếp bằng cách tắt suy nghĩ qua mẫu hội thoại. Super cũng có tùy chọn suy luận low-effort, sử dụng ít token suy luận hơn chế độ suy nghĩ đầy đủ và được gợi ý làm điểm khởi đầu trước khi tinh chỉnh ngân sách một cách tường minh. Đây là thiết lập của Super; không nên đưa tùy chọn medium-effort riêng của Ultra vào đây. Chọn dạng phản hồi cuối cùng và chừa chỗ cho phản hồi đó sau suy luận, đặc biệt khi kết quả công cụ hoặc phép so sánh nguồn phức tạp cần lời giải thích.
Mô hình hỗ trợ ngữ cảnh tối đa 1M token, trong khi cấu hình Hugging Face của nhà sản xuất mặc định là 256K vì ngữ cảnh dài hơn cần thêm bộ nhớ. Với đầu vào dài, làm việc trong cấu hình áp dụng, giữ ranh giới tài liệu cùng nhãn nguồn và dành chỗ cho phản hồi. Yêu cầu mối quan hệ cần lần theo xuyên suốt tài liệu thay vì một bản tóm tắt toàn bộ không có định hướng. Mức tối đa ở cấp mô hình không phải cam kết rằng mọi cấu hình phục vụ đều dùng cùng cửa sổ.
Nhà sản xuất liệt kê tiếng Anh, Pháp, Đức, Ý, Nhật, Tây Ban Nha và Trung Quốc. Chỉ định ngôn ngữ cuối cùng, đồng thời giữ mã định danh trong mã nguồn và thuật ngữ nguồn cần chính xác. Với công việc hỗ trợ đa ngôn ngữ, yêu cầu mô hình bảo toàn ý nghĩa kỹ thuật và tiêu chí chuyển lên cấp hỗ trợ cao hơn khi điều chỉnh cách diễn đạt cho người đọc. Rà soát thuật ngữ chưa quen hoặc đầu vào mơ hồ thay vì coi sự trôi chảy là bằng chứng rằng cách hiểu đã đúng.
Sản phẩm cuối cùng hữu ích cần gọn và có thể kiểm tra: câu trả lời hoặc sản phẩm đã sửa, những kết quả quan sát làm căn cứ, các giả định và công việc còn lại. Với quy trình được tạo ra, kiểm tra các bước kiểm chứng theo môi trường thực tế. Với mã nguồn, so sánh thay đổi đề xuất với hành vi đã quan sát. Với câu trả lời dựa trên nguồn, xác nhận đoạn được trích dẫn hỗ trợ cho nhận định. Huấn luyện suy luận và tác tử của Super giúp tổ chức công việc này; kết quả thực tế được xác lập bằng tài liệu và bản ghi thực thi dùng để kiểm tra nó.
POST /v1/chat/completionstexttext| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn nvidia/nemotron-3-super-120b-a12b:free | Mặc định— |
Trườngmessages | Loạiarray | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn false | Mặc địnhfalse |
Trườngmax_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tối đa: 235.929 | Mặc định— |
Trườngmax_completion_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tối đa: 235.929 | Mặc định— |
Trườngn | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tối đa: 128 | Mặc định— |
Trườngtemperature | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtop_p | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngseed | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngstop | Loại | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngfrequency_penalty | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngpresence_penalty | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườnguser | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages |
Tham sốoptional | Hợp đồngstream, max_tokens, max_completion_tokens, n, temperature, top_p, seed, stop, frequency_penalty, presence_penalty, user |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốconditions | Hợp đồngUse literal text messages only. Cache controls, tools, image/audio/video content and streamed responses are unavailable for this method., The complete encoded JSON request must not exceed 262144 bytes. |
Vòng đời: synchronous_json
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
| Cấu hình | Biểu mức phí | Phí |
|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Phí Đầu vào · Token đầu vào $0 / 1K token Đầu ra · Token đầu ra $0 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\nexport AILOOT_API_KEY\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3-super-120b-a12b:free", "messages": [{"role": "user", "content": "Summarize the supplied text in three concise points."}], "stream": false}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\n# Submit once. Retain the complete result, original identifiers and every response header.\nJSON
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Retain the complete response, all actual results, original identifiers, usage and response headers.
Preserve the original response, headers and X-Client-Request-ID. An uncertain outcome does not authorize another creation.
Ailoot Ultra nvidia/nemotron-3-super-120b-a12b:free
Dùng các đường dẫn phương thức hiển thị ở trên.
nvidia/nemotron-3-super-120b-a12b:freeNVIDIA Nemotron 3 Super là mô hình suy luận văn bản và hội thoại có tổng cộng 120B tham số, trong đó 12B được kích hoạt. Mô hình được thiết kế cho tác tử cộng tác, tác vụ khối lượng lớn như xử lý phiếu hỗ trợ CNTT, sử dụng công cụ và RAG, với các chế độ suy nghĩ, trả lời trực tiếp và suy luận low-effort được NVIDIA tài liệu hóa.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
NVIDIA Nemotron 3 Super là mô hình suy luận và hội thoại đa dụng, được thiết kế cho tác tử cộng tác và quy trình khối lượng lớn, bao gồm tự động hóa phiếu hỗ trợ CNTT. Mô hình có tổng cộng 120B tham số và kích hoạt 12B. Kiến trúc lai kết hợp các lớp Mamba-2, chú ý và Latent Mixture-of-Experts. Các lớp Multi-Token Prediction bổ sung cơ chế dự đoán token tương lai và hỗ trợ các quy trình giải mã suy đoán gốc của NVIDIA.
Mô hình nhận văn bản và trả về văn bản, bao gồm lời giải thích, phản hồi soạn thảo, mã nguồn và yêu cầu gọi công cụ trong ứng dụng có kết nối công cụ phù hợp. Các mục đích sử dụng bao gồm tác tử, chatbot, sinh nội dung tăng cường bằng truy xuất, làm theo chỉ dẫn phức tạp và suy luận ngữ cảnh dài. Lời nhắc hữu ích xác định sản phẩm mong muốn và các điều kiện chi phối sản phẩm đó. Ví dụ: “Phân loại sự cố này theo chính sách được cung cấp, giải thích mức ưu tiên từ bằng chứng, soạn phản hồi và liệt kê những dữ kiện còn thiếu cần có trước khi khuyến nghị cách khắc phục.”
Với xử lý phiếu hỗ trợ CNTT, cung cấp nội dung phiếu, lịch sử liên quan, chi tiết môi trường và quy tắc chuyển xử lý hoặc chuyển lên cấp hỗ trợ cao hơn áp dụng. Yêu cầu các trường riêng cho triệu chứng đã quan sát, nguyên nhân có khả năng xảy ra, phép kiểm tra đề xuất và câu trả lời cho người dùng. Sự phân biệt này ngăn một giả thuyết bị ghi thành chẩn đoán đã xác nhận. Nếu công cụ chẩn đoán được chạy, đưa kết quả thực tế vào hội thoại trước khi yêu cầu bước tiếp theo. Bản tổng hợp phiếu đã hoàn tất cần nêu điều đã quan sát, điều đã giải quyết và câu hỏi nào còn bỏ ngỏ.
Với RAG và cơ sở tri thức, gắn nhãn các đoạn đã truy xuất và nêu rõ mô hình có phải chỉ trả lời từ chúng hay không. Yêu cầu câu trả lời kèm tham chiếu nguồn làm căn cứ và mọi mâu thuẫn giữa tài liệu. Một ví dụ thực tế là: “So sánh các phần hướng dẫn vận hành này, xác định những bước áp dụng cho môi trường được cung cấp và trả về quy trình theo thứ tự, có phép kiểm tra sau mỗi bước quan trọng.” Giữ các phiên bản và điều kiện từ nguồn; quy trình rõ ràng vẫn có thể sai nếu ghép chỉ dẫn cho những môi trường không tương thích.
Với nhiệm vụ tác tử cộng tác, đặt mục tiêu rõ ràng cho từng giai đoạn và giữ lại những kết quả trung gian hữu ích. Super được thiết kế để suy luận trên kết quả quan sát từ công cụ và duy trì hội thoại nhiều bước. Ứng dụng thực thi công cụ và giữ trạng thái nhiệm vụ. Yêu cầu mô hình giải thích một kết quả quan sát mới làm thay đổi điều gì, giữ những phát hiện trước vẫn đúng và phân biệt hành động đề xuất với kết quả đã ghi nhận. Với lập trình, cung cấp các tệp liên quan và hành vi mong đợi, rồi yêu cầu mã đã sửa, lời giải thích thay đổi và các trường hợp cần thiết để kiểm chứng.
NVIDIA ghi rõ chế độ suy nghĩ được bật mặc định và có chế độ trả lời trực tiếp bằng cách tắt suy nghĩ qua mẫu hội thoại. Super cũng có tùy chọn suy luận low-effort, sử dụng ít token suy luận hơn chế độ suy nghĩ đầy đủ và được gợi ý làm điểm khởi đầu trước khi tinh chỉnh ngân sách một cách tường minh. Đây là thiết lập của Super; không nên đưa tùy chọn medium-effort riêng của Ultra vào đây. Chọn dạng phản hồi cuối cùng và chừa chỗ cho phản hồi đó sau suy luận, đặc biệt khi kết quả công cụ hoặc phép so sánh nguồn phức tạp cần lời giải thích.
Mô hình hỗ trợ ngữ cảnh tối đa 1M token, trong khi cấu hình Hugging Face của nhà sản xuất mặc định là 256K vì ngữ cảnh dài hơn cần thêm bộ nhớ. Với đầu vào dài, làm việc trong cấu hình áp dụng, giữ ranh giới tài liệu cùng nhãn nguồn và dành chỗ cho phản hồi. Yêu cầu mối quan hệ cần lần theo xuyên suốt tài liệu thay vì một bản tóm tắt toàn bộ không có định hướng. Mức tối đa ở cấp mô hình không phải cam kết rằng mọi cấu hình phục vụ đều dùng cùng cửa sổ.
Nhà sản xuất liệt kê tiếng Anh, Pháp, Đức, Ý, Nhật, Tây Ban Nha và Trung Quốc. Chỉ định ngôn ngữ cuối cùng, đồng thời giữ mã định danh trong mã nguồn và thuật ngữ nguồn cần chính xác. Với công việc hỗ trợ đa ngôn ngữ, yêu cầu mô hình bảo toàn ý nghĩa kỹ thuật và tiêu chí chuyển lên cấp hỗ trợ cao hơn khi điều chỉnh cách diễn đạt cho người đọc. Rà soát thuật ngữ chưa quen hoặc đầu vào mơ hồ thay vì coi sự trôi chảy là bằng chứng rằng cách hiểu đã đúng.
Sản phẩm cuối cùng hữu ích cần gọn và có thể kiểm tra: câu trả lời hoặc sản phẩm đã sửa, những kết quả quan sát làm căn cứ, các giả định và công việc còn lại. Với quy trình được tạo ra, kiểm tra các bước kiểm chứng theo môi trường thực tế. Với mã nguồn, so sánh thay đổi đề xuất với hành vi đã quan sát. Với câu trả lời dựa trên nguồn, xác nhận đoạn được trích dẫn hỗ trợ cho nhận định. Huấn luyện suy luận và tác tử của Super giúp tổ chức công việc này; kết quả thực tế được xác lập bằng tài liệu và bản ghi thực thi dùng để kiểm tra nó.
POST /v1/messagestexttext| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn nvidia/nemotron-3-super-120b-a12b:free | Mặc định— |
Trườngmessages | Loạiarray | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn false | Mặc địnhfalse |
Trườngsystem | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuBắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tối đa: 235.929 | Mặc định— |
Trườngtemperature | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtop_p | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtop_k | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngstop_sequences | Loạiarray | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmetadata | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages, max_tokens |
Tham sốoptional | Hợp đồngstream, system, temperature, top_p, top_k, stop_sequences, metadata |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốconditions | Hợp đồngUse literal text messages only. Cache controls, tools, image/audio/video content and streamed responses are unavailable for this method., The complete encoded JSON request must not exceed 262144 bytes. |
Vòng đời: synchronous_json
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
| Cấu hình | Biểu mức phí | Phí |
|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Phí Đầu vào · Token đầu vào $0 / 1K token Đầu ra · Token đầu ra $0 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\nexport AILOOT_API_KEY\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3-super-120b-a12b:free", "messages": [{"role": "user", "content": "Summarize the supplied text in three concise points."}], "stream": false, "max_tokens": 256}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\n# Submit once. Retain the complete result, original identifiers and every response header.\nJSON
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Retain the complete response, all actual results, original identifiers, usage and response headers.
Preserve the original response, headers and X-Client-Request-ID. An uncertain outcome does not authorize another creation.
Ailoot Ultra nvidia/nemotron-3-super-120b-a12b:free
Dùng các đường dẫn phương thức hiển thị ở trên.