NVIDIA: Nemotron 3 Super (free)

NVIDIA Nemotron 3 Super là mô hình suy luận và hội thoại đa dụng, được thiết kế cho tác tử cộng tác và quy trình khối lượng lớn, bao gồm tự động hóa phiếu hỗ trợ CNTT. Mô hình có tổng cộng 120B tham số và kích hoạt 12B. Kiến trúc lai kết hợp các lớp Mamba-2, chú ý và Latent Mixture-of-Experts. Các lớp Multi-Token Prediction bổ sung cơ chế dự đoán token tương lai và hỗ trợ các quy trình giải mã suy đoán gốc của NVIDIA.

Mô hình nhận văn bản và trả về văn bản, bao gồm lời giải thích, phản hồi soạn thảo, mã nguồn và yêu cầu gọi công cụ trong ứng dụng có kết nối công cụ phù hợp. Các mục đích sử dụng bao gồm tác tử, chatbot, sinh nội dung tăng cường bằng truy xuất, làm theo chỉ dẫn phức tạp và suy luận ngữ cảnh dài. Lời nhắc hữu ích xác định sản phẩm mong muốn và các điều kiện chi phối sản phẩm đó. Ví dụ: “Phân loại sự cố này theo chính sách được cung cấp, giải thích mức ưu tiên từ bằng chứng, soạn phản hồi và liệt kê những dữ kiện còn thiếu cần có trước khi khuyến nghị cách khắc phục.”

Với xử lý phiếu hỗ trợ CNTT, cung cấp nội dung phiếu, lịch sử liên quan, chi tiết môi trường và quy tắc chuyển xử lý hoặc chuyển lên cấp hỗ trợ cao hơn áp dụng. Yêu cầu các trường riêng cho triệu chứng đã quan sát, nguyên nhân có khả năng xảy ra, phép kiểm tra đề xuất và câu trả lời cho người dùng. Sự phân biệt này ngăn một giả thuyết bị ghi thành chẩn đoán đã xác nhận. Nếu công cụ chẩn đoán được chạy, đưa kết quả thực tế vào hội thoại trước khi yêu cầu bước tiếp theo. Bản tổng hợp phiếu đã hoàn tất cần nêu điều đã quan sát, điều đã giải quyết và câu hỏi nào còn bỏ ngỏ.

Với RAG và cơ sở tri thức, gắn nhãn các đoạn đã truy xuất và nêu rõ mô hình có phải chỉ trả lời từ chúng hay không. Yêu cầu câu trả lời kèm tham chiếu nguồn làm căn cứ và mọi mâu thuẫn giữa tài liệu. Một ví dụ thực tế là: “So sánh các phần hướng dẫn vận hành này, xác định những bước áp dụng cho môi trường được cung cấp và trả về quy trình theo thứ tự, có phép kiểm tra sau mỗi bước quan trọng.” Giữ các phiên bản và điều kiện từ nguồn; quy trình rõ ràng vẫn có thể sai nếu ghép chỉ dẫn cho những môi trường không tương thích.

Với nhiệm vụ tác tử cộng tác, đặt mục tiêu rõ ràng cho từng giai đoạn và giữ lại những kết quả trung gian hữu ích. Super được thiết kế để suy luận trên kết quả quan sát từ công cụ và duy trì hội thoại nhiều bước. Ứng dụng thực thi công cụ và giữ trạng thái nhiệm vụ. Yêu cầu mô hình giải thích một kết quả quan sát mới làm thay đổi điều gì, giữ những phát hiện trước vẫn đúng và phân biệt hành động đề xuất với kết quả đã ghi nhận. Với lập trình, cung cấp các tệp liên quan và hành vi mong đợi, rồi yêu cầu mã đã sửa, lời giải thích thay đổi và các trường hợp cần thiết để kiểm chứng.

NVIDIA ghi rõ chế độ suy nghĩ được bật mặc định và có chế độ trả lời trực tiếp bằng cách tắt suy nghĩ qua mẫu hội thoại. Super cũng có tùy chọn suy luận low-effort, sử dụng ít token suy luận hơn chế độ suy nghĩ đầy đủ và được gợi ý làm điểm khởi đầu trước khi tinh chỉnh ngân sách một cách tường minh. Đây là thiết lập của Super; không nên đưa tùy chọn medium-effort riêng của Ultra vào đây. Chọn dạng phản hồi cuối cùng và chừa chỗ cho phản hồi đó sau suy luận, đặc biệt khi kết quả công cụ hoặc phép so sánh nguồn phức tạp cần lời giải thích.

Mô hình hỗ trợ ngữ cảnh tối đa 1M token, trong khi cấu hình Hugging Face của nhà sản xuất mặc định là 256K vì ngữ cảnh dài hơn cần thêm bộ nhớ. Với đầu vào dài, làm việc trong cấu hình áp dụng, giữ ranh giới tài liệu cùng nhãn nguồn và dành chỗ cho phản hồi. Yêu cầu mối quan hệ cần lần theo xuyên suốt tài liệu thay vì một bản tóm tắt toàn bộ không có định hướng. Mức tối đa ở cấp mô hình không phải cam kết rằng mọi cấu hình phục vụ đều dùng cùng cửa sổ.

Nhà sản xuất liệt kê tiếng Anh, Pháp, Đức, Ý, Nhật, Tây Ban Nha và Trung Quốc. Chỉ định ngôn ngữ cuối cùng, đồng thời giữ mã định danh trong mã nguồn và thuật ngữ nguồn cần chính xác. Với công việc hỗ trợ đa ngôn ngữ, yêu cầu mô hình bảo toàn ý nghĩa kỹ thuật và tiêu chí chuyển lên cấp hỗ trợ cao hơn khi điều chỉnh cách diễn đạt cho người đọc. Rà soát thuật ngữ chưa quen hoặc đầu vào mơ hồ thay vì coi sự trôi chảy là bằng chứng rằng cách hiểu đã đúng.

Sản phẩm cuối cùng hữu ích cần gọn và có thể kiểm tra: câu trả lời hoặc sản phẩm đã sửa, những kết quả quan sát làm căn cứ, các giả định và công việc còn lại. Với quy trình được tạo ra, kiểm tra các bước kiểm chứng theo môi trường thực tế. Với mã nguồn, so sánh thay đổi đề xuất với hành vi đã quan sát. Với câu trả lời dựa trên nguồn, xác nhận đoạn được trích dẫn hỗ trợ cho nhận định. Huấn luyện suy luận và tác tử của Super giúp tổ chức công việc này; kết quả thực tế được xác lập bằng tài liệu và bản ghi thực thi dùng để kiểm tra nó.