NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning là mô hình ngôn ngữ dành cho suy luận, hội thoại và quy trình tác tử chuyên biệt. Mô hình có tổng cộng 30B tham số, trong đó 3B được kích hoạt, sử dụng kiến trúc lai xen kẽ các lớp Mamba-2, hỗn hợp chuyên gia và chú ý. Các lớp Multi-Token Prediction bổ sung tín hiệu huấn luyện cho những token tương lai và hỗ trợ các quy trình sinh được tối ưu hóa của mô hình. Mô hình xử lý văn bản và tạo văn bản, bao gồm lời giải thích, mã nguồn và câu trả lời dựa trên tài liệu được cung cấp.

Nhà sản xuất mô tả các ứng dụng trong chatbot, sinh nội dung tăng cường bằng truy xuất, làm theo chỉ dẫn và tác tử. Với câu trả lời từ cơ sở tri thức, hãy cung cấp câu hỏi và các đoạn liên quan cùng nhãn nguồn ổn định. Yêu cầu mô hình trả lời từ các đoạn đó, chỉ ra đoạn làm căn cứ cho từng nhận định quan trọng và nêu điều còn chưa biết. Ví dụ: “Dùng những bài hỗ trợ này để giải thích sự khác nhau giữa hai phương pháp cài đặt, rồi trả về các điều kiện tiên quyết, các bước và cách kiểm tra cho từng phương pháp.” Giữ rõ điều kiện tiên quyết còn thiếu thay vì tạo cơ hội để mô hình tự bịa ra.

Với công việc lập trình, cung cấp mã liên quan, hành vi mong đợi và lỗi đã quan sát. Một yêu cầu thực tế nên đề nghị bản sửa tập trung cùng lời giải thích về các trường hợp bị ảnh hưởng. Nếu tác tử được kết nối công cụ chạy một phép kiểm tra, hãy trả về đầu ra thực tế của phép kiểm tra đó trước khi yêu cầu thay đổi tiếp theo. Quá trình huấn luyện của mô hình bao gồm mã nguồn, sử dụng công cụ nhiều bước và tác vụ đầu ra có cấu trúc, nhưng sản phẩm hoàn chỉnh vẫn phải đáp ứng yêu cầu ban đầu. Yêu cầu mã đã sửa, lý do cho từng thay đổi đáng kể và những kết quả quan sát cần có để xác lập rằng vấn đề đã được giải quyết.

Nhà sản xuất ghi rõ chế độ suy nghĩ được bật mặc định và có chế độ trả lời trực tiếp bằng cách tắt suy nghĩ qua mẫu hội thoại. Chế độ suy luận hữu ích cho nhiệm vụ có nhiều điều kiện phụ thuộc lẫn nhau; trả lời trực tiếp có thể phù hợp với phép biến đổi hoặc trích xuất đơn giản. Trong ví dụ trình khách, nhà sản xuất khuyến nghị temperature 1.0 và top-p 0.95. Hãy coi đây là thiết lập trong quy trình của nhà sản xuất và chỉ định rõ cấu trúc phản hồi cuối cùng, chẳng hạn lời giải thích ngắn gọn, bảng so sánh hoặc câu trả lời kèm căn cứ hỗ trợ.

Mô hình hỗ trợ ngữ cảnh tối đa 1M token. Các quy trình triển khai BF16 được công bố cũng phân biệt khả năng đó của mô hình với các cấu hình dùng cửa sổ 256K khi bộ nhớ bị giới hạn. Chuẩn bị tài liệu dài theo cửa sổ làm việc áp dụng, giữ cấu trúc tài liệu và chừa chỗ cho phản hồi. Ngữ cảnh dài hữu ích nhất khi lời nhắc nêu rõ mối quan hệ cần tìm: mâu thuẫn giữa các tài liệu, quan hệ phụ thuộc giữa những tệp nguồn hoặc bằng chứng hỗ trợ một kết luận. Đây không phải lý do để đưa vào lịch sử không liên quan hoặc giả định rằng câu trả lời cuối cùng có thể chiếm toàn bộ cửa sổ.

Tiếng Anh và các ngôn ngữ lập trình là trọng tâm chính; tiếng Tây Ban Nha, Pháp, Đức, Ý và Nhật cũng được liệt kê. Nêu ngôn ngữ đầu ra cần dùng và giữ tên, mã định danh cùng thuật ngữ trích từ nguồn khi cách viết của chúng có ý nghĩa quan trọng. Với tài liệu đa ngôn ngữ, chỉ định rõ cần dịch, tóm tắt hay so sánh tài liệu; các yêu cầu này tạo ra những sản phẩm khác nhau. Yêu cầu đánh dấu thuật ngữ chưa chắc chắn để một bản dịch trôi chảy không âm thầm làm thay đổi ý nghĩa kỹ thuật.

NVIDIA công bố bản tham chiếu BF16 chủ yếu dành cho tùy chỉnh và nghiên cứu ở độ chính xác đầy đủ, cùng bản NVFP4 riêng có các quy trình suy luận được tối ưu hóa. Sự phân biệt này quan trọng khi so sánh hướng dẫn triển khai: cấu hình phần cứng hoặc kết quả thông lượng của một bản không tự động mô tả bản khác. Tên mô hình xác định dòng Lightning, còn checkpoint chính xác và cấu hình phục vụ quyết định quy trình áp dụng. Tách biệt khả năng ở cấp mô hình với hiệu năng và giả định bộ nhớ chỉ đúng cho từng quy trình.

Với công việc dùng công cụ, cung cấp mô tả hàm rõ ràng và trả về kết quả thực tế của mỗi bước đã thực thi. Một thao tác được đề xuất chỉ trở thành bằng chứng có thể sử dụng sau khi ứng dụng thực hiện thao tác đó và ghi lại điều đã xảy ra. Yêu cầu câu trả lời cuối cùng phân biệt kết quả quan sát từ nguồn, kết luận suy ra và những bước kiểm tra chưa hoàn tất. Khi phép tính, lệnh hoặc đoạn trích truy xuất mâu thuẫn với kết quả dự kiến, dùng mâu thuẫn đó để điều chỉnh kết luận thay vì tạo một bản tóm tắt trau chuốt cho giả định chưa được kiểm chứng.