Dots Studio: Dots3-Note Preview (free)

dots3-note Preview là thành viên gọn nhẹ trong dòng mô hình đa phương thức dots3 của Dots Studio. Nhà sản xuất công bố kiến trúc hỗn hợp chuyên gia với tổng cộng 280B tham số, 16B tham số hoạt động và khả năng hỗ trợ ngữ cảnh lên đến 512K token. Mô hình nhận văn bản, hình ảnh, video và âm thanh, rồi tạo văn bản; các nhiệm vụ được nêu bao gồm kiến thức tổng quát, làm theo chỉ dẫn, suy luận, lập trình và công việc hướng đến tác tử.

Phần lõi ngôn ngữ có một lớp đặc và 45 lớp chuyên gia, với tám chuyên gia định tuyến được chọn từ 256 chuyên gia bên cạnh một chuyên gia dùng chung. Cơ chế chú ý kết hợp 13 lớp chú ý thưa và 33 lớp cửa sổ trượt. Nhà sản xuất công bố các bộ mã hóa thị giác và âm thanh riêng cùng một lớp dự đoán dùng chung. Các thành phần này hỗ trợ hiểu đa phương thức; đầu ra của mô hình vẫn là văn bản, thay vì ảnh, giọng nói hoặc video được tạo mới.

Để phân tích hình ảnh, cung cấp ảnh, trang tài liệu hoặc biểu đồ và hỏi về đặc điểm ảnh hưởng đến quyết định. Một nhiệm vụ tài liệu hữu ích có thể so sánh bảng nhìn thấy với yêu cầu bằng văn bản, rồi trả về hàng liên quan, phần diễn giải và thông tin còn thiếu. Với video, chỉ rõ sự kiện hoặc chuỗi diễn biến cần xem xét; ví dụ đầu vào của nhà sản xuất kèm cả bản âm thanh khi đoạn phim có âm thanh.

Với âm thanh, nêu rõ nhiệm vụ cần bản chép lời hay lời giải thích về nội dung, đồng thời cung cấp các tên riêng hoặc thuật ngữ chuyên ngành cần thiết để diễn giải. Một nhiệm vụ kết hợp có thể dùng bản ghi cùng thông tin nền bằng văn bản và yêu cầu sắp xếp các phát hiện theo câu hỏi mà chúng trả lời. Kết quả là sản phẩm văn bản để ứng dụng hiển thị hoặc xử lý.

Mẫu hội thoại của nhà sản xuất phân biệt chế độ suy nghĩ với phản hồi trực tiếp. Bật suy nghĩ sẽ thêm một giai đoạn suy luận; tắt sẽ trả lời trực tiếp. Ví dụ trong tài liệu dùng temperature 1.0 và top-p 0.95. Chọn rõ nhiệm vụ và kết quả mong muốn, đồng thời dành đủ dung lượng sinh cho câu trả lời thay vì coi số token phân bổ trong ví dụ là giới hạn đầu ra cứng của mô hình.

Với nhiệm vụ lập trình, cung cấp mã nguồn liên quan, hành vi mong đợi và lỗi quan sát được hoặc thay đổi cần thực hiện. Yêu cầu sản phẩm đề xuất cùng các phép kiểm tra để đánh giá nó. Trong quy trình tác tử có kết nối, mô hình đề xuất tương tác với công cụ, còn ứng dụng thực thi và trả về kết quả. Nhà sản xuất công bố bộ phân tích lời gọi công cụ chuyên dụng; ứng dụng bao quanh mô hình cung cấp công cụ thực tế và quyền truy cập chúng.

Công việc tương tác có thể cần khám phá, thích nghi và cập nhật bộ nhớ làm việc của nhiệm vụ. Giữ bản ghi ngắn gọn về mục tiêu, các phát hiện đã xác nhận và điều kiện chưa được giải quyết. Yêu cầu lượt tiếp theo xác định bằng chứng mới làm thay đổi điều gì và những gì cần giữ lại trong bản ghi. Việc lưu bền bản ghi và thực thi hành động thuộc về ứng dụng bao quanh mô hình.

Nhà sản xuất công bố các bộ trọng số BF16 và FP8 riêng, cùng hướng dẫn triển khai cục bộ có độ dài ngữ cảnh cấu hình khác nhau. Độ dài được cấu hình khi triển khai khác với thông số mô hình 512K. Giữ rõ phiên bản Preview và sự khác biệt về độ chính xác khi xác định mô hình, đồng thời yêu cầu kết quả cuối nêu phát hiện, thay đổi đề xuất và bằng chứng mà quy trình thực sự thu thập được.