Poolside: Laguna S 2.1 (free)

Poolside Laguna S 2.1 là mô hình ngôn ngữ hỗn hợp chuyên gia được thiết kế cho lập trình tác tử và công việc dài hạn. Mô hình có tổng cộng 118B tham số và khoảng 8B hoạt động trên mỗi token, nằm giữa Laguna XS 2.1 nhỏ hơn và Laguna M.1 lớn hơn trong dòng của nhà sản xuất. Mô hình xử lý văn bản và tạo văn bản, mã, suy luận cùng yêu cầu gọi công cụ trong ứng dụng có kết nối công cụ.

Kiến trúc kết hợp attention toàn cục và cửa sổ trượt qua 48 lớp: 12 lớp toàn cục và 36 lớp cửa sổ trượt. Cửa sổ trượt 512 token mô tả attention cục bộ trong các lớp đó, trong khi ngữ cảnh mô hình được tài liệu hóa là 1,048,576 token. Đây là các thước đo khác nhau. Ngữ cảnh lớn hơn hỗ trợ nhiệm vụ tích lũy tệp nguồn, quan sát và quyết định qua nhiều bước. Giữ mục tiêu làm việc và bằng chứng có ý nghĩa cùng nhau, đồng thời dành chỗ cho suy luận tiếp theo và phản hồi cuối trong cấu hình áp dụng.

Mục đích trung tâm của mô hình là công việc phần mềm cần sự bền bỉ, kiểm tra và chỉnh sửa. Đối với nhiệm vụ kho mã, cung cấp hành vi mong đợi, các tệp liên quan dưới dạng văn bản, thông tin thành phần phụ thuộc và đầu ra thất bại thực tế. Yêu cầu kết quả có trọng tâm: “Truy nguyên nhân lỗi hồi quy này, đề xuất thay đổi giữ nguyên giao diện đã tài liệu hóa và xác định những kiểm tra có thể phân biệt bản sửa với thay đổi không liên quan.” Trong quy trình có kết nối công cụ, cung cấp cho mô hình kết quả mỗi kiểm tra đã thực thi trước khi nó chọn bước tiếp theo.

Đối với tối ưu hóa, cung cấp số đo và mục tiêu rõ ràng. Ví dụ: “Sử dụng hồ sơ phân tích hiệu năng và báo cáo cấp phát này để xác định điểm nghẽn. Đề xuất một thay đổi, giải thích tác động mong đợi và so sánh với mốc ban đầu sau khi lặp lại cùng phép đo.” Điều đó khiến phát biểu về hiệu năng có thể kiểm tra. Bản phát hành của Poolside bàn về kiểm chứng và tiến triển liên tục như những hành vi quan trọng, nhưng chỉ lời giải thích thuyết phục không xác lập rằng chỉnh sửa nhanh hơn, đúng hoặc hoàn tất. Giữ các quan sát làm cơ sở để chấp nhận hoặc bác bỏ thay đổi.

Laguna S 2.1 hỗ trợ suy nghĩ xen kẽ trước và giữa các lệnh gọi công cụ. Nhà sản xuất khuyến nghị giữ nội dung suy luận từ các tin nhắn trợ lý trước đó trong lịch sử tiếp theo; bỏ những khối đó có thể khiến suy luận dừng ở các bước sau. Giữ phản hồi trợ lý, thông tin gọi công cụ và kết quả công cụ tương ứng cùng nhau. Điều này giúp nhiệm vụ dài hơn tiếp tục từ trạng thái thực tế, thay vì liên tục dựng lại những gì đã thử.

Các lựa chọn suy nghĩ được tài liệu hóa là off và max, với max được bật mặc định trong thiết lập do nhà sản xuất mô tả. Mô hình tự quyết ngân sách suy nghĩ ở chế độ đó; bản phát hành không đưa ra các điều khiển nỗ lực low, medium và high riêng. Đối với lập trình tác tử, Poolside khuyến nghị bật suy nghĩ và giữ lại giữa các bước. Nêu tường minh sản phẩm cuối và tiêu chí hoàn thành và phân biệt chuỗi suy luận dài với kết quả hoàn tất. Nhà sản xuất xác định suy nghĩ quá mức, đặc biệt trong toán thi đấu, là hạn chế đáng kể.

Định nghĩa công cụ cần được chăm chút đặc biệt. Poolside báo cáo S 2.1 ban đầu có thể dựa vào giao diện công cụ quen thuộc thay vì tuân thủ sát một schema tương tự nhưng khác. Mô hình cũng có thể tạo JSON sai định dạng hoặc escape không đúng khi đối số công cụ chứa mảng lồng nhau. Cung cấp định nghĩa đối số thực tế, xác thực lệnh gọi đề xuất và trả lại lỗi chính xác khi lệnh gọi không khớp. Nhà sản xuất mô tả sửa chữa thông qua phản hồi trong ngữ cảnh là cách giải quyết một số sai lệch đó. Giữ quan sát công cụ thu được sẵn có cho quyết định tiếp theo.

Nhà sản xuất công bố các biến thể BF16 và lượng tử hóa riêng, cùng mô hình nháp DFlash tùy chọn. Đó là các sản phẩm và công thức phục vụ riêng biệt, vì vậy không nên suy ra mức dùng bộ nhớ của checkpoint lượng tử hóa hoặc hiệu năng giải mã suy đoán từ tên mô hình chung. Đối với công việc văn bản thông thường, chuẩn bị mã nguồn, đầu ra lệnh và đoạn trích tài liệu thành văn bản dễ đọc. Bản phát hành ghi nhận mô hình thiếu khả năng thị giác; ảnh chụp màn hình cần có quan sát bằng văn bản hoặc bước kiểm tra bên ngoài phù hợp trước khi hỗ trợ phân tích.

Yêu cầu sản phẩm cuối xác định sản phẩm đã thay đổi, các quyết định quan trọng, những kiểm tra đã quan sát và mọi điều kiện chưa giải quyết. Đối với đánh giá mã, kết nối phát hiện với nguồn liên quan và chỉ ra vì sao mỗi vấn đề ảnh hưởng đến hành vi. Đối với sửa chữa, tách bản vá đề xuất khỏi bản vá có hành vi thực sự đã được kiểm tra. Giữ suy luận và lịch sử công cụ giúp mô hình giải quyết nhiệm vụ, còn sản phẩm cuối và kết quả được ghi lại xác lập điều đã hoàn thành.