Cohere: North Mini Code (free)

North Mini Code 1.0 là mô hình của Cohere dành cho kỹ thuật phần mềm bằng tác tử, tác vụ terminal và tạo mã. Mô hình nhận văn bản và tạo văn bản, bao gồm mã, lời giải thích và yêu cầu gọi công cụ. Nhà phát triển phát hành trọng số theo Apache 2.0 và xác định đây là mô hình đầu tiên trong dòng tác tử lập trình North. Đây là cấu hình chuyên lập trình, không phải mô hình hiểu hình ảnh hay bộ chấm điểm quyết định đa dụng.

Kiến trúc thưa và chuẩn bị cho tác vụ lập trình

Mô hình có tổng cộng 30 tỷ tham số, trong đó khoảng 3 tỷ hoạt động. Transformer chỉ có bộ giải mã sử dụng kiến trúc Mixture of Experts thưa với 128 chuyên gia, kích hoạt tám chuyên gia cho mỗi token, cùng một lớp đặc (dense) trước các lớp thưa. Attention cửa sổ trượt với biểu diễn vị trí dạng xoay được xen kẽ với attention toàn cục không có embedding vị trí theo tỷ lệ 3:1. Số tham số hoạt động mô tả lượng tính toán dùng cho một token, không phải toàn bộ trọng số cần lưu trữ.

Quá trình hậu huấn luyện của Cohere dùng hai giai đoạn tinh chỉnh có giám sát, sau đó là học tăng cường với phần thưởng có thể kiểm chứng, tập trung vào kỹ thuật phần mềm và công việc terminal. Nhà phát triển mô tả việc huấn luyện trên nhiều môi trường vận hành tác tử thay vì một bộ khung cố định. Điều đó hỗ trợ chuẩn bị tác vụ theo hành vi cần đạt và công cụ có sẵn, trong khi môi trường vận hành xung quanh vẫn chịu trách nhiệm lấy tệp, thực thi lệnh và trả về quan sát.

Chuẩn bị thay đổi ở cấp kho mã

Cung cấp mã và hành vi hiện tại, thay đổi được yêu cầu, ranh giới tệp hoặc giao diện liên quan và bằng chứng xác lập việc hoàn tất. Với lỗi, đưa vào thông báo lỗi quan sát được hoặc đầu vào gây lỗi và kết quả mong đợi. Với tính năng, nêu hành vi cần có và các ràng buộc tương thích. Sản phẩm cuối hữu ích là thay đổi mã được đề xuất kèm lời giải thích và kết quả của những kiểm tra đã thực sự chạy.

Một yêu cầu minh họa có thể đề nghị cập nhật bộ phân tích cú pháp để hỗ trợ thêm đầu vào trong khi giữ các định dạng hiện có. Xác định đầu vào tiêu biểu và phần kho mã quy định hành vi của bộ phân tích. Mô hình có thể dùng mã và quan sát từ công cụ để xây dựng thay đổi; bản vá được tạo ra hoặc lời nói rằng một lệnh cần chạy không phải bằng chứng lệnh đã thành công.

Công cụ terminal và quan sát có cấu trúc

Thẻ mô hình gốc mô tả huấn luyện dùng công cụ và khuyến nghị mô tả công cụ bằng JSON schema qua mẫu chat của mô hình. Mô tả rõ mục đích và đối số của công cụ. Công cụ thực thi lệnh có thể trả về đầu ra và trạng thái thực tế, còn công cụ đọc tệp có thể trả về dữ liệu cần cho bước tiếp theo. Giữ từng kết quả công cụ gắn với mã lần gọi để phân tích sau đó sử dụng đúng quan sát.

Ví dụ của nhà phát triển giữ lời gọi công cụ và suy luận của trợ lý trong lịch sử, thực thi công cụ rồi thêm kết quả trước khi sinh tiếp. Ví dụ mẫu gốc dùng một dictionary có cấu trúc cho kết quả công cụ. Giữ cách biểu diễn đó theo tích hợp được mô tả, thay vì giả định mọi API không liên quan đều tuần tự hóa kết quả công cụ giống nhau. JSON schema mô tả đối số của công cụ khác với tuyên bố hỗ trợ đầu ra cuối tùy ý bị ràng buộc bởi schema.

Suy nghĩ xen kẽ và lịch sử nhiều lượt

North Mini Code hỗ trợ suy nghĩ xen kẽ, được nhà phát triển khuyến nghị bật cho công việc tác tử. Chuyển tiếp nội dung suy nghĩ và lời gọi công cụ do mô hình tạo ra sang những bước tác tử và lượt hội thoại tiếp theo. Ví dụ gốc giữ trường reasoning trong thông điệp của trợ lý rồi trả về quan sát công cụ tương ứng sau đó. Cách này giữ lại thông tin mô hình đã dùng khi quyết định cần kiểm tra hoặc thay đổi gì tiếp theo.

Giữ mục tiêu hiện tại, dữ liệu nguồn và các quan sát thực tế trong lịch sử tác vụ. Với tác vụ kho mã dài hơn, tóm tắt kết quả cuối theo hành vi đã thay đổi và sản phẩm hữu ích, đồng thời giữ bằng chứng cần thiết để rà soát. Suy luận xen kẽ không có nghĩa câu trả lời ngắn hiển thị ra không cần phân tích, cũng không xác lập rằng hành động được mô hình mô tả đã diễn ra.

Tác vụ mã và giải thích độc lập

Nhà phát triển còn nêu lập trình khoa học và suy luận thuật toán ngoài vòng lặp tác tử. Cung cấp định nghĩa bài toán, định dạng đầu vào và đầu ra, ràng buộc, các giả định số học liên quan và hành vi mong đợi ở trường hợp biên. Yêu cầu hàm hoặc chương trình hoàn chỉnh khi đó là sản phẩm cần có, cùng lời giải thích ở mức phù hợp với người đọc.

Để giải thích mã, cung cấp phần triển khai và hành vi hoặc phụ thuộc cụ thể cần làm rõ. Với mã trực quan hóa dữ liệu, xác định các trường được cung cấp và phép so sánh mong muốn, thay vì để mục đích biểu đồ chỉ được ngầm hiểu. Các ví dụ phát triển của nhà sản xuất gồm giải thích mã, chỉnh sửa, trực quan hóa và triển khai từ đặc tả. Đây là các mẫu tác vụ tạo hoặc sửa mã, không phải lời bảo đảm kết quả đúng cho mọi kho mã hay framework.

Ngữ cảnh, đầu ra và thiết lập sinh

Thẻ mô hình và trang API của nhà phát triển công bố cửa sổ ngữ cảnh 256K token và đầu ra tối đa 64K token. Chuẩn bị lượng tài liệu kho mã lớn theo hai hạn mức riêng đó và kích thước sản phẩm cuối. Giữ nguyên ranh giới nguồn và mã định danh, đồng thời loại bỏ nội dung không liên quan, thay vì giả định cửa sổ lớn khiến không cần bản yêu cầu tập trung.

Thẻ mô hình gốc khuyến nghị temperature 1.0 và top_p 0.95 khi sinh, đồng thời dùng mẫu chat của mô hình, có cả lời nhắc sinh, cho quy trình văn bản và công cụ. Các giới hạn đầu ra trong ví dụ là thiết lập của những ví dụ đó, không thay thế mức tối đa được công bố của mô hình. Cohere công bố trọng số BF16 và một bộ trọng số FP8 có tên riêng. Chọn bộ trọng số phù hợp khi chuẩn bị triển khai.

Kết quả North Mini Code hữu ích là sản phẩm mã hoặc lời giải thích kỹ thuật có thể kiểm tra, gắn với các yêu cầu được cung cấp. So sánh kết quả với hành vi gốc và đầu ra công cụ thực tế, kiểm tra những giả định ảnh hưởng đến mã và giữ nguồn cùng quan sát cần cho việc rà soát. Mô hình lập trình chỉ xử lý văn bản cung cấp suy luận và nội dung được tạo; ứng dụng xung quanh thực hiện các thao tác biến những đề xuất đó thành tác vụ phần mềm đã hoàn tất.