Thinking Machines: Inkling Small (free)

Inkling-Small là mô hình đa phương thức trọng số mở nhỏ hơn của Thinking Machines Lab cho suy luận, lập trình, hội thoại và ứng dụng dùng công cụ. Mô hình nhận văn bản, ảnh, âm thanh và tạo văn bản. Thiết kế Mixture-of-Experts có tổng 276 tỷ tham số với 12 tỷ hoạt động, so với tổng 975 tỷ và 41 tỷ hoạt động của Inkling. Small là mô hình phát hành riêng với cân bằng hiệu quả và năng lực khác, không phải chế độ đầu ra ngắn của Inkling.

Khi điều tra mã, cung cấp tệp bị ảnh hưởng, hành vi quan sát được và thay đổi cần có, rồi yêu cầu luồng chịu trách nhiệm và sửa có trọng tâm. Sản phẩm cuối hữu ích gồm chỉnh sửa đề xuất và bằng chứng từ kiểm tra ứng dụng kết nối thực sự chạy. Với trợ lý hỗ trợ, cung cấp chính sách, dữ kiện hội thoại liên quan và yêu cầu phản hồi kế tiếp hoặc câu hỏi còn thiếu. Các mục đích dùng gồm trợ lý lập trình, chatbot, phản hồi tăng cường truy xuất và hệ thống agent với công cụ ứng dụng.

Cửa sổ ngữ cảnh tối đa một triệu token. Tổ chức kho mã hoặc bộ tài liệu dài bằng tên tệp, nhãn phần và câu hỏi rõ ràng, giữ dữ kiện bước sau phải dùng. Cửa sổ lớn hữu ích để so các thông tin xa nhau, nhưng kết quả yêu cầu cần cụ thể: thay đổi mã, giải thích có nguồn hoặc trường trích xuất. Thông tin mới hoặc riêng cần nằm trong bằng chứng cung cấp hay kết quả truy xuất trả về, không giả định thuộc kiến thức đã học.

Mức suy nghĩ có thể điều chỉnh. Hướng dẫn chung của họ mô hình dùng giá trị liên tục từ 0.0, có tính cận dưới, đến dưới 1.0, với các mức khởi đầu none, minimal, low, medium, high và xhigh tương ứng 0.0, 0.1, 0.2, 0.7, 0.9 và 0.99. Renderer mặc định high. Mức cao hơn có thể khuyến khích suy luận nhiều hơn, cần ngân sách sinh lớn hơn nhưng không bảo đảm câu trả lời dài hoặc chính xác hơn. Giá trị 0 hướng mô hình đến không suy luận, nhưng không ép tuyệt đối không có suy luận. Chọn mức theo tác vụ và giữ yêu cầu đầu ra cuối rõ ràng.

Ảnh hỗ trợ câu hỏi thị giác, diễn giải biểu đồ hoặc sơ đồ và suy luận toán từ thông tin nhìn thấy. Để có hiệu suất tốt, dùng ảnh kích thước từ 40 đến 4,096 pixel. Giữ nhãn dễ đọc và giải thích chi tiết quan trọng. Với công cụ Python đã cấu hình, mô hình kết hợp suy luận thị giác với cắt, phóng to và kiểm tra tài liệu hoặc biểu đồ bằng chương trình. Các thao tác cần môi trường công cụ kết nối thực thi; câu trả lời viết cần dùng quan sát trả về từ đó.

Âm thanh đầu vào là WAV lấy mẫu 16 kHz, lý tưởng dưới hai phút để có hiệu suất tối ưu. Đây là khuyến nghị chuẩn bị, không bảo đảm thời lượng cứng. Dùng câu hỏi nói hoặc clip ngắn liên quan, nêu kết quả viết cần chép lời, trả lời về bản ghi hay liên hệ nội dung với tài liệu khác đã cung cấp. Phản hồi gốc là văn bản, không phải giọng nói được tạo. Không chuyển khuyến nghị âm thanh dài riêng của Inkling sang bản Small.

Quy trình dùng công cụ cần mô tả có ý nghĩa, định nghĩa đối số và kết quả thao tác ứng dụng thực thi. Giữ kết quả tra cứu, tính toán hoặc quan sát tệp riêng với hành động đề xuất của mô hình. Với sai lệch biểu đồ, xác định nhãn liên quan, kiểm tra giá trị cung cấp bằng công cụ tính toán và yêu cầu giải thích dẫn các giá trị đó. Mô hình được huấn luyện cho nhiều môi trường điều phối lập trình và agent, nên mô tả tác vụ, công cụ xung quanh thay vì để ngầm định.

Trọng số mở hỗ trợ nghiên cứu mô hình, tinh chỉnh và tích hợp vào sản phẩm hạ nguồn. Bản Inkling-Small ra sau checkpoint preview trước đó và có huấn luyện thêm cho lập trình bằng agent; mô hình cuối và preview cần giữ danh tính riêng. Với trích xuất chuyên biệt hoặc phong cách phản hồi, tùy chỉnh dùng ví dụ đại diện và hành vi mục tiêu rõ ràng. Prompt thông thường cung cấp ngữ cảnh cho yêu cầu hiện tại; không tạo hay chuyển sang mô hình vừa huấn luyện.

Bước đánh giá hữu ích kiểm tra thay đổi mã đề xuất, bản chép lời, dữ kiện trích xuất hoặc phản hồi viết có khớp bằng chứng cung cấp không. Nêu cách thể hiện sự không chắc chắn và thiếu thông tin, nhất là dự báo hoặc câu trả lời thực tế có nguồn chưa đầy đủ. Nhà sản xuất huấn luyện Inkling-Small hiệu chỉnh dự báo bằng học tăng cường với các quy tắc chấm điểm xác đáng trên câu hỏi thực tế, nhằm thể hiện độ tin cậy phù hợp bằng chứng sẵn có. Giữ tài liệu và quan sát công cụ cùng sản phẩm để lượt tiếp nối sửa một vấn đề mà không mất tác vụ gốc. Khả năng đa ngôn ngữ, đa phương thức tổng quát của Inkling-Small khác bộ tạo giọng nói chuyên dụng hoặc dịch vụ bảo đảm hành động bên ngoài.