Thinking Machines: Inkling (free)

Inkling là mô hình đa phương thức trọng số mở của Thinking Machines Lab cho suy luận, lập trình, hội thoại và ứng dụng agent. Mô hình nhận văn bản, ảnh, âm thanh và trả văn bản. Thiết kế Mixture-of-Experts có tổng 975 tỷ tham số và 41 tỷ hoạt động, là mô hình lớn hơn trong họ. Inkling-Small là mô hình riêng tổng 276 tỷ tham số với 12 tỷ hoạt động, không phải cài đặt đổi độ dài phản hồi của Inkling.

Với tác vụ mã lớn, cung cấp tài liệu kho mã liên quan, hành vi quan sát được và kết quả mong muốn. Yêu cầu lần theo luồng chịu trách nhiệm, đề xuất thay đổi và báo bằng chứng từ các kiểm tra thực sự chạy trong môi trường kết nối. Với so sánh tài liệu, gắn nhãn các phần nguồn, yêu cầu khác biệt liên quan, bằng chứng hỗ trợ và câu hỏi chưa trả lời. Ứng dụng dự kiến gồm trợ lý lập trình, chatbot, sinh tăng cường truy xuất và agent dùng công cụ, với kết quả cuối phù hợp ứng dụng nhận nó.

Inkling hỗ trợ tối đa một triệu token ngữ cảnh. Dùng không gian đó để giữ tài liệu nguồn lớn cùng dữ kiện hội thoại quan trọng, tổ chức quanh câu hỏi cụ thể. Phân biệt dữ kiện nguồn với giả định và dành chỗ cho sản phẩm viết đầy đủ. Ngữ cảnh lớn hỗ trợ làm việc trên bộ tài liệu rộng; không biến câu trả lời thành ảnh chụp trực tiếp của hệ thống chưa được cung cấp thông tin hiện tại.

Mức suy nghĩ là điều khiển liên tục từ 0.0, có tính cận dưới, đến dưới 1.0. Các mức khởi đầu của nhà sản xuất là none 0.0, minimal 0.1, low 0.2, medium 0.7, high 0.9 và xhigh 0.99, với high là mặc định của renderer. Mức suy nghĩ và ngân sách token sinh độc lập. Mức cao hơn có thể khuyến khích suy luận nhiều hơn, cần thêm chỗ trước câu trả lời cuối, còn none hướng đến không suy luận mà không ép hạn chế cứng. Chọn giá trị phù hợp nhiệm vụ, nêu rõ sản phẩm dự kiến và điều kiện hoàn thành.

Đầu vào thị giác hỗ trợ mô tả ảnh, hỏi nội dung nhìn thấy, biểu đồ, sơ đồ và suy luận toán từ hình ảnh. Để có hiệu suất tốt, dùng ảnh có kích thước từ 40 đến 4,096 pixel. Giữ nhãn liên quan và bối cảnh sơ đồ dễ đọc. Inkling có thể dùng công cụ Python đã cấu hình để phóng to, cắt hoặc kiểm tra ảnh bằng chương trình, nối quan sát thị giác với suy luận bằng mã. Câu trả lời biểu đồ hữu ích giữ giá trị quan sát được và cho thấy chúng hỗ trợ kết luận thế nào, không giả định thao tác cắt hay tính toán đã diễn ra chỉ vì được đề xuất.

Âm thanh đầu vào dùng WAV lấy mẫu 16 kHz, và nhà sản xuất khuyến nghị bản ghi trong 20 phút để có hiệu suất tối ưu. Đây là khuyến nghị chuẩn bị. Inkling có thể chép lời, làm theo chỉ dẫn nói, trả lời về bản ghi và suy luận trên âm thanh dài. Cung cấp bản ghi liên quan cùng câu hỏi viết và tài liệu tham chiếu cần để diễn giải. Sản phẩm về cuộc họp có thể tách dữ kiện được nói khỏi tóm tắt hoặc diễn giải sau. Mô hình tạo văn bản, nên hiểu âm thanh khác với tổng hợp câu trả lời bằng giọng nói.

Với nhiệm vụ dùng công cụ, mô tả thao tác sẵn có, đối số và giữ quan sát thực tế ứng dụng trả về. Kết quả tìm kiếm có thể cung cấp bằng chứng hiện tại; phép tính cung cấp xử lý số; thao tác tệp xác lập nội dung đang xem. Hành động đề xuất của mô hình và kết quả thực thi là các phần riêng của hội thoại. Giữ phản hồi cuối gắn với các quan sát ấy, nhất là khi đề xuất sửa mã hoặc bước tiếp của ứng dụng.

Inkling được huấn luyện về hiệu chỉnh độ tin cậy và tuân thủ chỉ dẫn, gồm thể hiện sự không chắc chắn khi câu trả lời chưa được xác lập. Với dự báo hoặc phân tích dựa trên bằng chứng, yêu cầu ghi giả định, bằng chứng và điều kiện chưa giải quyết trong kết quả viết. Với trích xuất, xác định cách biểu diễn giá trị thiếu thay vì bắt mọi trường chứa dữ kiện bịa. Những chỉ dẫn này giúp kết quả dễ đánh giá mà không coi tự tin hoặc suy luận dài là chứng minh đúng.

Trọng số mở hỗ trợ tinh chỉnh và tích hợp hạ nguồn. Mô hình chuyên biệt được phát triển từ ví dụ đại diện và hành vi mục tiêu, còn yêu cầu suy luận thông thường cung cấp ngữ cảnh cho tác vụ hiện tại. Nhà sản xuất minh họa tùy chỉnh là quy trình riêng; câu trả lời bình thường không âm thầm chuyển sang trọng số mới. Giữ bằng chứng gốc và ràng buộc yêu cầu cùng sản phẩm cuối để lượt sau sửa một dữ kiện, tinh chỉnh câu chữ hoặc kiểm tra luồng mã khác mà vẫn nhất quán nhiệm vụ.