Thinking Machines: Inkling (free)

Inkling adalah model multimodal berbobot terbuka Thinking Machines Lab untuk penalaran, pemrograman, percakapan, dan aplikasi berbasis agen. Model ini menerima teks, gambar, dan audio serta mengembalikan teks. Rancangan Mixture-of-Experts-nya memiliki total 975 miliar parameter dan 41 miliar aktif, sehingga menjadi model yang lebih besar dalam keluarga ini. Inkling-Small adalah model terpisah berparameter 276 miliar dengan 12 miliar aktif, bukan pengaturan yang mengubah panjang respons Inkling.

Untuk tugas kode yang besar, berikan materi repositori yang relevan, perilaku yang diamati, dan hasil yang diinginkan. Mintalah model menelusuri jalur yang bertanggung jawab, mengusulkan perubahan, dan melaporkan bukti dari pemeriksaan yang benar-benar dijalankan di lingkungan terhubung. Untuk perbandingan dokumen, beri label pada bagian sumber dan mintalah perbedaan yang relevan, bukti pendukungnya, serta pertanyaan yang belum terjawab. Aplikasi yang dituju mencakup asisten pemrograman, chatbot, retrieval-augmented generation, dan agen pengguna alat, dengan hasil akhir yang dibentuk untuk aplikasi yang mengonsumsinya.

Inkling mendukung hingga satu juta token konteks. Gunakan ruang tersebut untuk menyatukan materi sumber yang besar dan fakta percakapan penting, sambil menyusunnya berdasarkan pertanyaan spesifik. Bedakan fakta sumber dari asumsi dan sisakan ruang bagi artefak tertulis yang lengkap. Konteks lebih besar mendukung pekerjaan lintas kumpulan yang luas; konteks itu tidak mengubah jawaban menjadi tampilan langsung sistem yang informasi terkininya belum diberikan.

Upaya berpikir merupakan kontrol kontinu dari 0.0 inklusif hingga di bawah 1.0. Preset awal pembuatnya adalah none 0.0, minimal 0.1, low 0.2, medium 0.7, high 0.9, dan xhigh 0.99, dengan high sebagai default renderer. Upaya dan anggaran token generasi bersifat independen. Upaya lebih tinggi dapat mendorong lebih banyak penalaran dan membutuhkan lebih banyak ruang sebelum jawaban akhir, sementara none mengarahkan model untuk tidak bernalar tanpa memberlakukan pembatasan keras. Pilih nilai yang sesuai dengan tugas, serta nyatakan artefak yang diharapkan dan kondisi penyelesaian secara eksplisit.

Masukan visi mendukung deskripsi gambar, pertanyaan tentang konten yang terlihat, bagan, diagram, dan penalaran matematika visual. Untuk kinerja yang baik, gunakan dimensi gambar antara 40 dan 4.096 piksel. Pertahankan label dan konteks diagram yang relevan agar terbaca jelas. Inkling dapat menggunakan alat Python yang dikonfigurasi untuk memperbesar, memotong, atau memeriksa gambar secara terprogram, dengan menghubungkan pengamatan visual dan penalaran berbasis kode. Jawaban bagan yang berguna mempertahankan nilai yang diamati dan menunjukkan bagaimana nilai tersebut mendukung kesimpulan, alih-alih menganggap pemotongan atau perhitungan sudah terjadi hanya karena diusulkan.

Masukan audio menggunakan WAV dengan sampling 16 kHz, dan pembuat merekomendasikan rekaman dalam durasi 20 menit untuk kinerja optimal. Ini merupakan rekomendasi persiapan. Inkling dapat mentranskripsikan ucapan, mengikuti instruksi lisan, menjawab pertanyaan tentang rekaman, dan bernalar atas audio berdurasi lebih panjang. Berikan rekaman yang relevan bersama pertanyaan tertulis dan materi referensi yang diperlukan untuk menafsirkannya. Artefak terkait rapat dapat memisahkan fakta yang diucapkan dari ringkasan atau penafsiran berikutnya. Model menghasilkan teks, sehingga pemahaman audionya berbeda dari sintesis balasan lisan.

Untuk tugas berbasis alat, deskripsikan operasi yang tersedia dan argumennya serta pertahankan pengamatan aktual yang dikembalikan aplikasi. Hasil pencarian dapat menyediakan bukti terkini; perhitungan dapat menyediakan pengerjaan numerik; operasi berkas dapat memastikan konten yang sedang ditinjau. Tindakan yang diusulkan model dan hasil eksekusi merupakan bagian percakapan yang terpisah. Jaga agar respons akhir terhubung dengan pengamatan tersebut, terutama ketika menyarankan perubahan kode atau langkah aplikasi berikutnya.

Inkling dilatih untuk kalibrasi dan kepatuhan terhadap instruksi, termasuk menyatakan ketidakpastian ketika jawaban belum dipastikan. Untuk prakiraan atau analisis berbasis bukti, mintalah asumsi, bukti, dan kondisi yang belum terselesaikan dalam hasil tertulis. Untuk ekstraksi, tentukan bagaimana nilai yang tidak tersedia harus direpresentasikan, alih-alih mewajibkan setiap kolom berisi fakta yang dikarang. Instruksi ini membuat hasil berguna untuk ditinjau tanpa menganggap keyakinan atau proses penalaran panjang sebagai bukti kebenaran.

Bobot terbuka mendukung fine-tuning dan integrasi hilir. Model khusus dikembangkan dari contoh representatif dan perilaku target, sedangkan permintaan inferensi biasa menyediakan konteks bagi tugas saat ini. Pembuatnya memperagakan penyesuaian sebagai alur kerja terpisah; jawaban normal tidak diam-diam beralih ke bobot baru. Pertahankan bukti asli dan batasan yang diminta bersama artefak akhir agar tindak lanjut dapat merevisi satu fakta, menyempurnakan kata-kata, atau memeriksa jalur kode berbeda sambil menjaga tugas yang sama tetap koheren.