Thinking Machines: Inkling Small (free)

Inkling-Small adalah model multimodal berbobot terbuka yang lebih kecil dari Thinking Machines Lab untuk penalaran, pemrograman, percakapan, dan aplikasi pengguna alat. Model ini menerima teks, gambar, dan audio serta menghasilkan teks. Rancangan Mixture-of-Experts-nya memiliki total 276 miliar parameter dengan 12 miliar aktif, dibandingkan total 975 miliar dan 41 miliar aktif pada Inkling. Small adalah model terpisah yang telah dirilis dengan keseimbangan efisiensi dan kemampuan berbeda, bukan mode keluaran pendek Inkling.

Untuk investigasi kode, berikan berkas yang terdampak, perilaku yang diamati, dan perubahan yang dibutuhkan, lalu mintalah jalur yang bertanggung jawab dan koreksi terarah. Artefak akhir yang berguna mencakup suntingan yang diusulkan dan bukti dari pemeriksaan yang benar-benar dijalankan aplikasi terhubung. Untuk asisten dukungan, berikan kebijakan dan fakta percakapan yang relevan serta mintalah respons berikutnya atau pertanyaan yang belum diajukan. Penggunaan model yang dituju mencakup asisten pemrograman, chatbot, respons berbantuan pengambilan informasi, dan sistem berbasis agen dengan alat aplikasi.

Jendela konteksnya hingga satu juta token. Susun repositori panjang atau kumpulan dokumen dengan nama berkas, label bagian, dan pertanyaan yang jelas, sambil mempertahankan fakta yang harus digunakan tahap berikutnya. Jendela besar berguna untuk membandingkan potongan informasi yang berjauhan, tetapi hasil yang diminta perlu tetap spesifik: perubahan kode, penjelasan berbasis sumber, atau kolom hasil ekstraksi. Informasi baru atau privat perlu dimasukkan dalam bukti yang diberikan atau hasil pengambilan informasi yang dikembalikan, alih-alih dianggap sebagai bagian dari pengetahuan hasil pelatihan.

Upaya berpikir dapat dikendalikan. Panduan keluarga dari pembuat menggunakan nilai kontinu dari 0.0 inklusif hingga di bawah 1.0, dengan preset awal none, minimal, low, medium, high, dan xhigh yang masing-masing sesuai dengan 0.0, 0.1, 0.2, 0.7, 0.9, dan 0.99. Renderer pembuat menggunakan high sebagai default. Upaya lebih tinggi dapat mendorong lebih banyak penalaran dan mungkin memerlukan anggaran generasi lebih besar, tetapi tidak menjamin jawaban lebih panjang atau lebih akurat. Pengaturan nol mengarahkan model untuk tidak bernalar, bukan memberlakukan ketiadaan penalaran secara mutlak. Pilih upaya sesuai tugas dan pertahankan kejelasan persyaratan keluaran akhir.

Gambar dapat mendukung pertanyaan visual, penafsiran bagan atau diagram, dan penalaran matematika dari informasi yang terlihat. Untuk kinerja yang baik, gunakan gambar berdimensi antara 40 dan 4.096 piksel. Pertahankan label yang dapat dibaca dan jelaskan detail yang penting. Dengan alat Python yang dikonfigurasi, model dapat menggabungkan penalaran visual dengan pemotongan, pembesaran, serta pemeriksaan dokumen atau bagan secara terprogram. Operasi tersebut memerlukan eksekusi oleh lingkungan alat terhubung; jawaban tertulis perlu menggunakan pengamatan yang dikembalikan darinya.

Masukan audio berupa WAV dengan sampling 16 kHz, dengan rekaman idealnya di bawah dua menit untuk kinerja optimal. Ini adalah rekomendasi persiapan, bukan jaminan durasi keras. Gunakan pertanyaan lisan atau klip pendek yang relevan dan nyatakan apakah hasil tertulis perlu mentranskripsikan ucapan, menjawab pertanyaan tentang rekaman, atau menghubungkan isinya dengan materi lain yang diberikan. Respons bawaan berupa teks, bukan ucapan yang dihasilkan. Rekomendasi terpisah Inkling untuk audio lebih panjang tidak boleh dipindahkan ke edisi Small.

Alur kerja pengguna alat memerlukan deskripsi alat yang bermakna, definisi argumen, dan hasil operasi yang dieksekusi aplikasi. Pisahkan hasil pencarian data, perhitungan, atau pengamatan berkas dari tindakan yang diusulkan model. Untuk ketidaksesuaian bagan, identifikasi label yang relevan, periksa nilai yang diberikan melalui alat perhitungan, dan mintalah penjelasan yang merujuk nilai tersebut. Model dilatih untuk beragam kerangka pemrograman dan agen, sehingga tugas serta alat di sekitarnya perlu dideskripsikan, bukan dibiarkan tersirat.

Bobot terbuka mendukung riset model, fine-tuning, dan integrasi ke produk hilir. Rilis Inkling-Small mengikuti checkpoint preview sebelumnya dan mencakup pelatihan tambahan untuk pemrograman berbasis agen; model akhir dan preview tersebut perlu mempertahankan identitas terpisah. Untuk ekstraksi khusus atau gaya respons, penyesuaian menggunakan contoh representatif dan perilaku target yang eksplisit. Sebaliknya, prompt biasa menyediakan konteks untuk permintaan saat ini; prompt itu tidak membuat atau beralih ke model yang baru dilatih.

Langkah peninjauan hasil yang berguna memeriksa apakah perubahan kode yang diusulkan, transkripsi, fakta hasil ekstraksi, atau respons tertulis sesuai dengan bukti yang diberikan. Tentukan bagaimana ketidakpastian dan informasi yang belum tersedia harus ditampilkan, khususnya untuk prakiraan atau jawaban faktual yang sumbernya tidak lengkap. Pembuatnya melatih Inkling-Small untuk kalibrasi prakiraan menggunakan pembelajaran penguatan terhadap proper scoring rules pada pertanyaan dunia nyata, dengan tujuan menyatakan keyakinan yang sesuai dengan bukti yang tersedia. Pertahankan materi dan pengamatan alat bersama artefak agar tindak lanjut dapat merevisi satu masalah tanpa kehilangan tugas asli. Kemampuan multibahasa dan multimodal umum Inkling-Small tetap berbeda dari generator ucapan khusus atau layanan tindakan eksternal yang dijamin.