Thinking Machines: Inkling Small (free)

Inkling-Small ialah model multimodal dengan pemberat terbuka Thinking Machines Lab yang lebih kecil untuk penaakulan, pengekodan, perbualan dan aplikasi yang menggunakan alat. Ia menerima teks, imej dan audio serta menghasilkan teks. Reka bentuk Mixture-of-Expertsnya mempunyai 276 bilion jumlah parameter dengan 12 bilion yang aktif, berbanding Inkling yang mempunyai 975 bilion jumlah parameter dan 41 bilion yang aktif. Small ialah model berasingan yang telah dikeluarkan dengan keseimbangan kecekapan dan keupayaan yang berbeza, bukannya mod output lebih pendek Inkling.

Untuk penyiasatan kod, bekalkan fail yang terjejas, tingkah laku yang diperhatikan dan perubahan yang anda perlukan, kemudian minta laluan yang bertanggungjawab serta pembetulan khusus. Artifak akhir yang berguna menyertakan suntingan yang dicadangkan dan bukti daripada sebarang semakan yang benar-benar dijalankan oleh aplikasi yang disambungkan. Untuk pembantu sokongan, berikan dasar dan fakta perbualan yang berkaitan serta minta respons seterusnya atau soalan yang belum ditanyakan. Penggunaan model yang dimaksudkan termasuk pembantu pengekodan, chatbot, respons yang diperkaya pemerolehan maklumat dan sistem berejen dengan alat aplikasi.

Tetingkap konteksnya sehingga satu juta token. Susun repositori atau koleksi dokumen yang panjang dengan nama fail, label bahagian dan soalan yang jelas, sambil mengekalkan fakta yang mesti digunakan pada peringkat seterusnya. Tetingkap yang besar berguna untuk membandingkan maklumat yang berjauhan, tetapi hasil yang diminta perlu kekal khusus: perubahan kod, penjelasan berasaskan sumber atau medan yang diekstrak. Maklumat baharu atau peribadi perlu berada dalam bukti yang dibekalkan atau hasil pemerolehan maklumat yang dikembalikan, tanpa menganggapnya sebagai sebahagian daripada pengetahuan yang dipelajari.

Usaha pemikiran boleh dikawal. Panduan keluarga pengeluar menggunakan nilai berterusan daripada 0.0 secara inklusif hingga kurang daripada 1.0, dengan pratetap permulaan none, minimal, low, medium, high dan xhigh yang sepadan dengan 0.0, 0.1, 0.2, 0.7, 0.9 dan 0.99. Pemapar pengeluar menggunakan high secara lalai. Usaha yang lebih tinggi boleh menggalakkan lebih banyak penaakulan dan mungkin memerlukan belanjawan penjanaan yang lebih besar, tetapi tidak menjamin jawapan yang lebih panjang atau lebih tepat. Tetapan sifar mengarahkan model ke arah tanpa penaakulan tanpa menguatkuasakan ketiadaan penaakulan secara keras. Pilih usaha mengikut tugasan dan pastikan keperluan output akhir jelas.

Imej boleh menyokong soalan visual, pentafsiran carta atau rajah dan penaakulan matematik daripada maklumat yang kelihatan. Untuk prestasi yang baik, gunakan imej dengan dimensi antara 40 hingga 4,096 piksel. Kekalkan label yang boleh dibaca dan terangkan butiran yang penting. Dengan alat Python yang dikonfigurasi, model boleh menggabungkan penaakulan visual dengan pemangkasan, pengezuman dan pemeriksaan dokumen atau carta secara berprogram. Operasi itu perlu dilaksanakan oleh persekitaran alat yang disambungkan; jawapan bertulis perlu menggunakan pemerhatian yang dikembalikan daripadanya.

Input audio ialah WAV yang disampel pada 16 kHz, dengan rakaman sebaik-baiknya di bawah dua minit untuk prestasi optimum. Ini ialah cadangan penyediaan, bukannya jaminan tempoh yang keras. Gunakan soalan lisan atau klip pendek yang berkaitan dan nyatakan sama ada hasil bertulis perlu mentranskripsikan pertuturan, menjawab soalan tentang rakaman atau mengaitkan kandungannya dengan bahan lain yang dibekalkan. Respons natif ialah teks, bukannya pertuturan yang dijana. Cadangan Inkling yang berasingan untuk audio lebih panjang tidak patut dipindahkan kepada edisi Small.

Aliran kerja yang menggunakan alat memerlukan huraian alat yang bermakna, takrif argumen dan hasil daripada operasi yang dilaksanakan oleh aplikasi. Asingkan hasil carian rujukan, pengiraan atau pemerhatian fail daripada tindakan yang dicadangkan oleh model. Untuk percanggahan carta, kenal pasti label yang berkaitan, periksa nilai yang dibekalkan melalui alat pengiraan dan minta penjelasan yang merujuk nilai tersebut. Model dilatih untuk pelbagai kerangka pengekodan dan ejen, jadi tugasan serta alat yang mengelilinginya perlu dihuraikan tanpa dibiarkan tersirat.

Pemberat terbuka menyokong penyelidikan model, penalaan halus dan integrasi ke dalam produk hiliran. Keluaran Inkling-Small menyusuli titik semak preview terdahulu dan merangkumi latihan tambahan untuk pengekodan berejen; model akhir dan preview itu perlu mengekalkan identiti berasingan. Untuk gaya pengekstrakan atau respons khusus, penyesuaian menggunakan contoh yang mewakili dan tingkah laku sasaran yang jelas. Prompt biasa pula membekalkan konteks untuk permintaan semasa; ia tidak mencipta atau bertukar kepada model yang baru dilatih.

Langkah semakan hasil yang berguna memastikan perubahan kod, transkripsi, fakta yang diekstrak atau respons bertulis yang dicadangkan sepadan dengan bukti yang dibekalkan. Nyatakan cara ketidakpastian dan maklumat yang tiada perlu dipaparkan, khususnya bagi ramalan atau jawapan fakta yang sumbernya tidak lengkap. Pengeluar melatih Inkling-Small untuk penentukuran ramalan menggunakan pembelajaran pengukuhan berdasarkan peraturan pemarkahan wajar bagi soalan dunia sebenar, dengan tujuan menyatakan keyakinan yang sesuai dengan bukti yang tersedia. Simpan bahan dan pemerhatian alat bersama artifak supaya susulan boleh menyemak satu isu tanpa kehilangan tugasan asal. Keupayaan umum berbilang bahasa dan multimodal Inkling-Small kekal berbeza daripada penjana pertuturan khusus atau perkhidmatan tindakan luaran yang dijamin.