Cloudflare: Clef Omni

Cloudflare Clef Omni adalah model mixture-of-experts multimodal dalam keluarga pengambilan keputusan Clef. Model ini dilatih lebih lanjut dari backbone pemahaman Qwen3-Omni-30B-A3B-Instruct, dengan total 30B parameter dan 3B parameter aktif. Cloudflare menambahkan kepala skema gabungan yang menyalurkan bukti ke pertanyaan yang diminta dan menilai opsi jawaban yang diizinkan secara bersama-sama. Hasilnya adalah keputusan bertipe beserta probabilitas, bukan penjelasan, transkrip, atau keluaran suara yang dihasilkan.

Siapkan dua bagian utama: keadaan yang menjelaskan situasi dan pemetaan pertanyaan bernama. Keadaan dapat berupa teks atau JSON terstruktur; masukan bawaan model juga mencakup gambar, audio, dan video. Setiap pertanyaan menyatakan hal yang harus diputuskan dan jawaban yang diizinkan. Pertahankan pengenal yang stabil agar aplikasi dapat menghubungkan setiap jawaban yang dikembalikan dengan pertanyaan aslinya. Deskripsi opsi yang jelas membuat suatu kategori bermakna; label singkat yang ambigu dapat menyembunyikan perbedaan yang sebenarnya dibutuhkan alur kerja.

Format rekaman memiliki tiga jenis pertanyaan. Pertanyaan noul menanyakan kondisi benar/salah dan mengembalikan probabilitas benar. Pertanyaan choice menetapkan opsi bernama dan mengembalikan opsi terpilih, probabilitas setiap opsi, serta nilai keyakinan terpisah. Pertanyaan score menetapkan kriteria berurutan dengan indeks mulai dari nol dan mengembalikan skor berbobot probabilitas, legenda, serta probabilitas. Skor dapat berupa pecahan karena mencerminkan distribusi antartingkat. Dengan demikian, keputusan memuat lebih banyak informasi daripada satu label, tetapi tetap dibatasi oleh skema yang diberikan.

Untuk peninjauan visual, berikan gambar yang jelas dan kondisi yang akan dinilai. Contohnya adalah rekaman instalasi dengan pertanyaan apakah label identifikasi terlihat, kategori kondisi yang ditetapkan mana yang sesuai, dan apakah buktinya cukup untuk ditinjau. Pisahkan pengamatan: terlihatnya label adalah pertanyaan yang berbeda dari tampaknya suatu instalasi telah selesai. Keluaran dapat membantu aplikasi meneruskan rekaman atau menandai kondisi yang perlu ditinjau; model sendiri tidak melakukan inspeksi, mengubah rekaman, atau membuat laporan tertulis.

Untuk audio dan video, fokuskan pertanyaan pada bukti yang dapat didukung klip yang diberikan. Peninjauan peralatan secara praktis dapat menyertakan foto, rekaman suara, dan video pendek, dengan pertanyaan apakah bunyi tertentu ada atau apakah suatu komponen tampak bergerak. Pembuat menjelaskan pemrosesan trek suara video bersama bingkainya ketika setiap video dalam rekaman memiliki suara. Pertahankan hubungan antara media dan keadaan tertulis, serta hindari meminta model mengklasifikasikan kejadian di luar rentang waktu yang dilampirkan.

Profil layanan yang dihosting produsen mencantumkan konteks 64.000 token dan satu hingga 64 pertanyaan. Layanan ini menerima hingga empat gambar, empat klip audio, dan dua video, dengan batas setiap klip audio 300 detik dan setiap video 60 detik. Batas tersebut berlaku untuk antarmuka produsen yang didokumentasikan. Media dan pertanyaan menggunakan ruang konteks; media berlebihan dapat membuat permintaan gagal, sedangkan keadaan teks yang panjang dapat dipotong agar muat. Masukkan bukti penentu dalam rekaman yang terfokus dan siapkan pertanyaan sebelum menghabiskan jendela konteks untuk riwayat yang tidak berkaitan.

Antarmuka yang dihosting pembuat menerima media tertanam, bukan tautan jarak jauh. Gambar PNG, JPEG, atau WebP dibatasi hingga 4 MiB dan 16 megapiksel per gambar, dengan total anggaran gambar setelah didekode 8 MiB. Setiap klip audio dibatasi hingga 8 MiB dan 300 detik; setiap video hingga 16 MiB dan 60 detik. Total gabungan audio dan video setelah didekode paling banyak 16 MiB, dan video disampel pada dua bingkai per detik. Batas ini berlaku untuk antarmuka produsen tersebut; encoder dengan bobot terbuka menerima representasi lokal tambahan. Kemampuan audio backbone pemahaman tidak berarti model pengambilan keputusan ini menghasilkan audio: komponen pembangkitan suaranya tidak digunakan untuk penilaian keputusan.

Untuk dukungan atau pengarahan alur kerja, tetapkan kategori dan kriteria berurutan berdasarkan aturan operasional yang sebenarnya. Rekaman tiket dapat menanyakan tim mana yang harus menanganinya, apakah dampaknya mendesak, dan tingkat keparahan mana yang paling sesuai dengan bukti. Keluaran yang dapat diamati berupa sekumpulan jawaban bertipe di bawah nama pertanyaan tersebut. Tinjau seluruh distribusi probabilitas ketika kategori-kategori memiliki nilai yang berdekatan, dan tetapkan secara eksplisit cara aplikasi menangani kasus yang tidak pasti. Probabilitas tinggi adalah penilaian model atas bukti yang diberikan, bukan bukti bahwa kondisi tersebut telah diverifikasi secara independen.

Simpan keadaan, skema pertanyaan, dan jawaban yang dikembalikan bersama-sama saat memeriksa hasil. Periksa apakah opsi mencakup situasi sebenarnya, apakah deskripsinya tumpang tindih, serta apakah bukti penting tidak disertakan atau terpotong. Jika tahap berikutnya memerlukan penjelasan tertulis, keputusan dan materi sumber dapat digunakan sebagai masukan untuk tahap penulisan terpisah. Peran berguna Clef Omni adalah menilai alternatif yang telah ditentukan berdasarkan bukti multimodal agar tindakan berikutnya dapat dipilih dengan masukan dan keluaran yang jelas serta dapat diperiksa.