Cloudflare: Clef Omni

Cloudflare Clef Omni ialah model campuran pakar multimodal dalam keluarga keputusan Clef. Ia dilatih lanjut daripada tulang belakang pemahaman Qwen3-Omni-30B-A3B-Instruct, dengan 30B parameter keseluruhan dan 3B parameter aktif. Cloudflare menambah kepala skema bersama yang menghalakan bukti kepada soalan yang diminta dan memberi skor kepada opsyen yang dibenarkan bagi soalan-soalan itu secara serentak. Hasilnya ialah keputusan berjenis dengan kebarangkalian, bukannya penjelasan, transkrip atau output pertuturan yang dijana.

Sediakan dua bahagian utama: keadaan yang menerangkan situasi dan pemetaan soalan bernama. Keadaan boleh berupa teks atau JSON berstruktur, dan input asli model juga merangkumi imej, audio dan video. Setiap soalan menyatakan perkara yang perlu diputuskan dan jawapan yang dibenarkan. Kekalkan pengecam yang stabil supaya aplikasi dapat mengaitkan setiap jawapan yang dikembalikan dengan soalan asalnya. Penerangan opsyen yang jelas menjadikan sesuatu kategori bermakna; label pendek yang samar-samar pula boleh menyembunyikan perbezaan yang sebenarnya diperlukan oleh aliran kerja.

Format rekod mempunyai tiga jenis soalan. Soalan noul bertanya tentang syarat benar/palsu dan mengembalikan kebarangkalian benar. Soalan pilihan mentakrifkan opsyen bernama dan mengembalikan opsyen terpilih, kebarangkalian bagi setiap opsyen dan nilai keyakinan yang berasingan. Soalan skor mentakrifkan kriteria bertertib yang diindeks bermula daripada sifar dan mengembalikan skor berwajaran kebarangkalian, legenda dan kebarangkalian. Skor itu boleh berupa pecahan kerana ia mencerminkan taburan merentas tahap. Oleh itu, sesuatu keputusan lebih kaya daripada satu label tunggal, namun tetap dibatasi oleh skema yang dibekalkan.

Untuk semakan visual, berikan imej yang jelas dan kondisi yang hendak dinilai. Contohnya ialah rekod pemasangan dengan soalan yang bertanya sama ada label pengenalan kelihatan, kategori kondisi yang ditetapkan manakah yang terpakai, dan sama ada bukti mencukupi untuk semakan. Asingkan setiap pemerhatian: label yang kelihatan ialah soalan yang berbeza daripada pemasangan yang kelihatan lengkap. Output boleh membantu aplikasi menghalakan rekod atau menandakan kondisi semakan; ia sendiri tidak menjalankan pemeriksaan, mengubah rekod atau menjana laporan bertulis.

Untuk audio dan video, fokuskan soalan pada bukti yang boleh disokong oleh klip yang dibekalkan. Semakan peralatan yang praktikal mungkin merangkumi foto, rakaman dan video pendek, dengan soalan sama ada bunyi tertentu hadir atau sama ada sesuatu komponen kelihatan bergerak. Pembuat model menerangkan pemprosesan runut bunyi video bersama-sama bingkainya apabila setiap video dalam rekod mempunyai bunyi. Kekalkan hubungan antara media dengan keadaan bertulis, dan elakkan meminta model mengklasifikasikan peristiwa yang berlaku di luar selang yang dilampirkan.

Profil yang dihoskan oleh pengeluar menyenaraikan konteks 64,000 token dan satu hingga 64 soalan. Ia menerima sehingga empat imej, empat klip audio dan dua video, dengan setiap klip audio dihadkan kepada 300 saat dan setiap video kepada 60 saat. Ini ialah had antara muka pengeluar yang didokumenkan. Media dan soalan menggunakan ruang konteks; media yang berlebihan boleh menyebabkan permintaan gagal, manakala keadaan teks yang panjang mungkin dipotong supaya muat. Letakkan bukti penentu dalam rekod yang fokus dan sediakan soalan sebelum menghabiskan tetingkap konteks pada sejarah yang tidak berkaitan.

Antara muka yang dihoskan oleh pembuat model menerima media terbenam, bukannya pautan jauh. Imej PNG, JPEG atau WebP dihadkan kepada 4 MiB dan 16 megapiksel setiap satu, dengan bajet keseluruhan imej selepas nyahkod sebanyak 8 MiB. Setiap klip audio dihadkan kepada 8 MiB dan 300 saat; setiap video kepada 16 MiB dan 60 saat. Audio dan video bersama-sama boleh berjumlah paling banyak 16 MiB selepas nyahkod, dan video disampel pada dua bingkai sesaat. Had ini milik antara muka pengeluar tersebut; pengekod pemberat terbuka menerima perwakilan setempat tambahan. Keupayaan audio tulang belakang pemahaman tidak bermakna model keputusan ini menghasilkan audio: komponen penjanaan pertuturannya tidak digunakan untuk pemarkahan keputusan.

Untuk sokongan atau penghalaan aliran kerja, takrifkan kategori dan kriteria bertertib berdasarkan peraturan operasi sebenar. Rekod tiket mungkin bertanya pasukan manakah yang patut mengendalikannya, sama ada impaknya mendesak dan tahap keterukan manakah yang paling sepadan dengan bukti. Output yang boleh diperhatikan ialah satu set jawapan berjenis di bawah nama-nama soalan tersebut. Semak keseluruhan taburan kebarangkalian apabila kategori-kategori hampir sama, dan takrifkan secara eksplisit cara aplikasi mengendalikan kes yang tidak pasti. Kebarangkalian yang tinggi ialah penilaian model terhadap bukti yang dibekalkan, bukan bukti bahawa kondisi tersebut telah disahkan secara bebas.

Simpan keadaan, skema soalan dan jawapan yang dikembalikan bersama-sama apabila memeriksa sesuatu hasil. Semak sama ada opsyen meliputi situasi sebenar, sama ada penerangannya bertindih, dan sama ada bukti penting tertinggal atau terpotong. Jika langkah hiliran memerlukan penjelasan bertulis, langkah itu boleh menggunakan keputusan dan bahan sumber sebagai input kepada langkah penulisan yang berasingan. Peranan berguna Clef Omni ialah memberi skor kepada alternatif yang ditakrifkan berdasarkan bukti multimodal supaya tindakan seterusnya dapat dipilih dengan input dan output yang jelas serta boleh diperiksa.