Cloudflare: Clef Omni

Cloudflare Clef Omni est le modèle multimodal à mélange d’experts de la famille de modèles de décision Clef. Il est issu d’un post-entraînement du socle de compréhension Qwen3-Omni-30B-A3B-Instruct, avec 30B paramètres au total et 3B paramètres actifs. Cloudflare y ajoute une tête de schéma conjointe qui achemine les éléments probants vers les questions demandées et note ensemble leurs options autorisées. Le résultat est une décision typée assortie de probabilités, et non une explication, une transcription ou une sortie vocale générée.

Préparez deux parties principales : un état décrivant la situation et un mappage de questions nommées. L’état peut être du texte ou du JSON structuré, et les entrées natives du modèle comprennent également des images, de l’audio et de la vidéo. Chaque question indique ce qu’il faut décider et quelles réponses sont autorisées. Gardez des identifiants stables afin qu’une application puisse associer chaque réponse renvoyée à la question d’origine. Des descriptions d’options claires donnent tout son sens à une catégorie ; à défaut, une étiquette courte et ambiguë peut masquer la distinction dont le flux de travail a réellement besoin.

Le format d’enregistrement comprend trois types de questions. Une question noul porte sur une condition vrai/faux et renvoie la probabilité de vrai. Une question de choix définit des options nommées et renvoie l’option sélectionnée, les probabilités par option et une valeur de confiance distincte. Une question de score définit des critères ordonnés indexés à partir de zéro et renvoie un score pondéré par les probabilités, une légende et des probabilités. Le score peut être fractionnaire, car il reflète une distribution sur les différents niveaux. Une décision est donc plus riche qu’une simple étiquette, tout en restant bornée par le schéma fourni.

Pour un examen visuel, fournissez une image nette et la condition à évaluer. Prenons l’exemple d’un dossier d’installation dont les questions demandent si l’étiquette d’identification est visible, laquelle des catégories d’état définies s’applique et si les éléments sont suffisants pour un examen. Séparez les observations : la visibilité d’une étiquette est une question différente de l’aspect achevé d’une installation. La sortie peut aider une application à acheminer le dossier ou à signaler une condition d’examen ; elle ne réalise pas elle-même d’inspection, ne modifie pas de dossier et ne génère pas de rapport écrit.

Pour l’audio et la vidéo, concentrez les questions sur les éléments que l’extrait fourni peut étayer. Un examen pratique d’équipement peut comprendre une photo, un enregistrement et une courte vidéo, et demander si un son précis est présent ou si un composant bouge visiblement. Le fabricant indique traiter la bande son d’une vidéo en même temps que ses trames lorsque toutes les vidéos du dossier comportent du son. Préservez le lien entre les médias et l’état écrit, et évitez de demander au modèle de classer un événement situé en dehors de l’intervalle joint.

Le profil hébergé du fabricant indique un contexte de 64 000 jetons et d’une à 64 questions. Il accepte jusqu’à quatre images, quatre extraits audio et deux vidéos, les extraits audio étant limités à 300 secondes chacun et les vidéos à 60 secondes chacune. Ce sont les limites de l’interface documentée du producteur. Les médias et les questions occupent du contexte ; un excès de médias peut faire échouer la requête, tandis qu’un long état textuel peut être tronqué pour tenir dans la fenêtre. Placez les éléments décisifs dans un dossier ciblé et préparez les questions avant de consacrer la fenêtre à un historique sans rapport.

L’interface hébergée du fabricant reçoit des médias intégrés plutôt que des liens distants. Ses images PNG, JPEG ou WebP sont limitées à 4 MiB et 16 mégapixels chacune, avec un budget total de 8 MiB d’images décodées. Chaque extrait audio est limité à 8 MiB et 300 secondes ; chaque vidéo à 16 MiB et 60 secondes. L’audio et la vidéo réunis peuvent totaliser au plus 16 MiB décodés, et les vidéos sont échantillonnées à deux images par seconde. Ces limites relèvent de cette interface du producteur ; l’encodeur à poids ouverts accepte d’autres représentations locales. La capacité audio du socle de compréhension ne signifie pas que ce modèle de décision produit de l’audio : ses composants de génération vocale ne sont pas utilisés pour la notation des décisions.

Pour le support ou l’acheminement dans un flux de travail, définissez les catégories et les critères ordonnés à partir des règles opérationnelles réelles. Un dossier de ticket peut demander quelle équipe doit le traiter, si l’impact est urgent et quel niveau de gravité correspond le mieux aux éléments. La sortie observable est un ensemble de réponses typées sous ces noms de questions. Examinez l’ensemble de la distribution de probabilités lorsque des catégories sont proches, et définissez explicitement la manière dont l’application traite les cas incertains. Une probabilité élevée est une évaluation par le modèle des éléments fournis, et non la preuve que la condition a été vérifiée de manière indépendante.

Conservez ensemble l’état, le schéma des questions et les réponses renvoyées lorsque vous examinez un résultat. Vérifiez si les options couvrent la situation réelle, si leurs descriptions se chevauchent et si des éléments importants ont été omis ou tronqués. Si une étape en aval a besoin d’une explication écrite, elle peut utiliser la décision et les éléments sources comme entrée d’une étape de rédaction distincte. Le rôle utile de Clef Omni est de noter des alternatives définies à partir d’éléments multimodaux, afin que l’action suivante puisse être choisie avec une entrée et une sortie claires et vérifiables.