Cloudflare: Clef Omni

Cloudflare Clef Omni est le modèle multimodal à mélange d’experts de la famille de décision Clef. Il est issu d’un post-entraînement de l’architecture de compréhension Qwen3-Omni-30B-A3B-Instruct, avec 30 milliards de paramètres au total et 3 milliards actifs. Cloudflare y ajoute une tête commune au schéma, qui dirige les éléments probants vers les questions demandées et évalue ensemble leurs options autorisées. Le résultat est une décision typée assortie de probabilités, plutôt qu’une explication, une transcription ou une sortie vocale générée.

Préparez deux éléments principaux : un état décrivant la situation et une correspondance de questions nommées. L’état peut être du texte ou du JSON structuré ; les entrées natives du modèle comprennent aussi les images, l’audio et la vidéo. Chaque question précise la décision à prendre et les réponses autorisées. Conservez des identifiants stables afin qu’une application puisse associer chaque réponse renvoyée à la question d’origine. Des descriptions claires des options donnent un sens à chaque catégorie ; un libellé court et ambigu peut autrement masquer la distinction dont le processus a réellement besoin.

Le format d’enregistrement prévoit trois types de questions. Une question noul porte sur une condition vraie ou fausse et renvoie la probabilité qu’elle soit vraie. Une question choice définit des options nommées et renvoie l’option sélectionnée, les probabilités de chaque option et une valeur de confiance distincte. Une question score définit des critères ordonnés dont les indices commencent à zéro et renvoie un score pondéré par les probabilités, une légende et des probabilités. Le score peut être fractionnaire, car il reflète une distribution entre les niveaux. Une décision apporte donc davantage qu’un simple libellé, tout en restant délimitée par le schéma fourni.

Pour une vérification visuelle, fournissez une image nette et la condition à évaluer. Un exemple serait un dossier d’installation comportant des questions sur la visibilité de l’étiquette d’identification, la catégorie d’état applicable parmi celles définies et le caractère suffisant des éléments fournis pour la vérification. Distinguez les observations : la visibilité d’une étiquette et l’apparence achevée d’une installation sont deux questions différentes. La sortie peut aider une application à orienter le dossier ou à signaler une condition nécessitant une vérification ; elle n’effectue elle-même aucune inspection, ne modifie aucun dossier et ne génère aucun rapport écrit.

Pour l’audio et la vidéo, concentrez les questions sur les éléments que l’extrait fourni permet d’établir. Une vérification concrète d’un équipement pourrait réunir une photo, un enregistrement et une courte vidéo, avec des questions sur la présence d’un son précis ou le mouvement visible d’un composant. Le fabricant décrit le traitement de la piste sonore d’une vidéo avec ses images lorsque toutes les vidéos du dossier comportent du son. Préservez le lien entre les médias et l’état écrit, et évitez de demander au modèle de classer un événement situé en dehors de l’intervalle joint.

Le profil hébergé du fabricant indique un contexte de 64 000 tokens et d’une à 64 questions. Il accepte jusqu’à quatre images, quatre extraits audio et deux vidéos, avec une limite de 300 secondes par extrait audio et de 60 secondes par vidéo. Il s’agit des limites de l’interface documentée du producteur. Les médias et les questions occupent le contexte ; une quantité excessive de médias peut faire échouer la requête, tandis qu’un état textuel long peut être tronqué pour tenir dans la fenêtre. Rassemblez les éléments décisifs dans un dossier ciblé et préparez les questions avant de consacrer la fenêtre à un historique sans rapport.

L’interface hébergée du fabricant reçoit des médias incorporés plutôt que des liens distants. Ses images PNG, JPEG ou WebP sont limitées à 4 MiB et 16 mégapixels chacune, avec un budget total de 8 MiB d’images décodées. Chaque extrait audio est limité à 8 MiB et 300 secondes ; chaque vidéo à 16 MiB et 60 secondes. L’audio et la vidéo réunis ne peuvent dépasser 16 MiB après décodage, et les vidéos sont échantillonnées à deux images par seconde. Ces limites appartiennent à cette interface du producteur ; l’encodeur aux poids ouverts accepte d’autres représentations locales. La capacité audio de l’architecture de compréhension ne signifie pas que ce modèle de décision produit de l’audio : ses composants de génération vocale ne servent pas à l’évaluation des décisions.

Pour l’orientation des demandes d’assistance ou des processus, définissez les catégories et les critères ordonnés à partir des règles de fonctionnement réelles. Un dossier d’assistance pourrait demander quelle équipe doit le traiter, si l’impact est urgent et quel niveau de gravité correspond le mieux aux éléments disponibles. La sortie observable est un ensemble de réponses typées sous les noms de ces questions. Examinez toute la distribution de probabilités lorsque les catégories sont proches et définissez explicitement la façon dont l’application traite les cas incertains. Une probabilité élevée est une évaluation des éléments fournis par le modèle, et non la preuve que la condition a été vérifiée de manière indépendante.

Conservez ensemble l’état, le schéma des questions et les réponses renvoyées lorsque vous examinez un résultat. Vérifiez si les options couvrent la situation réelle, si leurs descriptions se recoupent et si des éléments importants ont été omis ou tronqués. Si une étape ultérieure nécessite une explication écrite, elle peut utiliser la décision et les sources comme entrées d’une étape de rédaction distincte. Le rôle utile de Clef Omni consiste à évaluer des alternatives définies à partir d’éléments multimodaux, afin de choisir l’action suivante sur la base d’entrées et de sorties claires et examinables.