Cloudflare: Clef Omni

Cloudflare Clef Omni es el modelo multimodal de mezcla de expertos de la familia de decisión Clef. Se obtiene mediante posentrenamiento de la arquitectura base de comprensión Qwen3-Omni-30B-A3B-Instruct, con 30B parámetros totales y 3B activos. Cloudflare añade un cabezal de esquema conjunto que dirige la evidencia a las preguntas solicitadas y puntúa sus opciones permitidas de forma conjunta. El resultado es una decisión tipada con probabilidades, en lugar de una explicación generada, una transcripción o una salida de voz.

Prepara dos partes principales: un estado que describa la situación y un mapa de preguntas con nombre. El estado puede ser texto o JSON estructurado, y las entradas nativas del modelo también incluyen imágenes, audio y video. Cada pregunta indica qué decidir y qué respuestas están permitidas. Mantén estables los identificadores para que una aplicación pueda asociar cada respuesta devuelta con la pregunta original. Las descripciones claras de las opciones dan significado a una categoría; una etiqueta breve y ambigua puede ocultar la distinción que el flujo de trabajo realmente necesita.

El formato del registro tiene tres tipos de pregunta. Una pregunta noul consulta una condición de verdadero o falso y devuelve la probabilidad de que sea verdadera. Una pregunta choice define opciones con nombre y devuelve una opción seleccionada, probabilidades por opción y un valor de confianza separado. Una pregunta score define criterios ordenados con índices desde cero y devuelve una puntuación ponderada por probabilidad, una leyenda y las probabilidades. La puntuación puede ser fraccionaria porque refleja una distribución entre niveles. Por tanto, una decisión ofrece más información que una sola etiqueta, sin dejar de estar acotada por el esquema proporcionado.

Para una revisión visual, proporciona una imagen clara y la condición que se debe evaluar. Un ejemplo es un registro de instalación con preguntas sobre si la etiqueta de identificación es visible, cuál de las categorías de condición definidas corresponde y si la evidencia es suficiente para la revisión. Mantén separadas las observaciones: que una etiqueta sea visible es una pregunta distinta de si una instalación parece completa. La salida puede ayudar a una aplicación a dirigir el registro o señalar una condición que requiera revisión; por sí sola no realiza una inspección, modifica un registro ni genera un informe escrito.

Para audio y video, centra las preguntas en la evidencia que el clip proporcionado puede respaldar. Una revisión práctica de un equipo podría incluir una foto, una grabación y un video corto, y preguntar si un sonido especificado está presente o si un componente se mueve de forma visible. El fabricante describe el procesamiento de la pista de audio de un video junto con sus fotogramas cuando todos los videos del registro tienen sonido. Conserva la relación entre los medios y el estado escrito, y evita pedir al modelo que clasifique un evento que quede fuera del intervalo adjunto.

El perfil alojado del fabricante indica un contexto de 64,000 tokens y de una a 64 preguntas. Acepta hasta cuatro imágenes, cuatro clips de audio y dos videos; cada clip de audio está limitado a 300 segundos y cada video a 60 segundos. Esos son límites de la interfaz documentada del productor. Los medios y las preguntas ocupan contexto; un exceso de medios puede hacer fallar la solicitud, mientras que un estado de texto largo puede truncarse para ajustarse al espacio disponible. Incluye la evidencia decisiva en un registro enfocado y prepara las preguntas antes de gastar la ventana en historial sin relación.

La interfaz alojada del fabricante recibe medios incrustados, en lugar de enlaces remotos. Sus imágenes PNG, JPEG o WebP están limitadas a 4 MiB y 16 megapíxeles cada una, con un presupuesto total de imágenes decodificadas de 8 MiB. Cada clip de audio está limitado a 8 MiB y 300 segundos; cada video, a 16 MiB y 60 segundos. El audio y el video juntos pueden sumar como máximo 16 MiB decodificados, y los videos se muestrean a dos fotogramas por segundo. Estos límites corresponden a esa interfaz del productor; el codificador de pesos abiertos acepta representaciones locales adicionales. La capacidad de audio de la arquitectura base de comprensión no significa que este modelo de decisión produzca audio: sus componentes de generación de voz no se usan para puntuar decisiones.

Para dirigir casos de soporte o flujos de trabajo, define categorías y criterios ordenados a partir de las reglas operativas reales. Un registro de un ticket podría preguntar qué equipo debe atenderlo, si el impacto es urgente y qué nivel de gravedad coincide mejor con la evidencia. La salida observable es un conjunto de respuestas tipadas bajo los nombres de esas preguntas. Revisa toda la distribución de probabilidades cuando las categorías estén próximas y define explícitamente cómo tratará la aplicación los casos inciertos. Una probabilidad alta es una evaluación del modelo sobre la evidencia proporcionada, no una prueba de que la condición se verificó de forma independiente.

Conserva juntos el estado, el esquema de preguntas y las respuestas devueltas al examinar un resultado. Comprueba si las opciones cubren la situación real, si sus descripciones se superponen y si se omitió o truncó evidencia importante. Si un paso posterior necesita una explicación escrita, puede usar la decisión y el material de origen como entrada de un paso de redacción separado. La función útil de Clef Omni es puntuar alternativas definidas a partir de evidencia multimodal para elegir la siguiente acción con entradas y salidas claras que se puedan inspeccionar.