Cloudflare: Clef Omni

Cloudflare Clef Omni è il modello multimodale mixture-of-experts della famiglia decisionale Clef. Deriva dal post-addestramento dell’architettura di comprensione Qwen3-Omni-30B-A3B-Instruct, con 30 miliardi di parametri totali e 3 miliardi attivi. Cloudflare aggiunge una testa condivisa per lo schema, che indirizza gli elementi di evidenza alle domande richieste e valuta insieme le opzioni ammesse. Il risultato è una decisione tipizzata con probabilità, anziché una spiegazione, una trascrizione o un output vocale generato.

Prepara due parti principali: uno stato che descriva la situazione e una mappa di domande con nome. Lo stato può essere testo o JSON strutturato; gli input nativi del modello comprendono anche immagini, audio e video. Ogni domanda specifica che cosa decidere e quali risposte sono ammesse. Mantieni stabili gli identificatori, affinché un’applicazione possa associare ogni risposta restituita alla domanda originale. Descrizioni chiare delle opzioni danno significato a una categoria; un’etichetta breve e ambigua può altrimenti nascondere la distinzione di cui il flusso di lavoro ha effettivamente bisogno.

Il formato del record prevede tre tipi di domanda. Una domanda noul riguarda una condizione vera o falsa e restituisce la probabilità che sia vera. Una domanda choice definisce opzioni con nome e restituisce l’opzione selezionata, le probabilità delle singole opzioni e un valore di confidenza separato. Una domanda score definisce criteri ordinati con indici a partire da zero e restituisce un punteggio ponderato per le probabilità, una legenda e le probabilità. Il punteggio può essere frazionario perché riflette una distribuzione tra livelli. Una decisione è quindi più ricca di una semplice etichetta, pur restando circoscritta allo schema fornito.

Per una verifica visiva, fornisci un’immagine chiara e la condizione da valutare. Un esempio è un record di installazione con domande che chiedono se l’etichetta identificativa è visibile, quale delle categorie di stato definite si applica e se gli elementi disponibili sono sufficienti per la verifica. Mantieni separate le osservazioni: la visibilità di un’etichetta è una domanda diversa dal fatto che un’installazione appaia completa. L’output può aiutare un’applicazione a instradare il record o a segnalare una condizione da verificare; non esegue direttamente un’ispezione, non modifica un record e non genera un rapporto scritto.

Per audio e video, concentra le domande sugli elementi che la clip fornita può supportare. Una verifica pratica di un’apparecchiatura potrebbe includere una foto, una registrazione e un breve video, chiedendo se è presente un suono specifico o se un componente si muove visibilmente. Il produttore descrive l’elaborazione della traccia sonora di un video insieme ai suoi fotogrammi quando tutti i video del record contengono audio. Preserva il rapporto tra i contenuti multimediali e lo stato scritto, ed evita di chiedere al modello di classificare un evento esterno all’intervallo allegato.

Il profilo ospitato del produttore indica un contesto di 64.000 token e da una a 64 domande. Accetta fino a quattro immagini, quattro clip audio e due video, con un limite di 300 secondi per clip audio e di 60 secondi per video. Questi sono i limiti dell’interfaccia documentata del produttore. Contenuti multimediali e domande occupano il contesto; un eccesso di contenuti multimediali può far fallire la richiesta, mentre uno stato testuale lungo può essere troncato per rientrare nella finestra. Inserisci gli elementi decisivi in un record mirato e prepara le domande prima di occupare la finestra con cronologia non pertinente.

L’interfaccia ospitata del produttore riceve contenuti multimediali incorporati anziché collegamenti remoti. Le immagini PNG, JPEG o WebP hanno un limite di 4 MiB e 16 megapixel ciascuna, con un budget complessivo di 8 MiB per le immagini decodificate. Ogni clip audio è limitata a 8 MiB e 300 secondi; ogni video a 16 MiB e 60 secondi. Audio e video insieme possono raggiungere al massimo 16 MiB decodificati, e i video sono campionati a due fotogrammi al secondo. Questi limiti appartengono a quella specifica interfaccia del produttore; l’encoder a pesi aperti accetta ulteriori rappresentazioni locali. La capacità audio dell’architettura di comprensione non significa che questo modello decisionale produca audio: i suoi componenti di generazione vocale non vengono usati per valutare le decisioni.

Per l’instradamento dell’assistenza o dei flussi di lavoro, definisci categorie e criteri ordinati a partire dalle regole operative reali. Un ticket potrebbe chiedere quale team debba occuparsene, se l’impatto è urgente e quale livello di gravità corrisponde meglio agli elementi disponibili. L’output osservabile è un insieme di risposte tipizzate sotto i nomi di quelle domande. Esamina l’intera distribuzione delle probabilità quando le categorie sono vicine e definisci esplicitamente come l’applicazione tratta i casi incerti. Una probabilità elevata è una valutazione del modello sugli elementi forniti, non la prova che la condizione sia stata verificata in modo indipendente.

Conserva insieme stato, schema delle domande e risposte restituite quando esamini un risultato. Controlla se le opzioni coprono la situazione reale, se le loro descrizioni si sovrappongono e se elementi importanti sono stati omessi o troncati. Se un passaggio successivo richiede una spiegazione scritta, può usare la decisione e il materiale di partenza come input per una fase di scrittura separata. Il ruolo utile di Clef Omni consiste nel valutare alternative definite a partire da elementi multimodali, così da scegliere l’azione successiva con input e output chiari e ispezionabili.