Cloudflare: Clef Omni

Cloudflare Clef Omni é o modelo multimodal de mistura de especialistas da família de decisão Clef. É obtido por pós-treino da arquitetura de base de compreensão Qwen3-Omni-30B-A3B-Instruct, com 30B parâmetros totais e 3B ativos. A Cloudflare acrescenta uma cabeça de esquema conjunto que encaminha a evidência para as perguntas pedidas e pontua as respetivas opções permitidas em conjunto. O resultado é uma decisão tipada com probabilidades, em vez de uma explicação gerada, uma transcrição ou uma saída de voz.

Prepare duas partes principais: um estado que descreva a situação e um mapeamento de perguntas com nome. O estado pode ser texto ou JSON estruturado, e as entradas nativas do modelo também incluem imagens, áudio e vídeo. Cada pergunta indica o que decidir e quais as respostas permitidas. Mantenha os identificadores estáveis para que uma aplicação possa associar cada resposta devolvida à pergunta original. Descrições claras das opções dão significado a uma categoria; uma designação curta e ambígua pode, de outro modo, ocultar a distinção de que o fluxo de trabalho realmente precisa.

O formato do registo tem três tipos de pergunta. Uma pergunta noul consulta uma condição de verdadeiro/falso e devolve a probabilidade de ser verdadeira. Uma pergunta choice define opções com nome e devolve uma opção selecionada, probabilidades por opção e um valor de confiança separado. Uma pergunta score define critérios ordenados com índices a partir de zero e devolve uma pontuação ponderada pela probabilidade, uma legenda e as probabilidades. A pontuação pode ser fracionária porque reflete uma distribuição por níveis. Uma decisão é, por isso, mais rica do que uma única etiqueta, mantendo-se delimitada pelo esquema fornecido.

Para uma revisão visual, forneça uma imagem clara e a condição a avaliar. Um exemplo é um registo de instalação com perguntas sobre se a etiqueta de identificação está visível, qual das categorias de estado definidas se aplica e se a evidência é suficiente para revisão. Mantenha as observações separadas: uma etiqueta estar visível é uma pergunta diferente de uma instalação parecer completa. A saída pode ajudar uma aplicação a encaminhar o registo ou a assinalar uma condição que exige revisão; não realiza, por si só, uma inspeção, não altera um registo nem gera um relatório escrito.

Para áudio e vídeo, centre as perguntas na evidência que o excerto fornecido pode sustentar. Uma revisão prática de equipamento pode incluir uma fotografia, uma gravação e um vídeo curto, perguntando se um som especificado está presente ou se um componente se move de forma visível. O fabricante descreve o processamento da faixa sonora de um vídeo em conjunto com os seus fotogramas quando todos os vídeos do registo têm som. Preserve a relação entre os conteúdos multimédia e o estado escrito e evite pedir ao modelo que classifique um evento fora do intervalo anexado.

O perfil alojado do fabricante indica um contexto de 64 000 tokens e uma a 64 perguntas. Aceita até quatro imagens, quatro excertos de áudio e dois vídeos, com cada excerto de áudio limitado a 300 segundos e cada vídeo a 60 segundos. Estes são os limites da interface documentada do produtor. Os conteúdos multimédia e as perguntas ocupam contexto; um excesso de conteúdos multimédia pode fazer falhar o pedido, enquanto um estado de texto longo pode ser truncado para caber. Coloque a evidência decisiva num registo focado e prepare as perguntas antes de gastar a janela com histórico sem relação com a tarefa.

A interface alojada do fabricante recebe conteúdos multimédia incorporados, em vez de ligações remotas. As imagens PNG, JPEG ou WebP estão limitadas a 4 MiB e 16 megapíxeis cada, com um orçamento total de imagens descodificadas de 8 MiB. Cada excerto de áudio está limitado a 8 MiB e 300 segundos; cada vídeo, a 16 MiB e 60 segundos. O áudio e o vídeo, em conjunto, podem totalizar no máximo 16 MiB descodificados, e os vídeos são amostrados a dois fotogramas por segundo. Estes limites pertencem a essa interface do produtor; o codificador de pesos abertos aceita representações locais adicionais. A capacidade de áudio da arquitetura de base de compreensão não significa que este modelo de decisão produza áudio: os seus componentes de geração de voz não são utilizados na pontuação de decisões.

Para encaminhamento de suporte ou de fluxos de trabalho, defina categorias e critérios ordenados a partir das regras operacionais reais. Um registo de pedido de suporte pode perguntar que equipa o deve tratar, se o impacto é urgente e qual o nível de gravidade que melhor corresponde à evidência. A saída observável é um conjunto de respostas tipadas identificadas pelos nomes dessas perguntas. Reveja toda a distribuição de probabilidades quando as categorias estiverem próximas e defina explicitamente como a aplicação trata os casos incertos. Uma probabilidade elevada é uma avaliação do modelo sobre a evidência fornecida, não uma prova de que a condição foi verificada de forma independente.

Ao examinar um resultado, conserve em conjunto o estado, o esquema de perguntas e as respostas devolvidas. Verifique se as opções abrangem a situação real, se as suas descrições se sobrepõem e se foi omitida ou truncada evidência importante. Se uma etapa posterior precisar de uma explicação escrita, pode utilizar a decisão e o material de origem como entrada de uma etapa de redação separada. O papel útil de Clef Omni é pontuar alternativas definidas a partir de evidência multimodal, para que a ação seguinte possa ser escolhida com entradas e saídas claras e inspecionáveis.