Cloudflare: Clef Omni

Cloudflare Clef Omniは、Clef判断モデル群に属するマルチモーダルの混合エキスパートモデルです。理解処理を担うQwen3-Omni-30B-A3B-Instructバックボーンを追加学習したモデルで、総パラメータ数は30B、アクティブパラメータ数は3Bです。Cloudflareは、証拠を要求された質問へ振り分け、許可された選択肢をまとめて採点する共同スキーマヘッドを追加しています。結果は、生成された説明、文字起こし、音声出力ではなく、確率を伴う型付きの判断です。

主に2つの要素を準備します。状況を記述する状態と、名前付きの質問を対応付けたマッピングです。状態にはテキストまたは構造化JSONを使用でき、モデルのネイティブ入力には画像、音声、動画も含まれます。それぞれの質問で、何を判断するか、どの回答を許可するかを指定します。アプリケーションが返された各回答を元の質問に対応付けられるよう、識別子は一貫して維持してください。選択肢の説明が明確であれば、カテゴリの意味も明確になります。短く曖昧なラベルでは、ワークフローに本当に必要な区別が隠れてしまうことがあります。

レコード形式には3種類の質問があります。noul質問は真偽条件を問い、真である確率を返します。choice質問は名前付きの選択肢を定義し、選択された選択肢、選択肢ごとの確率、それらとは別の信頼度を返します。score質問はゼロから始まるインデックスを持つ順序付きの基準を定義し、確率加重スコア、凡例、確率を返します。スコアは各レベルに対する分布を反映するため、小数になることもあります。このため、判断には単一のラベル以上の情報が含まれますが、入力されたスキーマの範囲には収まります。

目視確認では、鮮明な画像と評価したい条件を入力します。たとえば設置記録に対し、識別ラベルが見えるか、定義済みの状態カテゴリのうちどれに該当するか、確認に十分な証拠があるかを質問できます。観察事項は分けてください。ラベルが見えるかという質問と、設置が完了しているように見えるかという質問は別です。出力は、アプリケーションが記録を振り分けたり、確認が必要な条件にフラグを立てたりする際に役立ちます。ただし、モデル自体が検査を実施したり、記録を変更したり、文章の報告書を生成したりするわけではありません。

音声や動画では、入力クリップが裏付けられる証拠に質問を絞ります。実際の機器確認で、写真、録音、短い動画を使い、指定した音があるか、ある部品が目に見える形で動いているかを質問する例が考えられます。メーカーは、レコード内のすべての動画に音声がある場合、動画のフレームとともに音声トラックも処理すると説明しています。メディアと文章で記述した状態の関係を維持し、添付した時間区間の外で起きた事象を分類させないようにしてください。

メーカーのホステッド環境のプロファイルには、64,000トークンのコンテキストと、1〜64件の質問が記載されています。画像は最大4枚、音声クリップは最大4件、動画は最大2件を受け付け、音声クリップは1件あたり300秒、動画は1件あたり60秒が上限です。これらは、文書化されたメーカー側インターフェースの制限です。メディアと質問はコンテキストを消費します。メディアが多すぎるとリクエストが失敗することがあり、長いテキスト状態は収まるように切り詰められる場合があります。判断に必要な証拠を焦点の定まったレコードにまとめ、無関係な履歴にウィンドウを使う前に質問を準備してください。

メーカーのホステッドインターフェースは、リモートリンクではなく埋め込みメディアを受け取ります。PNG、JPEG、WebP画像は1枚あたり4 MiB、16メガピクセルが上限で、デコード後の画像全体の上限は8 MiBです。音声クリップは1件あたり8 MiB、300秒、動画は1件あたり16 MiB、60秒が上限です。音声と動画を合わせたデコード後の合計は最大16 MiBで、動画は毎秒2フレームでサンプリングされます。これらの制限はメーカー側のそのインターフェースに適用され、オープンウェイトのエンコーダーは追加のローカル表現も受け付けます。理解用バックボーンに音声機能があるからといって、この判断モデルが音声を生成するわけではありません。判断の採点には音声生成コンポーネントを使用しません。

サポートやワークフローの振り分けでは、実際の運用ルールに基づいてカテゴリと順序付きの基準を定義します。チケットのレコードなら、どのチームが担当するべきか、影響は緊急性を持つか、証拠に最も合う重大度レベルはどれかを質問できます。観測できる出力は、それらの質問名に対応する型付き回答の集合です。カテゴリ間の差が小さい場合は確率分布全体を確認し、不確実なケースをアプリケーションがどう扱うかを明示的に定義してください。高い確率は、入力された証拠に対するモデルの評価であり、その条件が独立に検証された証明ではありません。

結果を点検する際は、状態、質問スキーマ、返された回答をまとめて保持してください。選択肢が実際の状況を網羅しているか、説明が重複していないか、重要な証拠が省略されたり切り詰められたりしていないかを確認します。後続の処理で文章による説明が必要なら、判断と元の資料を別の文章作成工程への入力にできます。Clef Omniが役立つのは、マルチモーダルの証拠から定義済みの選択肢を採点し、明確で点検可能な入力と出力に基づいて次の行動を選べるようにする場面です。