Cloudflare: Clef Omni

Cloudflare Clef Omni — мультимодальная модель со смесью экспертов в семействе моделей принятия решений Clef. Она дополнительно обучена на основе блока понимания Qwen3-Omni-30B-A3B-Instruct с 30B параметров всего и 3B активных. Cloudflare добавляет общий модуль для схемы вопросов, который направляет свидетельства к заданным вопросам и совместно оценивает разрешённые варианты ответов. Результат — типизированное решение с вероятностями, а не сгенерированное объяснение, расшифровка или речевой вывод.

Подготовьте две основные части: состояние с описанием ситуации и отображение именованных вопросов. Состояние может быть текстом или структурированным JSON; к нативным входным данным модели также относятся изображения, аудио и видео. Каждый вопрос определяет, что нужно решить и какие ответы допустимы. Сохраняйте идентификаторы стабильными, чтобы приложение могло связать каждый полученный ответ с исходным вопросом. Понятные описания вариантов делают категории содержательными; короткая неоднозначная метка может скрыть различие, которое действительно важно для рабочего процесса.

В формате записи предусмотрены три типа вопросов. Вопрос noul проверяет условие «истина/ложь» и возвращает вероятность истинности. Вопрос choice задаёт именованные варианты и возвращает выбранный вариант, вероятности каждого варианта и отдельное значение уверенности. Вопрос score задаёт упорядоченные критерии с индексами от нуля и возвращает оценку, взвешенную по вероятностям, легенду и вероятности. Оценка может быть дробной, поскольку отражает распределение по уровням. Таким образом, решение содержит больше информации, чем одна метка, но остаётся в границах переданной схемы.

Для визуальной проверки передайте чёткое изображение и условие, которое нужно оценить. Например, запись об установке может содержать вопросы о том, видна ли идентификационная табличка, какая из заданных категорий состояния применима и достаточно ли свидетельств для проверки. Разделяйте наблюдения: видимость таблички и кажущаяся завершённость установки — разные вопросы. Результат помогает приложению направить запись по нужному маршруту или отметить условие для проверки; сама модель не проводит осмотр, не изменяет запись и не составляет письменный отчёт.

Для аудио и видео задавайте вопросы о свидетельствах, которые может подтверждать переданный фрагмент. Практическая проверка оборудования может включать фотографию, аудиозапись и короткое видео с вопросами о наличии определённого звука или видимом движении компонента. Разработчик описывает обработку звуковой дорожки видео вместе с кадрами, когда у каждого видео в записи есть звук. Сохраняйте связь медиа с текстовым состоянием и не просите модель классифицировать событие за пределами приложенного временного интервала.

В профиле размещённого у производителя сервиса указаны контекст в 64 000 токенов и от одного до 64 вопросов. Он принимает до четырёх изображений, четырёх аудиофрагментов и двух видео; длительность каждого аудиофрагмента ограничена 300 секундами, каждого видео — 60 секундами. Это ограничения документированного интерфейса производителя. Медиа и вопросы занимают контекст: избыточное количество медиа может привести к отказу запроса, а длинное текстовое состояние может быть обрезано для размещения в контексте. Соберите решающие свидетельства в сфокусированную запись и подготовьте вопросы до того, как займёте окно несвязанной историей.

Размещённый у разработчика интерфейс принимает встроенные медиа, а не удалённые ссылки. Каждое изображение PNG, JPEG или WebP ограничено 4 MiB и 16 мегапикселями, а общий объём декодированных изображений — 8 MiB. Каждый аудиофрагмент ограничен 8 MiB и 300 секундами, каждое видео — 16 MiB и 60 секундами. Суммарный декодированный объём аудио и видео не должен превышать 16 MiB; видео обрабатываются с выборкой двух кадров в секунду. Эти ограничения относятся к указанному интерфейсу производителя; кодировщик с открытыми весами принимает и другие локальные представления. Способность блока понимания работать с аудио не означает, что эта модель принятия решений создаёт аудио: компоненты генерации речи не используются для оценки решений.

Для маршрутизации обращений в поддержку или рабочих процессов определяйте категории и упорядоченные критерии из реальных правил работы. В записи обращения можно спросить, какая команда должна его обработать, требуют ли последствия срочного внимания и какой уровень серьёзности лучше всего соответствует свидетельствам. Наблюдаемый результат — набор типизированных ответов с этими именами вопросов. Рассматривайте всё распределение вероятностей, когда категории близки, и явно задавайте, как приложение обрабатывает неопределённые случаи. Высокая вероятность — оценка моделью переданных свидетельств, а не доказательство независимой проверки условия.

При разборе результата храните вместе состояние, схему вопросов и полученные ответы. Проверьте, охватывают ли варианты реальную ситуацию, не пересекаются ли их описания и не были ли важные свидетельства пропущены или обрезаны. Если последующему этапу нужно письменное объяснение, решение и исходные материалы можно передать отдельному этапу подготовки текста. Полезная роль Clef Omni — оценивать заданные альтернативы по мультимодальным свидетельствам, чтобы выбирать следующее действие на основе понятных и проверяемых входных и выходных данных.