Cloudflare: Clef Omni

Cloudflare Clef Omni to multimodalny model typu mixture-of-experts z rodziny decyzyjnej Clef. Powstał przez dalsze trenowanie architektury rozumienia Qwen3-Omni-30B-A3B-Instruct, mającej 30B parametrów łącznie i 3B parametrów aktywnych. Cloudflare dodaje wspólną głowicę schematu, która kieruje materiał dowodowy do wskazanych pytań i wspólnie ocenia ich dozwolone opcje. Rezultatem jest decyzja o określonym typie wraz z prawdopodobieństwami, zamiast wygenerowanego wyjaśnienia, transkrypcji lub mowy.

Przygotuj dwie główne części: stan opisujący sytuację oraz mapę nazwanych pytań. Stan może być tekstem lub ustrukturyzowanym JSON-em, a natywne wejścia modelu obejmują również obrazy, dźwięk i wideo. Każde pytanie określa, co należy rozstrzygnąć i jakie odpowiedzi są dozwolone. Zachowaj stałe identyfikatory, aby aplikacja mogła powiązać każdą zwróconą odpowiedź z pierwotnym pytaniem. Jasne opisy opcji nadają kategoriom znaczenie; krótka, niejednoznaczna etykieta może ukryć różnicę, której proces faktycznie potrzebuje.

Format rekordu przewiduje trzy typy pytań. Pytanie noul dotyczy warunku prawda/fałsz i zwraca prawdopodobieństwo prawdy. Pytanie choice definiuje nazwane opcje i zwraca wybraną opcję, prawdopodobieństwo każdej opcji oraz osobną wartość pewności. Pytanie score definiuje uporządkowane kryteria indeksowane od zera i zwraca ocenę ważoną prawdopodobieństwami, legendę oraz prawdopodobieństwa. Ocena może być ułamkowa, ponieważ odzwierciedla rozkład między poziomami. Decyzja jest zatem bogatsza niż pojedyncza etykieta, pozostając jednocześnie w granicach dostarczonego schematu.

Do przeglądu wizualnego dostarcz wyraźny obraz i warunek do oceny. Przykładem jest dokumentacja instalacji z pytaniami, czy widoczna jest etykieta identyfikacyjna, która ze zdefiniowanych kategorii stanu ma zastosowanie i czy materiał wystarcza do przeglądu. Rozdziel obserwacje: widoczność etykiety to inne pytanie niż to, czy instalacja wygląda na ukończoną. Wynik może pomóc aplikacji skierować rekord do właściwej ścieżki lub oznaczyć warunek wymagający przeglądu; sam nie wykonuje inspekcji, nie zmienia rekordu ani nie generuje pisemnego raportu.

W przypadku dźwięku i wideo skup pytania na tym, co może potwierdzać dostarczony fragment. Praktyczny przegląd urządzenia może obejmować zdjęcie, nagranie i krótki film oraz pytania, czy występuje określony dźwięk lub czy element widocznie się porusza. Producent opisuje przetwarzanie ścieżki dźwiękowej filmu razem z jego klatkami, gdy każdy film w rekordzie ma dźwięk. Zachowaj związek między mediami a zapisanym stanem i nie proś modelu o klasyfikację zdarzenia spoza dołączonego przedziału czasu.

Profil hostowanego rozwiązania producenta podaje kontekst 64 000 tokenów oraz od jednego do 64 pytań. Akceptuje do czterech obrazów, czterech nagrań audio i dwóch filmów, przy czym każde nagranie audio jest ograniczone do 300 sekund, a każdy film do 60 sekund. Są to ograniczenia udokumentowanego interfejsu producenta. Media i pytania zajmują kontekst; nadmiar mediów może spowodować niepowodzenie żądania, a długi tekst stanu może zostać przycięty, aby się zmieścił. Umieść rozstrzygający materiał w skoncentrowanym rekordzie i przygotuj pytania, zanim zużyjesz okno na niezwiązaną historię.

Hostowany interfejs producenta przyjmuje osadzone media zamiast zdalnych odnośników. Obrazy PNG, JPEG lub WebP są ograniczone do 4 MiB i 16 megapikseli każdy, z łącznym budżetem 8 MiB po zdekodowaniu obrazów. Każde nagranie audio ma limit 8 MiB i 300 sekund; każdy film — 16 MiB i 60 sekund. Dźwięk i wideo łącznie mogą zajmować najwyżej 16 MiB po zdekodowaniu, a filmy są próbkowane z częstotliwością dwóch klatek na sekundę. Te limity należą do tego interfejsu producenta; koder modelu z otwartymi wagami przyjmuje dodatkowe reprezentacje lokalne. Zdolność bazowej architektury rozumienia do obsługi dźwięku nie oznacza, że ten model decyzyjny generuje dźwięk: jego komponenty syntezy mowy nie są używane do oceniania decyzji.

Do kierowania zgłoszeń wsparcia lub przebiegiem procesu zdefiniuj kategorie i uporządkowane kryteria na podstawie rzeczywistych zasad operacyjnych. Rekord zgłoszenia może pytać, który zespół powinien się nim zająć, czy jego skutki są pilne i który poziom istotności najlepiej odpowiada materiałowi. Obserwowalnym wynikiem jest zestaw odpowiedzi o określonych typach pod nazwami tych pytań. Gdy kategorie są bliskie, analizuj cały rozkład prawdopodobieństw i jawnie określ, jak aplikacja traktuje przypadki niepewne. Wysokie prawdopodobieństwo jest oceną dostarczonego materiału przez model, a nie dowodem niezależnego zweryfikowania warunku.

Podczas analizy wyniku zachowaj razem stan, schemat pytań i zwrócone odpowiedzi. Sprawdź, czy opcje obejmują faktyczną sytuację, czy ich opisy się nakładają i czy ważny materiał nie został pominięty lub przycięty. Jeśli dalszy etap wymaga pisemnego wyjaśnienia, może wykorzystać decyzję i materiał źródłowy jako wejście do osobnego etapu pisania. Użyteczna rola Clef Omni polega na ocenianiu zdefiniowanych alternatyw na podstawie multimodalnego materiału, tak aby następną czynność można było wybrać z jasnym, możliwym do skontrolowania wejściem i wyjściem.