Cloudflare: Clef Omni

A Cloudflare Clef Omni a Clef döntési modellcsalád multimodális mixture-of-experts modellje. A Qwen3-Omni-30B-A3B-Instruct megértési alapmodell utólagos tanításával készült; összesen 30B paramétert tartalmaz, amelyekből 3B aktív. A Cloudflare egy közös sémafejet ad hozzá, amely a bizonyítékokat a kért kérdésekhez rendeli, és azok megengedett válaszlehetőségeit együttesen pontozza. Az eredmény valószínűségekkel ellátott típusos döntés, nem pedig generált magyarázat, átirat vagy beszédkimenet.

Két fő részt készítsen elő: a helyzetet leíró állapotot és az elnevezett kérdések leképezését. Az állapot lehet szöveg vagy strukturált JSON, és a modell natív bemenetei között kép, hang és videó is szerepel. Minden kérdés megadja, miről kell dönteni, és milyen válaszok engedélyezettek. Tartsa stabilan az azonosítókat, hogy az alkalmazás minden visszaadott választ az eredeti kérdéshez tudjon társítani. A válaszlehetőségek egyértelmű leírása ad jelentést a kategóriának; egy rövid, kétértelmű címke különben elrejtheti azt a különbséget, amelyre a munkafolyamatnak valójában szüksége van.

A rekordformátum három kérdéstípust tartalmaz. A noul kérdés egy igaz/hamis feltételre vonatkozik, és az igaz érték valószínűségét adja vissza. A choice kérdés elnevezett lehetőségeket határoz meg, és visszaadja a kiválasztott lehetőséget, az egyes lehetőségek valószínűségeit, valamint egy külön megbízhatósági értéket. A score kérdés nullától indexelt, rendezett kritériumokat határoz meg, és valószínűséggel súlyozott pontszámot, jelmagyarázatot és valószínűségeket ad vissza. A pontszám tört érték is lehet, mivel a szintek közötti eloszlást tükrözi. A döntés tehát több információt tartalmaz egyetlen címkénél, miközben továbbra is a megadott séma határain belül marad.

Vizuális ellenőrzéshez adjon meg egy jól kivehető képet és az értékelendő feltételt. Példa lehet egy telepítési rekord, amelynek kérdései azt vizsgálják, látható-e az azonosítócímke, a meghatározott állapotkategóriák közül melyik érvényes, és elegendő-e a bizonyíték az ellenőrzéshez. Tartsa külön a megfigyeléseket: a címke láthatósága más kérdés, mint az, hogy a telepítés befejezettnek tűnik-e. A kimenet segíthet az alkalmazásnak a rekord továbbirányításában vagy egy ellenőrzendő körülmény megjelölésében; önmagában nem végez ellenőrzést, nem módosít rekordot, és nem készít írásos jelentést.

Hang és videó esetén a kérdéseket arra a bizonyítékra összpontosítsa, amelyet a megadott részlet alá tud támasztani. Egy gyakorlati berendezésvizsgálat tartalmazhat fényképet, hangfelvételt és rövid videót, és rákérdezhet arra, hallható-e egy meghatározott hang, vagy láthatóan mozog-e egy alkatrész. A gyártó leírása szerint a videó hangsávját a képkockákkal együtt dolgozza fel a rendszer, ha a rekordban minden videónak van hangja. Őrizze meg a média és a szöveges állapot közötti kapcsolatot, és ne kérje a modellt olyan esemény besorolására, amely a csatolt időszakon kívül esik.

A gyártó hosztolt profilja 64 000 tokenes kontextust és egytől 64 kérdésig terjedő tartományt ad meg. Legfeljebb négy képet, négy hangrészletet és két videót fogad; egy hangrészlet legfeljebb 300 másodperces, egy videó legfeljebb 60 másodperces lehet. Ezek a dokumentált gyártói interfész korlátai. A média és a kérdések kontextust foglalnak; a túl sok média a kérés sikertelenségéhez vezethet, míg a hosszú szöveges állapotot a rendszer megcsonkíthatja, hogy elférjen. A döntő bizonyítékokat összpontosított rekordban adja meg, és a kérdéseket még azelőtt készítse elő, hogy az ablakot nem kapcsolódó előzményekre használná el.

A gyártó hosztolt interfésze távoli hivatkozások helyett beágyazott médiát fogad. A PNG-, JPEG- vagy WebP-képek korlátja képenként 4 MiB és 16 megapixel, a dekódolt képadatok összesített kerete pedig 8 MiB. Egy hangrészlet korlátja 8 MiB és 300 másodperc; egy videóé 16 MiB és 60 másodperc. A hang és a videó együttesen legfeljebb 16 MiB dekódolt adat lehet, a videókból másodpercenként két képkockát mintavételez a rendszer. Ezek a korlátok az adott gyártói interfészhez tartoznak; a nyílt modellsúlyokkal használható kódoló további helyi reprezentációkat is elfogad. A megértési alapmodell hangfeldolgozási képessége nem jelenti azt, hogy ez a döntési modell hangot állít elő: beszédgeneráló komponenseit nem használja a döntések pontozására.

Ügyfélszolgálati vagy munkafolyamat-irányításhoz a tényleges működési szabályok alapján határozza meg a kategóriákat és a rendezett kritériumokat. Egy hibajegyrekord rákérdezhet arra, melyik csapat kezelje az ügyet, sürgős-e a hatás, és melyik súlyossági szint illik legjobban a bizonyítékokhoz. A megfigyelhető kimenet típusos válaszok halmaza az adott kérdésnevek alatt. Ha a kategóriák közel vannak egymáshoz, vizsgálja meg a teljes valószínűségi eloszlást, és kifejezetten határozza meg, hogyan kezeli az alkalmazás a bizonytalan eseteket. A magas valószínűség a modell értékelése a megadott bizonyítékról, nem annak bizonyítéka, hogy a feltételt függetlenül ellenőrizték.

Egy eredmény vizsgálatakor az állapotot, a kérdéssémát és a visszaadott válaszokat együtt őrizze meg. Ellenőrizze, lefedik-e a lehetőségek a tényleges helyzetet, átfedik-e egymást a leírásaik, illetve kimaradt vagy megcsonkult-e fontos bizonyíték. Ha egy későbbi lépés írásos magyarázatot igényel, a döntést és a forrásanyagot külön szövegalkotási lépés bemeneteként használhatja. A Clef Omni hasznos szerepe a meghatározott alternatívák multimodális bizonyítékokon alapuló pontozása, hogy a következő művelet egyértelmű, vizsgálható bemenet és kimenet alapján legyen kiválasztható.