Cloudflare: Clef Omni

Cloudflare Clef Omni är den multimodala mixture-of-experts-modellen i Clefs familj av beslutsmodeller. Den är eftertränad från förståelsebasmodellen Qwen3-Omni-30B-A3B-Instruct, med totalt 30B parametrar och 3B aktiva parametrar. Cloudflare lägger till ett gemensamt schemahuvud som kopplar evidens till de efterfrågade frågorna och poängsätter deras tillåtna alternativ tillsammans. Resultatet är ett typat beslut med sannolikheter, snarare än en genererad förklaring, transkription eller talutmatning.

Förbered två huvuddelar: ett tillstånd som beskriver situationen och en mappning av namngivna frågor. Tillståndet kan vara text eller strukturerad JSON, och modellens inbyggda indata omfattar även bilder, ljud och video. Varje fråga anger vad som ska avgöras och vilka svar som är tillåtna. Håll identifierarna stabila så att en applikation kan koppla varje returnerat svar till den ursprungliga frågan. Tydliga beskrivningar av alternativen ger kategorin mening; en kort, tvetydig etikett kan annars dölja den skillnad som arbetsflödet faktiskt behöver.

Postformatet har tre frågetyper. En noul-fråga gäller ett sant/falskt-villkor och returnerar sannolikheten för sant. En choice-fråga definierar namngivna alternativ och returnerar ett valt alternativ, sannolikheter per alternativ och ett separat konfidensvärde. En score-fråga definierar ordnade kriterier med index från noll och returnerar en sannolikhetsviktad poäng, en teckenförklaring och sannolikheter. Poängen kan ha decimaler eftersom den speglar en fördelning över nivåer. Ett beslut innehåller alltså mer information än en enskild etikett, samtidigt som det fortfarande avgränsas av det inskickade schemat.

För visuell granskning anger du en tydlig bild och det villkor som ska bedömas. Ett exempel är en installationspost med frågor om identifieringsetiketten är synlig, vilken av de definierade tillståndskategorierna som gäller och om evidensen räcker för granskning. Håll observationerna åtskilda: Att en etikett är synlig är en annan fråga än om en installation verkar färdig. Resultatet kan hjälpa en applikation att styra posten vidare eller flagga ett förhållande för granskning; det utför inte självt en inspektion, ändrar en post eller genererar en skriftlig rapport.

För ljud och video fokuserar du frågorna på evidens som det inskickade klippet kan stödja. En praktisk utrustningsgranskning kan omfatta ett foto, en inspelning och en kort video med frågor om ett visst ljud förekommer eller om en komponent rör sig synligt. Tillverkaren beskriver att en videos ljudspår behandlas tillsammans med dess bildrutor när alla videor i posten har ljud. Bevara sambandet mellan medierna och det skriftliga tillståndet, och undvik att be modellen klassificera en händelse som ligger utanför det bifogade tidsintervallet.

Tillverkarens hostade profil anger en kontext på 64 000 token och en till 64 frågor. Den accepterar upp till fyra bilder, fyra ljudklipp och två videor, med högst 300 sekunder per ljudklipp och 60 sekunder per video. Det är gränserna för det dokumenterade tillverkargränssnittet. Medier och frågor tar plats i kontexten; för mycket medieinnehåll kan få begäran att misslyckas, medan ett långt texttillstånd kan kapas för att få plats. Samla avgörande evidens i en fokuserad post och förbered frågorna innan fönstret används till ovidkommande historik.

Tillverkarens hostade gränssnitt tar emot inbäddade medier i stället för fjärrlänkar. PNG-, JPEG- eller WebP-bilder är begränsade till 4 MiB och 16 megapixlar per bild, med en sammanlagd budget på 8 MiB avkodade bilddata. Varje ljudklipp är begränsat till 8 MiB och 300 sekunder; varje video till 16 MiB och 60 sekunder. Ljud och video får tillsammans uppgå till högst 16 MiB avkodade data, och videor samplas med två bildrutor per sekund. Dessa gränser gäller det tillverkargränssnittet; kodaren med öppna modellvikter accepterar ytterligare lokala representationer. Förståelsebasmodellens ljudförmåga innebär inte att denna beslutsmodell producerar ljud: dess komponenter för talgenerering används inte för beslutspoängsättning.

För support- eller arbetsflödesstyrning definierar du kategorier och ordnade kriterier utifrån de faktiska verksamhetsreglerna. En ärendepost kan fråga vilket team som ska hantera den, om påverkan är akut och vilken allvarlighetsnivå som bäst stämmer med evidensen. Det observerbara resultatet är en uppsättning typade svar under dessa frågenamn. Granska hela sannolikhetsfördelningen när kategorierna ligger nära varandra, och definiera uttryckligen hur applikationen behandlar osäkra fall. En hög sannolikhet är modellens bedömning av den inskickade evidensen, inte ett bevis på att villkoret har verifierats oberoende.

Spara tillståndet, frågeschemat och de returnerade svaren tillsammans när du undersöker ett resultat. Kontrollera om alternativen täcker den faktiska situationen, om deras beskrivningar överlappar och om viktig evidens har utelämnats eller kapats. Om ett efterföljande steg behöver en skriftlig förklaring kan beslutet och källmaterialet användas som indata till ett separat skrivsteg. Clef Omnis användbara roll är att poängsätta definierade alternativ utifrån multimodal evidens, så att nästa åtgärd kan väljas med tydliga indata och resultat som går att granska.