Cloudflare: Clef Omni

Cloudflare Clef Omni on Clef-päätösmalliperheen multimodaalinen mixture-of-experts-malli. Se on jälkikoulutettu Qwen3-Omni-30B-A3B-Instruct-ymmärtämisperusmallista, jossa on yhteensä 30B parametria ja 3B aktiivista parametria. Cloudflare lisää yhteisen skeemapään, joka kohdistaa evidenssin pyydettyihin kysymyksiin ja pisteyttää niiden sallitut vaihtoehdot yhdessä. Tuloksena on tyypitetty päätös todennäköisyyksineen, ei tuotettu selitys, litterointi tai puhe.

Valmistele kaksi pääosaa: tilannetta kuvaava tila ja nimettyjen kysymysten määritys. Tila voi olla tekstiä tai rakenteista JSON-dataa, ja mallin natiiveihin syötteisiin kuuluvat myös kuvat, ääni ja video. Jokainen kysymys kertoo, mitä ratkaistaan ja mitkä vastaukset ovat sallittuja. Pidä tunnisteet vakaina, jotta sovellus voi yhdistää kunkin palautetun vastauksen alkuperäiseen kysymykseen. Vaihtoehtojen selkeät kuvaukset tekevät luokasta merkityksellisen; lyhyt, monitulkintainen nimike voi muuten peittää eron, jota työnkulku todella tarvitsee.

Tietueformaatissa on kolme kysymystyyppiä. noul-kysymys koskee tosi/epätosi-ehtoa ja palauttaa todennäköisyyden, että ehto on tosi. choice-kysymys määrittelee nimetyt vaihtoehdot ja palauttaa valitun vaihtoehdon, kunkin vaihtoehdon todennäköisyyden sekä erillisen luottamusarvon. score-kysymys määrittelee järjestetyt kriteerit nollasta alkavilla indekseillä ja palauttaa todennäköisyyksillä painotetun pistemäärän, selitteen ja todennäköisyydet. Pistemäärä voi olla desimaaliluku, koska se kuvaa tasojen välistä jakaumaa. Päätös sisältää siis enemmän kuin yksittäinen luokkanimike, mutta pysyy silti annetun skeeman rajoissa.

Visuaalista tarkastelua varten anna selkeä kuva ja arvioitava ehto. Esimerkkinä on asennustietue, jonka kysymykset selvittävät, näkyykö tunnistetarra, mikä määritellyistä kuntoluokista soveltuu ja riittääkö evidenssi tarkasteluun. Pidä havainnot erillään: tarran näkyminen on eri kysymys kuin se, näyttääkö asennus valmiilta. Tulos voi auttaa sovellusta ohjaamaan tietueen eteenpäin tai merkitsemään tarkastettavan asian; se ei itsessään tee tarkastusta, muuta tietuetta tai tuota kirjallista raporttia.

Äänen ja videon kohdalla keskity kysymyksiin, joihin annettu leike voi tarjota evidenssiä. Käytännön laitearvioinnissa voidaan käyttää valokuvaa, tallennetta ja lyhyttä videota sekä kysyä, kuuluuko tietty ääni tai liikkuuko jokin osa näkyvästi. Valmistaja kuvaa videon ääniraidan käsittelyä yhdessä sen kuvien kanssa silloin, kun kaikissa tietueen videoissa on ääni. Säilytä median ja kirjoitetun tilakuvauksen välinen yhteys ja vältä pyytämästä mallia luokittelemaan tapahtumaa, joka jää liitetyn aikavälin ulkopuolelle.

Valmistajan isännöidyn palvelun profiilissa ilmoitetaan 64 000 tokenin konteksti ja yhdestä 64 kysymykseen. Se hyväksyy enintään neljä kuvaa, neljä äänileikettä ja kaksi videota; äänileikkeen enimmäiskesto on 300 sekuntia ja videon 60 sekuntia. Nämä ovat dokumentoidun valmistajarajapinnan rajoja. Media ja kysymykset vievät kontekstia; liiallinen media voi saada pyynnön epäonnistumaan, ja pitkää tekstitilaa voidaan katkaista, jotta se mahtuu mukaan. Kokoa ratkaiseva evidenssi kohdennettuun tietueeseen ja valmistele kysymykset ennen kuin käytät konteksti-ikkunan asiaan liittymättömään historiaan.

Valmistajan isännöity rajapinta ottaa vastaan upotettua mediaa etälinkkien sijaan. PNG-, JPEG- ja WebP-kuvien rajat ovat 4 MiB ja 16 megapikseliä kuvaa kohti, ja puretun kuvadatan kokonaisraja on 8 MiB. Kunkin äänileikkeen rajat ovat 8 MiB ja 300 sekuntia; kunkin videon 16 MiB ja 60 sekuntia. Purettua ääni- ja videodataa saa olla yhteensä enintään 16 MiB, ja videoista poimitaan kaksi ruutua sekunnissa. Nämä rajat kuuluvat kyseiseen valmistajarajapintaan; avoimien mallipainojen enkooderi hyväksyy myös muita paikallisia esitysmuotoja. Ymmärtämisperusmallin äänikyvykkyys ei tarkoita, että tämä päätösmalli tuottaisi ääntä: sen puheentuottokomponentteja ei käytetä päätösten pisteytyksessä.

Määrittele tuen tai työnkulun reititystä varten luokat ja järjestetyt kriteerit todellisten toimintasääntöjen perusteella. Tukipyyntötietueessa voidaan kysyä, minkä tiimin tulisi käsitellä se, onko vaikutus kiireellinen ja mikä vakavuustaso vastaa evidenssiä parhaiten. Havaittava tulos on joukko tyypitettyjä vastauksia näiden kysymysten nimillä. Tarkastele koko todennäköisyysjakaumaa, kun luokat ovat lähellä toisiaan, ja määrittele sovelluksen tapa käsitellä epävarmat tapaukset nimenomaisesti. Suuri todennäköisyys on mallin arvio annetusta evidenssistä, ei todiste siitä, että ehto olisi varmennettu riippumattomasti.

Säilytä tila, kysymysskeema ja palautetut vastaukset yhdessä, kun tutkit tulosta. Tarkista, kattavatko vaihtoehdot todellisen tilanteen, menevätkö niiden kuvaukset päällekkäin ja onko tärkeää evidenssiä jätetty pois tai katkaistu. Jos myöhempi vaihe tarvitsee kirjallisen selityksen, päätöstä ja lähdemateriaalia voidaan käyttää erillisen kirjoitusvaiheen syötteenä. Clef Omnin hyödyllinen tehtävä on pisteyttää määritellyt vaihtoehdot multimodaalisen evidenssin perusteella, jotta seuraava toimenpide voidaan valita selkeän, tarkasteltavissa olevan syötteen ja tuloksen pohjalta.