jev-latest

Jev on TypeSafen lippulaivamalli ja uuden System One -luokan ensimmäinen malli. Se ei kirjoita tekstiä, vaan tekee nopeasti päätöksiä, joita ohjelma voi käyttää suoraan: annat tilan (state), tekstin tai JSON-datan, ja joukon kysymyksiä, ja saat vastaukseksi tyypitetyt arvot kalibroituine todennäköisyyksineen.

Kielimallit kirjoittavat sanoja ihmisille, kun taas Jev on TypeSafen mukaan lähempänä koodia: vastaus on heti koodin tarvitsemaa muotoa, nopeus suuri eikä yksikään arvo jää määritettyjen vaihtoehtojen ulkopuolelle. Malli on suunniteltu antamaan vakaita vastauksia toistuvissa pyynnöissä.

Miten System One eroaa kielimallista

• Ei generoi. Jev ei kirjoita käyttäjävastauksia, koodia eikä selitä päättelyä. Määrität mahdolliset vastaukset itse yhdellä kolmesta kysymystyypistä.
• Koulutettu kalibroituihin päätöksiin. TypeSafe kouluttaa mallia RLCD-menetelmällä (Reinforcement Learning for Calibrated Decisions): todennäköisyydet sovitetaan todellisiin lopputuloksiin ja ne kuvaavat epävarmuutta. Suuresta joukosta vastauksia, joiden todennäköisyys on 0,8, noin 80%:n tulisi olla oikein. Kalibrointi on suuren otoksen ominaisuus, ei yksittäisen vastauksen oikeellisuuden takuu.
• Eri koulutustavoite. Chat-malleja koulutetaan miellyttämään ihmisiä (RLHF), mikä TypeSafen havaintojen mukaan kannustaa myötäilyyn ja varman kuuloisiin virheisiin. Yksi RLHF:n tekijöistä, Diogo Almeida, on TypeSafen toinen perustaja.

Nimi viittaa Daniel Kahnemanin ”Ajattelu, nopeasti ja hitaasti” -kirjan ”järjestelmään 1”: nopeaan intuitiiviseen arvioon vastakohtana ”järjestelmän 2” hitaalle harkitulle ajattelulle. Jev on luotu nopeisiin, rajattuihin arvioihin.

Kolme kysymystyyppiä

Kysymys on yksi tilaa koskeva arvio, ja vastaus on arvo, jota koodi vertaa kynnykseen, lajittelee tai välittää eteenpäin.

1. Choice – vaihtoehdon valinta. Yhteydenoton osasto, tuoteluokka tai koodijakson kieli. Vaihtoehdot ovat ”vaihtoehto → kuvaus” -sanakirja, enintään 255 kappaletta. Vastauksessa ovat valittu choice, kaikkien vaihtoehtojen probabilities (yhteensä 1) ja varmuus confidence. Jos luettelo ei ehkä kata kaikkia tapauksia, lisää ”muu” tai ”ei mikään näistä”.
2. Score – arvio asteikolla. Sijainti itse kuvaamallasi järjestetyllä asteikolla: virheen vakavuus, asiakkaan ärtymys tai taitotaso. Tasoja on 2–10 alimmasta ylimpään; malli arvioi jokaisen erikseen näkemättä sen numeroa tai naapuritasoja. Vastauksessa ovat score (tasojen numeroiden ja niitä vastaavien todennäköisyyksien tulojen summa, joten arvo voi olla tasojen välissä), tasokuvaukset sisältävä legend, probabilities ja confidence.
3. Noul – kyllä tai ei. Pitääkö väite paikkansa. Vastaus noul on ”kyllä”-vastauksen todennäköisyys välillä 0–1: lähellä 1:tä on varma ”kyllä”, lähellä 0:aa varma ”ei” ja lähellä 0,5:tä malli epäröi. Erillistä confidence-arvoa ei ole: yksi luku kuvaa koko vastauksen. Valinnainen criteria täsmentää, mikä lasketaan ”kyllä”- ja mikä ”ei”-vastaukseksi.

Valintaperuste: tunnetut järjestämättömät vaihtoehdot – choice; jatkumon portaat – score; puhdas ”kyllä/ei”, jossa itse todennäköisyys ratkaisee – noul. Noul 0,5 tarkoittaa ”kyllä”- ja ”ei”-vastauksen tasaisia mahdollisuuksia, ei ”keskitasoa”: astetta mittaa score. Kahdesta sopivasta tyypistä valitse se, jonka perusteella koodi toimii heti: choice – haarat, score – kynnys, noul – if.

Tyyppejä voi yhdistää samassa pyynnössä. Vastaus on aina rajattu vaihtoehtoihisi eikä riipu muista kysymyksistä: kysymyksiä voi lisätä ja poistaa muiden vastausten muuttumatta.

Tila

Tila on mallin arvioitava kohde: asiakkaan viesti, asiakirjajakso, tietokannan tietue tai sovelluksesi tila.

• Merkkijono, kun tekstiä on yksi: viesti, artikkeli tai katkelma.
• Objekti: nimetyt kentät, toisiinsa liittyvät tietueet tai sovelluksen tila. TypeSafe suosittelee objektia useimpiin pyyntöihin: jokaisella osalla on selkeä nimi.
• Taulukko: viestien tai tietueiden sarja.

Valmistele tila kuten aineisto asiantuntijoille: kokoa viestit, tilaus ja palautussäännöt yhteen, jos päätös edellyttää niiden vertailua. Pidä sisältö tilassa ja arviot kysymyksissä. Jos kysymys koskee yhtä tilan osaa, nimeä sen polku käänteisten heittomerkkien sisällä, esimerkiksi ticket.messages[0].text.

Kysymysten laatiminen

• Yksi nopea arvio kysymystä kohden. Hyvä kysymys on sellainen, johon asiantunteva ihminen vastaa sopivalla kontekstilla sekunnissa: ”Ilmaiseeko viesti kiireellisyyttä?” ”Analysoi viesti ja päätä, mitä tehdä” vaatii jo hidasta päättelyä ja on jaettava yksinkertaisiin kysymyksiin.
• Koko kysymys kenttään instructions. Kysymysavain, kuten refund_requested, on vain koodiasi varten eikä sitä välitetä mallille.
• Kaikki saman tilan kysymykset yhdessä pyynnössä. Malli arvioi ne rinnakkain: TypeSafen mukaan lisäkysymykset eivät juuri pidennä vastausaikaa ja maksavat vain omat tokeninsa. ”Varmuuden vuoksi” esitetty kysymys on lähes ilmainen – koodi päättää itse, mitä vastauksia tarvitaan.
• Vaativa arvio osiin. ”Arvioi startup-hakemus” -pyynnön sijaan kysy erikseen markkinan koosta, teknisestä toteutettavuudesta ja eroista kilpailijoihin ja laske lopputulos koodissa painoilla. Painopisteiden muuttuessa muutat painoja etkä kirjoita kysymystä uudelleen.
• Riippuvat kysymykset toiseen pyyntöön. Saman pyynnön vastaukset eivät toimi toistensa kontekstina. Toinen pyyntö tarvitaan vain, jos sitä ei voi koostaa ilman ensimmäistä vastausta: tietoja on ladattava tai seuraavan kysymyksen vaihtoehdot valittava.
• Pitkä kysymys objektina. instructions ja criteria ovat tavallisesti merkkijonoja mutta voivat olla objekti tai taulukko: kysymys yhdessä kentässä ja tiedot muissa. Näin ansioluetteloa voi verrata tietokantatietueisiin yhdellä kysymyksellä.

Varmuus

Tyypeissä choice ja score confidence välillä 0–1 osoittaa, kuinka keskittynyt todennäköisyys on yhteen vastaukseen: 1 tarkoittaa kaikkea yhdellä vaihtoehdolla ja 0 tasajakoa kaikille. Tyypissä score viereinen taso alentaa varmuutta vähemmän kuin kaukainen. Tyypissä noul varmuus on itse arvo: mitä kauempana 0,5:stä, sitä varmempi vastaus.

TypeSafe suosittelee kolmea aluetta:

1. Suuri varmuus – toimi automaattisesti.
2. Keskisuuri varmuus – toimi varovasti, esimerkiksi pyydä käyttäjän vahvistus.
3. Pieni varmuus – anna tapaus ihmiselle, täsmennä pyyntöä tai käytä varareittiä, kuten tehokkaampaa päättelymallia.

Mitä kalliimpi virhe, sitä tiukempi kynnys: peruuttamattomissa toimissa korkeampi kuin lukemisessa. Vastaus kertoo valinnan ja varmuus sen, kannattaako toimia. Valitse kynnykset omilla aineistoillasi vertaamalla varmuutta tarkkuuteen.

Järjestelmän rakentaminen Jevin ympärille

Jev on suunniteltu ohjelmiin, joissa koodi ohjaa prosessia ja malli vastaa rajattuihin merkityskysymyksiin, ei agenteille, jotka valitsevat seuraavan vaiheen itse ja voivat eksyä jokaisella kierroksella. TypeSafen kahdeksan suunnitteluvaihetta:

1. Tee koodilla kaikki, minkä voi tehdä koodilla – luotettavasti ja edullisesti.
2. Tilaan vain nykyisten kysymysten tarvitsema sisältö; tuoreet faktat omasta tietopohjasta, eivät mallin muistista.
3. Tilaan rakenne: sisäkkäinen JSON ja kysymykseen tarvittavan kentän polku käänteisissä heittomerkeissä, jos se vähentää monitulkintaisuutta.
4. Mahdollisimman rajatut ja konkreettiset kysymykset – TypeSafen mukaan ehkä tärkein sääntö: laaja kysymys kätkee useita arvioita yhteen vastaukseen.
5. Kysymyksiin rakenne: itse kysymys lyhyenä; selitykset, esimerkit ja oman tietokannan arvot objektin instructions tai criteria viereisiin kenttiin, ei yhteen pitkään merkkijonoon.
6. Monta riippumatonta saman tilan kysymystä yhdessä pyynnössä – enemmän hyötyä jokaista dollaria kohden.
7. Koodi yhdistää vastaukset säännöillä, painotetulla summalla tai perinteisen koneoppimismallin piirteinä.
8. Haarautuminen varmuuden mukaan: epävarmat tapaukset ihmiselle tai päättelymallille.

Jev ei ole chat eikä koodin täydennysmalli, eikä sitä voi sijoittaa ohjelmointiagenttiin kielimallin tilalle. Agentti voi kuitenkin kirjoittaa sinulle koodin, joka kutsuu Jeviä siellä, missä tarvitaan nopea kalibroitu vastaus.

Käyttökohteet

• Tausta-automaatio – päätökset, joita suoritetaan miljoona kertaa ilman läsnä olevaa ihmistä.
• Reaaliaikaisuus – TypeSafen mukaan useimmat pyynnöt valmistuvat noin 100 ms:ssa: tämä riittää lennossa tapahtuvaan käsittelyyn ja käyttöliittymiin.
• Suuret tietoaineistot – valtavien aineistokokoelmien haku, agenttien työlokien merkintä ja ennusteiden piirteet.
• Muiden mallien tarkistus – pyynnöt, poiminnat, päättelyt ja työkalukutsut: rajoitusten kierto, viittausvirheet ja keksityt tiedot.
• Haku ja järjestäminen – ”kysely – ehdokas” -parin relevanssi, uudelleenjärjestäminen ja kontekstin valinta.
• Haarautuminen aikomuksen perusteella – mitä käyttäjä haluaa ja mikä käsittelijä tarvitaan: yksinkertainen logiikka, erikoismalli tai ihminen; aihe, vaikeus ja riski määräävät, mille kielimallille pyyntö annetaan.
• Suojatarkistukset – kielimallin syöte, tuloste ja työkalukutsut: upotetut ohjeet, sääntörikkomukset ja henkilötietovuodot.
• Tuki – yhteydenoton aihe ja aikomus, kiireellisyys, ärtymys, poistumisen riski, palautuspyyntö ja jono.
• Moderointi – oman alustan sääntöjen mukaan: toksisuus, kiusaaminen, roskaposti, petokset, vaaralliset neuvot ja henkilötiedot; vakavuuden ja varmuuden perusteella hyväksy, varoita, tarkista tai estä.
• Toimialat – vakuutustapaukset, taloustutkinnat ja KYC, sopimukset ja mainonta, tuotekortit, rekrytointi, liidit, pelit, riskit, kysynnän ennusteet, tietograafit, tieteelliset katsaukset ja koodin merkitystarkistukset CI:ssä.

Ominaisuudet

• jev-latest on viimeisimmän vakaan version alias, tällä hetkellä Jev 1.13; vastanneen version näkee kentästä model, esimerkiksi jev-1.13.0. Uuden version ilmestyessä alias siirtyy siihen, ja vastaukset voivat muuttua ilman omia muutoksiasi – seuraa kenttää, jos kynnykset on valittu tietylle versiolle.
• Konteksti on 64K tokenia pyyntöä kohden: tila ja kaikki kysymykset yhdessä; tila ja pisin kysymys enintään 32K. Malli lukee tilan kerran ja tarkistaa kaikki kysymykset sitä vasten rinnakkain.
• Syöte on vain tekstiä: merkkijono, JSON-objekti tai tekstitaulukko. Kuvia, ääntä ja videota ei vielä tueta – muunna ne tekstiksi etukäteen.
• Kieli: pääasiallinen koulutuskieli on englanti, jolla tarkkuus on tällä hetkellä paras. Malli vastaanottaa muita kieliä, myös kiinaa, japania ja koreaa, mutta tarkkuus on heikompi – tarkista omilla aineistoillasi.
• Hinnat ja laskutus Ailoot API:ssa — ehdot riippuvat valitusta metodista, ja ne on ilmoitettu sen kortissa.
• Asetukset: Jeviä ei jatkokouluteta asiakkaan aineistolla: omat aineistot kenttään state, alan säännöt kenttiin instructions ja criteria.
• Tiedot: TypeSafe ilmoittaa, ettei Jeviä kouluteta asiakkaiden pyynnöillä eikä vastauksilla.

Jev 1.13:n tunnetut heikkoudet

TypeSafe luettelee avoimesti nykyversion heikkoudet ja lupaa korjata monia seuraavissa versioissa. Malli on nopea, kalibroitu ja arvioi hyvin terveen järjen perusteella, mutta:

1. Lukee kirjaimellisesti. Se vastaa kirjoitettuun kysymykseen, ei tarkoitettuun: varaukset, kiellot ja epäsuorat ehdot ymmärretään sanatarkasti. Kirjoita täsmällinen ehto ja rajatapaukset kenttään criteria; jaa väistämätön tulkinta kahdeksi kirjaimelliseksi kysymykseksi.
2. Ei laskin. Merkkien, toistojen ja luetteloelementtien laskeminen on epäluotettavaa, ja virhe kasvaa koon mukana – laske koodissa ja esitä yksi kysymys ehdokasta kohden. Malli ymmärtää hex- tai RGB-värejä huonommin kuin värinimiä. score sopii kynnykseen, ei tasojen väliseen tarkkaan lukuun.
3. Päivämäärät ja aika. Päivämäärien järjestys, niiden välinen aika ja kuuluminen ajanjaksoon ovat epäluotettavia, etenkin yhdistetyillä formaateilla ja suhteellisilla päivämäärillä. Poimi päivämäärän osat choice-tyypillä ja ”ei määritetty” -vaihtoehdolla ja vertaa koodissa.
4. Epäsuoruus. Kaksoiskiellot ja ominaisuuden ominaisuutta koskevat kysymykset heikentävät tarkkuutta. Kirjoita suoraan ja nimeä tilan osat.
5. Ylimääräinen tilassa. Asiaankuulumaton teksti heikentää tarkkuutta. Suodata koodissa tai, jos se ei ole mahdollista, karsi epäolennaiset noul-kysymyksillä.
6. Vihamielinen teksti. Malli ei oletuksena odota tilaan kätkettyjä ansaohjeita: upotettu ohje tai omasta luokituksestaan väittelevä teksti voi siirtää vastausta. Kirjoita täsmälliset kriteerit ja tarkista rajatapaukset ennen käynnistystä.
7. Ristiriidat. Jos instructions ja criteria pyytävät eri asioita – esimerkiksi noul-tyypin ”kyllä” kuvataan ”ei”-vastauksena – tarkkuus laskee. Kriteerit jatkavat kysymystä.
8. Vaihtoehtojen järjestys. Malli kallistuu joskus ensimmäiseen choice-vaihtoehtoon. Vaihda järjestystä ja tarkista, ettei vastaus muutu.
9. Generointi. Jeviä ei ole koulutettu kirjoittamaan tekstiä. Tietojen poiminnassa etsi ehdokkaat säännöllisellä lausekkeella tai generatiivisella mallilla ja anna Jevin valita oikea choice-tyypillä.