jev-latest

Jev je vodilni model družbe TypeSafe in prvi model novega razreda System One. Ne piše besedila, temveč hitro sprejema odločitve, ki jih program lahko takoj uporabi: podate stanje (state) — besedilo ali JSON — in nabor vprašanj, v odgovor pa prejmete tipizirane vrednosti z umerjenimi verjetnostmi.

Jezikovni modeli pišejo besede za ljudi, Jev pa je po besedah družbe TypeSafe bližje kodi: odgovor je takoj v obliki, ki jo potrebuje koda, hitrost je visoka in nobena vrednost ni zunaj določenih možnosti. Model je zasnovan za dosledne odgovore pri ponovljenih zahtevah.

Kako se System One razlikuje od jezikovnega modela

• Ne ustvarja vsebine. Jev ne piše odgovorov uporabniku, ne piše kode in ne razlaga poteka sklepanja. Možne odgovore določite vi — z eno od treh vrst vprašanj.
• Naučen je za umerjene odločitve. TypeSafe model uči z metodo RLCD (Reinforcement Learning for Calibrated Decisions): verjetnosti se prilagajajo dejanskim izidom in odražajo negotovost. Med številnimi odgovori z verjetnostjo 0,8 naj bi jih bilo pravilnih približno 80%. Umerjenost je lastnost velikega vzorca in ne jamstvo pravilnosti posameznega odgovora.
• Drugačen cilj učenja. Pogovorne modele učijo ugajati ljudem (RLHF), kar po opažanju družbe TypeSafe spodbuja ustrežljivost in samozavestno zveneče napake. Eden od soavtorjev RLHF, Diogo Almeida, je soustanovitelj družbe TypeSafe.

Ime se nanaša na »Sistem 1« iz knjige Daniela Kahnemana »Razmišljanje, hitro in počasno«: hitro intuitivno presojanje v nasprotju s počasnim premišljenim razmišljanjem »Sistema 2«. Jev je ustvarjen za hitre, ozke presoje.

Tri vrste vprašanj

Vprašanje je ena presoja o stanju, odgovor pa vrednost, ki jo koda primerja s pragom, razvrsti ali posreduje naprej.

1. Choice — izbira možnosti. Oddelek za zahtevo, kategorija izdelka, jezik odseka kode. Možnosti so slovar »možnost → opis«, do 255 možnosti. Odgovor vsebuje izbrani choice, verjetnosti probabilities vseh možnosti (vsota je 1) in zaupanje confidence. Če seznam morda ne zajame vseh primerov, dodajte »drugo« ali »nič od navedenega«.
2. Score — ocena na lestvici. Mesto na urejeni lestvici, ki jo opišete vi: resnost napake, razdraženost stranke, raven spretnosti. Od 2 do 10 ravni, od najnižje do najvišje; model vsako raven oceni ločeno, brez vpogleda v njeno številko in sosede. Odgovor vsebuje score (vsoto številk ravni, pomnoženih z njihovimi verjetnostmi, zato je vrednost lahko med ravnmi), legend z opisi ravni, probabilities in confidence.
3. Noul — da ali ne. Ali je trditev pravilna. Odgovor noul je verjetnost »da« od 0 do 1: okoli 1 pomeni odločen »da«, okoli 0 odločen »ne«, okoli 0,5 pa model omahuje. Ločenega confidence ni: eno število v celoti opisuje odgovor. Neobvezni criteria natančneje določa, kaj šteje za »da« in kaj za »ne«.

Kako izbrati: znane neurejene možnosti — choice; stopnje spektra — score; čisti »da/ne«, kjer je pomembna sama verjetnost — noul. Noul 0,5 pomeni enaki možnosti za »da« in »ne«, ne pa »srednje ravni«: stopnjo meri score. Med dvema ustreznima vrstama izberite tisto, po kateri koda takoj ukrepa: choice — veje, score — prag, noul — if.

Vrste lahko združujete v eni zahtevi. Odgovor je vedno omejen na vaše možnosti in ni odvisen od drugih vprašanj: vprašanja lahko dodajate in odstranjujete brez spreminjanja drugih odgovorov.

Stanje

Stanje je tisto, kar model ocenjuje: sporočilo stranke, odsek dokumenta, zapis iz baze ali stanje vaše aplikacije.

• Niz — kadar gre za eno besedilo: sporočilo, članek, odlomek.
• Objekt — poimenovana polja, povezani zapisi, stanje aplikacije. TypeSafe za večino zahtev priporoča objekt: vsak del ima razumljivo ime.
• Polje — zaporedje sporočil ali zapisov.

Pripravite ga kot gradivo za strokovnjake: dopisovanje, naročilo in pravila vračila podajte skupaj, če jih je za odločitev treba primerjati. Vsebina naj bo v stanju, presoje pa v vprašanjih. Če se vprašanje nanaša na en del stanja, v njem navedite pot do tega dela v obrnjenih narekovajih, na primer ticket.messages[0].text.

Kako postavljati vprašanja

• Ena hitra presoja na vprašanje. Dobro vprašanje je tisto, na katero poznavalec s potrebnim kontekstom odgovori v sekundi: »Ali sporočilo izraža nujnost?«. »Analiziraj sporočilo in se odloči, kaj storiti« je že počasno sklepanje, ki ga je treba razdeliti na preprosta vprašanja.
• Celotno vprašanje v instructions. Ključ vprašanja, na primer refund_requested, potrebuje samo vaša koda in se ne posreduje modelu.
• Vsa vprašanja o enem stanju v eni zahtevi. Model jih ocenjuje vzporedno: po podatkih družbe TypeSafe dodatna vprašanja skoraj ne podaljšajo odzivnega časa in stanejo le svoje tokene. Vprašanje »za vsak primer« je skoraj brezplačno — koda sama odloči, katere odgovore potrebuje.
• Zahtevna presoja po delih. Namesto »oceni prijavo zagonskega podjetja« ločeno vprašajte o velikosti trga, tehnični izvedljivosti in razlikah od konkurentov, rezultat pa izračunajte v kodi z utežmi. Če se prednostne naloge spremenijo, spremenite uteži in ne vprašanja.
• Odvisna vprašanja v drugi zahtevi. Odgovori iste zahteve drug drugemu ne služijo kot kontekst. Druga zahteva je potrebna le, če je brez prvega odgovora ni mogoče sestaviti: treba je naložiti podatke ali izbrati možnosti naslednjega vprašanja.
• Dolgo vprašanje kot objekt. instructions in criteria sta običajno niza, lahko pa sta objekt ali polje: vprašanje v enem polju, podatki v drugih. Tako lahko z enim vprašanjem primerjate življenjepis z zapisi baze.

Zaupanje

Pri choice in score confidence od 0 do 1 kaže, koliko verjetnosti je zbrane pri enem odgovoru: 1 pomeni vso pri eni možnosti, 0 pa enakomerno pri vseh. Pri score sosednja raven zaupanje zmanjša manj kot oddaljena. Pri noul je zaupanje sama vrednost: bolj ko je oddaljena od 0,5, odločnejši je odgovor.

TypeSafe priporoča tri območja:

1. Visoko zaupanje — ukrepajte samodejno.
2. Srednje — ukrepajte previdno, na primer prosite uporabnika za potrditev.
3. Nizko — primer predajte človeku, natančneje določite zahtevo ali vključite rezervno pot, na primer zmogljivejši model s sklepanjem.

Višja ko je cena napake, strožji naj bo prag: pri nepovratnih dejanjih višji kot pri branju. Odgovor pove, kaj izbrati, zaupanje pa, ali ukrepati. Pragove določite na lastnih podatkih s primerjanjem zaupanja in natančnosti.

Kako zgraditi sistem okoli Jev

Jev je zasnovan za programe, v katerih proces upravlja koda, model pa odgovarja na ozka pomenska vprašanja, in ne za agente, ki sami izbirajo naslednji korak ter se lahko v vsakem krogu zmotijo. Osem korakov načrtovanja po TypeSafe:

1. Vse, kar lahko opravite s kodo, opravite s kodo — zanesljivo in poceni.
2. V stanje vključite samo tisto, kar potrebujejo trenutna vprašanja; sveža dejstva vzemite iz lastne baze znanja in ne iz pomnilnika modela.
3. Struktura v stanju: gnezden JSON, v vprašanju pa pot do ustreznega polja v obrnjenih narekovajih, če je tako manj dvoumnosti.
4. Najbolj ozka in konkretna vprašanja — po besedah družbe TypeSafe morda glavno pravilo: široko vprašanje za enim odgovorom skriva več presoj.
5. Struktura v vprašanjih: samo vprašanje naj bo kratko; pojasnila, primeri in vrednosti iz vaše baze naj bodo v sosednjih poljih objekta instructions ali criteria, ne v enem dolgem nizu.
6. Več neodvisnih vprašanj o enem stanju v eni zahtevi — več koristi za vsak dolar.
7. Odgovore združuje koda: s pravili, uteženo vsoto ali kot značilke za klasični model strojnega učenja.
8. Razvejanje po zaupanju: negotove primere predajte človeku ali modelu s sklepanjem.

Jev ni pogovorni model ali model za dopolnjevanje kode in v agentskem programiranju ne more nadomestiti jezikovnega modela. Agent pa lahko za vas napiše kodo, ki Jev pokliče tam, kjer je potreben hiter umerjen odgovor.

Kje se uporablja

• Avtomatizacija v ozadju — odločitve, ki se sprožijo milijonkrat brez človeka v bližini.
• Realni čas — po podatkih družbe TypeSafe se večina zahtev izvede v približno 100 ms: dovolj za sprotno obdelavo in vmesnike.
• Veliki podatki — iskanje po ogromnih korpusih, označevanje dnevnikov agentskega dela, značilke za napovedi.
• Preverjanje drugih modelov — zahteve, izluščanje, sklepanje, klici orodij: obhodi omejitev, napake pri citiranju, izmišljotine.
• Iskanje in razvrščanje — ustreznost para »poizvedba — kandidat«, ponovno razvrščanje, izbira konteksta.
• Razvejanje po namenu — kaj želi uporabnik in kateri obdelovalec je potreben: preprosta logika, specializiran model ali človek; tema, zahtevnost in tveganje določajo, kateremu jezikovnemu modelu predati zahtevo.
• Zaščitna preverjanja — vhod, izhod in klici orodij jezikovnega modela: vstavljena navodila, kršitve pravil, uhajanje osebnih podatkov.
• Podpora — tema in namen zahteve, nujnost, razdraženost, tveganje odhoda, prošnja za vračilo, čakalna vrsta.
• Moderiranje — po pravilih vaše platforme: toksičnost, nadlegovanje, neželena sporočila, goljufije, nevarni nasveti, osebni podatki; glede na resnost in zaupanje prepustite, opozorite, preverite ali blokirajte.
• Področja — zavarovalni primeri, finančne preiskave in KYC, pogodbe in oglaševanje, kartice izdelkov, zaposlovanje, potencialne stranke, igre, tveganja, napoved povpraševanja, grafi znanja, znanstveni pregledi, pomenska preverjanja kode v CI.

Značilnosti

• jev-latest — vzdevek zadnje stabilne različice, trenutno Jev 1.13; različica, ki je odgovorila, je v polju model, na primer jev-1.13.0. Ob novi različici vzdevek preide nanjo in odgovori se lahko spremenijo brez vaših popravkov — spremljajte to polje, če so pragovi prilagojeni različici.
• Kontekst — 64K tokenov na zahtevo: stanje in vsa vprašanja skupaj; stanje z najdaljšim vprašanjem do 32K. Model stanje prebere enkrat in vzporedno glede nanj preverja vsa vprašanja.
• Vhod — samo besedilo: niz, objekt JSON ali polje besedil. Slike, zvok in video še niso podprti — predhodno jih pretvorite v besedilo.
• Jezik — glavni jezik učenja je angleščina, v kateri je natančnost trenutno največja. Model sprejema tudi druge jezike, vključno s kitajščino, japonščino in korejščino, vendar je natančnost manjša — preverite na lastnih podatkih.
• Cene in obračunavanje v Ailoot API — pogoji so odvisni od izbrane metode in navedeni na njeni kartici.
• Prilagajanje — Jev se ne uči dodatno na podatkih naročnika: lastno gradivo podajte v state, področne zahteve pa v instructions in criteria.
• Podatki — TypeSafe sporoča, da Jev ne učijo na zahtevah in odgovorih strank.

Znane šibke točke Jev 1.13

TypeSafe odkrito navaja šibke točke trenutne različice in obljublja številne izboljšave v naslednjih. Model je hiter, umerjen in dobro presoja po zdravi pameti, vendar:

1. Bere dobesedno. Odgovarja na napisano vprašanje in ne na mišljeno: pridržke, zanikanja in neizrecne pogoje razume dobesedno. Natančen pogoj in mejne primere zapišite v criteria; neizogibno razlago razdelite na dve dobesedni vprašanji.
2. Ni kalkulator. Štetje znakov, ponovitev in elementov seznama je nezanesljivo, napaka pa raste z velikostjo — štejte v kodi, z enim vprašanjem na kandidata. Barve v hex ali RGB model razume slabše od imen. score je primeren za prag, ne za natančno število med ravnmi.
3. Datumi in čas. Kateri datum je prej, koliko časa je med njima, ali datum spada v obdobje — to je nezanesljivo, posebej pri mešanih formatih in relativnih datumih. Dele datuma izluščite prek choice (z možnostjo »ni navedeno«), primerjajte pa v kodi.
4. Posrednost. Dvojna zanikanja in vprašanja o lastnosti lastnosti zmanjšujejo natančnost. Pišite neposredno in dele stanja poimenujte.
5. Odvečno v stanju. Nepovezano besedilo zmanjšuje natančnost. Filtrirajte v kodi, če to ni mogoče, pa nepomembno izločite z vprašanji noul.
6. Sovražno besedilo. Model privzeto ne pričakuje pasti v stanju: vstavljeno navodilo ali besedilo, ki razpravlja o lastni razvrstitvi, lahko premakne odgovor. Zapišite natančna merila in pred zagonom preverite mejne primere.
7. Protislovja. Če instructions in criteria zahtevata različno — na primer je pri noul »da« opisan kot »ne« — natančnost pade. Merila so nadaljevanje vprašanja.
8. Vrstni red možnosti. Model se včasih nagiba k prvi možnosti choice. Preuredite možnosti in preverite, da se odgovor ne spremeni.
9. Ustvarjanje besedila. Jev ni naučen pisati besedila. Za izluščanje podatkov poiščite kandidate z regularnim izrazom ali generativnim modelom, Jev pa naj pravilnega izbere prek choice.