jev-latest

Jev — pagrindinis TypeSafe modelis ir pirmasis naujos klasės System One modelis. Jis nekuria teksto, o greitai priima sprendimus, kuriuos programa gali iš karto naudoti: perduodate būseną (state) — tekstą arba JSON — ir klausimų rinkinį, o atsakyme gaunate tipizuotas reikšmes su kalibruotomis tikimybėmis.

Kalbos modeliai rašo žodžius žmonėms, o Jev, TypeSafe teigimu, artimesnis kodui: atsakymas iš karto yra kodui reikiamos formos, veikimas greitas ir nėra nė vienos reikšmės už nustatytų variantų ribų. Modelis sumanytas taip, kad pakartotinėse užklausose pateiktų stabilius atsakymus.

Kuo System One skiriasi nuo kalbos modelio

• Negeneruoja. Jev nerašo atsakymų naudotojui, nekuria kodo ir nepaaiškina samprotavimo eigos. Galimus atsakymus nustatote jūs — per vieną iš trijų klausimų tipų.
• Mokytas kalibruotiems sprendimams. TypeSafe moko modelį RLCD (Reinforcement Learning for Calibrated Decisions) metodu: tikimybės derinamos prie tikrųjų baigčių ir atspindi neapibrėžtumą. Iš daugelio atsakymų, kurių tikimybė 0,8, maždaug 80% turėtų būti teisingi. Kalibravimas — didelės imties savybė, o ne atskiro atsakymo teisingumo garantija.
• Kitoks mokymo tikslas. Pokalbių modeliai mokomi patikti žmonėms (RLHF), o tai, TypeSafe pastebėjimu, skatina pataikavimą ir užtikrintai skambančias klaidas. Vienas iš RLHF bendraautorių, Diogo Almeida, yra TypeSafe vienas iš įkūrėjų.

Pavadinimas nurodo „Sistemą 1“ iš Danielio Kahnemano knygos „Mąstymas, greitas ir lėtas“: greitą intuityvų vertinimą, priešingą lėtam apgalvotam „Sistemos 2“ mąstymui. Jev sukurtas greitiems siauriems vertinimams.

Trys klausimų tipai

Klausimas — vienas būsenos vertinimas, atsakymas — reikšmė, kurią kodas lygina su slenksčiu, rūšiuoja arba perduoda toliau.

1. Choice — varianto pasirinkimas. Kreipiniui skirtas skyrius, prekės kategorija, kodo fragmento kalba. Variantai — žodynas „variantas → aprašymas“, iki 255 variantų. Atsakyme — pasirinktas choice, visų variantų tikimybės probabilities (jų suma 1) ir užtikrintumas confidence. Jei sąrašas gali neapimti visų atvejų, pridėkite „kita“ arba „nė vienas iš išvardytų“.
2. Score — įvertinimas pagal skalę. Vieta jūsų aprašytoje sutvarkytoje skalėje: klaidos rimtumas, kliento susierzinimas, įgūdžio lygis. Nuo 2 iki 10 lygių, nuo žemiausio iki aukščiausio; kiekvieną lygį modelis vertina atskirai, nematydamas jo numerio ir kaimyninių lygių. Atsakyme — score (lygių numerių, padaugintų iš jų tikimybių, suma, todėl reikšmė gali būti tarp lygių), legend su lygių aprašymais, probabilities ir confidence.
3. Noul — taip arba ne. Ar teiginys teisingas. Atsakymas noul — „taip“ tikimybė nuo 0 iki 1: arti 1 — užtikrintas „taip“, arti 0 — užtikrintas „ne“, arti 0,5 — modelis abejoja. Atskiro confidence nėra: vienas skaičius visiškai apibūdina atsakymą. Neprivalomas criteria patikslina, ką laikyti „taip“, o ką — „ne“.

Kaip pasirinkti: žinomi variantai be tvarkos — choice; spektro pakopos — score; grynas „taip / ne“, kur svarbi pati tikimybė, — noul. Noul 0,5 — vienodos „taip“ ir „ne“ tikimybės, o ne „vidutinis lygis“: laipsnį matuoja score. Iš dviejų tinkamų tipų rinkitės tą, pagal kurį kodas iš karto veikia: choice — šakos, score — slenkstis, noul — if.

Tipus galima maišyti vienoje užklausoje. Atsakymas visada apribotas jūsų variantais ir nepriklauso nuo kitų klausimų: klausimus galima pridėti ir pašalinti nekeičiant likusių atsakymų.

Būsena

Būsena — tai, ką modelis vertina: kliento pranešimas, dokumento fragmentas, duomenų bazės įrašas arba jūsų programos būsena.

• Eilutė — kai tekstas vienas: pranešimas, straipsnis, ištrauka.
• Objektas — pavadinti laukai, susiję įrašai, programos būsena. TypeSafe pataria daugumai užklausų naudoti objektą: kiekviena dalis turi aiškų pavadinimą.
• Masyvas — pranešimų arba įrašų seka.

Renkite jį kaip medžiagą ekspertams: susirašinėjimą, užsakymą ir grąžinimo taisykles pateikite kartu, jei sprendimui reikia juos palyginti. Turinį laikykite būsenoje, vertinimus — klausimuose. Jei klausimas susijęs su viena būsenos dalimi, jame nurodykite kelią iki jos tarp atvirkštinių kabučių, pavyzdžiui, ticket.messages[0].text.

Kaip pateikti klausimus

• Vienas greitas vertinimas kiekvienam klausimui. Geras klausimas — toks, į kurį išmanantis žmogus, turintis reikiamą kontekstą, atsakytų per sekundę: „Ar pranešimas skubus?“. „Išanalizuok pranešimą ir nuspręsk, ką daryti“ — jau lėtas samprotavimas, jį reikia išskaidyti į paprastus klausimus.
• Visas klausimas — instructions. Klausimo raktas, pavyzdžiui, refund_requested, reikalingas tik jūsų kodui ir modeliui neperduodamas.
• Visi klausimai apie vieną būseną — viena užklausa. Modelis juos vertina lygiagrečiai: TypeSafe duomenimis, papildomi klausimai beveik nepailgina atsakymo laiko ir kainuoja tik savo tokenus. Klausimas „dėl visa ko“ beveik nieko nekainuoja — kodas pats nuspręs, kurių atsakymų reikia.
• Sudėtingas vertinimas — dalimis. Užuot prašę „įvertink startuolio paraišką“, atskirai klauskite apie rinkos dydį, techninį įgyvendinamumą ir skirtumus nuo konkurentų, o galutinį įvertinimą apskaičiuokite kode su svoriais. Pasikeitus prioritetams keiskite svorius, o ne perrašykite klausimą.
• Priklausomi klausimai — antra užklausa. Vienos užklausos atsakymai nėra vienas kito kontekstas. Antros užklausos reikia tik tada, jei jos neįmanoma sudaryti be pirmojo atsakymo: reikia įkelti duomenis arba pasirinkti kito klausimo variantus.
• Ilgas klausimas — objektu. instructions ir criteria paprastai yra eilutės, bet gali būti objektas arba masyvas: klausimas viename lauke, duomenys — kituose. Taip patogu vienu klausimu lyginti gyvenimo aprašymą su duomenų bazės įrašais.

Užtikrintumas

Choice ir score confidence nuo 0 iki 1 parodo, kiek tikimybė sutelkta viename atsakyme: 1 — visa viename variante, 0 — po lygiai visuose. Score atveju kaimyninis lygis mažina užtikrintumą mažiau nei tolimas. Noul atveju užtikrintumas — pati reikšmė: kuo toliau nuo 0,5, tuo tvirtesnis atsakymas.

TypeSafe pataria naudoti tris intervalus:

1. Didelis užtikrintumas — veikite automatiškai.
2. Vidutinis — veikite atsargiai, pavyzdžiui, paprašykite naudotojo patvirtinti.
3. Mažas — perduokite atvejį žmogui, patikslinkite užklausą arba prijunkite atsarginį kelią, pavyzdžiui, galingesnį modelį su samprotavimu.

Kuo brangesnė klaida, tuo griežtesnis slenkstis: negrįžtamiems veiksmams — aukštesnis nei skaitymui. Atsakymas pasako, ką pasirinkti, o užtikrintumas — ar verta veikti. Slenksčius parinkite pagal savo duomenis, lygindami užtikrintumą su tikslumu.

Kaip kurti sistemą aplink Jev

Jev skirtas ne agentams, kurie patys pasirenka kitą žingsnį ir kiekviename cikle gali nukrypti, o programoms, kuriose procesą valdo kodas, o modelis atsako į siaurus prasmės klausimus. Aštuoni projektavimo žingsniai pagal TypeSafe:

1. Viską, ką galima padaryti kodu, darykite kodu — patikimai ir pigiai.
2. Į būseną — tik tai, ko reikia dabartiniams klausimams; nauji faktai — iš savo žinių bazės, o ne iš modelio atminties.
3. Struktūra būsenoje: įdėtinis JSON, o klausime — kelias iki reikiamo lauko tarp atvirkštinių kabučių, jei taip sumažėja dviprasmybė.
4. Kuo siauresni ir konkretesni klausimai — TypeSafe teigimu, tai galbūt svarbiausia taisyklė: platus klausimas po vienu atsakymu paslepia kelis vertinimus.
5. Struktūra klausimuose: pats klausimas trumpas; paaiškinimai, pavyzdžiai ir jūsų bazės reikšmės — gretimuose objekto instructions arba criteria laukuose, o ne vienoje ilgoje eilutėje.
6. Daug nepriklausomų klausimų apie vieną būseną vienoje užklausoje — daugiau naudos už kiekvieną dolerį.
7. Atsakymus sujungia kodas: taisyklėmis, svertine suma arba kaip požymius klasikiniam mašininio mokymosi modeliui.
8. Šakojimas pagal užtikrintumą: neužtikrinti atvejai — žmogui arba modeliui su samprotavimu.

Jev nėra pokalbių ar kodo automatinio užbaigimo modelis, todėl jo negalima įdėti į programavimo agentą vietoje kalbos modelio. Tačiau agentas gali jums parašyti kodą, kuris kviečia Jev ten, kur reikia greito kalibruoto atsakymo.

Kur taikomas

• Foninė automatizacija — sprendimai, paleidžiami milijoną kartų be šalia esančio žmogaus.
• Tikrasis laikas — TypeSafe duomenimis, dauguma užklausų įvykdomos maždaug per 100 ms: pakanka apdorojimui realiuoju laiku ir sąsajoms.
• Didieji duomenys — paieška milžiniškuose tekstynuose, agentų darbo žurnalų žymėjimas, prognozių požymiai.
• Kitų modelių tikrinimas — užklausos, išgauti duomenys, samprotavimas, įrankių kvietimai: ribojimų apėjimas, citavimo klaidos, išgalvota informacija.
• Paieška ir reitingavimas — poros „užklausa — kandidatas“ atitiktis, pakartotinis reitingavimas, konteksto atranka.
• Šakojimas pagal ketinimą — ko nori naudotojas ir kokio apdorojimo reikia: paprastos logikos, specializuoto modelio ar žmogaus; tema, sudėtingumas ir rizika lemia, kuriam kalbos modeliui perduoti užklausą.
• Apsauginės patikros — kalbos modelio įvestis, išvestis ir įrankių kvietimai: įterptos instrukcijos, taisyklių pažeidimai, asmens duomenų nutekėjimas.
• Pagalba klientams — kreipinio tema ir ketinimas, skubumas, susierzinimas, pasitraukimo rizika, prašymas grąžinti pinigus, eilė.
• Moderavimas — pagal jūsų platformos taisykles: toksiškumas, patyčios, šlamštas, sukčiavimas, pavojingi patarimai, asmens duomenys; pagal rimtumą ir užtikrintumą — praleisti, įspėti, patikrinti arba užblokuoti.
• Sritys — draudžiamieji įvykiai, finansiniai tyrimai ir KYC, sutartys ir reklama, prekių kortelės, darbuotojų atranka, potencialūs klientai, žaidimai, rizika, paklausos prognozė, žinių grafai, mokslinės apžvalgos, semantinės kodo patikros CI sistemoje.

Charakteristikos

• jev-latest — naujausios stabilios versijos pseudonimas, dabar Jev 1.13; atsakiusi versija pateikiama lauke model, pavyzdžiui, jev-1.13.0. Atsiradus naujai versijai pseudonimas nukreipiamas į ją, o atsakymai gali pasikeisti be jūsų pakeitimų — stebėkite šį lauką, jei slenksčiai parinkti konkrečiai versijai.
• Kontekstas — 64K tokenų vienai užklausai: būsena ir visi klausimai kartu; būsena su ilgiausiu klausimu — iki 32K. Modelis būseną perskaito vieną kartą ir visus klausimus tikrina pagal ją lygiagrečiai.
• Įvestis — tik tekstas: eilutė, JSON objektas arba tekstų masyvas. Vaizdai, garsas ir vaizdo įrašai kol kas nepalaikomi — iš anksto paverskite juos tekstu.
• Kalba — pagrindinė mokymo kalba yra anglų, ja tikslumas šiuo metu didžiausias. Kitas kalbas, įskaitant kinų, japonų ir korėjiečių, modelis priima, tačiau tikslumas mažesnis — patikrinkite pagal savo duomenis.
• Ailoot API kainos ir atsiskaitymas — sąlygos priklauso nuo pasirinkto metodo ir yra nurodytos jo kortelėje.
• Pritaikymas — Jev papildomai nemokomas pagal užsakovo duomenis: savo medžiagą pateikite state, dalykinės srities taisykles — instructions ir criteria.
• Duomenys — TypeSafe praneša, kad Jev nemokomas naudojant klientų užklausas ir atsakymus.

Žinomos silpnosios Jev 1.13 vietos

TypeSafe atvirai išvardija dabartinės versijos silpnąsias vietas ir žada daug ką pataisyti kitose versijose. Modelis greitas, kalibruotas ir gerai vertina vadovaudamasis sveiku protu, tačiau:

1. Skaito pažodžiui. Atsako į parašytą, o ne numanomą klausimą: išlygas, neiginius ir neišreikštas sąlygas supranta pažodžiui. Tikslų kriterijų ir ribinius atvejus rašykite criteria; neišvengiamą interpretavimą išskaidykite į du pažodinius klausimus.
2. Ne skaičiuotuvas. Simbolių, pasikartojimų ir sąrašo elementų skaičiavimas nepatikimas, klaida didėja didėjant apimčiai — skaičiuokite kode, pateikite po klausimą kiekvienam kandidatui. Spalvas hex arba RGB formatu modelis supranta prasčiau nei pavadinimus. score tinka slenksčiui, bet ne tiksliam skaičiui tarp lygių.
3. Datos ir laikas. Kuri data ankstesnė, kiek laiko tarp jų, ar data patenka į laikotarpį — nepatikima, ypač maišant formatus ir santykines datas. Datos dalis išgaukite per choice (su variantu „nenurodyta“), lyginkite kode.
4. Netiesioginiai klausimai. Dvigubi neiginiai ir klausimai apie savybės savybę mažina tikslumą. Rašykite tiesiai, būsenos dalis vadinkite jų pavadinimais.
5. Perteklinė būsena. Pašalinis tekstas mažina tikslumą. Filtruokite kode, o jei negalima — atsijokite nereikšmingą turinį noul klausimais.
6. Priešiškas tekstas. Pagal numatymą modelis nesitiki spąstų būsenoje: įterpta instrukcija arba tekstas, ginčijantis savo klasifikaciją, gali pakeisti atsakymą. Rašykite tikslius kriterijus ir prieš paleisdami tikrinkite ribinius atvejus.
7. Prieštaravimai. Jei instructions ir criteria prašo skirtingų dalykų — pavyzdžiui, noul „taip“ aprašyta kaip „ne“, — tikslumas mažėja. Kriterijai — klausimo tęsinys.
8. Variantų tvarka. Kartais modelis linksta prie pirmojo choice varianto. Sukeiskite variantus ir patikrinkite, ar atsakymas nesikeičia.
9. Generavimas. Jev nemokytas rašyti tekstą. Duomenims išgauti raskite kandidatus reguliariąja išraiška arba generatyviu modeliu, o Jev tegul pasirenka teisingą per choice.