jev-latest

Jev je vlajkový model TypeSafe a první model nové třídy System One. Nepíše text, ale rychle přijímá rozhodnutí, která program může rovnou využít: předáte stav (state), tedy text nebo JSON, a sadu otázek a v odpovědi získáte typované hodnoty s kalibrovanými pravděpodobnostmi.

Jazykové modely píší slova pro lidi, zatímco Jev je podle TypeSafe bližší kódu: odpověď má rovnou podobu potřebnou pro kód, vysokou rychlost a ani jednu hodnotu mimo zadané možnosti. Model je navržen tak, aby při opakovaných požadavcích poskytoval stabilní odpovědi.

Čím se System One liší od jazykového modelu

• Negeneruje. Jev nepíše odpovědi uživateli, nepíše kód a nevysvětluje průběh uvažování. Možné odpovědi zadáváte vy prostřednictvím jednoho ze tří typů otázek.
• Je trénován pro kalibrovaná rozhodnutí. TypeSafe model trénuje metodou RLCD (Reinforcement Learning for Calibrated Decisions): pravděpodobnosti se přizpůsobují skutečným výsledkům a vyjadřují nejistotu. Z mnoha odpovědí s pravděpodobností 0,8 by mělo být správných přibližně 80%. Kalibrace je vlastností velkého vzorku, nikoli zárukou správnosti jednotlivé odpovědi.
• Jiný cíl trénování. Chatové modely se učí zalíbit lidem (RLHF) a podle pozorování TypeSafe to podporuje přehnané přitakávání a přesvědčivě znějící chyby. Jeden ze spoluautorů RLHF, Diogo Almeida, je spoluzakladatelem TypeSafe.

Název odkazuje na „Systém 1“ z knihy Daniela Kahnemana „Myšlení, rychlé a pomalé“: rychlý intuitivní úsudek oproti pomalému promyšlenému myšlení „Systému 2“. Jev je vytvořen pro rychlé, úzce vymezené úsudky.

Tři typy otázek

Otázka představuje jeden úsudek o stavu a odpověď hodnotu, kterou kód porovnává s prahem, řadí nebo předává dál.

1. Choice — výběr možnosti. Oddělení pro požadavek, kategorie produktu nebo jazyk úryvku kódu. Možnosti tvoří slovník „možnost → popis“, až 255 položek. Odpověď obsahuje vybraný choice, pravděpodobnosti probabilities všech možností (jejich součet je 1) a jistotu confidence. Pokud seznam nemusí pokrývat všechny případy, přidejte „jiné“ nebo „nic z uvedeného“.
2. Score — hodnocení na škále. Místo na uspořádané škále, kterou popisujete vy: závažnost chyby, podráždění zákazníka nebo úroveň dovednosti. Od 2 do 10 úrovní, od nejnižší po nejvyšší; každou úroveň model hodnotí samostatně, bez znalosti jejího čísla a sousedních úrovní. Odpověď obsahuje score (součet čísel úrovní násobených jejich pravděpodobnostmi, takže hodnota může ležet mezi úrovněmi), legend s popisy úrovní, probabilities a confidence.
3. Noul — ano nebo ne. Zda je tvrzení pravdivé. Odpověď noul je pravděpodobnost „ano“ od 0 do 1: blízko 1 znamená jisté „ano“, blízko 0 jisté „ne“ a blízko 0,5 model váhá. Samostatné confidence neexistuje: jediné číslo popisuje odpověď úplně. Nepovinné criteria upřesňuje, co považovat za „ano“ a co za „ne“.

Jak volit: známé možnosti bez pořadí znamenají choice; stupně spektra score; čisté „ano/ne“, u něhož je důležitá samotná pravděpodobnost, noul. Noul 0,5 znamená stejné šance „ano“ a „ne“, nikoli „střední úroveň“: stupeň měří score. Ze dvou vhodných typů vyberte ten, podle něhož kód rovnou jedná: choice pro větvení, score pro práh a noul pro if.

Typy lze kombinovat v jednom požadavku. Odpověď je vždy omezena vašimi možnostmi a nezávisí na ostatních otázkách: otázky lze přidávat a odebírat bez změny ostatních odpovědí.

Stav

Stav je to, co model hodnotí: zpráva zákazníka, úryvek dokumentu, záznam z databáze nebo stav vaší aplikace.

• Řetězec — pokud jde o jediný text: zprávu, článek nebo úryvek.
• Objekt — pojmenované položky, propojené záznamy nebo stav aplikace. TypeSafe doporučuje objekt pro většinu požadavků: každá část má srozumitelný název.
• Pole — posloupnost zpráv nebo záznamů.

Připravujte jej jako materiály pro odborníky: korespondenci, objednávku a pravidla vrácení dejte společně, pokud je rozhodnutí potřebuje porovnat. Obsah udržujte ve stavu a úsudky v otázkách. Pokud se otázka týká jedné části stavu, uveďte v ní cestu k této části v obrácených apostrofech, například ticket.messages[0].text.

Jak klást otázky

• Jeden rychlý úsudek na otázku. Dobrá otázka je taková, na niž znalý člověk s potřebným kontextem odpoví během sekundy: „Je ve zprávě naléhavost?“ Pokyn „Analyzuj zprávu a rozhodni, co dělat“ již znamená pomalé uvažování a je třeba jej rozdělit na jednoduché otázky.
• Celá otázka patří do instructions. Klíč otázky, například refund_requested, potřebuje pouze váš kód a modelu se nepředává.
• Všechny otázky ke stejnému stavu v jednom požadavku. Model je hodnotí paralelně: podle TypeSafe další otázky téměř neprodlužují dobu odpovědi a stojí pouze své tokeny. Otázka „pro jistotu“ vyjde téměř zdarma a kód sám rozhodne, které odpovědi jsou potřeba.
• Složitý úsudek rozdělte. Místo „zhodnoť přihlášku startupu“ se samostatně zeptejte na velikost trhu, technickou proveditelnost a rozdíly oproti konkurenci a výsledek spočítejte v kódu s vahami. Při změně priorit měníte váhy, nikoli přepisujete otázku.
• Závislé otázky patří do druhého požadavku. Odpovědi jednoho požadavku neposkytují vzájemně kontext. Druhý požadavek je potřeba pouze tehdy, pokud jej bez první odpovědi nelze sestavit: je nutné načíst data nebo vybrat možnosti následující otázky.
• Dlouhá otázka jako objekt. instructions a criteria jsou obvykle řetězce, mohou však být objektem nebo polem: otázka v jedné položce a data v dalších. Lze tak pohodlně porovnat životopis s databázovými záznamy jedinou otázkou.

Jistota

U choice a score ukazuje confidence od 0 do 1, nakolik je pravděpodobnost soustředěna na jediné odpovědi: 1 znamená vše na jediné možnosti a 0 stejnoměrně na všech. U score sousední úroveň snižuje jistotu méně než vzdálená. U noul představuje jistotu samotná hodnota: čím dál od 0,5, tím jednoznačnější odpověď.

TypeSafe doporučuje tři rozsahy:

1. Vysoká jistota — jednejte automaticky.
2. Střední — jednejte opatrně, například požádejte uživatele o potvrzení.
3. Nízká — předejte případ člověku, upřesněte požadavek nebo zapojte záložní postup, například výkonnější model s uvažováním.

Čím dražší je chyba, tím přísnější práh: pro nevratné akce vyšší než pro čtení. Odpověď říká, co vybrat, a jistota, zda jednat. Prahy volte na vlastních datech porovnáváním jistoty a přesnosti.

Jak sestavit systém kolem Jev

Jev je navržen pro programy, v nichž proces řídí kód a model odpovídá na úzké významové otázky, nikoli pro agenty, kteří sami volí další krok a v každém kole se mohou odchýlit. Osm kroků návrhu podle TypeSafe:

1. Vše, co lze provést kódem, dělejte kódem — spolehlivě a levně.
2. Do stavu patří pouze to, co potřebují aktuální otázky; čerstvá fakta z vlastní znalostní báze, nikoli z paměti modelu.
3. Struktura ve stavu: vnořený JSON a v otázce cesta k potřebné položce v obrácených apostrofech, pokud tak ubude nejednoznačnosti.
4. Co nejužší a nejkonkrétnější otázky — podle TypeSafe možná hlavní pravidlo: široká otázka skrývá několik úsudků za jedinou odpovědí.
5. Struktura v otázkách: samotná otázka stručná; vysvětlení, příklady a hodnoty z vaší databáze v sousedních položkách objektu instructions nebo criteria, nikoli v jediném dlouhém řetězci.
6. Mnoho nezávislých otázek ke stejnému stavu v jednom požadavku — více užitku z každého dolaru.
7. Odpovědi propojuje kód: pravidly, váženým součtem nebo jako příznaky pro klasický model strojového učení.
8. Větvení podle jistoty: nejisté případy člověku nebo modelu s uvažováním.

Jev není chat ani model pro doplňování kódu a nelze jej v programátorském agentovi dosadit místo jazykového modelu. Agent však může pro vás napsat kód, který volá Jev tam, kde je potřeba rychlá kalibrovaná odpověď.

Oblasti použití

• Automatizace na pozadí — rozhodnutí spouštěná milionkrát bez člověka po boku.
• Reálný čas — podle TypeSafe se většina požadavků provede přibližně za 100 ms: postačuje to pro průběžné zpracování a rozhraní.
• Velká data — vyhledávání v obrovských korpusech, označování protokolů práce agentů a příznaky pro prognózy.
• Kontrola jiných modelů — požadavky, získávání dat, uvažování a volání nástrojů: obcházení omezení, chyby citací a smyšlené informace.
• Vyhledávání a řazení — relevance dvojice „dotaz — kandidát“, přerankování a výběr kontextu.
• Větvení podle záměru — co uživatel chce a jaký obslužný postup potřebuje: jednoduchou logiku, specializovaný model nebo člověka; téma, složitost a riziko rozhodují, kterému jazykovému modelu požadavek předat.
• Ochranné kontroly — vstup, výstup a volání nástrojů jazykového modelu: vložené instrukce, porušení pravidel a únik osobních údajů.
• Podpora — téma a záměr požadavku, naléhavost, podráždění, riziko odchodu, žádost o vrácení peněz a fronta.
• Moderování — podle pravidel vaší platformy: toxicita, šikana, spam, podvody, nebezpečné rady a osobní údaje; podle závažnosti a jistoty propustit, upozornit, zkontrolovat nebo zablokovat.
• Obory — pojistné události, finanční vyšetřování a KYC, smlouvy a reklama, produktové karty, nábor pracovníků, obchodní kontakty, hry, rizika, prognóza poptávky, znalostní grafy, vědecké přehledy a významové kontroly kódu v CI.

Charakteristiky

• jev-latest — alias nejnovější stabilní verze, nyní Jev 1.13; odpovídající verze je v položce model, například jev-1.13.0. S novou verzí se alias přesouvá na ni a odpovědi se mohou změnit bez vašich úprav — sledujte tuto položku, pokud byly prahy nastaveny pro určitou verzi.
• Kontext — 64K tokenů na požadavek: stav a všechny otázky dohromady; stav s nejdelší otázkou až 32K. Model stav čte jednou a paralelně proti němu ověřuje všechny otázky.
• Vstup — pouze text: řetězec, objekt JSON nebo pole textů. Obrázky, zvuk ani video zatím nejsou podporovány — předem je převeďte na text.
• Jazyk — hlavním jazykem trénování je angličtina a přesnost je v ní nyní nejvyšší. Další jazyky, včetně čínštiny, japonštiny a korejštiny, model přijímá, ale přesnost je nižší — ověřte na vlastních datech.
• Ceny a účtování v Ailoot API — podmínky závisí na zvolené metodě a jsou uvedeny na její kartě.
• Nastavení — Jev se nedotrénovává na datech zákazníka: vlastní materiály do state, pravidla oboru do instructions a criteria.
• Data — TypeSafe uvádí, že Jev není trénován na požadavcích a odpovědích zákazníků.

Známé slabiny Jev 1.13

TypeSafe otevřeně uvádí slabiny aktuální verze a slibuje mnoho z nich napravit v následujících. Model je rychlý, kalibrovaný a dobře posuzuje se zdravým rozumem, ale:

1. Čte doslova. Odpovídá na napsanou otázku, nikoli na zamýšlenou: výhrady, zápory a nevyřčené podmínky chápe doslova. Pište přesnou podmínku a hraniční případy do criteria; nevyhnutelnou interpretaci rozdělte do dvou doslovných otázek.
2. Není kalkulačka. Počítání znaků, opakování a položek seznamu není spolehlivé a chyba roste s velikostí — počítejte v kódu, po jedné otázce na kandidáta. Barvám v hex nebo RGB model rozumí hůře než jejich názvům. score se hodí pro práh, nikoli pro přesné číslo mezi úrovněmi.
3. Data a čas. Které datum je dřívější, kolik je mezi nimi nebo zda datum spadá do období, je nespolehlivé, zejména při kombinování formátů a relativních dat. Části data získávejte pomocí choice (s možností „není uvedeno“) a porovnávejte v kódu.
4. Nepřímost. Dvojité zápory a otázky na vlastnost vlastnosti snižují přesnost. Pište přímo a části stavu uvádějte názvem.
5. Nadbytečný obsah ve stavu. Nesouvisející text snižuje přesnost. Filtrujte v kódu, a pokud to nelze, odstraňte nerelevantní obsah otázkami noul.
6. Nepřátelský text. Model ve stavu standardně neočekává pasti: vložená instrukce nebo text, který polemizuje o vlastní klasifikaci, mohou ovlivnit odpověď. Pište přesná kritéria a ověřujte hraniční případy před spuštěním.
7. Rozpory. Pokud instructions a criteria žádají něco jiného, například je u noul „ano“ popsáno jako „ne“, přesnost klesá. Kritéria jsou pokračováním otázky.
8. Pořadí možností. Model někdy tíhne k první možnosti choice. Změňte pořadí možností a ověřte, že se odpověď nemění.
9. Generování. Jev není trénován k psaní textu. Pro získávání dat najděte kandidáty regulárním výrazem nebo generativním modelem a Jev nechte vybrat správného pomocí choice.