jev-latest

Jev is het vlaggenschipmodel van TypeSafe en het eerste model van de nieuwe klasse System One. Het schrijft geen tekst, maar neemt snel beslissingen die een programma direct kan gebruiken: u geeft een toestand (state) — tekst of JSON — en een reeks vragen door en krijgt getypeerde waarden met gekalibreerde waarschijnlijkheden terug.

Taalmodellen schrijven woorden voor mensen; volgens TypeSafe staat Jev dichter bij code: het antwoord heeft meteen de vorm die de code nodig heeft, met hoge snelheid en geen enkele waarde buiten de opgegeven opties. Het model is ontworpen om bij herhaalde verzoeken consistente antwoorden te geven.

Hoe System One van een taalmodel verschilt

• Het genereert niet. Jev schrijft geen gebruikersantwoorden, code of uitleg van zijn redenering. U bepaalt de mogelijke antwoorden via één van de drie vraagtypen.
• Het is getraind op gekalibreerde beslissingen. TypeSafe traint het model met RLCD (Reinforcement Learning for Calibrated Decisions): waarschijnlijkheden worden op werkelijke uitkomsten afgestemd en weerspiegelen onzekerheid. Van veel antwoorden met een waarschijnlijkheid van 0,8 zou ongeveer 80% correct moeten zijn. Kalibratie is een eigenschap van een grote steekproef, geen garantie dat één antwoord juist is.
• Het trainingsdoel is anders. Chatmodellen worden getraind om mensen te behagen (RLHF); volgens TypeSafe moedigt dit meegaandheid en overtuigend klinkende fouten aan. Eén van de medeontwikkelaars van RLHF, Diogo Almeida, is medeoprichter van TypeSafe.

De naam verwijst naar ‘Systeem 1’ uit Daniel Kahnemans boek ‘Ons feilbare denken’: snelle intuïtieve beoordeling tegenover het langzame, weloverwogen denken van ‘Systeem 2’. Jev is gemaakt voor snelle, afgebakende oordelen.

Drie vraagtypen

Een vraag is één oordeel over de toestand; het antwoord is een waarde die code met een drempel vergelijkt, sorteert of verder doorgeeft.

1. Choice — een optie kiezen. De afdeling voor een aanvraag, productcategorie of taal van een codefragment. Opties vormen een woordenboek ‘optie → beschrijving’, met maximaal 255 vermeldingen. Het antwoord bevat de gekozen choice, probabilities voor alle opties (samen 1) en de zekerheid confidence. Voeg ‘anders’ of ‘geen van bovenstaande’ toe als de lijst mogelijk niet alle gevallen dekt.
2. Score — beoordelen op een schaal. Een positie op een geordende schaal die u beschrijft: ernst van een fout, klantirritatie of vaardigheidsniveau. Van 2 tot 10 niveaus, van laag naar hoog; elk niveau wordt afzonderlijk beoordeeld zonder dat het model het nummer of aangrenzende niveaus ziet. Het antwoord bevat score (de som van niveaunummers maal hun waarschijnlijkheid, dus de waarde kan tussen niveaus liggen), legend met niveaubeschrijvingen, probabilities en confidence.
3. Noul — ja of nee. Is de uitspraak waar? Het antwoord noul is de waarschijnlijkheid van ‘ja’, van 0 tot 1: rond 1 een zeker ‘ja’, rond 0 een zeker ‘nee’, rond 0,5 aarzelt het model. Er is geen afzonderlijke confidence: één getal beschrijft het antwoord volledig. De optionele criteria verduidelijkt wat als ‘ja’ en ‘nee’ moet gelden.

Hoe te kiezen: bekende opties zonder volgorde — choice; stappen op een spectrum — score; zuiver ‘ja/nee’ waarbij de waarschijnlijkheid zelf telt — noul. Noul 0,5 betekent gelijke kansen op ‘ja’ en ‘nee’, niet een ‘gemiddeld niveau’: de mate wordt met score gemeten. Kies bij twee passende typen het type waarmee code meteen kan handelen: choice voor vertakkingen, score voor een drempel, noul voor if.

De typen kunnen in één verzoek worden gecombineerd. Het antwoord blijft altijd binnen uw opties en is onafhankelijk van andere vragen: vragen kunnen worden toegevoegd of verwijderd zonder de overige antwoorden te veranderen.

Toestand

De toestand is wat het model beoordeelt: een klantbericht, documentfragment, databaserecord of de toestand van uw toepassing.

• String — wanneer er één tekst is: een bericht, artikel of fragment.
• Object — benoemde velden, gekoppelde records of toepassingstoestand. TypeSafe beveelt een object aan voor de meeste verzoeken: elk onderdeel heeft een duidelijke naam.
• Array — een reeks berichten of records.

Bereid die voor als materiaal voor experts: voeg gesprekken, een bestelling en terugbetalingsregels samen als de beslissing vergelijking vereist. Houd inhoud in de toestand en oordelen in de vragen. Als een vraag over één toestandsdeel gaat, vermeld daarin het pad tussen backticks, bijvoorbeeld ticket.messages[0].text.

Vragen formuleren

• Eén snel oordeel per vraag. Een goede vraag is een vraag waarop iemand met de juiste kennis en context binnen een seconde antwoordt: ‘Is het bericht urgent?’. ‘Analyseer het bericht en beslis wat te doen’ vraagt al langzaam redeneren en moet in eenvoudige vragen worden opgesplitst.
• De volledige vraag in instructions. De vraagsleutel, bijvoorbeeld refund_requested, is alleen voor uw code nodig en wordt niet aan het model doorgegeven.
• Alle vragen over één toestand in één verzoek. Het model beoordeelt ze parallel: volgens TypeSafe verhogen extra vragen de antwoordtijd nauwelijks en kosten ze alleen hun eigen tokens. Een vraag ‘voor het geval dat’ kost bijna niets; de code bepaalt zelf welke antwoorden nodig zijn.
• Een complex oordeel in delen. Vraag niet ‘beoordeel de startupaanvraag’, maar afzonderlijk naar marktomvang, technische haalbaarheid en onderscheid ten opzichte van concurrenten; bereken het eindresultaat daarna met gewichten in code. Bij andere prioriteiten verandert u de gewichten, niet de vraag.
• Afhankelijke vragen in een tweede verzoek. Antwoorden binnen één verzoek dienen niet als context voor elkaar. Een tweede verzoek is alleen nodig als het zonder het eerste antwoord niet kan worden opgebouwd: er moeten gegevens worden geladen of opties voor de volgende vraag gekozen.
• Een lange vraag als object. instructions en criteria zijn meestal strings, maar kunnen een object of array zijn: de vraag in één veld, gegevens in de andere. Zo kan een cv met databaserecords worden vergeleken binnen één vraag.

Zekerheid

Bij choice en score geeft confidence van 0 tot 1 aan hoe sterk de waarschijnlijkheid op één antwoord is geconcentreerd: 1 betekent volledig op één optie, 0 gelijk verdeeld over alle opties. Bij score verlaagt een aangrenzend niveau de zekerheid minder dan een ver niveau. Bij noul is de waarde zelf de zekerheid: hoe verder van 0,5, hoe stelliger het antwoord.

TypeSafe beveelt drie bereiken aan:

1. Hoge zekerheid — automatisch handelen.
2. Gemiddelde zekerheid — voorzichtig handelen, bijvoorbeeld de gebruiker om bevestiging vragen.
3. Lage zekerheid — het geval aan een mens geven, het verzoek verduidelijken of een alternatief pad gebruiken, bijvoorbeeld een krachtiger model met redeneren.

Hoe duurder een fout, hoe strenger de drempel: hoger voor onomkeerbare acties dan voor lezen. Het antwoord vertelt wat te kiezen en de zekerheid of handelen verstandig is. Stem drempels op uw eigen gegevens af door zekerheid met nauwkeurigheid te vergelijken.

Een systeem rond Jev bouwen

Jev is bedoeld voor programma's waarin code het proces bestuurt en het model gerichte vragen over betekenis beantwoordt, niet voor agents die zelf de volgende stap kiezen en bij elke ronde kunnen ontsporen. Acht ontwerpstappen volgens TypeSafe:

1. Doe alles wat met code kan in code: betrouwbaar en goedkoop.
2. Plaats alleen in de toestand wat de huidige vragen nodig hebben; haal recente feiten uit uw eigen kennisbank, niet uit modelgeheugen.
3. Structureer de toestand met geneste JSON en geef in de vraag het pad naar het relevante veld tussen backticks als dat ambiguïteit vermindert.
4. Stel zo specifiek en concreet mogelijke vragen: volgens TypeSafe misschien wel de hoofdregel; een brede vraag verbergt meerdere oordelen achter één antwoord.
5. Structureer vragen: houd de vraag zelf kort en plaats toelichting, voorbeelden en waarden uit uw database in naburige velden van het object instructions of criteria, niet in één lange string.
6. Veel onafhankelijke vragen over één toestand in één verzoek leveren meer waarde per dollar.
7. Code combineert de antwoorden: met regels, een gewogen som of als kenmerken voor een klassiek machinelearningmodel.
8. Vertak op zekerheid: onzekere gevallen gaan naar een mens of een model met redeneren.

Jev is geen chat en geen model voor codeaanvulling; het kan een taalmodel in een programmeeragent niet vervangen. Een agent kan wel code voor u schrijven die Jev aanroept waar een snel, gekalibreerd antwoord nodig is.

Toepassingen

• Achtergrondautomatisering — beslissingen die een miljoen keer zonder mens erbij worden uitgevoerd.
• Realtime — volgens TypeSafe duren de meeste verzoeken ongeveer 100 ms: genoeg voor verwerking tijdens gebruik en interfaces.
• Grote datasets — zoeken in enorme corpora, agentwerklogs annoteren en kenmerken voor voorspellingen.
• Andere modellen controleren — verzoeken, extracties, redeneringen en toolaanroepen: het omzeilen van beperkingen, citatiefouten en verzinsels.
• Zoeken en rangschikken — relevantie van het paar ‘verzoek — kandidaat’, herrangschikken en contextselectie.
• Routeren op intentie — wat de gebruiker wil en welke afhandeling nodig is: eenvoudige logica, een gespecialiseerd model of een mens; onderwerp, complexiteit en risico bepalen welk taalmodel het verzoek krijgt.
• Beschermingscontroles — invoer, uitvoer en toolaanroepen van het taalmodel: geïnjecteerde instructies, regelovertredingen en lekken van persoonsgegevens.
• Support — onderwerp en intentie van de aanvraag, urgentie, irritatie, vertrekrisico, terugbetalingsvraag en wachtrij.
• Moderatie — volgens uw platformregels: toxiciteit, pesten, spam, fraude, gevaarlijk advies en persoonsgegevens; afhankelijk van ernst en zekerheid toestaan, waarschuwen, controleren of blokkeren.
• Sectoren — verzekeringsclaims, financieel onderzoek en KYC, contracten en reclame, productkaarten, personeelsselectie, leads, games, risico's, vraagvoorspelling, kennisgrafen, wetenschappelijke overzichten en semantische codecontroles in CI.

Kenmerken

• jev-latest — alias van de laatste stabiele versie, momenteel Jev 1.13; de versie die antwoordde staat in het veld model, bijvoorbeeld jev-1.13.0. Bij een nieuwe versie gaat de alias daarnaar over en kunnen antwoorden zonder wijzigingen van uw kant veranderen; let op dit veld als de drempels op een versie zijn afgestemd.
• Context — 64K tokens per verzoek: toestand en alle vragen samen; toestand plus de langste vraag maximaal 32K. Het model leest de toestand één keer en beoordeelt alle vragen daartegen parallel.
• Invoer — alleen tekst: een string, JSON-object of tekstarray. Afbeeldingen, audio en video worden nog niet ondersteund; zet die vooraf in tekst om.
• Taal — de belangrijkste trainingstaal is Engels; de nauwkeurigheid is daar momenteel het hoogst. Het model accepteert andere talen, waaronder Chinees, Japans en Koreaans, maar de nauwkeurigheid is lager; controleer op uw eigen gegevens.
• Prijzen en facturatie in Ailoot API — de voorwaarden hangen af van de gekozen methode en staan op de fiche van die methode.
• Afstemming — Jev wordt niet gefinetuned op klantgegevens: uw materiaal gaat in state, de domeinregels in instructions en criteria.
• Gegevens — TypeSafe meldt dat Jev niet wordt getraind op verzoeken en antwoorden van klanten.

Bekende zwakke punten van Jev 1.13

TypeSafe noemt openlijk de zwakke punten van de huidige versie en belooft veel daarvan in volgende versies te verhelpen. Het model is snel, gekalibreerd en oordeelt goed met gezond verstand, maar:

1. Het leest letterlijk. Het beantwoordt de geschreven vraag, niet de bedoelde vraag: voorbehouden, ontkenningen en impliciete voorwaarden worden letterlijk begrepen. Schrijf de exacte voorwaarde en grensgevallen in criteria; splits onvermijdelijke interpretatie op in twee letterlijke vragen.
2. Het is geen rekenmachine. Tekens, herhalingen en lijstonderdelen tellen is onbetrouwbaar en de fout neemt met de omvang toe; tel in code en stel één vraag per kandidaat. Hex- of RGB-kleuren worden minder goed begrepen dan kleurnamen. score is geschikt voor een drempel, niet voor een exact getal tussen niveaus.
3. Datums en tijd. Bepalen welke datum eerder is, hoeveel tijd ertussen zit en of een datum binnen een periode valt, is onbetrouwbaar, vooral bij gemengde formaten en relatieve datums. Extraheer datumdelen via choice met een optie ‘niet opgegeven’ en vergelijk in code.
4. Indirectheid. Dubbele ontkenningen en vragen over een eigenschap van een eigenschap verlagen de nauwkeurigheid. Schrijf direct en benoem de toestandsdelen.
5. Overbodige toestandinhoud. Niet-relevante tekst verlaagt de nauwkeurigheid. Filter in code; als dat niet kan, verwijder irrelevant materiaal via noul-vragen.
6. Vijandige tekst. Het model verwacht standaard geen trucs in de toestand: een geïnjecteerde instructie of tekst die zijn eigen classificatie betwist, kan het antwoord verschuiven. Schrijf exacte criteria en controleer grensgevallen vóór de start.
7. Tegenstrijdigheden. Als instructions en criteria iets anders vragen — bijvoorbeeld als bij noul ‘ja’ als ‘nee’ wordt beschreven — daalt de nauwkeurigheid. Criteria zijn het vervolg van de vraag.
8. Optievolgorde. Het model neigt soms naar de eerste choice-optie. Wijzig de optievolgorde en controleer of het antwoord gelijk blijft.
9. Generatie. Jev is niet getraind om tekst te schrijven. Zoek voor gegevensextractie kandidaten met een reguliere expressie of generatief model en laat Jev vervolgens de juiste kiezen via choice.