jev-latest

Jev ist das Flaggschiffmodell von TypeSafe und das erste Modell der neuen Klasse System One. Es schreibt keinen Text, sondern trifft schnell Entscheidungen, die ein Programm unmittelbar verwenden kann: Sie übermitteln einen Zustand (state) — Text oder JSON — und eine Reihe von Fragen und erhalten typisierte Werte mit kalibrierten Wahrscheinlichkeiten.

Sprachmodelle schreiben Wörter für Menschen. Jev ähnelt laut TypeSafe eher Code: Die Antwort hat sofort die vom Code benötigte Form, wird schnell geliefert und enthält keinen Wert außerhalb der vorgegebenen Optionen. Das Modell soll bei wiederholten Anfragen stabile Antworten liefern.

Wie sich System One von einem Sprachmodell unterscheidet

• Keine Generierung. Jev schreibt weder Antworten für Nutzer noch Code und erklärt keine Gedankengänge. Die möglichen Antworten legen Sie über einen von drei Fragetypen fest.
• Auf kalibrierte Entscheidungen trainiert. TypeSafe trainiert das Modell mit RLCD (Reinforcement Learning for Calibrated Decisions): Die Wahrscheinlichkeiten werden an tatsächliche Ergebnisse angepasst und bilden Unsicherheit ab. Unter vielen Antworten mit einer Wahrscheinlichkeit von 0,8 sollten ungefähr 80% richtig sein. Kalibrierung ist eine Eigenschaft einer großen Stichprobe und keine Garantie für die Richtigkeit einer einzelnen Antwort.
• Anderes Trainingsziel. Chatmodelle werden darauf trainiert, Menschen zu gefallen (RLHF). Nach Beobachtung von TypeSafe begünstigt dies Gefälligkeit und selbstsicher klingende Fehler. Einer der Mitautoren von RLHF, Diogo Almeida, ist Mitgründer von TypeSafe.

Der Name verweist auf „System 1“ aus Daniel Kahnemans Buch „Schnelles Denken, langsames Denken“: ein schnelles intuitives Urteil im Gegensatz zum langsamen überlegten Denken von „System 2“. Jev wurde für schnelle, eng begrenzte Urteile entwickelt.

Drei Fragetypen

Eine Frage ist ein einzelnes Urteil über den Zustand. Die Antwort ist ein Wert, den der Code mit einem Schwellenwert vergleicht, sortiert oder weitergibt.

1. Choice — Auswahl einer Option. Zuständige Abteilung für eine Anfrage, Produktkategorie oder Sprache eines Codeausschnitts. Die Optionen sind ein Wörterbuch „Option → Beschreibung“, mit bis zu 255 Einträgen. Die Antwort enthält den gewählten choice, die probabilities für alle Optionen (in Summe 1) und die Sicherheit confidence. Wenn die Liste möglicherweise nicht alle Fälle abdeckt, ergänzen Sie „Sonstiges“ oder „Keine der genannten Optionen“.
2. Score — Bewertung auf einer Skala. Eine Position auf einer geordneten Skala, die Sie beschreiben: Schwere eines Fehlers, Verärgerung eines Kunden oder Kompetenzniveau. Zwischen 2 und 10 Stufen, von der niedrigsten zur höchsten; das Modell bewertet jede Stufe einzeln, ohne ihre Nummer oder Nachbarstufen zu sehen. Die Antwort enthält score (die Summe der mit ihren Wahrscheinlichkeiten multiplizierten Stufennummern, weshalb der Wert zwischen Stufen liegen kann), eine legend mit den Stufenbeschreibungen sowie probabilities und confidence.
3. Noul — Ja oder Nein. Ob eine Aussage zutrifft. Die Antwort noul ist die Wahrscheinlichkeit für „Ja“ zwischen 0 und 1: nahe 1 bedeutet ein sicheres „Ja“, nahe 0 ein sicheres „Nein“, nahe 0,5 ist das Modell unsicher. Ein separates confidence gibt es nicht: Eine Zahl beschreibt die Antwort vollständig. Das optionale criteria präzisiert, was als „Ja“ und was als „Nein“ gelten soll.

So wählen Sie: bekannte ungeordnete Optionen — choice; Stufen eines Spektrums — score; ein reines „Ja/Nein“, bei dem die Wahrscheinlichkeit selbst wichtig ist — noul. Noul 0,5 bedeutet gleiche Chancen für „Ja“ und „Nein“, kein „mittleres Niveau“: Den Grad misst score. Sind zwei Typen geeignet, wählen Sie denjenigen, mit dem der Code unmittelbar handeln kann: choice für Verzweigungen, score für einen Schwellenwert, noul für if.

Die Typen können in einer Anfrage gemischt werden. Die Antwort bleibt immer auf Ihre Optionen beschränkt und ist unabhängig von anderen Fragen: Fragen können hinzugefügt oder entfernt werden, ohne die übrigen Antworten zu verändern.

Zustand

Der Zustand ist das Material, das das Modell bewertet: eine Kundennachricht, ein Dokumentausschnitt, ein Datenbankeintrag oder der Zustand Ihrer Anwendung.

• Zeichenkette — wenn es einen einzelnen Text gibt: Nachricht, Artikel oder Ausschnitt.
• Objekt — benannte Felder, zusammengehörige Einträge oder Anwendungszustand. TypeSafe empfiehlt für die meisten Anfragen ein Objekt: Jeder Teil hat einen verständlichen Namen.
• Array — eine Folge von Nachrichten oder Einträgen.

Bereiten Sie den Zustand wie Unterlagen für Fachleute vor: Legen Sie Korrespondenz, Bestellung und Rückgaberegeln zusammen, wenn die Entscheidung ihren Vergleich erfordert. Inhalte gehören in den Zustand, Urteile in die Fragen. Betrifft eine Frage nur einen Teil des Zustands, nennen Sie darin dessen Pfad in Backticks, beispielsweise ticket.messages[0].text.

Fragen formulieren

• Ein schnelles Urteil pro Frage. Eine gute Frage kann ein sachkundiger Mensch mit dem nötigen Kontext in einer Sekunde beantworten: „Ist die Nachricht dringend?“. „Analysiere die Nachricht und entscheide, was zu tun ist“ verlangt bereits langsames Reasoning und muss in einfache Fragen zerlegt werden.
• Die gesamte Frage in instructions. Der Frageschlüssel, beispielsweise refund_requested, wird nur von Ihrem Code benötigt und nicht an das Modell übermittelt.
• Alle Fragen zum selben Zustand in einer Anfrage. Das Modell bewertet sie parallel: Laut TypeSafe verlängern zusätzliche Fragen die Antwortzeit kaum und kosten nur ihre eigenen Tokens. Eine Frage „für alle Fälle“ kostet fast nichts; der Code entscheidet selbst, welche Antworten gebraucht werden.
• Komplexe Urteile aufteilen. Statt „Bewerte die Bewerbung des Start-ups“ fragen Sie getrennt nach Marktgröße, technischer Machbarkeit und Unterschieden zu Mitbewerbern und berechnen das Ergebnis mit Gewichten im Code. Ändern sich die Prioritäten, ändern Sie die Gewichte, ohne die Frage neu zu formulieren.
• Abhängige Fragen in einer zweiten Anfrage. Die Antworten einer Anfrage dienen einander nicht als Kontext. Eine zweite Anfrage ist nur nötig, wenn sie ohne die erste Antwort nicht zusammengestellt werden kann: wenn Daten nachgeladen oder Optionen für die nächste Frage gewählt werden müssen.
• Lange Fragen als Objekt. instructions und criteria sind meist Zeichenketten, können aber auch Objekte oder Arrays sein: die Frage in einem Feld, Daten in anderen. So lässt sich beispielsweise ein Lebenslauf mit Datenbankeinträgen in einer einzigen Frage abgleichen.

Sicherheit

Bei choice und score zeigt confidence zwischen 0 und 1, wie stark sich die Wahrscheinlichkeit auf eine Antwort konzentriert: 1 bedeutet vollständig auf einer Option, 0 gleichmäßig auf allen. Bei score senkt eine benachbarte Stufe die Sicherheit weniger als eine weit entfernte. Bei noul ist die Sicherheit der Wert selbst: Je weiter er von 0,5 entfernt ist, desto eindeutiger die Antwort.

TypeSafe empfiehlt drei Bereiche:

1. Hohe Sicherheit — automatisch handeln.
2. Mittlere Sicherheit — vorsichtig handeln, beispielsweise eine Bestätigung vom Nutzer einholen.
3. Geringe Sicherheit — den Fall einem Menschen übergeben, die Anfrage präzisieren oder einen Ersatzweg verwenden, beispielsweise ein leistungsfähigeres Modell mit Reasoning.

Je teurer ein Fehler wäre, desto strenger der Schwellenwert: für irreversible Aktionen höher als für Lesevorgänge. Die Antwort sagt, was gewählt werden soll; die Sicherheit, ob gehandelt werden sollte. Stimmen Sie die Schwellenwerte anhand Ihrer eigenen Daten ab, indem Sie Sicherheit und Genauigkeit vergleichen.

Eine Systemarchitektur rund um Jev aufbauen

Jev ist nicht für Agenten ausgelegt, die selbst den nächsten Schritt wählen und in jeder Runde vom Weg abkommen können. Es ist für Programme gedacht, in denen der Code den Ablauf steuert und das Modell eng begrenzte Bedeutungsfragen beantwortet. Acht Entwurfsschritte nach TypeSafe:

1. Alles, was mit Code erledigt werden kann, mit Code erledigen — zuverlässig und günstig.
2. In den Zustand nur das aufnehmen, was die aktuellen Fragen benötigen; aktuelle Fakten aus der eigenen Wissensbasis beziehen, nicht aus dem Modellgedächtnis.
3. Struktur im Zustand: verschachteltes JSON; in der Frage den Pfad zum benötigten Feld in Backticks angeben, wenn dies Mehrdeutigkeit verringert.
4. Möglichst eng begrenzte und konkrete Fragen — laut TypeSafe möglicherweise die wichtigste Regel: Eine breite Frage verbirgt mehrere Urteile hinter einer Antwort.
5. Struktur in den Fragen: die eigentliche Frage kurz halten; Erläuterungen, Beispiele und Werte aus Ihrer Datenbank in benachbarten Feldern des Objekts instructions oder criteria unterbringen, statt in einer langen Zeichenkette.
6. Viele unabhängige Fragen zum selben Zustand in einer Anfrage — mehr Nutzen pro Dollar.
7. Der Code kombiniert die Antworten: mit Regeln, einer gewichteten Summe oder als Merkmale für ein klassisches Machine-Learning-Modell.
8. Verzweigung nach Sicherheit: unsichere Fälle einem Menschen oder einem Modell mit Reasoning übergeben.

Jev ist weder ein Chatmodell noch ein Modell zur Codevervollständigung und kann in einem Programmieragenten nicht anstelle eines Sprachmodells eingesetzt werden. Ein Agent kann jedoch Code für Sie schreiben, der Jev dort aufruft, wo eine schnelle kalibrierte Antwort benötigt wird.

Einsatzbereiche

• Hintergrundautomatisierung — Entscheidungen, die millionenfach ohne einen Menschen daneben ausgeführt werden.
• Echtzeit — laut TypeSafe werden die meisten Anfragen in ungefähr 100 ms ausgeführt: ausreichend für Verarbeitung während des Ablaufs und für Benutzeroberflächen.
• Große Datenmengen — Suche in umfangreichen Korpora, Kennzeichnung von Agentenprotokollen und Merkmale für Prognosen.
• Prüfung anderer Modelle — Anfragen, Datenextraktionen, Reasoning und Werkzeugaufrufe: Umgehung von Einschränkungen, Zitierfehler und erfundene Inhalte.
• Suche und Ranking — Relevanz eines Paares „Anfrage — Kandidat“, erneutes Ranking und Kontextauswahl.
• Verzweigung nach Absicht — was der Nutzer möchte und welcher Bearbeiter benötigt wird: einfache Logik, ein spezialisiertes Modell oder ein Mensch; Thema, Komplexität und Risiko bestimmen, welchem Sprachmodell die Anfrage übergeben wird.
• Schutzprüfungen — Eingabe, Ausgabe und Werkzeugaufrufe eines Sprachmodells: eingeschleuste Anweisungen, Regelverstöße und Weitergabe personenbezogener Daten.
• Kundendienst — Thema und Absicht einer Anfrage, Dringlichkeit, Verärgerung, Abwanderungsrisiko, Rückerstattungswunsch und Warteschlange.
• Moderation — nach den Regeln Ihrer Plattform: Toxizität, Mobbing, Spam, Betrug, gefährliche Ratschläge und personenbezogene Daten; je nach Schwere und Sicherheit freigeben, warnen, prüfen oder blockieren.
• Branchen — Versicherungsfälle, Finanzermittlungen und KYC, Verträge und Werbung, Produktkarten, Personalauswahl, Leads, Spiele, Risiken, Nachfrageprognosen, Wissensgraphen, wissenschaftliche Übersichten und Bedeutungsprüfungen von Code in CI.

Eigenschaften

• jev-latest — Alias für die neueste stabile Version, derzeit Jev 1.13; die antwortende Version steht im Feld model, beispielsweise jev-1.13.0. Bei einer neuen Version wechselt der Alias zu dieser, und die Antworten können sich ohne Änderungen Ihrerseits verändern. Beobachten Sie dieses Feld, wenn Ihre Schwellenwerte auf eine Version abgestimmt sind.
• Kontext — 64K Tokens pro Anfrage: Zustand und alle Fragen zusammen; der Zustand mit der längsten Frage darf bis zu 32K umfassen. Das Modell liest den Zustand einmal und prüft alle Fragen parallel dagegen.
• Eingabe — ausschließlich Text: Zeichenkette, JSON-Objekt oder Array von Texten. Bilder, Audio und Video werden noch nicht unterstützt; wandeln Sie sie zuvor in Text um.
• Sprache — die wichtigste Trainingssprache ist Englisch, in der die Genauigkeit derzeit am höchsten ist. Das Modell nimmt auch andere Sprachen an, darunter Chinesisch, Japanisch und Koreanisch; die Genauigkeit ist aber niedriger. Prüfen Sie dies anhand Ihrer eigenen Daten.
• Preise und Abrechnung in Ailoot API — die Konditionen hängen von der gewählten Methode ab und sind auf deren Karte angegeben.
• Anpassung — Jev wird nicht mit Kundendaten nachtrainiert: eigene Materialien gehören in state, Regeln des Fachbereichs in instructions und criteria.
• Daten — TypeSafe gibt an, dass Jev nicht mit Kundenanfragen und -antworten trainiert wird.

Bekannte Schwachstellen von Jev 1.13

TypeSafe nennt die Schwachstellen der aktuellen Version offen und verspricht, vieles in künftigen Versionen zu beheben. Das Modell ist schnell, kalibriert und urteilt gut mit gesundem Menschenverstand, aber:

1. Wörtliches Lesen. Es beantwortet die formulierte und nicht die beabsichtigte Frage: Vorbehalte, Verneinungen und implizite Bedingungen werden wörtlich verstanden. Schreiben Sie die genaue Bedingung und Grenzfälle in criteria; zerlegen Sie eine unvermeidbare Interpretation in zwei wörtliche Fragen.
2. Kein Taschenrechner. Das Zählen von Zeichen, Wiederholungen und Listenelementen ist unzuverlässig, und der Fehler wächst mit der Größe. Zählen Sie im Code und verwenden Sie eine Frage pro Kandidat. Farben in hex oder RGB versteht das Modell schlechter als Farbnamen. score eignet sich für einen Schwellenwert, aber nicht für eine exakte Zahl zwischen Stufen.
3. Datum und Uhrzeit. Welches Datum früher liegt, wie viel Zeit dazwischenliegt oder ob ein Datum in einen Zeitraum fällt, wird unzuverlässig beantwortet, besonders bei gemischten Formaten und relativen Daten. Extrahieren Sie Datumsteile über choice (mit der Option „Nicht angegeben“) und vergleichen Sie sie im Code.
4. Indirekte Formulierungen. Doppelte Verneinungen und Fragen über die Eigenschaft einer Eigenschaft verringern die Genauigkeit. Formulieren Sie direkt und benennen Sie die Teile des Zustands.
5. Unnötiger Inhalt im Zustand. Sachfremder Text verringert die Genauigkeit. Filtern Sie im Code; falls dies nicht möglich ist, sortieren Sie Irrelevantes mit noul-Fragen aus.
6. Feindseliger Text. Das Modell erwartet im Zustand standardmäßig keine Täuschungsversuche: Eine eingeschleuste Anweisung oder ein Text, der seine eigene Klassifikation infrage stellt, kann die Antwort verschieben. Formulieren Sie genaue Kriterien und prüfen Sie Grenzfälle vor dem Einsatz.
7. Widersprüche. Wenn instructions und criteria Unterschiedliches verlangen — beispielsweise bei noul ein „Ja“ als „Nein“ beschrieben wird — sinkt die Genauigkeit. Die Kriterien sind eine Fortsetzung der Frage.
8. Reihenfolge der Optionen. Manchmal neigt das Modell zur ersten choice-Option. Ändern Sie die Reihenfolge und prüfen Sie, ob die Antwort gleich bleibt.
9. Generierung. Jev wurde nicht zum Schreiben von Text trainiert. Für die Datenextraktion finden Sie Kandidaten mit einem regulären Ausdruck oder einem generativen Modell; Jev wählt dann über choice den richtigen aus.