jev-latest

Το Jev είναι το κορυφαίο μοντέλο της TypeSafe και το πρώτο μιας νέας κατηγορίας, της System One. Δεν γράφει κείμενο, αλλά λαμβάνει γρήγορα αποφάσεις που το πρόγραμμα μπορεί να χρησιμοποιήσει αμέσως: παρέχετε κατάσταση (state) — κείμενο ή JSON — και σύνολο ερωτημάτων και λαμβάνετε ως απάντηση τιμές καθορισμένου τύπου με βαθμονομημένες πιθανότητες.

Τα γλωσσικά μοντέλα γράφουν λέξεις για ανθρώπους, ενώ το Jev, σύμφωνα με την TypeSafe, μοιάζει περισσότερο με κώδικα: η απάντηση έρχεται αμέσως στη μορφή που χρειάζεται ο κώδικας, με υψηλή ταχύτητα και χωρίς καμία τιμή εκτός των καθορισμένων επιλογών. Το μοντέλο έχει σχεδιαστεί ώστε να δίνει σταθερές απαντήσεις σε επαναλαμβανόμενα αιτήματα.

Πώς διαφέρει το System One από ένα γλωσσικό μοντέλο

• Δεν παράγει περιεχόμενο. Το Jev δεν γράφει απαντήσεις στον χρήστη, δεν γράφει κώδικα και δεν εξηγεί τη συλλογιστική του. Εσείς ορίζετε τις πιθανές απαντήσεις μέσω ενός από τους τρεις τύπους ερωτημάτων.
• Έχει εκπαιδευτεί για βαθμονομημένες αποφάσεις. Η TypeSafe εκπαιδεύει το μοντέλο με τη μέθοδο RLCD (Reinforcement Learning for Calibrated Decisions): οι πιθανότητες προσαρμόζονται στα πραγματικά αποτελέσματα και αποτυπώνουν την αβεβαιότητα. Από πολλές απαντήσεις με πιθανότητα 0,8, περίπου το 80% θα πρέπει να είναι σωστές. Η βαθμονόμηση αποτελεί ιδιότητα μεγάλου δείγματος, όχι εγγύηση ορθότητας μιας μεμονωμένης απάντησης.
• Διαφορετικός στόχος εκπαίδευσης. Τα μοντέλα συνομιλίας εκπαιδεύονται να αρέσουν στους ανθρώπους (RLHF) και, σύμφωνα με την TypeSafe, αυτό ενθαρρύνει την κολακευτική συμφωνία και τα λάθη που διατυπώνονται με βεβαιότητα. Ένας από τους συνδημιουργούς του RLHF, ο Ντιόγκο Αλμέιντα, είναι συνιδρυτής της TypeSafe.

Η ονομασία παραπέμπει στο «Σύστημα 1» από το βιβλίο του Ντάνιελ Κάνεμαν «Σκέψη, αργή και γρήγορη»: γρήγορη διαισθητική κρίση έναντι αργής, συνειδητής σκέψης του «Συστήματος 2». Το Jev δημιουργήθηκε για γρήγορες, περιορισμένου εύρους κρίσεις.

Τρεις τύποι ερωτημάτων

Το ερώτημα είναι μία κρίση για την κατάσταση και η απάντηση μια τιμή που ο κώδικας συγκρίνει με όριο, ταξινομεί ή μεταβιβάζει παρακάτω.

1. Choice — επιλογή απάντησης. Τμήμα για ένα αίτημα, κατηγορία προϊόντος, γλώσσα αποσπάσματος κώδικα. Οι επιλογές είναι λεξικό «επιλογή → περιγραφή», έως 255 επιλογές. Η απάντηση περιέχει την επιλεγμένη choice, τις πιθανότητες probabilities όλων των επιλογών (με άθροισμα 1) και τη βεβαιότητα confidence. Αν ο κατάλογος ενδέχεται να μην καλύπτει όλες τις περιπτώσεις, προσθέστε «άλλο» ή «κανένα από τα παραπάνω».
2. Score — αξιολόγηση σε κλίμακα. Θέση σε διατεταγμένη κλίμακα που περιγράφετε εσείς: σοβαρότητα σφάλματος, εκνευρισμός πελάτη, επίπεδο δεξιότητας. Από 2 έως 10 επίπεδα, από το χαμηλότερο στο υψηλότερο· το μοντέλο αξιολογεί κάθε επίπεδο χωριστά, χωρίς να βλέπει τον αριθμό του και τα γειτονικά του επίπεδα. Η απάντηση περιέχει score (το άθροισμα των αριθμών επιπέδων επί τις πιθανότητές τους, επομένως η τιμή μπορεί να βρίσκεται μεταξύ επιπέδων), legend με περιγραφές επιπέδων, probabilities και confidence.
3. Noul — ναι ή όχι. Αν μια δήλωση είναι αληθής. Η απάντηση noul είναι η πιθανότητα «ναι» από 0 έως 1: κοντά στο 1 σημαίνει βέβαιο «ναι», κοντά στο 0 βέβαιο «όχι», κοντά στο 0,5 το μοντέλο αμφιταλαντεύεται. Δεν υπάρχει ξεχωριστό confidence: ένας αριθμός περιγράφει πλήρως την απάντηση. Το προαιρετικό criteria διευκρινίζει τι θεωρείται «ναι» και τι «όχι».

Πώς να επιλέξετε: γνωστές επιλογές χωρίς σειρά — choice· βαθμίδες ενός φάσματος — score· καθαρό «ναι/όχι», όπου έχει σημασία η ίδια η πιθανότητα — noul. Το Noul 0,5 σημαίνει ίσες πιθανότητες για «ναι» και «όχι», όχι «μέσο επίπεδο»: τον βαθμό τον μετρά το score. Αν ταιριάζουν δύο τύποι, επιλέξτε εκείνον βάσει του οποίου ο κώδικας ενεργεί αμέσως: choice για διακλαδώσεις, score για όριο, noul για if.

Οι τύποι μπορούν να συνδυάζονται στο ίδιο αίτημα. Η απάντηση περιορίζεται πάντα στις επιλογές σας και δεν εξαρτάται από άλλα ερωτήματα: μπορείτε να προσθέτετε και να αφαιρείτε ερωτήματα χωρίς να αλλάζουν οι υπόλοιπες απαντήσεις.

Κατάσταση

Η κατάσταση είναι αυτό που αξιολογεί το μοντέλο: μήνυμα πελάτη, απόσπασμα εγγράφου, εγγραφή βάσης δεδομένων ή κατάσταση της εφαρμογής σας.

• Συμβολοσειρά — όταν υπάρχει ένα κείμενο: μήνυμα, άρθρο, απόσπασμα.
• Αντικείμενο — ονομασμένα πεδία, συνδεδεμένες εγγραφές, κατάσταση εφαρμογής. Η TypeSafe συνιστά αντικείμενο για τα περισσότερα αιτήματα: κάθε μέρος έχει κατανοητό όνομα.
• Πίνακας — ακολουθία μηνυμάτων ή εγγραφών.

Προετοιμάστε την όπως υλικό για ειδικούς: τοποθετήστε μαζί την αλληλογραφία, την παραγγελία και τους κανόνες επιστροφής, αν η απόφαση απαιτεί σύγκρισή τους. Κρατήστε το περιεχόμενο στην κατάσταση και τις κρίσεις στα ερωτήματα. Αν ένα ερώτημα αφορά μέρος της κατάστασης, αναφέρετε σε αυτό τη διαδρομή του μέσα σε ανάστροφες αποστρόφους, για παράδειγμα ticket.messages[0].text.

Πώς διατυπώνονται τα ερωτήματα

• Μία γρήγορη κρίση ανά ερώτημα. Καλό ερώτημα είναι εκείνο στο οποίο ένας γνώστης με τα κατάλληλα συμφραζόμενα θα απαντούσε σε ένα δευτερόλεπτο: «Υπάρχει επείγον ζήτημα στο μήνυμα;». Το «Ανάλυσε το μήνυμα και αποφάσισε τι πρέπει να γίνει» απαιτεί ήδη αργό συλλογισμό και πρέπει να χωριστεί σε απλά ερωτήματα.
• Ολόκληρο το ερώτημα στο instructions. Το κλειδί του ερωτήματος, για παράδειγμα refund_requested, χρειάζεται μόνο στον κώδικά σας και δεν μεταβιβάζεται στο μοντέλο.
• Όλα τα ερωτήματα για την ίδια κατάσταση σε ένα αίτημα. Το μοντέλο τα αξιολογεί παράλληλα: σύμφωνα με την TypeSafe, τα πρόσθετα ερωτήματα αυξάνουν ελάχιστα τον χρόνο απόκρισης και κοστίζουν μόνο τα δικά τους token. Ένα ερώτημα «για κάθε ενδεχόμενο» κοστίζει σχεδόν τίποτα· ο κώδικας θα αποφασίσει ποιες απαντήσεις χρειάζονται.
• Η σύνθετη κρίση σε μέρη. Αντί για «αξιολόγησε την αίτηση της νεοφυούς επιχείρησης», ρωτήστε χωριστά για το μέγεθος αγοράς, την τεχνική εφικτότητα και τις διαφορές από ανταγωνιστές και υπολογίστε το αποτέλεσμα στον κώδικα με βάρη. Αν αλλάξουν οι προτεραιότητες, αλλάζετε τα βάρη αντί να ξαναγράφετε το ερώτημα.
• Εξαρτώμενα ερωτήματα σε δεύτερο αίτημα. Οι απαντήσεις του ίδιου αιτήματος δεν χρησιμεύουν ως συμφραζόμενα η μία για την άλλη. Δεύτερο αίτημα χρειάζεται μόνο αν δεν μπορεί να κατασκευαστεί χωρίς την πρώτη απάντηση: αν πρέπει να φορτωθούν δεδομένα ή να επιλεγούν οι επιλογές του επόμενου ερωτήματος.
• Μεγάλο ερώτημα ως αντικείμενο. Τα instructions και criteria είναι συνήθως συμβολοσειρές, αλλά μπορούν να είναι αντικείμενο ή πίνακας: το ερώτημα σε ένα πεδίο, τα δεδομένα στα άλλα. Έτσι διευκολύνεται η σύγκριση βιογραφικού με εγγραφές βάσης δεδομένων μέσω ενός ερωτήματος.

Βεβαιότητα

Στα choice και score, το confidence από 0 έως 1 δείχνει πόσο συγκεντρώνεται η πιθανότητα σε μία απάντηση: 1 σημαίνει ότι όλη βρίσκεται σε μία επιλογή, 0 ότι κατανέμεται εξίσου σε όλες. Στο score, ένα γειτονικό επίπεδο μειώνει τη βεβαιότητα λιγότερο από ένα μακρινό. Στο noul, η βεβαιότητα είναι η ίδια η τιμή: όσο απέχει από το 0,5, τόσο πιο βέβαιη είναι η απάντηση.

Η TypeSafe συνιστά τρία εύρη:

1. Υψηλή βεβαιότητα — ενεργήστε αυτόματα.
2. Μέτρια — ενεργήστε προσεκτικά, για παράδειγμα ζητήστε επιβεβαίωση από τον χρήστη.
3. Χαμηλή — αναθέστε την περίπτωση σε άνθρωπο, διευκρινίστε το αίτημα ή χρησιμοποιήστε εφεδρική διαδρομή, για παράδειγμα ισχυρότερο μοντέλο με συλλογισμό.

Όσο πιο δαπανηρό είναι το λάθος, τόσο αυστηρότερο το όριο: για μη αναστρέψιμες ενέργειες υψηλότερο από ό,τι για ανάγνωση. Η απάντηση λέει τι να επιλέξετε και η βεβαιότητα αν αξίζει να ενεργήσετε. Επιλέξτε τα όρια με τα δικά σας δεδομένα, συγκρίνοντας βεβαιότητα και ακρίβεια.

Πώς χτίζεται ένα σύστημα γύρω από το Jev

Το Jev προορίζεται για προγράμματα όπου ο κώδικας ελέγχει τη διαδικασία και το μοντέλο απαντά σε στενά σημασιολογικά ερωτήματα, αντί για πράκτορες που επιλέγουν μόνοι το επόμενο βήμα και μπορούν να παρεκκλίνουν σε κάθε κύκλο. Οκτώ βήματα σχεδιασμού σύμφωνα με την TypeSafe:

1. Ό,τι μπορεί να γίνει με κώδικα, κάντε το με κώδικα — αξιόπιστα και οικονομικά.
2. Στην κατάσταση βάλτε μόνο όσα χρειάζονται τα τρέχοντα ερωτήματα· αντλήστε πρόσφατα στοιχεία από τη δική σας βάση γνώσεων, όχι από τη μνήμη του μοντέλου.
3. Δομή στην κατάσταση: εμφωλευμένο JSON και, στο ερώτημα, διαδρομή προς το επιθυμητό πεδίο μέσα σε ανάστροφες αποστρόφους, αν έτσι μειώνεται η αμφισημία.
4. Όσο το δυνατόν στενότερα και συγκεκριμένα ερωτήματα — σύμφωνα με την TypeSafe, ίσως ο σημαντικότερος κανόνας: ένα ευρύ ερώτημα κρύβει πολλές κρίσεις πίσω από μία απάντηση.
5. Δομή στα ερωτήματα: το ίδιο το ερώτημα σύντομο· εξηγήσεις, παραδείγματα και τιμές από τη βάση σας σε γειτονικά πεδία αντικειμένου instructions ή criteria, όχι σε μία μεγάλη συμβολοσειρά.
6. Πολλά ανεξάρτητα ερωτήματα για την ίδια κατάσταση στο ίδιο αίτημα — περισσότερη χρησιμότητα ανά δολάριο.
7. Οι απαντήσεις συνδυάζονται από τον κώδικα: με κανόνες, σταθμισμένο άθροισμα ή ως χαρακτηριστικά για κλασικό μοντέλο μηχανικής μάθησης.
8. Διακλάδωση βάσει βεβαιότητας: οι αβέβαιες περιπτώσεις σε άνθρωπο ή μοντέλο με συλλογισμό.

Το Jev δεν είναι συνομιλία ούτε μοντέλο αυτόματης συμπλήρωσης κώδικα και δεν μπορεί να αντικαταστήσει ένα γλωσσικό μοντέλο σε πράκτορα προγραμματισμού. Ένας πράκτορας όμως μπορεί να γράψει για εσάς κώδικα που καλεί το Jev εκεί όπου απαιτείται γρήγορη, βαθμονομημένη απάντηση.

Πού χρησιμοποιείται

• Αυτοματοποίηση στο παρασκήνιο — αποφάσεις που εκτελούνται ένα εκατομμύριο φορές χωρίς άνθρωπο δίπλα.
• Πραγματικός χρόνος — σύμφωνα με την TypeSafe, τα περισσότερα αιτήματα εκτελούνται σε περίπου 100 ms: αρκετά για επεξεργασία σε πραγματικό χρόνο και διεπαφές.
• Μεγάλα δεδομένα — αναζήτηση σε τεράστια σώματα δεδομένων, επισήμανση αρχείων καταγραφής εργασίας πρακτόρων, χαρακτηριστικά για προβλέψεις.
• Έλεγχος άλλων μοντέλων — αιτήματα, εξαγωγές, συλλογισμοί, κλήσεις εργαλείων: παράκαμψη περιορισμών, σφάλματα παραπομπών, επινοήσεις.
• Αναζήτηση και κατάταξη — συνάφεια ζεύγους «ερώτημα — υποψήφιο αποτέλεσμα», ανακατάταξη, επιλογή συμφραζομένων.
• Διακλάδωση βάσει πρόθεσης — τι θέλει ο χρήστης και ποιος χειριστής απαιτείται: απλή λογική, εξειδικευμένο μοντέλο ή άνθρωπος· το θέμα, η δυσκολία και ο κίνδυνος καθορίζουν σε ποιο γλωσσικό μοντέλο θα δοθεί το αίτημα.
• Έλεγχοι προστασίας — είσοδος, έξοδος και κλήσεις εργαλείων γλωσσικού μοντέλου: ενσωματωμένες κακόβουλες οδηγίες, παραβιάσεις κανόνων, διαρροή προσωπικών δεδομένων.
• Υποστήριξη — θέμα και πρόθεση αιτήματος, επείγον χαρακτήρας, εκνευρισμός, κίνδυνος αποχώρησης, αίτημα επιστροφής χρημάτων, ουρά.
• Έλεγχος περιεχομένου — βάσει των κανόνων της πλατφόρμας σας: τοξικότητα, παρενόχληση, spam, απάτη, επικίνδυνες συμβουλές, προσωπικά δεδομένα· ανάλογα με τη σοβαρότητα και τη βεβαιότητα, αποδοχή, προειδοποίηση, έλεγχος ή αποκλεισμός.
• Κλάδοι — ασφαλιστικές υποθέσεις, χρηματοοικονομικές έρευνες και KYC, συμβάσεις και διαφήμιση, κάρτες προϊόντων, προσλήψεις, δυνητικοί πελάτες, παιχνίδια, κίνδυνοι, πρόβλεψη ζήτησης, γράφοι γνώσεων, επιστημονικές ανασκοπήσεις, σημασιολογικοί έλεγχοι κώδικα σε CI.

Χαρακτηριστικά

• jev-latest — ψευδώνυμο της τελευταίας σταθερής έκδοσης, επί του παρόντος Jev 1.13· η έκδοση που απάντησε βρίσκεται στο πεδίο model, για παράδειγμα jev-1.13.0. Με νέα έκδοση, το ψευδώνυμο μεταβαίνει σε αυτήν και οι απαντήσεις μπορεί να αλλάξουν χωρίς δικές σας αλλαγές· παρακολουθείτε αυτό το πεδίο αν τα όρια έχουν επιλεγεί για συγκεκριμένη έκδοση.
• Παράθυρο συμφραζομένων — 64K token ανά αίτημα: η κατάσταση και όλα τα ερωτήματα μαζί· η κατάσταση με το μεγαλύτερο ερώτημα έως 32K. Το μοντέλο διαβάζει την κατάσταση μία φορά και ελέγχει έναντι αυτής όλα τα ερωτήματα παράλληλα.
• Είσοδος — μόνο κείμενο: συμβολοσειρά, αντικείμενο JSON ή πίνακας κειμένων. Εικόνες, ήχος και βίντεο δεν υποστηρίζονται ακόμη· μετατρέψτε τα προηγουμένως σε κείμενο.
• Γλώσσα — η κύρια γλώσσα εκπαίδευσης είναι τα αγγλικά, όπου η ακρίβεια είναι επί του παρόντος υψηλότερη. Το μοντέλο δέχεται άλλες γλώσσες, συμπεριλαμβανομένων κινεζικών, ιαπωνικών και κορεατικών, αλλά η ακρίβεια είναι χαμηλότερη· ελέγξτε με τα δικά σας δεδομένα.
• Τιμές και χρέωση στο Ailoot API — οι όροι εξαρτώνται από την επιλεγμένη μέθοδο και αναγράφονται στην κάρτα της.
• Προσαρμογή — το Jev δεν εκπαιδεύεται περαιτέρω με δεδομένα του πελάτη: το δικό σας υλικό στο state, οι κανόνες του πεδίου στα instructions και criteria.
• Δεδομένα — η TypeSafe αναφέρει ότι το Jev δεν εκπαιδεύεται με αιτήματα και απαντήσεις πελατών.

Γνωστές αδυναμίες του Jev 1.13

Η TypeSafe απαριθμεί ανοιχτά τις αδυναμίες της τρέχουσας έκδοσης και υπόσχεται να διορθώσει πολλές στις επόμενες. Το μοντέλο είναι γρήγορο, βαθμονομημένο και κρίνει καλά με κοινή λογική, αλλά:

1. Διαβάζει κυριολεκτικά. Απαντά στο γραμμένο ερώτημα, όχι στο υπονοούμενο: ερμηνεύει κατά λέξη επιφυλάξεις, αρνήσεις και άρρητες συνθήκες. Γράψτε την ακριβή συνθήκη και τις οριακές περιπτώσεις στο criteria· χωρίστε την αναπόφευκτη ερμηνεία σε δύο κυριολεκτικά ερωτήματα.
2. Δεν είναι αριθμομηχανή. Η καταμέτρηση χαρακτήρων, επαναλήψεων και στοιχείων λίστας είναι αναξιόπιστη και το σφάλμα αυξάνεται με το μέγεθος· μετρήστε στον κώδικα, με ένα ερώτημα ανά υποψήφιο. Το μοντέλο κατανοεί χρώματα σε hex ή RGB χειρότερα από ονομασίες. Το score είναι κατάλληλο για όριο, όχι για ακριβή αριθμό μεταξύ επιπέδων.
3. Ημερομηνίες και χρόνος. Ποια ημερομηνία προηγείται, πόσο απέχουν, αν μια ημερομηνία εμπίπτει σε περίοδο — αναξιόπιστα, ιδιαίτερα με ανάμεικτες μορφές και σχετικές ημερομηνίες. Εξαγάγετε τα μέρη ημερομηνίας μέσω choice (με επιλογή «δεν αναφέρεται») και συγκρίνετε στον κώδικα.
4. Έμμεση διατύπωση. Οι διπλές αρνήσεις και τα ερωτήματα για ιδιότητα μιας ιδιότητας μειώνουν την ακρίβεια. Γράψτε άμεσα και κατονομάστε τα μέρη της κατάστασης.
5. Περιττό υλικό στην κατάσταση. Το άσχετο κείμενο μειώνει την ακρίβεια. Φιλτράρετε στον κώδικα και, αν δεν γίνεται, αποκλείστε το μη συναφές με ερωτήματα noul.
6. Εχθρικό κείμενο. Το μοντέλο δεν αναμένει από προεπιλογή παγίδες στην κατάσταση: μια ενσωματωμένη κακόβουλη οδηγία ή κείμενο που αμφισβητεί τη δική του ταξινόμηση μπορεί να μετατοπίσει την απάντηση. Γράψτε ακριβή κριτήρια και ελέγξτε οριακές περιπτώσεις πριν από την έναρξη χρήσης.
7. Αντιφάσεις. Αν τα instructions και criteria ζητούν διαφορετικά πράγματα — για παράδειγμα στο noul το «ναι» περιγράφεται ως «όχι» — η ακρίβεια μειώνεται. Τα κριτήρια αποτελούν συνέχεια του ερωτήματος.
8. Σειρά επιλογών. Μερικές φορές το μοντέλο τείνει προς την πρώτη επιλογή choice. Αλλάξτε τη σειρά επιλογών και ελέγξτε ότι η απάντηση δεν αλλάζει.
9. Παραγωγή περιεχομένου. Το Jev δεν έχει εκπαιδευτεί να γράφει κείμενο. Για εξαγωγή δεδομένων, εντοπίστε υποψηφίους με κανονική έκφραση ή παραγωγικό μοντέλο και αφήστε το Jev να επιλέξει τον σωστό μέσω choice.