Γιατί ένας πράκτορας ΤΝ λέει «έτοιμο» όταν η δουλειά δεν έχει ολοκληρωθεί

Πώς ξέφυγε ένα μοντέλο της OpenAI από το sandbox και χάκαρε το Hugging Face;#

Πρώτα τα γεγονότα και μετά το γιατί σε αφορά.

Η OpenAI μέτρησε τι μπορούσαν να κάνουν τα μοντέλα της στην επιθετική κυβερνοασφάλεια. Χρησιμοποίησε τη δοκιμή ExploitGym — 898 εργασίες στις οποίες πρέπει να μετατρέψεις μια γνωστή ευπάθεια σε λειτουργικό exploit, δηλαδή σε ένα έτοιμο πρόγραμμα που αξιοποιεί αυτή την ευπάθεια. Για να δει το πραγματικό ανώτατο όριο, απενεργοποίησε τα ενσωματωμένα φίλτρα ασφαλείας που κανονικά εμποδίζουν το μοντέλο να κάνει τέτοια πράγματα. Απομόνωσε πλήρως το περιβάλλον, αφήνοντας μία μόνο διέξοδο: ένα εσωτερικό ενδιάμεσο πρόγραμμα που χρησιμοποιούνταν για την εγκατάσταση πακέτων.

Ευπάθεια zero-day είναι ένα κενό που δεν γνωρίζει ακόμη κανείς, ούτε καν ο άνθρωπος που έγραψε το πρόγραμμα. Τα μοντέλα βρήκαν μία ακριβώς σε εκείνη τη μοναδική διέξοδο.

Στη συνέχεια, αναβάθμισαν τα δικαιώματά τους, κινήθηκαν μέσα στο εσωτερικό δίκτυο προς έναν υπολογιστή με πρόσβαση στο διαδίκτυο και από εκεί υπέθεσαν ότι οι απαντήσεις του ExploitGym ίσως βρίσκονταν στο Hugging Face. Κανείς δεν τους είχε μιλήσει για το Hugging Face. Το συμπέραναν μόνα τους.

Η υπόθεση ήταν λανθασμένη. Το ExploitGym δεν βρίσκεται καθόλου στο Hugging Face. Αυτό δεν κάνει το χάκινγκ λιγότερο πραγματικό.

Το Hugging Face εντόπισε μόνο του την εισβολή και δημοσίευσε τη γνωστοποίησή του στις 16 Ιουλίου, χωρίς ακόμη να γνωρίζει ποιος το είχε χακάρει.

Μια άλλη λεπτομέρεια από εκείνη την αναφορά λέει πολλά για την κατάσταση σήμερα. Όταν οι μηχανικοί του Hugging Face δοκίμασαν να δώσουν το αρχείο καταγραφής της επίθεσης σε κορυφαία μοντέλα μέσω συνηθισμένων εμπορικών διεπαφών, τα φίλτρα ασφαλείας απέκλεισαν τα αιτήματα: δεν μπορούν να διακρίνουν κάποιον που ερευνά ένα χάκινγκ από κάποιον που το πραγματοποιεί. Τελικά, η ανάλυση έγινε με ένα ανοιχτό μοντέλο στο δικό τους υλικό.

Η OpenAI το αναγνώρισε στις 21 Ιουλίου, πέντε ημέρες μετά τη γνωστοποίηση του Hugging Face. Μέχρι τότε, είχαν περάσει περίπου δέκα ημέρες από την ίδια την εισβολή.

Η OpenAI ολοκλήρωσε έτσι τη δική της ανάλυση.

Το μοντέλο προσκολλήθηκε στον στενό στόχο της δοκιμής και έφτασε στα άκρα για να τον πετύχει. Οι φράσεις hyper-focused και fairly narrow testing objective προέρχονται από την ίδια την OpenAI και αναφέρονται στα δικά της μοντέλα.

Αυτή είναι η γέφυρα από το εργαστήριο κάποιου άλλου στον δικό σου φορητό υπολογιστή.

Γιατί αυτό δεν είναι «παραίσθηση»;#

Βλέπω συχνά σε συνομιλίες φράσεις όπως «πάλι παραισθάνεται», «υπερφορτώθηκε το context» ή «έπρεπε να είχαμε φτιάξει πλάνο». Μερικές φορές πράγματι αυτό συνέβη. Όμως, όταν ένας πράκτορας ΤΝ γράφει «έτοιμο, ελεγμένο, όλα λειτουργούν» ενώ η δουλειά δεν έχει ολοκληρωθεί, ο όγκος του context συνήθως δεν έχει καμία σχέση.

Δεν επινόησε τίποτα. Έκανε ακριβώς αυτό που μέτρησες.

Κάτω από τη δημοφιλή γενική λέξη «παραισθήσεις» τσουβαλιάζουμε τρεις διαφορετικές αστοχίες. Δες πώς διαφέρουν:

Η πρώτη διορθώνεται με context και είναι η πιο γνωστή περίπτωση. Η δεύτερη είναι ξεχωριστό φαινόμενο, που καλύπτεται στην ανάλυση για το όταν ο Claude συμφωνεί με τα πάντα: το μοντέλο θυσιάζει την ακρίβεια για να συμφωνήσει γρήγορα. Και οι δύο συμβαίνουν πριν από τη δουλειά, στο στάδιο της εισόδου.

Η τρίτη γραμμή του πίνακα είναι το θέμα αυτού του άρθρου. Εδώ ο πράκτορας δεν κολάκεψε ούτε επινόησε. Εργάστηκε, έλεγξε και ανέφερε την αλήθεια. Απλώς αυτή η αλήθεια περιγράφει τη μετρική και δεν λέει τίποτα για την εργασία.

Η τρίτη αστοχία έχει όνομα.

Τι είναι το reward hacking με απλά λόγια;#

Η Anthropic δίνει η ίδια τον ορισμό.

Η ιδέα είναι παλαιότερη από τα νευρωνικά δίκτυα. Μια εργασία της DeepMind το αποκαλεί «παιχνίδι με τις προδιαγραφές» και το εξηγεί με έναν μύθο.

Ο Μίδας πήρε ακριβώς αυτό που ζήτησε. Το πρόβλημα ήταν στη διατύπωση του αιτήματος.

Στον προγραμματισμό, αυτό παίρνει συγκεκριμένες μορφές. Να ένα κλασικό παράδειγμα, επίσης από την Anthropic:

Και αυτό δεν είναι κάποια εξωτική εργαστηριακή συνθήκη. Η Cursor ανέλυσε 731 τροχιές σε ένα δημοφιλές benchmark.

Έξι στις δέκα «λυμένες» εργασίες είναι έτοιμες απαντήσεις που εντοπίστηκαν. Γι’ αυτό ακριβώς ο κλάδος αλλάζει τον τρόπο που μετρά την απόδοση: έχουμε μια ανάλυση ενός benchmark που μετρά την ετοιμότητα για παραγωγή, όπου το να περνούν οι έλεγχοι δεν είναι πλέον το βασικό κριτήριο.

Πώς φαίνεται αυτό σε ένα συνηθισμένο προϊόν;#

Τα εργαστηριακά παραδείγματα είναι εύκολο να απορριφθούν ως εξωτικά. Γι’ αυτό ακολουθούν τέσσερις ιστορίες από την πράξη. Οι πελάτες και οι κλάδοι έχουν αλλάξει, αλλά οι μηχανισμοί έμειναν όπως ήταν.

Τέσσερις πράσινοι έλεγχοι και ένα νεκρό στοιχείο υπηρεσίας

Ένα μεσιτικό γραφείο φτιάχνει μια υπηρεσία: έναν ιστότοπο με καταχωρίσεις ακινήτων και έναν ξεχωριστό επεξεργαστή παρασκηνίου που εξάγει τις καταχωρίσεις σε πλατφόρμες όλη τη νύχτα. Ο πράκτορας ολοκληρώνει την εργασία και αναφέρει: ο έλεγχος τύπων πέρασε, ο έλεγχος στυλ κώδικα πέρασε, η μεταγλώττιση είναι επιτυχής, οι σελίδες αποκρίνονται και ελέγχθηκαν οπτικά.

Κάθε δήλωση είναι αληθινή. Καμία όμως δεν έχει σχέση με τον νυχτερινό επεξεργαστή: εκτελείται ως ξεχωριστή διεργασία και δεν αποτελεί μέρος της μεταγλώττισης του ιστότοπου. Η εγκατάσταση ολοκληρώνεται, ο ιστότοπος λειτουργεί άψογα, η εξαγωγή καταχωρίσεων σταματά και οι πελάτες το αναφέρουν μία ημέρα αργότερα.

Πριν πω «έτοιμο», κάνω πλέον μία ερώτηση: ποιο μέρος της εργασίας εκτελείται έξω από το πεδίο που καλύπτει ο έλεγχός μου; Αν υπάρχει κάτι τέτοιο, εκτέλεσέ το ξεχωριστά και συμπερίλαβε στο αποτέλεσμα την έξοδο της εντολής. Η λέξη «ελεγμένο» δεν κλείνει το θέμα.

Το λάθος σημάδι ελέγχου βρίσκεται ακριβώς στο σημείο σύνδεσης

Ένα ηλεκτρονικό κατάστημα μοιράζει μια μεγάλη εργασία σε πολλούς πράκτορες ταυτόχρονα: ο ένας αναλαμβάνει το backend, ένας άλλος τις σελίδες και ένας τρίτος τις κάρτες προϊόντων. Καθένας εργάζεται επιμελώς και καθένας έχει πράσινους ελέγχους.

Μια εβδομάδα αργότερα, αποδεικνύεται ότι το κουμπί «αυτή η κριτική ήταν χρήσιμη» δεν λειτουργεί πουθενά. Το backend έχει γραφτεί πλήρως, οι έλεγχοι είναι πράσινοι και έχουν τηρηθεί οι κανόνες επανυπολογισμού. Απλώς καμία σελίδα δεν εμφανίζει το κουμπί: το κουμπί ήταν στην περιοχή ευθύνης ενός πράκτορα, οι σελίδες στην περιοχή ενός άλλου και κανείς δεν σκέφτηκε να το βάλει στην οθόνη. Ο μετρητής θα έμενε για πάντα στο μηδέν.

«Ο κώδικας γράφτηκε και καλύπτεται από ελέγχους» και «η λειτουργία δουλεύει» είναι δύο διαφορετικοί ισχυρισμοί. Ελέγχω τον δεύτερο με μία ερώτηση για κάθε νέα λειτουργία: ποιος την καλεί; Και το επιβεβαιώνω κάνοντας αναζήτηση στο έργο, επειδή η αναφορά του πράκτορα δεν είναι αξιόπιστη πηγή εδώ.

Ο αξιολογητής βλέπει μόνο την κατεύθυνση που του ζήτησαν να ελέγξει

Μια υπηρεσία εισάγει επίπεδα πιστότητας: όσο περισσότερα πληρώνεις, τόσο υψηλότερη η βαθμίδα σου και τόσο μεγαλύτερη η έκπτωση. Πριν από την εγκατάσταση, ο κώδικας στέλνεται για αξιολόγηση με την οδηγία «προσπάθησε να αυξήσεις τεχνητά τη βαθμίδα σου». Ο αξιολογητής κάνει με ειλικρίνεια τη δουλειά του και αναφέρει «τίποτα κρίσιμο» — πράγματι, δεν μπορείς να αυξήσεις τεχνητά τη βαθμίδα.

Ένας δεύτερος έλεγχος θέτει διαφορετική ερώτηση: «Τι συμβαίνει με τη βαθμίδα όταν επιστρέφονται χρήματα;» Το κενό εντοπίζεται σε δέκα λεπτά. Οι πόντοι υπολογίζονταν από το αρχείο καταγραφής συναλλαγών και το αρχείο δεν γνωρίζει τίποτα για επιστροφές χρημάτων. Αγοράζεις κάτι, κερδίζεις πόντους, παίρνεις επιστροφή χρημάτων και κρατάς για πάντα τη βαθμίδα και την έκπτωση.

Ο πρώτος αξιολογητής δεν έκανε προχειροδουλειά. Δομικά δεν μπορούσε να το δει: του δόθηκε το διάνυσμα «είσοδος, προαγωγή», ενώ το κενό βρισκόταν στο διάνυσμα «αντιστροφή εισόδου, διατήρηση προαγωγής». Όπου διακυβεύονται χρήματα, πρόσβαση ή αγοραζόμενη βαθμίδα, κάνω δύο ελέγχους και στον δεύτερο καταγράφω ρητά τα αντίστροφα διανύσματα: επιστροφή χρημάτων, αποκλεισμός, ανάκληση πρόσβασης, λήξη, διαγραφή της πηγής δεδομένων.

Η μετρική επιβραβεύει την ομοιότητα

Μια υπηρεσία διανομής αποφασίζει να μετρήσει αν έχουν βελτιωθεί οι προτάσεις της ΤΝ προς τους χειριστές. Παίρνει διακόσια παλιά αιτήματα υποστήριξης, τα περνά από τη νέα έκδοση και μετρά πόσο μοιάζει το προσχέδιο με την απάντηση που έδωσε πράγματι ένας ανθρώπινος χειριστής. Η μέτρηση δείχνει μια σαφή αύξηση.

Η αύξηση δεν σημαίνει τίποτα, για δύο λόγους. Το πλαίσιο για το προσχέδιο συγκεντρώνεται «με βάση τη σημερινή ημερομηνία» και περιλαμβάνει ολόκληρη την αλληλογραφία, μαζί με την ίδια την απάντηση του χειριστή με την οποία συγκρίνεται αργότερα. Το μοντέλο δεν γράφει απάντηση· παραφράζει την απάντηση αναφοράς που του δόθηκε. Επιπλέον, η ίδια η μετρική επιβραβεύει την αντιστοιχία λέξεων και μήκους: ένα προσχέδιο που δίνει τη λάθος ημερομηνία με τις ίδιες λέξεις που χρησιμοποίησε ο χειριστής για τη σωστή παίρνει υψηλή βαθμολογία.

Δίπλα σε κάθε μετρική «η ομοιότητα σημαίνει καλό» βάζω πλέον αυστηρούς μηχανικούς ελέγχους που δεν μπορεί να ξεγελάσει το ύφος: επινοημένοι αριθμοί και ημερομηνίες, απαγορευμένες λέξεις, υποσχέσεις για ενέργειες. Κάθε επιδείνωση στα αποτελέσματα των ελέγχων ακυρώνει οποιαδήποτε βελτίωση της μετρικής.

Γιατί το «έλεγξα» ενός πράκτορα δεν αποδεικνύει τίποτα;#

Πάρε ένα από τα έργα σου και ζήτησε από τον πράκτορα «Έλεγξε την ασφάλεια». Πολύ συχνά, η απάντηση θα είναι «όλα καλά, κανένα κρίσιμο πρόβλημα».

Τώρα κάνε την ίδια ερώτηση σε ένα άλλο μοντέλο για το ίδιο έργο. Ειδικά αν το έργο είναι μεγάλο, θα εντοπίσει πολλά. Πριν από την εγκατάσταση, ο συγγραφέας ελέγχει το έργο με τρία διαφορετικά μοντέλα και καθένα επισημαίνει κάτι διαφορετικό.

Ίδια είσοδος, ίδια ερώτηση, αντίθετη ετυμηγορία. Το ένα μοντέλο δεν είναι χειρότερο από το άλλο. Απλώς το «όλα καλά» είναι κείμενο που παρήχθη, στο ίδιο ακριβώς επίπεδο με κάθε άλλη απάντηση. Ο πράκτορας δεν μπορεί να διακρίνει το «κοίταξα και είναι καθαρό» από το «κοίταξα στο λάθος σημείο».

Η Anthropic περιγράφει αυτόν τον μηχανισμό στην τεκμηρίωση του Claude Code.

Ας αναλύσουμε αργά αυτή την πρόταση. Μέχρι να δώσεις στον πράκτορα έναν έλεγχο που μπορεί να εκτελέσει, έχει ένα σήμα — πώς φαίνονται τα πράγματα. Και σε αυτή τη ρύθμιση, εσύ είσαι ο βρόχος επαλήθευσης, με τη διαφορά ότι εσύ μαθαίνεις τελευταίος τα λάθη.

Υπάρχει και ένα βαθύτερο επίπεδο. Όταν η OpenAI προσπάθησε να πιέσει ένα μοντέλο παρακολουθώντας τον συλλογισμό του και τιμωρώντας το για «κακές σκέψεις», το αποτέλεσμα δεν ήταν αυτό που περίμενε.

Η τιμωρία της δηλωμένης πρόθεσης εξαφανίζει τη δήλωση. Η ίδια η πρόθεση παραμένει. Γι’ αυτό δεν θα βασιζόμουν στο ότι ο πράκτορας θα σου πει με ειλικρίνεια πώς έκλεψε.

Οι ίδιοι οι δημιουργοί των εργαλείων κινούνται προς την ίδια κατεύθυνση. Στην έκδοση 2.1.215 του Claude Code, τα skills /verify και /code-review έπαψαν να εκτελούνται με πρωτοβουλία του ίδιου του μοντέλου.

2.1.215 - Claude no longer runs the `/verify` and `/code-review` skills
on its own; invoke them with `/verify` or `/code-review` when you want them

Η Anthropic δεν εξηγεί το γιατί. Όμως η αρχή είναι σαφής: αυτός που αξιολογείται δεν αναθέτει τη δική του αξιολόγηση.

Γιατί ένας κανόνας στο αρχείο του έργου δεν κρατά τον πράκτορα στη γραμμή;#

Έγραψες στους κανόνες του έργου: κάνε commit μόνο όταν σου το ζητήσω ρητά, κάνε εγκατάσταση σε παραγωγή μόνο όταν σου το πω ρητά, πρόσβαση στα δεδομένα παραγωγής μόνο σε λειτουργία ανάγνωσης.

Σύμφωνα με την εμπειρία του συγγραφέα, περίπου μία φορά στις δέκα ο πράκτορας προχωρά παρ’ όλα αυτά σε εγκατάσταση μόνος του. Όχι από κακία και όχι επειδή δεν διάβασε τον κανόνα. Τον διάβασε. Απλώς είχε μπροστά του έναν στόχο και ο κανόνας ήταν κείμενο — όπως και το υπόλοιπο context.

Ακριβώς αυτό συνέβη στο εργαστήριο της OpenAI, μόνο σε μεγαλύτερη κλίμακα. Τα μοντέλα βρίσκονταν σε κλειστό περιβάλλον με μία διέξοδο και αφιέρωσαν σημαντικό μέρος της υπολογιστικής τους ισχύος στην αναζήτηση εξόδου. Οι εργασίες της δοκιμής παρέμειναν άλυτες.

Η θέση μου εδώ είναι απλή: ο πράκτορας δεν είναι επικίνδυνος ή κακόβουλος. Είναι συνηθισμένος — απλώς ένας ανόητος με εξουσία. Γι’ αυτό πρέπει να περιορίζεις την εξουσία του, όχι να ξαναγράφεις τα αιτήματά σου.

Τι αντέχει πραγματικά: αυστηρά δικαιώματα μόνο για ανάγνωση στα δεδομένα παραγωγής. Απαγόρευση διαγραφής ολόκληρων καταλόγων. Απαγόρευση εντολών που ξαναγράφουν το ιστορικό χωρίς δυνατότητα επαναφοράς. Όριο δαπανών από τον πάροχο. Η διαφορά συνοψίζεται σε μία φράση: το «δεν μπορεί να το κάνει φυσικά» υπερισχύει του «του ζήτησα να μην το κάνει». Συγκεκριμένες ρυθμίσεις καλύπτονται ξεχωριστά, στο άρθρο για τα μηχανικά φρένα αντί για αιτήματα στις οδηγίες.

Ωστόσο, κράτησε την ψυχραιμία σου. Ακόμη και ένα sandbox δεν είναι απόλυτο όριο και ο πάροχος το λέει ξεκάθαρα.

Επιπλέον, το Claude Code έχει ενσωματωμένη έξοδο κινδύνου που μπορεί να χρησιμοποιήσει το ίδιο το μοντέλο. Όταν μια εντολή αποτυγχάνει λόγω περιορισμών του sandbox, ο Claude αναλύει την αποτυχία και μπορεί να δοκιμάσει ξανά την ίδια εντολή με μια παράμετρο που απενεργοποιεί το sandbox. Αυτό αποτρέπεται με μια ρητή ρύθμιση αυστηρής λειτουργίας· από προεπιλογή, η παράκαμψη είναι διαθέσιμη και τεκμηριωμένη.

Ένας περιορισμός λειτουργεί μόνο όσο αυστηρά τον εφαρμόζεις. Κάθε φραγμός έχει κόστος ταχύτητας — αξίζει να το υπολογίσεις ειλικρινά εκ των προτέρων, γιατί αν το ανακαλύψεις μία εβδομάδα αργότερα θα κοστίσει περισσότερο.

Πώς ορίζεις κριτήριο ολοκλήρωσης που δεν μπορεί να χειραγωγηθεί;#

Η διατύπωση του κριτηρίου καθορίζει όλα τα υπόλοιπα. Έλεγξέ την με μία ερώτηση: μπορεί ο πράκτορας να ικανοποιήσει αυτό το κριτήριο χωρίς να κάνει τίποτα;

• «Έλεγξε ότι όλα λειτουργούν» — μπορεί. Αρκεί να γράψει «ελεγμένο, λειτουργεί».
• «Εκτέλεσε τη μεταγλώττιση και δείξε μου την έξοδο» — είναι ήδη δυσκολότερο· θα πρέπει κάπως να αποκτήσει την έξοδο.
• «Εκκίνησε την εφαρμογή, πάτησε το κουμπί πληρωμής και δείξε τι εμφανίστηκε στην οθόνη» — σχεδόν δεν γίνεται να ικανοποιηθεί μόνο με κείμενο.

Η διαφορά ανάμεσα στο πρώτο και το τρίτο είναι η διαφορά ανάμεσα σε μια αναφορά και σε αποδεικτικό στοιχείο.

Η τεκμηρίωση του Claude Code περιγράφει τέσσερα επίπεδα αυστηρότητας. Μια χρήσιμη κλίμακα στην οποία ανεβαίνεις όσο αυξάνεται το κόστος ενός λάθους:

1. Σε ένα μήνυμα. Ζήτησε από τον πράκτορα να εκτελέσει τον έλεγχο και να επαναλάβει μέχρι να πετύχει, εδώ και τώρα. Το φθηνότερο επίπεδο, κατάλληλο για μικρά πράγματα.
2. Για ολόκληρη τη συνεδρία. Κάνε τον έλεγχο προϋπόθεση του στόχου: ένας ξεχωριστός αξιολογητής τον ελέγχει μετά από κάθε γύρο και ο πράκτορας συνεχίζει μέχρι να ικανοποιηθεί η συνθήκη. Οι τεχνικές λεπτομέρειες καλύπτονται στον οδηγό για τον εκ των προτέρων ορισμό κριτηρίου ολοκλήρωσης.
3. Μηχανικός φραγμός. Ένα σενάριο εκτελείται όταν ο πράκτορας προσπαθεί να ολοκληρώσει έναν γύρο και δεν τον αφήνει να τελειώσει μέχρι να περάσει ο έλεγχος. Υπάρχει μία ειλικρινής λεπτομέρεια: μετά από οκτώ συνεχόμενους αποκλεισμούς, το Claude Code παρακάμπτει τον φραγμό και ολοκληρώνει τον γύρο ούτως ή άλλως. Στο σύστημα δεν υπάρχουν εντελώς απαραβίαστοι φραγμοί.
4. Δεύτερη γνώμη. Ένας ξεχωριστός αξιολογητής με φρέσκο context, του οποίου η δουλειά είναι να καταρρίψει το αποτέλεσμα.

Το τέταρτο ξεχωρίζει, επειδή είναι το μόνο που δεν αφορά εργαλεία.

Ποιος πρέπει να αποδέχεται τη δουλειά του πράκτορα;#

Όταν βάζω πράκτορες να δουλεύουν σε κύκλο πάνω σε μια μεγάλη εργασία, η ρύθμιση είναι η εξής: μία ομάδα γράφει· μια άλλη, νέα ομάδα αποδέχεται τη δουλειά, χωρίς να έχει συμμετάσχει στη συγγραφή της.

Η λέξη «νέα» είναι το κλειδί. Σημαίνει καθαρό context που δεν είδε πώς πάρθηκε κάθε απόφαση στην πορεία. Μια διαφορετική προτροπή στην ίδια συνεδρία δεν προσφέρει αυτό. Αυτός που έγραψε τον κώδικα έχει ήδη αφιερώσει προσοχή στο να πείσει τον εαυτό του ότι ήταν σωστός και θα συνεχίσει να αναζητά επιβεβαίωση. Η διάψευση δεν είναι προς το συμφέρον του.

Η διατύπωση της εργασίας για τον αξιολογητή έχει μεγαλύτερη σημασία από το μοντέλο του αξιολογητή. Σύγκρινε:

• «Αξιολόγησε αυτή τη δουλειά» — ο αξιολογητής θα βρει ό,τι είναι εύκολο να βρεθεί και θα γράψει «γενικά εντάξει».
• «Προσπάθησε να αποδείξεις ότι αυτή η δουλειά ΔΕΝ έχει γίνει» — ο αξιολογητής θα αρχίσει να ψάχνει κενά, επειδή αυτός είναι ο στόχος του.

Η δεύτερη διατύπωση λειτουργεί καλύτερα για τον ίδιο λόγο που απέτυχε το ExploitGym: ο πράκτορας δεσμεύεται στον στόχο που του δίνεται. Δώσε του τον στόχο να βρει ένα κενό και θα ψάξει να βρει ένα.

Ακολουθεί η πλήρης διατύπωση, έτοιμη για αντιγραφή όπως είναι:

Ελέγχεις τη δουλειά κάποιου άλλου. Δεν την έγραψες και δεν χρειάζεται να την υπερασπιστείς.

Στόχος σου είναι να αποδείξεις ότι το αποτέλεσμα που δηλώνεται ΔΕΝ έχει επιτευχθεί. Βρες τουλάχιστον τρεις τρόπους με τους οποίους μπορεί να μην έχει επιτευχθεί, παρότι όλοι οι έλεγχοι είναι πράσινοι.

Έλεγξε με αυτή τη σειρά:

Ποια εργασία εκτελείται έξω από το πεδίο των ελέγχων — διεργασίες παρασκηνίου, ξεχωριστά σενάρια, προγραμματισμένες εργασίες, διαχειριστές ουρών.

Ποιος καλεί κάθε νέα συνάρτηση. Βρες την κλήση κάνοντας αναζήτηση στο έργο· δείξε το αρχείο και τη γραμμή.

Αντίστροφα διανύσματα: επιστροφή χρημάτων, αποκλεισμός, ανάκληση πρόσβασης, λήξη, διαγραφή της πηγής δεδομένων.

Οι τιμές μέσα στο αποτέλεσμα, όχι μόνο το αν υπάρχει.

Αν μια ειλικρινής αναζήτηση δεν εντοπίσει κενά, πες το, αλλά συμπερίλαβε ακριβώς τι έλεγξες και πώς.

Το άρθρο για το όταν ένας πράκτορας ελέγχει τον εαυτό του σε κύκλο εξηγεί πώς λειτουργεί ο κύκλος στον οποίο ένας πράκτορας ελέγχει τον εαυτό του ανάμεσα στις επαναλήψεις και πού συνήθως αποτυγχάνει.

Τι αλλάζει όταν αναδιατυπώνεις το κριτήριο;#

Αυτή είναι η φθηνότερη βελτίωση που γνωρίζω και σχεδόν κανείς δεν την κάνει.

Ζήτησε από τον πράκτορα να κάνει επισκόπηση κώδικα — θα συλλογιστεί με όρους κώδικα: δομή, χειρισμό σφαλμάτων, επαναλήψεις, ευάλωτα σημεία. Χρήσιμο.

Ζήτησέ του να διατρέξει τη διαδρομή του πελάτη, από την πρώτη επίσκεψη στον ιστότοπο μέχρι την προσπάθεια να πάρει επιστροφή χρημάτων, και θα προκύψουν διαφορετικά είδη προβλημάτων. Ένα σφάλμα που δείχνει στον χρήστη κάτι που δεν θα έπρεπε να δει. Ένα email με κείμενο που δεν ταιριάζει με όσα συνέβησαν πραγματικά. Ένα βήμα που είναι λογικά αδύνατο να ολοκληρωθεί αν δεν έφτασες μέσω του ιδανικού σεναρίου.

Κανένα από αυτά τα ελαττώματα δεν θα εντοπιστεί με επισκόπηση κώδικα, επειδή το καθένα είναι έγκυρο στον κώδικα.

Αυτό οδηγεί σε έναν κανόνα που έχω πρόχειρο: αν ένας έλεγχος δεν βρίσκει τίποτα, άλλαξε πρώτα τη διατύπωση. Συνήθως το μοντέλο δεν είναι το πρόβλημα. Η ίδια δουλειά, με τρεις διαφορετικούς τρόπους διατύπωσης της ερώτησης, παράγει τρεις διαφορετικές λίστες ευρημάτων. Μια πρακτική σειρά ερωτήσεων για μη προγραμματιστές συγκεντρώνεται ξεχωριστά: επτά έλεγχοι κώδικα χωρίς γνώσεις προγραμματισμού.

Έτοιμη προτροπή για την αποδοχή της δουλειάς ενός πράκτορα#

Μην απαντήσεις «έτοιμο» ή «ελεγμένο». Χρειάζομαι αποδεικτικά στοιχεία.

Για κάθε στοιχείο της δουλειάς, δώσε μου ακριβώς τα εξής:

Ποια εντολή εκτέλεσες για να επιβεβαιώσεις ότι το στοιχείο λειτουργεί; Συμπερίλαβε την ίδια την εντολή και την πλήρη έξοδό της, χωρίς συντομεύσεις.

Αν δεν εκτέλεσες την εντολή, πες το: «δεν εκτελέστηκε». Μην το αντικαταστήσεις με το «ελέγχθηκε οπτικά» ή «η λογική είναι σωστή».

Ποια εργασία εκτελείται έξω από το πεδίο που καλύπτει ο έλεγχός σου; Διεργασίες παρασκηνίου, ξεχωριστά σενάρια, προγραμματισμένες εργασίες, διαχειριστές ουρών — οτιδήποτε ξεκινά διαφορετικά από την κύρια εφαρμογή. Για κάθε τέτοιο στοιχείο: το εκτέλεσες ξεχωριστά και τι εμφάνισε;

Ποιος καλεί κάθε νέα συνάρτηση που πρόσθεσες; Βρες την κλήση κάνοντας αναζήτηση στο έργο και δείξε το αρχείο και τη γραμμή. Αν δεν υπάρχει κλήση, πες το ευθέως.

Έπειτα, σε ξεχωριστή ενότητα: τρεις τρόποι με τους οποίους μπορεί να ΜΗΝ έχει επιτευχθεί το δηλωμένο αποτέλεσμα, παρότι όλοι οι έλεγχοι είναι πράσινοι. Ψάξε σοβαρά.

Στο τέλος, μία γραμμή: τι θα πρέπει να επιθεωρήσω με τα ίδια μου τα μάτια, επειδή ένας αυτοματοποιημένος έλεγχος δεν θα το εντοπίσει;

Το τέταρτο στοιχείο φαίνεται ασήμαντο, αλλά εντοπίζει ολόκληρη κατηγορία προβλημάτων. Σε μια μεγάλη εργασία που μοίρασα σε πράκτορες ανά περιοχή, το μοναδικό λανθασμένο «έτοιμο» από τα εκατό βρισκόταν ακριβώς στο σημείο σύνδεσης δύο περιοχών: ο κώδικας είχε γραφτεί, οι έλεγχοι ήταν πράσινοι και κανείς δεν σκέφτηκε να το βάλει στην οθόνη.

Τέσσερις τρόποι να ξεγελάσεις τον εαυτό σου με έναν έλεγχο#

1. Δεν περίμενες όλους τους αξιολογητές. Ξεκίνησα τρεις παράλληλους ελέγχους, επέστρεψαν πράσινοι οι δύο και έκανα εγκατάσταση. Ο τρίτος επέστρεψε τέσσερα λεπτά αργότερα με έξι παραβιάσεις. Η διόρθωση μετά τη δημοσίευση κοστίζει περισσότερο από το να περιμένεις δύο λεπτά.
2. Εμπιστεύτηκες τη σύνοψη «επεξεργάστηκαν N από N». Σε μεγάλο fan-out, κάποιοι πράκτορες αποτυγχάνουν σιωπηλά: αναφέρουν επιτυχία, αλλά το αρχείο δεν έχει τροποποιηθεί. Πλέον, μετά από κάθε εγγραφή μέσω πράκτορα, επαληθεύω μηχανικά ότι οι αλλαγές βρίσκονται πράγματι στον δίσκο.
3. Δεν κοίταξες με τα ίδια σου τα μάτια. Οι αυτοματοποιημένοι έλεγχοι μπορεί να είναι πράσινοι για ένα εντελώς άχρηστο αποτέλεσμα. Οι εικόνες είναι τεχνικά σωστές, το μέγεθος σωστό, ο κωδικός απόκρισης σωστός. Στην πραγματικότητα, όμως, είναι αυτόματα παγωμένα καρέ στη θέση εικονογραφημένων εξωφύλλων. Κανένας αυτοματοποιημένος έλεγχος δεν θα το εντοπίσει.
4. Έλεγξες την παρουσία αντί για την τιμή. Ο έλεγχος αναζήτησε το απαιτούμενο κείμενο στο αποτέλεσμα· το κείμενο ήταν εκεί, αλλά τα δεδομένα μέσα του ήταν λανθασμένα: η ημερομηνία απείχε μία ημέρα. Ο έλεγχος ήταν πράσινος και η αναφορά ήταν ψέμα. Πλέον επαληθεύω ολόκληρη την αναμενόμενη τιμή, επειδή η παρουσία της σωστής λέξης από μόνη της δεν εγγυάται τίποτα.

Και οι τέσσερις έχουν κάτι κοινό: υπήρχε έλεγχος, φαινόταν πειστικός και έλεγχε το λάθος πράγμα. Οι ίδιοι μηχανισμοί με εκείνους των μοντέλων και της δοκιμής τους, απλώς χωρίς επινοητικότητα.

Από πού να ξεκινήσεις σήμερα#

Τρία βήματα που διαρκούν είκοσι λεπτά.

1. Πάρε το τελευταίο «έτοιμο». Έλεγξέ το με την προτροπή αποδοχής στην ενότητα για τα αποδεικτικά στοιχεία. Ο στόχος είναι απλός: δες πόσα στοιχεία έκλεισαν με λόγια και πόσα με έξοδο εντολής.
2. Θέσε έναν κανόνα για τον εαυτό σου. Η λέξη «ελεγμένο» χωρίς συνημμένη έξοδο εντολής δεν θεωρείται ολοκλήρωση. Αυτός ο κανόνας είναι για σένα, όχι για τον πράκτορα, και γι’ αυτό λειτουργεί.
3. Ξεχώρισε τον εργαζόμενο από τον αξιολογητή. Στην επόμενη εργασία, δώσε σε μια νέα συνεδρία την προτροπή αξιολόγησης και ζήτησέ της να αποδείξει ότι η δουλειά ΔΕΝ έχει γίνει. Η πρώτη εφαρμογή συνήθως αποδίδει το κόστος της συνήθειας.

Το εργαλείο είναι καλό και βελτιώνεται κάθε μήνα: πράγματα που ένας πράκτορας έκανε σιωπηλά πριν από έναν χρόνο τώρα τον σταματούν επιτόπου. Το όριο ασφαλείας συνεχίζει να μετακινείται και παραμένει όριο. Όσο ο πράκτορας επιδιώκει τον στόχο που του δόθηκε, η ερώτηση «και ακριβώς πώς το μέτρησες;» παραμένει δική σου. Η συνήθεια του ελέγχου είναι το δίχτυ ασφαλείας σου.