Respan: Span-01

Το Span-01 είναι το μοντέλο βαθμολόγησης συμπεριφορών της Respan για συνομιλίες και ίχνη πρακτόρων. Διαβάζει μια αλληλεπίδραση κειμένου μαζί με ορισμούς συμπεριφορών σε απλή γλώσσα και επιστρέφει πιθανότητες για κάθε ορισμό. Η έξοδος διακρίνει αν μια συμπεριφορά είναι παρούσα, απούσα ή μη παρατηρήσιμη στο παρεχόμενο ίχνος. Αυτό δίνει σε μια ροή αξιολόγησης ένα αριθμητικό σήμα με ρητό τρόπο αναπαράστασης της έλλειψης στοιχείων, αντί για μια παραγόμενη εξήγηση που πρέπει να αναλυθεί.

Ορίστε τη συμπεριφορά που θέλετε να παρατηρήσετε

Τις συμπεριφορές τις παρέχει ο καλών. Η έγχυση prompt, οι ατεκμηρίωτοι ισχυρισμοί, η έκθεση μυστικών, οι επαναλαμβανόμενοι βρόχοι, η κακή χρήση εργαλείων και η απογοήτευση του χρήστη είναι πιθανοί ορισμοί, όχι μια σταθερή ταξινομία ενσωματωμένη στο μοντέλο. Δηλώστε τι μετρά ως συμπεριφορά και τι όχι. Ένας στενός ορισμός μπορεί να διακρίνει έναν χρήστη που ζητά μεταβίβαση σε άνθρωπο από κάποιον που απλώς εκφράζει απογοήτευση. Ένας άλλος μπορεί να διακρίνει έναν βοηθό που αναγνωρίζει ένα πρόβλημα από έναν που υπόσχεται ενέργεια την οποία δεν μπορεί να εκτελέσει.

Χρησιμοποιήστε σταθερά αναγνωριστικά με τους ορισμούς, ώστε τα αποτελέσματα να παραμένουν συνδεδεμένα με τη συμπεριφορά που αξιολογείται. Εστιάστε το κριτήριο σε κάτι που μπορεί να δείξει το ίχνος. Αν η συμπεριφορά απαιτεί έγγραφο προέλευσης, αποτέλεσμα εργαλείου ή μεταγενέστερη απάντηση πελάτη, συμπεριλάβετε αυτά τα στοιχεία στην αλληλεπίδραση κειμένου στο σημείο που ανήκουν. Ένας ορισμός από μόνος του δεν μπορεί να διαπιστώσει ένα γεγονός που απουσιάζει από το ίχνος.

Προετοιμάστε το προηγούμενο πλαίσιο και τον γύρο της συνομιλίας προς αξιολόγηση

Η τεκμηριωμένη είσοδος διαχωρίζει τα προηγούμενα μηνύματα στο span.input από τον γύρο της συνομιλίας προς αξιολόγηση στο span.output. Το περιεχόμενο κάθε μηνύματος είναι συμβολοσειρά. Δώστε το πραγματικό πλαίσιο της συνομιλίας και τον γύρο που θέλετε να βαθμολογηθεί, διατηρώντας τους ρόλους των ομιλητών και τη σειρά των μηνυμάτων που χρειάζεται για την ερμηνεία του. Πρόκειται για προφίλ βαθμολόγησης κειμένου· προετοιμασμένο κείμενο εγγράφου ή μια απομαγνητοφώνηση μπορούν να αποτελούν στοιχεία, ενώ τα μέσα από τα οποία προήλθε αυτό το κείμενο δεν αποτελούν τα ίδια την τεκμηριωμένη είσοδο.

Για μια αλληλεπίδραση υποστήριξης, κρατήστε το αίτημα του πελάτη μαζί με την προτεινόμενη απάντηση του βοηθού. Για έναν πράκτορα που χρησιμοποιεί εργαλεία, διατηρήστε τη σχετική παρατήρηση του εργαλείου και την απάντηση που βασίστηκε σε αυτή. Ένας ενδεικτικός ορισμός τεκμηρίωσης μπορεί να ρωτά αν ο βοηθός διατυπώνει συμπέρασμα που δεν υποστηρίζει η παρεχόμενη παρατήρηση. Το χρήσιμο αποτέλεσμα αφορά την ορισμένη συμπεριφορά σε αυτό το τμήμα, όχι μια πλήρη διάγνωση ολόκληρης της εφαρμογής.

Διαβάστε τρεις πιθανότητες για κάθε ορισμό

Κάθε αποτέλεσμα περιλαμβάνει το αναγνωριστικό της συμπεριφοράς και τα p_present, p_absent και p_not_observable. Οι τρεις πιθανότητες αθροίζονται περίπου σε 1. Η παρουσία εκτιμά ότι η συμπεριφορά συνέβη· η απουσία εκτιμά ότι δεν συνέβη· η μη παρατηρησιμότητα εκτιμά ότι το παρεχόμενο τμήμα στερείται των στοιχείων που απαιτούνται για να ληφθεί απόφαση. Πρόκειται για διαφορετικά νοήματα που πρέπει να παραμένουν χωριστά κατά την ερμηνεία των αποτελεσμάτων.

Για παράδειγμα, ένα τμήμα που τελειώνει με τον βοηθό να λέει ότι θα λύσει ένα πρόβλημα μπορεί να δείχνει μια υπόσχεση. Δεν μπορεί ακόμη να δείχνει ότι ο πελάτης αποδέχθηκε την τελική λύση, αν δεν υπάρχει απάντηση πελάτη. Αντιμετωπίστε αυτό το αποτέλεσμα έλλειψης στοιχείων ως άγνωστο αντί να το μετατρέπετε σε απουσία. Μια χαμηλή πιθανότητα παρουσίας δεν είναι αυτομάτως ισχυρή ένδειξη απουσίας όταν σημαντικό μέρος της κατανομής αντιστοιχεί σε μη παρατηρησιμότητα.

Βαθμολόγηση πολλών ορισμών συμπεριφορών σε ένα πέρασμα

Η Respan περιγράφει το Span-01 ως ταξινομητή με συλλογισμό που εκπαιδεύτηκε πρώτα για γενική ταξινόμηση με RLAIF και στη συνέχεια εξειδικεύτηκε στην ανίχνευση συμπεριφορών. Κάθε ορισμός εκτελείται ως παράλληλος κλάδος πάνω στο ίδιο ίχνος και το μοντέλο επιστρέφει τις πιθανότητες συμπεριφορών σε ένα πέρασμα εμπρόσθιας διάδοσης. Η υβριδική προσοχή υποστηρίζει τον χειρισμό μακρών, σύνθετων ιχνών. Δεν παράγει tokens, δεν γράφει αφηγηματική κρίση ούτε δίνει εξήγηση ελεύθερης μορφής για την ταξινόμησή του.

Ο εννοιολογικός οδηγός και η αναφορά βαθμολόγησης δεν τεκμηριώνουν ανώτατο πλήθος συμπεριφορών ανά αίτημα. Κάθε ορισμός εξακολουθεί να είναι μέρος της παρεχόμενης αξιολόγησης, γι’ αυτό κρατήστε τον σαφή και σχετικό αντί να θεωρείτε την απουσία ορίου πλήθους απόδειξη απεριόριστης χωρητικότητας εισόδου. Το αποτέλεσμα περιέχει μία εγγραφή ανά συμπεριφορά με τη σειρά του αιτήματος, προσδιορισμένη από το id της. Πολλοί ορισμοί περιγράφουν πολλές ανεξάρτητες παρατηρήσεις· δεν είναι αμοιβαία αποκλειόμενες επιλογές κατηγοριών που πρέπει να αθροίζονται σε ένα μεταξύ συμπεριφορών.

Προετοιμασία χρήσιμου παραδοτέου αξιολόγησης

Συνδυάστε τις επιστρεφόμενες πιθανότητες με κατώφλια ειδικά για την εργασία και κανόνες ελέγχου εκτός του μοντέλου. Ο παραγωγός συνιστά τη χρήση συνομιλιών με ετικέτες για την επιλογή αυτών των κατωφλίων και την εξέταση οριακών αποτελεσμάτων παρουσίας ή αποτελεσμάτων με υψηλή μη παρατηρησιμότητα. Μια ροή υποστήριξης μπορεί να καταγράφει χωριστά απογοήτευση, προτεινόμενη κλιμάκωση και ατεκμηρίωτη υπόσχεση. Μια ροή ποιότητας πρακτόρων μπορεί να παρακολουθεί επαναλαμβανόμενες ενέργειες ή αν μια απάντηση χρησιμοποίησε τα στοιχεία που της διατέθηκαν.

Διατηρήστε μαζί το τμήμα κειμένου, τον ορισμό συμπεριφοράς, το αναγνωριστικό αποτελέσματος και την πλήρη κατανομή τριών ενδεχομένων. Όταν αλλάζει ο ορισμός, αναγνωρίστε ότι αλλάζει και αυτό που μετρά η πιθανότητα. Ελέγξτε τα φαινομενικά σφάλματα ως προς την πραγματική συνομιλία αντί να θεωρείτε ένα αριθμητικό αποτέλεσμα απόδειξη μη παρατηρημένου συμβάντος. Ένα χρήσιμο παραδοτέο είναι μια εγγραφή συμπεριφοράς συνδεδεμένη με το ίχνος και το κριτήριο, με διατήρηση της αβεβαιότητας για μεταγενέστερη εξέταση ή για την επόμενη απόφαση της εφαρμογής.