Πώς να χρησιμοποιήσετε ένα LLM ως κριτή
MarkdownΧρησιμοποιήστε ένα μοντέλο για να βαθμολογήσετε ένα άλλο βάσει μιας ρουμπρίκας. Μάθετε για την αξιολόγηση ανά απάντηση και ανά ζεύγος, τις συνηθισμένες μεροληψίες και τους τρόπους αντιμετώπισής τους.
Χρησιμοποιήστε ένα μοντέλο για να βαθμολογήσετε ένα άλλο βάσει μιας ρουμπρίκας. Μάθετε για την αξιολόγηση ανά απάντηση και ανά ζεύγος, τις συνηθισμένες μεροληψίες και τους τρόπους αντιμετώπισής τους.
Τι είναι το LLM-as-a-judge;
Το LLM-as-a-judge είναι η χρήση ενός γλωσσικού μοντέλου για την αξιολόγηση της εξόδου ενός άλλου μοντέλου βάσει κριτηρίων που ορίζετε εσείς. Αντί να συγκρίνει συμβολοσειρές, ο κριτής διαβάζει την έξοδο και επιστρέφει μια βαθμολογία ή μια ετυμηγορία.
Το παράδειγμα αυτό διατυπώθηκε επίσημα από τους Zheng και συνεργάτες το 2023. Διαπίστωσαν ότι ένα ισχυρό μοντέλο συμφωνούσε με τις ανθρώπινες προτιμήσεις σε ποσοστό άνω του 80%, περίπου όσο συχνά συμφωνούν μεταξύ τους δύο άνθρωποι. Αυτή είναι η υπόσχεση: ανθρώπινη κρίση σε μηχανική κλίμακα και με μηχανικό κόστος.
Το μειονέκτημα είναι ότι ο κριτής είναι μοντέλο, οπότε κληρονομεί τις ιδιορρυθμίες ενός μοντέλου. Αν χρησιμοποιηθεί απρόσεκτα, παράγει βέβαιες βαθμολογίες που μετρούν το λάθος πράγμα.
Πότε να το χρησιμοποιείτε και πότε όχι
Ο κριτής είναι το κατάλληλο εργαλείο για ανοιχτές αξιολογήσεις ποιότητας που δεν επιδέχονται ακριβή βαθμολόγηση. Είναι ακατάλληλος όταν αρκεί ένας φθηνότερος, ντετερμινιστικός έλεγχος.
Χρησιμοποιήστε κριτή για τη χρησιμότητα, τον τόνο, τη συνοχή, την πιστότητα σε μια πηγή ή για να κρίνετε «ποια από αυτές τις δύο απαντήσεις είναι καλύτερη». Παραλείψτε τον για οτιδήποτε καλύπτει ήδη μια προγραμματιστική μετρική: ετικέτες, ακριβείς τιμές, εγκυρότητα σχήματος ή παρουσία ενός απαιτούμενου γεγονότος.
Ο κανόνας: προσπαθήστε πρώτα να κάνετε τον έλεγχο ντετερμινιστικό. Αναθέστε την απόφαση σε κριτή μόνο όταν αυτό είναι πραγματικά αδύνατο.
Αξιολόγηση ανά απάντηση και ανά ζεύγος
Υπάρχουν δύο τρόποι να ζητήσετε από έναν κριτή να βαθμολογήσει, και εξυπηρετούν διαφορετικές εργασίες.
| Λειτουργία | Ερώτηση | Κατάλληλη για | Αδυναμία |
|---|---|---|---|
| Ανά απάντηση | «Βαθμολόγησε αυτή την έξοδο από το 1 έως το 5 βάσει της ρουμπρίκας.» | Απόλυτες βαθμολογίες για έναν πίνακα ελέγχου ή μια πύλη CI | Η βαθμονόμηση μεταβάλλεται· οι βαθμολογίες συγκρίνονται δύσκολα μεταξύ εκτελέσεων |
| Ανά ζεύγος | «Ποιο είναι καλύτερο, το A ή το B;» | Σύγκριση δύο προτροπών ή δύο μοντέλων | Αναδεικνύει νικητή, όχι απόλυτη βαθμολογία· επηρεάζεται από τη σειρά |
Η αξιολόγηση ανά ζεύγος συμφωνεί συνήθως περισσότερο με τους ανθρώπους, επειδή η σχετική σύγκριση είναι ευκολότερη από την απόλυτη βαθμονόμηση. Επιλέξτε την όταν δοκιμάζετε μια αλλαγή A/B και χρησιμοποιήστε αξιολόγηση ανά απάντηση όταν χρειάζεστε έναν μεμονωμένο αριθμό.
Γράψτε την προτροπή του κριτή
Η ποιότητα ενός κριτή εξαρτάται από τη ρουμπρίκα του. Μια ασαφής προτροπή αφήνει ανεξέλεγκτες τις παραδοχές του μοντέλου, γι’ αυτό διατυπώστε ρητά τα κριτήρια και ζητήστε από τον κριτή να αιτιολογήσει την κρίση του πριν βαθμολογήσει.
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
Σημασία έχουν δύο λεπτομέρειες. Το αίτημα για βήμα προς βήμα αιτιολόγηση πριν από την ετυμηγορία (προτροπή αλυσίδας σκέψης) βελτιώνει τη συμφωνία με τους ανθρώπους. Και η ρητή φράση «μην επιβραβεύεις το μήκος ή το ύφος» αντιμετωπίζει άμεσα μια μεροληψία που θα δούμε στη συνέχεια.
Οι τέσσερις μεροληψίες που πρέπει να αντιμετωπίσετε
Ο κριτής δεν είναι ουδέτερος χρησμός. Η έρευνα έχει καταγράψει σταθερές μεροληψίες, οι οποίες αποτελούν ιδιότητες της μεθόδου και δεν εξαλείφονται πλήρως με προτροπές.
| Μεροληψία | Τι συμβαίνει | Αντιμετώπιση |
|---|---|---|
| Μεροληψία θέσης | Στην αξιολόγηση ανά ζεύγος, η απάντηση στη θέση A κερδίζει συχνότερα απ’ ό,τι θα αναμενόταν τυχαία | Εκτελέστε και τις δύο σειρές (A/B και B/A) και εμπιστευτείτε μόνο μια ετυμηγορία που συμφωνεί και στις δύο |
| Μεροληψία υπέρ της πολυλογίας | Οι μεγαλύτερες απαντήσεις βαθμολογούνται υψηλότερα, ακόμη κι όταν η ποιότητά τους είναι ίδια | Επιβάλετε ποινή για το μήκος στη ρουμπρίκα ή χρησιμοποιήστε ποσοστά νίκης με ελεγχόμενο μήκος |
| Αυτοπροτίμηση | Ο κριτής ευνοεί εξόδους από τη δική του οικογένεια μοντέλων | Χρησιμοποιήστε κριτή από διαφορετική οικογένεια μοντέλων από εκείνη που δοκιμάζετε |
| Μεροληψία μορφοποίησης | Ο κριτής προτιμά τη μορφή που προτιμά ο ίδιος (π.χ. πεζό κείμενο αντί για JSON) | Αναφέρετε την απαιτούμενη μορφή στη ρουμπρίκα και βαθμολογήστε το περιεχόμενο, όχι τη μορφή |
Η σημαντικότερη είναι η μεροληψία θέσης, επειδή εντοπίζεται εύκολα στον κώδικα, ενώ όταν περνά απαρατήρητη αλλοιώνει σιωπηρά κάθε σύγκριση ανά ζεύγος που εκτελείτε.
Αντιμετωπίστε τη μεροληψία θέσης στον κώδικα
Η λύση για τη μεροληψία θέσης είναι απλή: αξιολογήστε κάθε ζεύγος δύο φορές, αλλάζοντας τη σειρά των εξόδων, και ανακηρύξτε νικητή μόνο αν η ετυμηγορία παραμένει ίδια και στις δύο περιπτώσεις. Αν αλλάξει μόνο λόγω της σειράς, ο κριτής μαντεύει.
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
"""Run the judge in both orderings. Trust the result only if it agrees."""
first = judge(x, y) # x in slot A
second = judge(y, x) # y in slot A
x_wins = first == "A" and second == "B"
y_wins = first == "B" and second == "A"
if x_wins:
return "x"
if y_wins:
return "y"
return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair: ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
Επικολλήστε τον κώδικα στο debias.py και εκτελέστε python debias.py. Θα λάβετε ακριβώς:
biased: tie/uncertain (verdict flipped on order)
fair: x
Η διαδικασία απομεροληψίας λειτούργησε. Εντόπισε τον μεροληπτικό κριτή και αρνήθηκε να ανακηρύξει νικητή, ενώ δέχτηκε τη σταθερή ετυμηγορία του δίκαιου κριτή. Για να χρησιμοποιήσετε πραγματικό κριτή, αντικαταστήστε το judge με μια συνάρτηση που καλεί ένα LLM με την παραπάνω προτροπή ρουμπρίκας και επιστρέφει «A» ή «B».
Ελέγξτε τον κριτή σας
Πριν εμπιστευτείτε έναν κριτή στην παραγωγή, μετρήστε την απόδοσή του. Ένας κριτής που δεν έχετε ελέγξει είναι μια μετρική που δεν μπορείτε να υπερασπιστείτε.
Δημιουργήστε ένα μικρό σύνολο βαθμονόμησης με περιπτώσεις γνωστών σωστών ετυμηγοριών, ιδανικά με ετικέτες από ανθρώπους. Εκτελέστε τον κριτή και ελέγξτε δύο πράγματα: πόσο συχνά συμφωνεί με τις ανθρώπινες ετικέτες και πόσο συχνά αλλάζει η ετυμηγορία ανά ζεύγος όταν αλλάζετε τη σειρά. Ποσοστό αλλαγής πάνω από περίπου 5% σημαίνει ότι η μεροληψία θέσης εξακολουθεί να επηρεάζει τα αποτελέσματα.
Επαναλάβετε αυτόν τον έλεγχο κάθε φορά που αλλάζετε το μοντέλο του κριτή. Ακόμη και μια μικρή αύξηση έκδοσης μπορεί να μετατοπίσει την κατανομή των βαθμολογιών, επομένως η βαθμονόμηση δεν γίνεται μόνο μία φορά.
Το υβριδικό μοτίβο
Μια αξιόπιστη διάταξη δεν βασίζεται μόνο σε έναν κριτή. Συνδυάζει τρία είδη ελέγχου, ξεκινώντας από το φθηνότερο.
- Οι ντετερμινιστικές μετρικές χειρίζονται όσα μπορούν (ετικέτες, σχήμα, απαιτούμενα γεγονότα).
- Ο κριτής LLM βαθμολογεί μόνο τις ανοιχτές πτυχές ποιότητας που απομένουν.
- Ένας άνθρωπος ελέγχει δειγματοληπτικά τις ετυμηγορίες του κριτή για να διατηρεί την αξιοπιστία τους.
Κάθε επίπεδο καλύπτει το τυφλό σημείο του προηγούμενου. Ο κριτής είναι μια ισχυρή ενδιάμεση βαθμίδα, όχι ολόκληρη η στοίβα.
Συνηθισμένα λάθη
Οι περισσότεροι αναξιόπιστοι κριτές έχουν μερικές κοινές αιτίες.
Οι συνηθέστερες:
- Χρησιμοποιείτε το ίδιο μοντέλο για παραγωγή και αξιολόγηση, ενσωματώνοντας την αυτοπροτίμηση.
- Γράφετε ασαφή ρουμπρίκα, με αποτέλεσμα ο κριτής να βαθμολογεί βάσει κρυφών παραδοχών.
- Εκτελείτε την αξιολόγηση ανά ζεύγος μόνο με μία σειρά, αφήνοντας τη μεροληψία θέσης ανεξέλεγκτη.
- Δεν βαθμονομείτε ποτέ σε σχέση με ανθρώπους, οπότε δεν μπορείτε να πείτε αν ο κριτής έχει δίκιο.
Διορθώστε τα διαχωρίζοντας τον κριτή από το μοντέλο που δοκιμάζετε, γράφοντας ρητή ρουμπρίκα, αλλάζοντας πάντα τη σειρά και ελέγχοντας τις αξιολογήσεις σε σχέση με ανθρώπινες ετικέτες.
Πηγές
Zheng και συνεργάτες, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). Το παράδειγμα LLM-as-judge, η συμφωνία άνω του 80% με τις ανθρώπινες προτιμήσεις και οι μεροληψίες θέσης, πολυλογίας και αυτοενίσχυσης.
Συχνές ερωτήσεις
Τι είναι το LLM-as-a-judge;
Η χρήση ενός γλωσσικού μοντέλου για να βαθμολογήσει την έξοδο ενός άλλου βάσει μιας ρουμπρίκας, για ιδιότητες που δεν αποτυπώνονται με ακριβή αντιστοίχιση, όπως η χρησιμότητα, ο τόνος ή η πιστότητα.
Μπορώ να χρησιμοποιήσω το ίδιο μοντέλο για παραγωγή και αξιολόγηση;
Όχι. Ο κριτής ευνοεί εξόδους από τη δική του οικογένεια μοντέλων (μεροληψία αυτοπροτίμησης), επομένως η αξιολόγηση του δικού σας μοντέλου διογκώνει τη βαθμολογία. Χρησιμοποιήστε κριτή από διαφορετική οικογένεια.
Πώς μπορώ να σταματήσω τη μεροληψία θέσης;
Εκτελέστε κάθε σύγκριση ανά ζεύγος και με τις δύο σειρές και αποδεχτείτε μόνο μια ετυμηγορία που ισχύει και στις δύο περιπτώσεις. Αν αλλάξει μόνο λόγω της σειράς, θεωρήστε την ισοπαλία.
Αξιοποιήστε αυτόν τον οδηγό με το Ailoot
Συνδέστε μοντέλα τεχνητής νοημοσύνης με τις εφαρμογές, τους πράκτορες και τους αυτοματισμούς σας μέσω ενός API της Ailoot. Επιλέξτε το μοντέλο που ταιριάζει στην εργασία σας και ακολουθήστε την τεκμηρίωση της Ailoot για να ξεκινήσετε.