Cách sử dụng LLM-as-a-Judge
MarkdownDùng một mô hình để chấm điểm một mô hình khác theo rubric. Tìm hiểu cách đánh giá theo từng câu trả lời và theo cặp, các thiên kiến phổ biến và cách kiểm soát chúng.
Dùng một mô hình để chấm điểm một mô hình khác theo rubric. Tìm hiểu cách đánh giá theo từng câu trả lời và theo cặp, các thiên kiến phổ biến và cách kiểm soát chúng.
LLM-as-a-judge là gì?
LLM-as-a-judge là việc dùng một mô hình ngôn ngữ để đánh giá đầu ra của một mô hình khác theo các tiêu chí do bạn xác định. Thay vì so sánh chuỗi, mô hình đánh giá đọc đầu ra và trả về điểm số hoặc kết luận.
Phương pháp này được Zheng và cộng sự chính thức hóa vào năm 2023. Họ nhận thấy một mô hình mạnh đồng thuận với sở thích của con người trong hơn 80% trường hợp, xấp xỉ tỷ lệ hai người đồng thuận với nhau. Đó là điều hứa hẹn: khả năng đánh giá như con người ở quy mô và chi phí của máy móc.
Điểm cần lưu ý là mô hình đánh giá cũng là một mô hình, nên nó kế thừa những đặc tính riêng của mô hình. Nếu sử dụng bất cẩn, nó sẽ đưa ra những điểm số đầy tự tin nhưng đo lường sai điều cần đo.
Khi nào nên dùng và khi nào không
Mô hình đánh giá phù hợp với những khía cạnh chất lượng mở, khó chấm điểm chính xác. Nó không phù hợp khi có thể dùng một phép kiểm tra xác định, rẻ hơn.
Hãy dùng mô hình đánh giá cho tính hữu ích, giọng điệu, tính mạch lạc, mức độ trung thành với nguồn hoặc câu hỏi “câu trả lời nào trong hai câu tốt hơn”. Không cần dùng nó cho những gì chỉ số lập trình đã bao quát: nhãn, giá trị chính xác, tính hợp lệ của schema hoặc sự hiện diện của một thông tin bắt buộc.
Quy tắc kinh nghiệm: trước tiên hãy thử làm cho phép kiểm tra có tính xác định. Chỉ khi thực sự không thể, bạn mới nên giao quyết định cho mô hình đánh giá.
Đánh giá theo từng câu trả lời và theo cặp
Có hai cách yêu cầu mô hình đánh giá chấm điểm, phù hợp với những công việc khác nhau.
| Chế độ | Câu hỏi | Phù hợp nhất với | Điểm yếu |
|---|---|---|---|
| Theo từng câu trả lời | “Chấm đầu ra này từ 1 đến 5 theo rubric.” | Điểm tuyệt đối cho bảng điều khiển hoặc cổng CI | Hiệu chỉnh bị lệch; khó so sánh điểm giữa các lần chạy |
| Theo cặp | “A hay B tốt hơn?” | So sánh hai prompt hoặc hai mô hình | Chỉ đưa ra lựa chọn thắng cuộc, không có điểm tuyệt đối; nhạy cảm với thứ tự |
Đánh giá theo cặp thường đồng thuận với con người hơn, vì so sánh tương đối dễ hơn hiệu chỉnh tuyệt đối. Hãy chọn cách này khi bạn thử nghiệm A/B một thay đổi, và dùng cách đánh giá theo từng câu trả lời khi cần một con số độc lập.
Viết prompt cho mô hình đánh giá
Mô hình đánh giá chỉ tốt bằng rubric của nó. Một prompt mơ hồ khiến mô hình dựa vào các giả định thiếu căn cứ, vì vậy hãy nêu rõ tiêu chí và yêu cầu mô hình lập luận trước khi chấm điểm.
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
Hai chi tiết rất quan trọng. Yêu cầu lập luận từng bước trước khi đưa ra kết luận (prompt chuỗi suy nghĩ) giúp tăng mức độ đồng thuận với con người. Và dòng rõ ràng “không thưởng cho độ dài hay văn phong” trực tiếp khắc phục một thiên kiến sẽ được trình bày tiếp theo.
Bốn thiên kiến bạn cần xử lý
Mô hình đánh giá không phải là một nhà tiên tri trung lập. Nghiên cứu đã ghi nhận những thiên kiến nhất quán; đây là đặc tính của phương pháp, không phải lỗi có thể hoàn toàn loại bỏ chỉ bằng prompt.
| Thiên kiến | Điều gì xảy ra | Cách giảm thiểu |
|---|---|---|
| Thiên kiến vị trí | Trong đánh giá theo cặp, câu trả lời ở vị trí A thắng thường xuyên hơn mức ngẫu nhiên | Chạy cả hai thứ tự (A/B và B/A) và chỉ tin kết luận nhất quán ở cả hai lượt |
| Thiên kiến độ dài | Câu trả lời dài hơn được chấm điểm cao hơn, dù chất lượng ngang nhau | Phạt độ dài trong rubric hoặc dùng tỷ lệ thắng đã kiểm soát độ dài |
| Thiên vị bản thân | Mô hình đánh giá ưu ái đầu ra từ cùng họ mô hình với nó | Dùng mô hình đánh giá thuộc họ khác với mô hình đang được kiểm tra |
| Thiên kiến định dạng | Mô hình đánh giá ưu tiên định dạng mà nó thích (văn xuôi thay vì JSON, v.v.) | Nêu định dạng bắt buộc trong rubric và chấm nội dung, không chấm hình thức |
Quan trọng nhất là thiên kiến vị trí, vì có thể dễ dàng phát hiện bằng mã và nó âm thầm làm sai lệch mọi phép so sánh theo cặp bạn thực hiện.
Kiểm soát thiên kiến vị trí bằng mã
Cách khắc phục thiên kiến vị trí rất đơn giản: đánh giá mỗi cặp hai lần, đổi đầu ra nào xuất hiện trước, và chỉ xác định bên thắng nếu kết luận nhất quán ở cả hai lượt. Nếu kết luận đảo chiều chỉ do thứ tự, mô hình đánh giá đang đoán.
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
"""Run the judge in both orderings. Trust the result only if it agrees."""
first = judge(x, y) # x in slot A
second = judge(y, x) # y in slot A
x_wins = first == "A" and second == "B"
y_wins = first == "B" and second == "A"
if x_wins:
return "x"
if y_wins:
return "y"
return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair: ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
Dán đoạn này vào debias.py và chạy python debias.py. Kết quả chính xác là:
biased: tie/uncertain (verdict flipped on order)
fair: x
Cách khử thiên kiến đã phát huy tác dụng. Nó phát hiện mô hình đánh giá thiên kiến và từ chối xác định bên thắng, đồng thời chấp nhận kết luận ổn định của mô hình công bằng. Để dùng mô hình đánh giá thực, hãy thay judge bằng một hàm gọi LLM với prompt rubric ở trên và trả về “A” hoặc “B.”
Kiểm định mô hình đánh giá
Trước khi tin cậy mô hình đánh giá trong môi trường sản xuất, hãy đo lường nó. Mô hình đánh giá chưa được kiểm định là một chỉ số mà bạn không thể bảo vệ.
Tạo một tập hiệu chỉnh nhỏ gồm các trường hợp có kết luận đúng đã biết, lý tưởng nhất là được con người gắn nhãn. Chạy mô hình đánh giá và kiểm tra hai điều: mức độ thường xuyên nó đồng thuận với nhãn của con người, và mức độ thường xuyên kết luận theo cặp bị đảo chiều khi đổi thứ tự. Tỷ lệ đảo chiều trên khoảng 5% có nghĩa là thiên kiến vị trí vẫn còn lọt qua.
Chạy lại cuộc kiểm định này mỗi khi bạn thay đổi mô hình đánh giá. Một lần tăng phiên bản nhỏ có thể làm dịch chuyển phân phối điểm số, vì vậy hiệu chỉnh không phải là việc chỉ cần làm một lần.
Phương pháp kết hợp
Một thiết lập đáng tin cậy không chỉ dựa vào mô hình đánh giá. Nó xếp ba loại kiểm tra theo thứ tự từ rẻ nhất.
- Chỉ số xác định xử lý mọi thứ chúng có thể (nhãn, schema, thông tin bắt buộc).
- Mô hình đánh giá LLM chỉ chấm những khía cạnh mở còn lại.
- Con người kiểm tra ngẫu nhiên một mẫu kết luận của mô hình đánh giá để bảo đảm tính đáng tin cậy.
Mỗi tầng xử lý điểm mù của tầng trước đó. Mô hình đánh giá là tầng giữa mạnh mẽ, không phải toàn bộ hệ thống.
Những lỗi thường gặp
Phần lớn mô hình đánh giá không đáng tin cậy đều có một vài nguyên nhân chung.
Các lỗi thường gặp:
- Dùng cùng một mô hình để tạo nội dung và đánh giá, khiến thiên vị bản thân ăn sâu.
- Viết rubric mơ hồ, khiến mô hình đánh giá theo những giả định ẩn.
- Chạy đánh giá theo cặp chỉ với một thứ tự, khiến thiên kiến vị trí không bị phát hiện.
- Không bao giờ hiệu chỉnh theo con người, nên bạn không thể biết mô hình đánh giá có đúng hay không.
Hãy khắc phục những lỗi này bằng cách tách mô hình đánh giá khỏi mô hình đang được kiểm tra, viết rubric rõ ràng, luôn đổi thứ tự và kiểm định theo nhãn của con người.
Nguồn
Zheng và cộng sự, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). Bài viết trình bày phương pháp LLM-as-judge, mức độ đồng thuận với sở thích của con người trên 80%, cùng các thiên kiến vị trí, độ dài và tự nâng cao.
Câu hỏi thường gặp
LLM-as-a-judge là gì?
Dùng một mô hình ngôn ngữ để chấm đầu ra của mô hình khác theo rubric, dành cho những khía cạnh mà so khớp chính xác không thể nắm bắt, chẳng hạn như tính hữu ích, giọng điệu hoặc mức độ trung thành.
Tôi có thể dùng cùng một mô hình để tạo nội dung và đánh giá không?
Không. Mô hình đánh giá ưu ái đầu ra của cùng họ mô hình (thiên vị bản thân), vì vậy việc đánh giá mô hình của chính bạn sẽ làm tăng điểm số. Hãy dùng mô hình đánh giá thuộc một họ khác.
Làm cách nào để ngăn thiên kiến vị trí?
Chạy mỗi phép so sánh theo cặp ở cả hai thứ tự và chỉ chấp nhận kết luận nhất quán ở cả hai lượt. Nếu kết luận đảo chiều chỉ do thứ tự, hãy xem đó là kết quả hòa.
Áp dụng hướng dẫn này với Ailoot
Kết nối các mô hình AI với ứng dụng, agent và quy trình tự động hóa của bạn thông qua một API Ailoot duy nhất. Chọn mô hình phù hợp với nhiệm vụ và bắt đầu bằng cách tham khảo tài liệu Ailoot.