كيفية استخدام نموذج لغوي كبير بوصفه حَكَمًا
Markdownاستخدم نموذجًا لتقييم نموذج آخر وفقًا لمعيار تقييم. تعرّف على التقييم النقطي مقابل التقييم بالمقارنة الثنائية، والتحيزات الشائعة، وطرق الحد منها.
استخدم نموذجًا لتقييم نموذج آخر وفقًا لمعيار تقييم. تعرّف على التقييم النقطي مقابل التقييم بالمقارنة الثنائية، والتحيزات الشائعة، وطرق الحد منها.
ما المقصود باستخدام نموذج لغوي كبير بوصفه حَكَمًا؟
استخدام نموذج لغوي كبير بوصفه حَكَمًا يعني الاستعانة بنموذج لغوي لتقييم مخرجات نموذج آخر وفقًا لمعايير تحددها أنت. فبدلًا من مقارنة السلاسل النصية، يقرأ الحَكَم المخرجات ويعيد درجة أو حكمًا.
صاغ Zheng وآخرون هذا النهج رسميًا في عام 2023، ووجدوا أن نموذجًا قويًا وافق التفضيلات البشرية في أكثر من 80% من الحالات، وهي نسبة تقارب معدل اتفاق شخصين. هذا هو الوعد: أحكام شبيهة بالأحكام البشرية على نطاق الآلات وبتكلفتها.
لكن ثمة محاذير: الحَكَم نموذج، لذا يرث خصائص النماذج ومواطن قصورها. وإذا استُخدم بلا عناية، فسيصدر درجات واثقة تقيس الشيء الخطأ.
متى تستخدمه ومتى لا تستخدمه
الحَكَم أداة مناسبة لتقييم الجودة في المهام المفتوحة التي يصعب إخضاعها لتقييم دقيق. لكنه ليس الأداة المناسبة عندما يكفي فحص حتمي أقل تكلفة.
استخدم حَكَمًا لتقييم الإفادة، والنبرة، والترابط، ومدى الالتزام بمصدر، أو للإجابة عن سؤال مثل «أي هاتين الإجابتين أفضل؟». وتجنبه فيما تغطيه مقاييس برمجية بالفعل: التسميات، والقيم الدقيقة، وصحة المخطط، أو وجود حقيقة مطلوبة.
القاعدة العامة: حاول أولًا جعل الفحص حتميًا. ولا تُسند القرار إلى حَكَم إلا عندما يتعذر عليك ذلك فعلًا.
التقييم النقطي مقابل التقييم بالمقارنة الثنائية
ثمة طريقتان لطلب تقييم من حَكَم، ولكل منهما مهام تلائمها.
| النمط | السؤال | الأنسب لـ | نقطة الضعف |
|---|---|---|---|
| نقطي | «قيّم هذه المخرجات من 1 إلى 5 وفقًا لمعيار التقييم». | الدرجات المطلقة للوحة معلومات أو بوابة CI | يختل ضبط الدرجات؛ ويصعب مقارنتها بين عمليات التشغيل |
| بالمقارنة الثنائية | «أيهما أفضل، A أم B؟» | مقارنة موجّهين أو نموذجين | يحدد الفائز لا الدرجة المطلقة؛ ويتأثر بالترتيب |
عادةً ما تتفق المقارنة الثنائية مع البشر بدرجة أكبر، لأن المقارنة النسبية أسهل من معايرة درجة مطلقة. استخدمها عند اختبار تغيير بأسلوب A/B، واستخدم التقييم النقطي عندما تحتاج إلى رقم مستقل.
اكتب موجّه الحَكَم
جودة الحَكَم لا تتجاوز جودة معيار تقييمه. فالموجّه المبهم يترك افتراضات النموذج بلا ضوابط، لذا اجعل المعايير صريحة واطلب من الحَكَم أن يستدل قبل إصدار الدرجة.
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
هناك تفصيلان مهمان. إن طلب الاستدلال خطوة بخطوة قبل الحكم (موجّه سلسلة التفكير) يحسن الاتفاق مع البشر. كما أن عبارة «لا تكافئ الطول أو الأسلوب» الصريحة تعالج مباشرةً تحيزًا سنتناوله لاحقًا.
التحيزات الأربعة التي يجب معالجتها
الحَكَم ليس مرجعًا محايدًا. فقد وثّقت الأبحاث تحيزات متكررة، وهي خصائص في المنهج لا يمكن التخلص منها كليًا بمجرد تعديل الموجّه.
| التحيز | ما يحدث | المعالجة |
|---|---|---|
| تحيز الموضع | في المقارنة الثنائية، يفوز الجواب في الخانة A بوتيرة تفوق المصادفة | نفّذ كلا الترتيبين (A/B وB/A)، ولا تثق إلا بحكم متفق عليه |
| تحيز الإسهاب | تحصل الإجابات الأطول على درجات أعلى حتى عند تساوي الجودة | اخصم للطول في معيار التقييم، أو استخدم معدلات فوز مضبوطة بالطول |
| التفضيل الذاتي | يفضّل الحَكَم مخرجات النماذج من عائلته | استخدم حَكَمًا من عائلة مختلفة عن عائلة النموذج قيد الاختبار |
| تحيز التنسيق | يفضّل الحَكَم التنسيق الذي يفضله هو (النثر بدل JSON، إلخ) | حدّد التنسيق المطلوب في معيار التقييم وقيّم المحتوى لا الشكل |
أهم هذه التحيزات هو تحيز الموضع، لأنه يسهل اكتشافه في الشيفرة، ولأنه يفسد بصمت كل مقارنة ثنائية تجريها.
عالج تحيز الموضع في الشيفرة
حل تحيز الموضع بسيط: قيّم كل زوج مرتين، مع تبديل ترتيب المخرجين، ولا تعلن فائزًا إلا إذا ظل الحكم متفقًا في المرتين. إذا تغيّر الحكم بسبب الترتيب وحده، فالحَكَم يخمّن.
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
"""Run the judge in both orderings. Trust the result only if it agrees."""
first = judge(x, y) # x in slot A
second = judge(y, x) # y in slot A
x_wins = first == "A" and second == "B"
y_wins = first == "B" and second == "A"
if x_wins:
return "x"
if y_wins:
return "y"
return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair: ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
ألصق هذا في debias.py وشغّل python debias.py. وستحصل على الآتي تمامًا:
biased: tie/uncertain (verdict flipped on order)
fair: x
لقد أدّى تصحيح التحيز غرضه. فقد اكتشف الحَكَم المتحيز وامتنع عن إعلان فائز، بينما مرّر الحكم المستقر للحَكَم المنصف. لاستخدام حَكَم حقيقي، استبدل judge بدالة تستدعي نموذجًا لغويًا كبيرًا باستخدام موجّه معيار التقييم أعلاه، وتعيد "A" أو "B".
راجع حَكَمك
قبل أن تثق بحَكَم في بيئة الإنتاج، قِس أداءه. فالحَكَم الذي لم تراجعه مقياس لا يمكنك الدفاع عنه.
أنشئ مجموعة معايرة صغيرة من الحالات ذات الأحكام الصحيحة المعروفة، ويفضل أن تكون موسومة بواسطة أشخاص. شغّل الحَكَم وتحقق من أمرين: معدل اتفاقه مع التسميات البشرية، ومعدل تغيّر الحكم في المقارنة الثنائية عند تبديل الترتيب. إذا تجاوز معدل التغيّر نحو 5%، فهذا يعني أن تحيز الموضع لا يزال يتسرب.
أعِد هذه المراجعة كلما غيّرت نموذج الحَكَم. فقد يؤدي رفع طفيف لرقم الإصدار إلى تغيير توزيع الدرجات، لذا فالمعايرة ليست مهمة تُنجز مرة واحدة.
النهج الهجين
لا يعتمد الإعداد الموثوق على حَكَم وحده. بل يجمع ثلاث طبقات من الفحوص، بدءًا بالأقل تكلفة.
- تتولى المقاييس الحتمية كل ما تستطيع (التسميات، والمخطط، والحقائق المطلوبة).
- يقيّم حَكَم النموذج اللغوي الكبير الصفات المفتوحة التي تبقى.
- يراجع شخص عينة من أحكام الحَكَم مراجعة سريعة لضمان نزاهته.
تعالج كل طبقة نقطة قصور الطبقة السابقة. الحَكَم طبقة وسطى فعالة، وليس المنظومة بأكملها.
أخطاء شائعة
تشترك معظم أحكام النماذج غير الموثوقة في بضعة أسباب.
أبرزها:
- استخدام النموذج نفسه للتوليد والتحكيم، ما يرسّخ التفضيل الذاتي.
- كتابة معيار تقييم مبهم، فيقيّم الحَكَم بناءً على افتراضات خفية.
- إجراء المقارنة الثنائية بترتيب واحد فقط، ما يترك تحيز الموضع بلا اكتشاف.
- عدم المعايرة مطلقًا بمقارنة الأحكام بالبشر، فلا يمكنك معرفة إن كان الحَكَم مصيبًا.
عالج هذه المشكلات بفصل الحَكَم عن النموذج قيد الاختبار، وكتابة معيار تقييم صريح، وتبديل الترتيب دائمًا، ومراجعة النتائج مقابل التسميات البشرية.
المصادر
Zheng وآخرون، Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). يتناول المصدر نهج التحكيم باستخدام نموذج لغوي كبير، والاتفاق مع التفضيلات البشرية بنسبة تتجاوز 80%، وتحيزات الموضع والإسهاب وتعزيز الذات.
الأسئلة الشائعة
ما المقصود باستخدام نموذج لغوي كبير بوصفه حَكَمًا؟
استخدام نموذج لغوي لتقييم مخرجات نموذج آخر وفقًا لمعيار تقييم، للصفات التي لا يمكن للمطابقة الدقيقة قياسها، مثل الإفادة أو النبرة أو الالتزام.
هل يمكنني استخدام النموذج نفسه للتوليد والتحكيم؟
لا. يفضّل الحَكَم مخرجات النماذج من عائلته (تحيز التفضيل الذاتي)، لذا فإن تحكيم مخرجات نموذجك يرفع الدرجة. استخدم حَكَمًا من عائلة مختلفة.
كيف أوقف تحيز الموضع؟
أجرِ كل مقارنة ثنائية بالترتيبين، ولا تقبل إلا الحكم الذي يظل ثابتًا في كليهما. إذا تغيّر بسبب الترتيب وحده، فاعتبره تعادلًا.
طبّق هذا الدليل مع Ailoot
اربط نماذج الذكاء الاصطناعي بتطبيقاتك ووكلائك وأتمتاتك عبر واجهة Ailoot API واحدة. اختر النموذج الذي يناسب مهمتك، واتبع وثائق Ailoot للبدء.