Блог

LLM-as-a-Judge қызметін қалай қолдануға болады

Markdown

Бір модельді бағалау критерийлері бойынша екіншісін бағалау үшін пайдаланыңыз. Жеке және жұптық бағалау тәсілдері, жиі кездесетін біржақтылықтар және оларды бақылау жолдары туралы біліңіз.

Бір модельді бағалау критерийлері бойынша екіншісін бағалау үшін пайдаланыңыз. Жеке және жұптық бағалау тәсілдері, жиі кездесетін біржақтылықтар және оларды бақылау жолдары туралы біліңіз.

LLM-ді бағалаушы ретінде қолдану дегеніміз не?

LLM-ді бағалаушы ретінде қолдану — басқа модельдің шығысын өзіңіз анықтаған критерийлер бойынша бағалау үшін тіл моделін пайдалану. Жолдарды салыстырудың орнына, бағалаушы шығысты оқып, балл немесе шешім береді.

Бұл парадигманы Zheng және әріптестері 2023 жылы жүйелеп сипаттады. Олар қуатты модельдің адам таңдауларымен 80%-дан астам жағдайда келісетінін анықтады — бұл екі адамның бір-бірімен келісу жиілігіне жуық. Оның уәдесі — адамға тән бағалауды машина ауқымында әрі машина құнымен жүзеге асыру.

Мәселе мынада: бағалаушының өзі де модель, сондықтан модельдерге тән ерекшеліктер оған да мұра болады. Оны ұқыпсыз қолдансаңыз, қате нәрсені өлшейтін, бірақ сенімді көрінетін балдар шығарады.

Қашан қолдану керек, ал қашан қолданбаған жөн

Бағалаушы нақты өлшеуге көнбейтін ашық сипаттағы сапаны бағалауға қолайлы. Ал арзанырақ, детерминдік тексеру жеткілікті болса, оны қолдану орынсыз.

Пайдалы болуын, үнін, қисындылығын, дереккөзге сәйкестігін немесе «осы екі жауаптың қайсысы жақсырақ?» деген сұрақты бағалау үшін бағалаушыны пайдаланыңыз. Бағдарламалық метрика тексере алатын нәрселерге — белгілерге, нақты мәндерге, схеманың жарамдылығына немесе міндетті фактінің бар-жоғына — оны қолданбаңыз.

Негізгі қағида: алдымен тексеруді детерминдік етуге тырысыңыз. Бұл шынымен мүмкін болмаған жағдайда ғана шешімді бағалаушыға тапсырыңыз.

Жеке және жұптық бағалау

Бағалаушыға баға қойдырудың екі тәсілі бар, әрі олардың әрқайсысы әртүрлі міндеттерге сай келеді.

РежимСұрақҚайда тиімдіӘлсіз тұсы
Жеке бағалау«Осы шығысты критерийлер бойынша 1-ден 5-ке дейін бағалаңыз.»Бақылау тақтасына немесе CI қақпасына арналған абсолютті балдарКалибрлеу ауытқиды; әр іске қосудағы балдарды салыстыру қиын
Жұптық бағалау«Қайсысы жақсырақ, A ма, әлде B ме?»Екі промптты немесе екі модельді салыстыруЖеңімпазды көрсетеді, абсолютті балды емес; орын тәртібіне тәуелді

Жұптық бағалау әдетте адам бағалауымен көбірек сәйкес келеді, өйткені салыстырмалы бағалау абсолютті калибрлеуден оңайырақ. Өзгерісті A/B тестілеу кезінде осы тәсілді таңдаңыз, ал жеке сан қажет болғанда жеке бағалауды пайдаланыңыз.

Бағалаушыға арналған промпт жазыңыз

Бағалаушының сапасы оның бағалау критерийлеріне байланысты. Бұлыңғыр промпт модельдің негізсіз жорамалдарына жол ашады, сондықтан критерийлерді нақты көрсетіп, бағалаушыдан балл қоймас бұрын пайымдауын сұраңыз.

You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.

Мұнда екі жайт маңызды. Шешімді бермес бұрын қадамдап пайымдауды сұрау (ой тізбегін сұрайтын промпт) адам бағалауымен сәйкестікті жақсартады. Ал «ұзындығы немесе стилі үшін артықшылық бермеңіз» деген нақты жол келесі бөлімде қарастырылатын біржақтылыққа тікелей қарсы тұрады.

Ескеру қажет төрт біржақтылық

Бағалаушы бейтарап төреші емес. Зерттеулер тұрақты түрде көрінетін біржақтылықтарды құжаттаған. Бұлар — әдістің қасиеттері, промпт арқылы толығымен жойылатын қателер емес.

БіржақтылықНе боладыАзайту жолы
Орынға қатысты біржақтылықЖұптық бағалауда A орнындағы жауап кездейсоқ күткеннен жиірек жеңедіЕкі ретті де іске қосыңыз (A/B және B/A), шешім сәйкес келгенде ғана оған сеніңіз
Көпсөзділікке қатысты біржақтылықСапасы бірдей болса да, ұзын жауаптар жоғары балл аладыКритерийлерде ұзындық үшін балды төмендетіңіз немесе ұзындық бақыланатын жеңіс жиілігін пайдаланыңыз
Өзіндік басымдықБағалаушы өз модельдер тобының шығыстарына басымдық бередіТексеріліп жатқан модельден басқа модельдер тобының бағалаушысын пайдаланыңыз
Пішімге қатысты біржақтылықБағалаушы өзі ұнататын пішімге (мысалы, JSON орнына прозаға) басымдық бередіҚажетті пішімді критерийлерде көрсетіп, пішінін емес, мазмұнын бағалаңыз

Осылардың ішіндегі ең маңыздысы — орынға қатысты біржақтылық, өйткені оны код арқылы анықтау оңай. Ал байқалмай қалса, жүргізген жұптық салыстыруларыңыздың бәрін үнсіз бұрмалайды.

Кодта орынға қатысты біржақтылықты бақылау

Орынға қатысты біржақтылықты түзету оңай: әр жұпты жауаптардың орнын ауыстырып екі рет бағалаңыз да, шешім екі жағдайда да бірдей болса ғана жеңімпазды жариялаңыз. Шешім тек орын тәртібіне байланысты өзгерсе, бағалаушы жорамал жасап отыр.

# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))

Осыны debias.py файлына қойып, python debias.py командасын орындаңыз. Дәл мына нәтиже шығады:

biased: tie/uncertain (verdict flipped on order)
fair:   x

Біржақтылықты азайту тәсілі нәтиже берді. Ол біржақты бағалаушыны анықтап, жеңімпазды жариялаудан бас тартты, ал әділ бағалаушының тұрақты шешімін қабылдады. Нақты бағалаушыны қолдану үшін judge функциясының орнына жоғарыдағы бағалау промптын пайдаланып LLM-ге сұрау жіберетін және «A» не «B» қайтаратын функцияны қойыңыз.

Бағалаушыңызды тексеріңіз

Бағалаушыға өндірістік ортада сенім артпас бұрын, оның жұмысын өлшеңіз. Аудиттен өтпеген бағалаушы — негіздей алмайтын метрика.

Дұрыс шешімдері белгілі жағдайлардан шағын калибрлеу жиынын жасаңыз, мүмкіндігінше оны адамдар белгілесін. Бағалаушыны іске қосып, екі нәрсені тексеріңіз: оның адам белгілеген нәтижелермен қаншалықты жиі келісетінін және жұптық шешімнің орындарды ауыстырғанда қаншалықты жиі өзгеретінін. Өзгеру жиілігі шамамен 5%-дан асса, орынға қатысты біржақтылық әлі де байқалады.

Бағалаушы моделін өзгерткен сайын осы аудитті қайталаңыз. Нұсқаның шағын жаңартуының өзі балл үлестірімін өзгертуі мүмкін, сондықтан калибрлеу бір рет қана орындалатын міндет емес.

Гибридті тәсіл

Сенімді жүйе тек бағалаушыға сүйенбейді. Онда тексерудің үш түрі ең арзанысынан бастап қабаттаса қолданылады.

  • Детерминдік метрикалар өздері тексере алатынның бәрін тексереді (белгілерді, схеманы, міндетті фактілерді).
  • LLM бағалаушысы тек қалған ашық сипаттағы қасиеттерді бағалайды.
  • Адам бағалаушы шешімдерінің бір бөлігін іріктеп тексеріп, оның әділ жұмыс істеуін қадағалайды.

Әр қабат алдыңғысының байқамай қалатын тұсын қамтиды. Бағалаушы — қуатты ортаңғы қабат, бүкіл жүйе емес.

Жиі кездесетін қателер

Сенімсіз бағалаушылардың көбінде бірнеше ортақ себеп бар.

Жиі кездесетіндері:

  • Генератор мен бағалаушы ретінде бір модельді қолдану, соның салдарынан өзіндік басымдық орнығады.
  • Бағалау критерийлерін бұлыңғыр жазу, сондықтан бағалаушы жасырын жорамалдарға сүйеніп баға қояды.
  • Жұптық бағалауды тек бір реттілікпен жүргізу, сөйтіп орынға қатысты біржақтылықты байқамай қалу.
  • Адам бағалауымен ешқашан калибрлемеу, сондықтан бағалаушының дұрыс-бұрыстығын айта алмау.

Бағалаушыны тексеріліп жатқан модельден бөлу, критерийлерді нақты жазу, реттілікті әрдайым ауыстыру және адам белгілеген нәтижелер бойынша аудит жүргізу арқылы осы қателерді түзетіңіз.

Дереккөздер

Zheng және әріптестері, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). LLM-ді бағалаушы ретінде қолдану парадигмасы, адам таңдауымен 80%-дан астам келісу және орынға, көпсөзділікке әрі өзін өзі асыра бағалауға қатысты біржақтылықтар.

Жиі қойылатын сұрақтар

LLM-ді бағалаушы ретінде қолдану дегеніміз не?

Нақты сәйкестікпен өлшеуге келмейтін пайдалы болу, үн немесе дереккөзге сәйкестік сияқты қасиеттерді бағалау үшін бір тіл моделін екіншісінің шығысын критерийлер бойынша бағалауға пайдалану.

Бір модельді әрі генерациялау, әрі бағалау үшін қолдана аламын ба?

Жоқ. Бағалаушы өз модельдер тобының шығыстарына басымдық береді (өзіндік басымдық біржақтылығы), сондықтан өз моделіңізді бағалау балды негізсіз көтереді. Басқа модельдер тобынан алынған бағалаушыны пайдаланыңыз.

Орынға қатысты біржақтылықты қалай тоқтатамын?

Әр жұптық салыстыруды екі ретті де орындап, екі жағдайда да бірдей болған шешімді ғана қабылдаңыз. Ол тек орын тәртібіне байланысты өзгерсе, тең нәтиже деп есептеңіз.

Осы нұсқаулықты Ailoot-пен қолданыңыз

AI модельдерін қолданбаларыңызға, агенттеріңізге және автоматтандыру жүйелеріңізге бір Ailoot API арқылы қосыңыз. Тапсырмаңызға сай модельді таңдап, бастау үшін Ailoot құжаттамасын қараңыз.