Блог

LLM маршрутизациясы дегеніміз не?

Markdown

LLM маршрутизациясы модельдерді сұрау талаптарына, құнына, сапасына, кідірісіне, контекстіне және саясатына қарай қалай таңдайды.

LLM маршрутизациясы — әрбір AI сұрауын барлық шақыруды бір модельге бекітудің орнына, оған ең қолайлы модель мен провайдерге жіберу тәсілі. Маршрутизатор сұрауды мақсаттарыңызға, құнына, сапасына, кідірісіне, контекст ұзындығына және саясатына қарай бағалап, ең сәйкес келетін нұсқаға бағыттайды.

Көптеген командалар қолданбасын бір провайдерге, әдетте OpenAI-ге тікелей жалғаудан бастайды. Бұл бір арзан модель трафигіңіздің 60%-ын дәл сондай сапамен өңдей алар еді, провайдерде ақау пайда болады, сұрауға ұзағырақ контекст терезесі қажет болады немесе реттелетін жұмыс жүктемесі юрисдикциядан шыға алмайды деген жағдайлар туындағанға дейін жұмыс істейді. Маршрутизатор мұның бәрін бір endpoint арқылы шешеді.

LLM маршрутизациясы қалай жұмыс істейді

Қолданыстағы OpenAI-мен үйлесімді SDK-ны провайдердің орнына маршрутизаторға бағыттаңыз. Әр сұрау үшін маршрутизатор:

  1. Сұрауды өңдей алатын модельдерден кандидаттар жиынын құрады (қажетті мүмкіндіктері, контекст терезесі және қолжетімділігі бар).
  2. Кандидаттарды мақсатыңызға сай бағалайды, мысалы, «сапа шегінен асатын ең арзан нұсқа» немесе «өлшенген ең төмен кідіріс».
  3. Бюджеттер, рұқсат етілген провайдерлер, деректердің орналасуы және әр кілтке арналған рұқсат етілген модельдер тізімдері сияқты шектеулерді қолданады.
  4. Сұрауды бағыттап, резервтік нұсқаға көшеді: бірінші таңдау қате берсе немесе күту уақыты аяқталса, келесі ең жақсы кандидатты автоматты түрде қайта көреді.

Командалар неге модельді бірден бекітпей, маршрутизацияны таңдайды

  • Құны. Қарапайым сұрауларды арзан модельдерге бағыттап, премиум модельдерді қажет ететіндерге қалдырыңыз.
  • Сенімділік. Провайдерлер арасында автоматты ауысу бір жеткізушідегі ақаудың өніміңіздің жұмысын тоқтатпауын қамтамасыз етеді.
  • Икемділік. Кодты қайта шығармай-ақ модельдерді ауыстырыңыз немесе жаңасын қосыңыз, өйткені маршрутизация қолданбаңызда емес, саясатта анықталады.
  • Басқару. Бюджеттердің, деректердің орналасуы талаптарының және сапа шектерінің сақталуын әр қызметте бөлек емес, орталықтандырылған түрде қамтамасыз етіңіз.

Маршрутизация мен қарапайым резервтік нұсқа

Резервтік нұсқа («OpenAI істемесе, Anthropic-ті қолданып көр») — маршрутизацияның ең қарапайым түрі. Ал толық маршрутизация тек ақау болғанда ғана емес, әрбір сұрауды оңтайландырады: бірдеңе істен шыққанда ғана емес, құны мен сапасына қарай ең жақсы нұсқаны алдын ала таңдайды.

Бұл нұсқаулықты Ailoot-пен қолданыңыз

AI модельдерін қолданбаларыңызға, агенттеріңізге және автоматтандыру жүйелеріңізге бір Ailoot API арқылы қосыңыз. Тапсырмаңызға сай модельді таңдап, жұмысты бастау үшін Ailoot құжаттамасын қараңыз.