المدونة

ما توجيه النماذج؟

Markdown

يعرّف توجيه النماذج ويعرض معايير تقييم قواعد التوجيه والأسماء المستعارة وتوزيع المزوّدين وسلوك إعادة المحاولة والرجوع وموازنة الحمل والمفاضلات بين التكلفة وزمن الاستجابة.

توجيه النماذج هو عملية ربط طلب LLM وارد بمزوّد محدد ومعرّف نموذج ومفتاح API عند وقت الطلب، وفقًا لسياسة معينة بدلًا من كود التطبيق. يقيّم موجّه النماذج سياق الطلب (الرؤوس، والمستأجر، وحالة الميزانية، وتعقيد المطالبة) وحالة المزوّد (معدل الأخطاء، وزمن الاستجابة، والهامش المتاح لحدود المعدل)، ثم يعيد كتابة الوجهة قبل الاتصال بالمزوّد. وعادةً ما تكون طبقة توجيه النماذج التي تخفّض تكاليف رموز LLM هي الموضع الذي تبدأ فيه الفرق برؤية العائد.

يشمل المصطلح ثلاث آليات كثيرًا ما يجري الخلط بينها:

  • التوجيه الثابت يربط اسم نموذج بمزوّدين وفق أوزان ثابتة.
  • التوجيه المشروط يقيّم تعبيرًا لكل طلب (رأس المستوى، أو الفريق، أو الميزانية المستهلكة، أو مستوى التعقيد) ويغيّر الوجهة عند تحقق شرط.
  • التوجيه التكيّفي يعيد ضبط أوزان المزوّدين والمفاتيح باستمرار استنادًا إلى معدلات الأخطاء وأزمنة الاستجابة المرصودة.

يحتاج موجّه LLM مخصص للإنتاج إلى الآليات الثلاث جميعها؛ والأداة التي تقدم آلية واحدة تترك الآليتين الأخريين في كود التطبيق. ويتناول دليل التوجيه الذكي لـ LLM حول اختيار النموذج الأمثل لكل طلب الآلية الثانية بالتفصيل.

كيفية تقييم موجّه LLM

المعيارما الذي ينبغي التحقق منه
لغة قواعد التوجيههل يمكن للقاعدة قراءة الرؤوس والمستأجر واستخدام الميزانية ونوع الطلب، مع أسبقية محددة؟
الأسماء المستعارة للنماذجهل يمكن أن يحيل best-model إلى معرّفات مختلفة حسب المفتاح أو الفريق أو البيئة، من دون تغيير الكود؟
التوزيع الموزونهل تُطبّق الأوزان على مستوى المزوّد ومفتاح API، وتُطبّع لكل نموذج؟
دلالات الرجوع وإعادة المحاولةهل لكل مسار رجوع ميزانية مستقلة لإعادة المحاولة؟ وهل يُتعامل مع 429 بطريقة مختلفة عن 401؟
موازنة الحمل التكيّفيةهل يُعاد حساب الأوزان استنادًا إلى معدل الأخطاء وزمن الاستجابة المباشرين، وما سرعة عودة المسار المتعافي؟
مراعاة التكلفةهل تُزامَن بيانات التسعير ويمكن تجاوزها، وهل تستطيع القاعدة الاستجابة للميزانية المستهلكة؟
النفقات الإضافية والنشرزمن الاستجابة المقاس عند إنتاجية مستدامة؛ وهل الحل مستضاف ذاتيًا أو مستضاف أو مكتبة فقط؟

التمييز بين إعادة المحاولة والرجوع هو المعيار الأكثر غيابًا في مقارنات المورّدين: إعادة المحاولة تكرّر المحاولة مع المزوّد نفسه، أما الرجوع فينقل الطلب إلى مزوّد آخر، والموجّه الذي يدمج بينهما لا يستطيع تخصيص ميزانية منفصلة لكل منهما.

تحديات شائعة في أدوات توجيه النماذج

ترجع معظم إخفاقات توجيه النماذج في بيئات الإنتاج إلى بضعة ثغرات متكررة، ولكل منها حل على مستوى الإعدادات.

  • تعيش حالة التوجيه في كود التطبيق. لا يمكن تغيير أسماء النماذج وتفضيلات المزوّدين وقوائم الرجوع المضمّنة في الخدمات من دون نشر إصدار جديد؛ أما إعداد المفاتيح الافتراضية وقواعد التوجيه فيجعلانها قابلة للتدقيق.
  • إعادات المحاولة التي تتجاهل فئة الخطأ. إن إعادة محاولة 401 مع التراجع التدريجي تهدر ثواني ولا تنجح أبدًا؛ ينبغي للموجّه اعتبار بيانات الاعتماد معطّلة والتبديل فورًا..
  • عدم تسجيل قرار التوجيه. يسهل فهم سلوك حدود المعدل لدى المزوّد، مثل حدود RPM وTPM المتدرجة لدى OpenAI، بدرجة أكبر عندما تسجل البوابة أي محرّك اختار المسار وأي مفتاح بلغ الحد.

الأسئلة الشائعة

ما موجّه LLM؟

موجّه LLM هو مكوّن يختار المزوّد والنموذج وبيانات الاعتماد لكل طلب استنادًا إلى قواعد مُعدّة أو أوزان ثابتة أو مقاييس أداء مباشرة. يقع بين التطبيق والمزوّدين، ويعيد كتابة وجهة الطلب قبل الاتصال، ويتولى إعادة المحاولات ومسارات الرجوع عند فشل المسار.

ما الفرق بين موجّه النماذج وبوابة الذكاء الاصطناعي؟

يحدد موجّه النماذج وجهة الطلب. أما بوابة الذكاء الاصطناعي فتنفّذ الطلب وتتولى أيضًا بيانات الاعتماد والميزانيات وحدود المعدل والضوابط الوقائية والتسجيل.

كيف يخفض توجيه النماذج تكاليف LLM؟

يخفض توجيه النماذج التكلفة بإرسال كل طلب إلى أقل النماذج تكلفةً من بين النماذج التي تلبي متطلبات الجودة، وبإبعاد حركة المرور عن المزوّدين القريبين من بلوغ الميزانية أو حد المعدل.

ما الفرق بين إعادة المحاولة ومسارات الرجوع؟

تكرّر إعادة المحاولة المحاولة مع المزوّد نفسه، وقد تستخدم مفتاح API مختلفًا، بعد إخفاق عابر مثل 5xx أو 429. أما الرجوع فينقل الطلب إلى مزوّد ونموذج مختلفين بعد استنفاد المحاولات المخصصة للمسار الأساسي.

ما موازنة الحمل التكيّفية في موجّه LLM؟

تعيد موازنة الحمل التكيّفية حساب أوزان المسارات استنادًا إلى المقاييس المرصودة بدلًا من الإعدادات الثابتة.

ابدأ باستخدام هذا الدليل مع Ailoot

اربط نماذج الذكاء الاصطناعي بتطبيقاتك ووكلائك وأتمتاتك عبر واجهة Ailoot API واحدة. اختر النموذج المناسب لمهمتك واتبع وثائق Ailoot للبدء.