# การกำหนดเส้นทาง LLM คืออะไร?

> การกำหนดเส้นทาง LLM เลือกโมเดลอย่างไรตามข้อกำหนดของคำขอ ต้นทุน คุณภาพ เวลาแฝง บริบท และนโยบาย

Source: https://ailoot.ai/blog/th/what-is-llm-routing/
Canonical: https://ailoot.ai/blog/th/what-is-llm-routing/
Language: th
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100040
Revision: sha256-c597d11d128a1e6287c49c78c866b9321e6b4f07fc19160736a1f0dbed242073


**การกำหนดเส้นทาง LLM** คือแนวทางในการส่งคำขอ AI แต่ละรายการไปยังโมเดลและผู้ให้บริการที่เหมาะสมที่สุด แทนการกำหนดให้ทุกการเรียกใช้ใช้โมเดลเดียว เราเตอร์จะประเมินคำขอตามเป้าหมาย ต้นทุน คุณภาพ เวลาแฝง ความยาวบริบท และนโยบายของคุณ แล้วส่งคำขอไปยังตัวเลือกที่เหมาะสมที่สุด

ทีมส่วนใหญ่เริ่มจากการเชื่อมแอปของตนเข้ากับผู้ให้บริการรายเดียวโดยตรง ซึ่งมักเป็น OpenAI วิธีนี้ใช้ได้จนกระทั่งใช้ไม่ได้อีกต่อไป: โมเดลที่ถูกกว่าอาจรองรับทราฟฟิกของคุณ 60% ได้ดีไม่แพ้กัน ผู้ให้บริการเกิดเหตุขัดข้อง คำขอต้องใช้หน้าต่างบริบทที่ยาวขึ้น หรือเวิร์กโหลดที่อยู่ภายใต้ข้อกำกับไม่สามารถออกนอกเขตอำนาจศาลได้ เราเตอร์แก้ปัญหาเหล่านี้ทั้งหมดได้ผ่านปลายทางเดียว

## การกำหนดเส้นทาง LLM ทำงานอย่างไร

ตั้งค่า SDK ที่เข้ากันได้กับ OpenAI ซึ่งคุณใช้อยู่ให้ชี้ไปยังเราเตอร์แทนผู้ให้บริการ สำหรับคำขอแต่ละรายการ เราเตอร์จะ:

1. **สร้างชุดตัวเลือกที่เป็นไปได้** ซึ่งเป็นโมเดลที่รองรับคำขอได้ (มีความสามารถ หน้าต่างบริบท และความพร้อมใช้งานที่เหมาะสม)
2. **ให้คะแนนตัวเลือก** ตามเป้าหมายของคุณ เช่น "ตัวเลือกที่ถูกที่สุดซึ่งมีคุณภาพสูงกว่าระดับขั้นต่ำ" หรือ "เวลาแฝงที่วัดได้ต่ำที่สุด"
3. **ใช้ข้อจำกัด** เช่น งบประมาณ ผู้ให้บริการที่อนุญาต การกำหนดถิ่นที่อยู่ของข้อมูล และรายการโมเดลที่อนุญาตสำหรับแต่ละคีย์
4. **ส่งคำขอและสลับไปใช้ตัวเลือกสำรอง**: หากตัวเลือกแรกเกิดข้อผิดพลาดหรือหมดเวลา เราเตอร์จะลองตัวเลือกถัดไปที่ดีที่สุดโดยอัตโนมัติ

## เหตุใดทีมจึงใช้การกำหนดเส้นทางแทนการกำหนดโมเดลตายตัว

- **ต้นทุน** กำหนดเส้นทางคำขอที่ไม่ซับซ้อนไปยังโมเดลราคาถูก และเก็บโมเดลระดับพรีเมียมไว้ใช้กับคำขอที่จำเป็นต้องใช้
- **ความน่าเชื่อถือ** การสลับผู้ให้บริการโดยอัตโนมัติหมายความว่าเหตุขัดข้องของผู้ขายรายหนึ่งจะไม่ทำให้ผลิตภัณฑ์ของคุณหยุดทำงาน
- **ความยืดหยุ่น** เปลี่ยนหรือเพิ่มโมเดลได้โดยไม่ต้องเผยแพร่โค้ด เพราะกำหนดเส้นทางไว้ในนโยบาย ไม่ใช่ในแอปของคุณ
- **การกำกับดูแล** บังคับใช้งบประมาณ การกำหนดถิ่นที่อยู่ และระดับคุณภาพขั้นต่ำจากส่วนกลาง แทนที่จะกำหนดแยกในแต่ละบริการ

## การกำหนดเส้นทางกับการสำรองข้อมูลแบบง่าย

การสำรองข้อมูล ("ถ้า OpenAI ล้มเหลว ให้ลอง Anthropic") เป็นรูปแบบการกำหนดเส้นทางที่พื้นฐานที่สุด แต่การกำหนดเส้นทางจริงจะปรับให้เหมาะสมกับทุกคำขอ ไม่ใช่เฉพาะเมื่อเกิดข้อผิดพลาด โดยเลือกตัวเลือกที่ดีที่สุดตั้งแต่ต้นตามต้นทุนและคุณภาพ ไม่ใช่เลือกเมื่อมีบางอย่างผิดพลาดเท่านั้น

## นำคู่มือนี้ไปใช้กับ Ailoot

เชื่อมต่อโมเดล AI เข้ากับแอป เอเจนต์ และระบบอัตโนมัติของคุณผ่าน Ailoot API เพียงรายการเดียว เลือกโมเดลที่เหมาะกับงานของคุณ แล้วทำตาม[เอกสารประกอบของ Ailoot](https://ailoot.ai/docs/) เพื่อเริ่มต้น


## Ailoot · บริษัทและพอร์ตโฟลิโอโครงการของบริษัท

Ailoot อาศัยประสบการณ์การดำเนินงานที่สั่งสม ฐานลูกค้าขนาดใหญ่ บริการที่เสถียร และการติดตาม KPI อย่างต่อเนื่อง

บริษัทและพอร์ตโฟลิโอโครงการของบริษัท: ลูกค้าหลายล้านราย; ยอดขายระดับหลายพันล้านต่อเดือน.

Ailoot นำประสบการณ์การดำเนินงานนี้มาใช้เพื่อให้เข้าถึงฟังก์ชัน AI ผ่าน API ในผลิตภัณฑ์ของลูกค้า เอเจนต์ แอปพลิเคชัน และระบบอัตโนมัติ
