การกำหนดเส้นทาง LLM คืออะไร?
Markdownการกำหนดเส้นทาง LLM เลือกโมเดลอย่างไรตามข้อกำหนดของคำขอ ต้นทุน คุณภาพ เวลาแฝง บริบท และนโยบาย
การกำหนดเส้นทาง LLM คือแนวทางในการส่งคำขอ AI แต่ละรายการไปยังโมเดลและผู้ให้บริการที่เหมาะสมที่สุด แทนการกำหนดให้ทุกการเรียกใช้ใช้โมเดลเดียว เราเตอร์จะประเมินคำขอตามเป้าหมาย ต้นทุน คุณภาพ เวลาแฝง ความยาวบริบท และนโยบายของคุณ แล้วส่งคำขอไปยังตัวเลือกที่เหมาะสมที่สุด
ทีมส่วนใหญ่เริ่มจากการเชื่อมแอปของตนเข้ากับผู้ให้บริการรายเดียวโดยตรง ซึ่งมักเป็น OpenAI วิธีนี้ใช้ได้จนกระทั่งใช้ไม่ได้อีกต่อไป: โมเดลที่ถูกกว่าอาจรองรับทราฟฟิกของคุณ 60% ได้ดีไม่แพ้กัน ผู้ให้บริการเกิดเหตุขัดข้อง คำขอต้องใช้หน้าต่างบริบทที่ยาวขึ้น หรือเวิร์กโหลดที่อยู่ภายใต้ข้อกำกับไม่สามารถออกนอกเขตอำนาจศาลได้ เราเตอร์แก้ปัญหาเหล่านี้ทั้งหมดได้ผ่านปลายทางเดียว
การกำหนดเส้นทาง LLM ทำงานอย่างไร
ตั้งค่า SDK ที่เข้ากันได้กับ OpenAI ซึ่งคุณใช้อยู่ให้ชี้ไปยังเราเตอร์แทนผู้ให้บริการ สำหรับคำขอแต่ละรายการ เราเตอร์จะ:
- สร้างชุดตัวเลือกที่เป็นไปได้ ซึ่งเป็นโมเดลที่รองรับคำขอได้ (มีความสามารถ หน้าต่างบริบท และความพร้อมใช้งานที่เหมาะสม)
- ให้คะแนนตัวเลือก ตามเป้าหมายของคุณ เช่น "ตัวเลือกที่ถูกที่สุดซึ่งมีคุณภาพสูงกว่าระดับขั้นต่ำ" หรือ "เวลาแฝงที่วัดได้ต่ำที่สุด"
- ใช้ข้อจำกัด เช่น งบประมาณ ผู้ให้บริการที่อนุญาต การกำหนดถิ่นที่อยู่ของข้อมูล และรายการโมเดลที่อนุญาตสำหรับแต่ละคีย์
- ส่งคำขอและสลับไปใช้ตัวเลือกสำรอง: หากตัวเลือกแรกเกิดข้อผิดพลาดหรือหมดเวลา เราเตอร์จะลองตัวเลือกถัดไปที่ดีที่สุดโดยอัตโนมัติ
เหตุใดทีมจึงใช้การกำหนดเส้นทางแทนการกำหนดโมเดลตายตัว
- ต้นทุน กำหนดเส้นทางคำขอที่ไม่ซับซ้อนไปยังโมเดลราคาถูก และเก็บโมเดลระดับพรีเมียมไว้ใช้กับคำขอที่จำเป็นต้องใช้
- ความน่าเชื่อถือ การสลับผู้ให้บริการโดยอัตโนมัติหมายความว่าเหตุขัดข้องของผู้ขายรายหนึ่งจะไม่ทำให้ผลิตภัณฑ์ของคุณหยุดทำงาน
- ความยืดหยุ่น เปลี่ยนหรือเพิ่มโมเดลได้โดยไม่ต้องเผยแพร่โค้ด เพราะกำหนดเส้นทางไว้ในนโยบาย ไม่ใช่ในแอปของคุณ
- การกำกับดูแล บังคับใช้งบประมาณ การกำหนดถิ่นที่อยู่ และระดับคุณภาพขั้นต่ำจากส่วนกลาง แทนที่จะกำหนดแยกในแต่ละบริการ
การกำหนดเส้นทางกับการสำรองข้อมูลแบบง่าย
การสำรองข้อมูล ("ถ้า OpenAI ล้มเหลว ให้ลอง Anthropic") เป็นรูปแบบการกำหนดเส้นทางที่พื้นฐานที่สุด แต่การกำหนดเส้นทางจริงจะปรับให้เหมาะสมกับทุกคำขอ ไม่ใช่เฉพาะเมื่อเกิดข้อผิดพลาด โดยเลือกตัวเลือกที่ดีที่สุดตั้งแต่ต้นตามต้นทุนและคุณภาพ ไม่ใช่เลือกเมื่อมีบางอย่างผิดพลาดเท่านั้น
นำคู่มือนี้ไปใช้กับ Ailoot
เชื่อมต่อโมเดล AI เข้ากับแอป เอเจนต์ และระบบอัตโนมัติของคุณผ่าน Ailoot API เพียงรายการเดียว เลือกโมเดลที่เหมาะกับงานของคุณ แล้วทำตามเอกสารประกอบของ Ailoot เพื่อเริ่มต้น