บล็อก

การกำหนดเส้นทาง LLM คืออะไร?

Markdown

การกำหนดเส้นทาง LLM เลือกโมเดลอย่างไรตามข้อกำหนดของคำขอ ต้นทุน คุณภาพ เวลาแฝง บริบท และนโยบาย

การกำหนดเส้นทาง LLM คือแนวทางในการส่งคำขอ AI แต่ละรายการไปยังโมเดลและผู้ให้บริการที่เหมาะสมที่สุด แทนการกำหนดให้ทุกการเรียกใช้ใช้โมเดลเดียว เราเตอร์จะประเมินคำขอตามเป้าหมาย ต้นทุน คุณภาพ เวลาแฝง ความยาวบริบท และนโยบายของคุณ แล้วส่งคำขอไปยังตัวเลือกที่เหมาะสมที่สุด

ทีมส่วนใหญ่เริ่มจากการเชื่อมแอปของตนเข้ากับผู้ให้บริการรายเดียวโดยตรง ซึ่งมักเป็น OpenAI วิธีนี้ใช้ได้จนกระทั่งใช้ไม่ได้อีกต่อไป: โมเดลที่ถูกกว่าอาจรองรับทราฟฟิกของคุณ 60% ได้ดีไม่แพ้กัน ผู้ให้บริการเกิดเหตุขัดข้อง คำขอต้องใช้หน้าต่างบริบทที่ยาวขึ้น หรือเวิร์กโหลดที่อยู่ภายใต้ข้อกำกับไม่สามารถออกนอกเขตอำนาจศาลได้ เราเตอร์แก้ปัญหาเหล่านี้ทั้งหมดได้ผ่านปลายทางเดียว

การกำหนดเส้นทาง LLM ทำงานอย่างไร

ตั้งค่า SDK ที่เข้ากันได้กับ OpenAI ซึ่งคุณใช้อยู่ให้ชี้ไปยังเราเตอร์แทนผู้ให้บริการ สำหรับคำขอแต่ละรายการ เราเตอร์จะ:

  1. สร้างชุดตัวเลือกที่เป็นไปได้ ซึ่งเป็นโมเดลที่รองรับคำขอได้ (มีความสามารถ หน้าต่างบริบท และความพร้อมใช้งานที่เหมาะสม)
  2. ให้คะแนนตัวเลือก ตามเป้าหมายของคุณ เช่น "ตัวเลือกที่ถูกที่สุดซึ่งมีคุณภาพสูงกว่าระดับขั้นต่ำ" หรือ "เวลาแฝงที่วัดได้ต่ำที่สุด"
  3. ใช้ข้อจำกัด เช่น งบประมาณ ผู้ให้บริการที่อนุญาต การกำหนดถิ่นที่อยู่ของข้อมูล และรายการโมเดลที่อนุญาตสำหรับแต่ละคีย์
  4. ส่งคำขอและสลับไปใช้ตัวเลือกสำรอง: หากตัวเลือกแรกเกิดข้อผิดพลาดหรือหมดเวลา เราเตอร์จะลองตัวเลือกถัดไปที่ดีที่สุดโดยอัตโนมัติ

เหตุใดทีมจึงใช้การกำหนดเส้นทางแทนการกำหนดโมเดลตายตัว

  • ต้นทุน กำหนดเส้นทางคำขอที่ไม่ซับซ้อนไปยังโมเดลราคาถูก และเก็บโมเดลระดับพรีเมียมไว้ใช้กับคำขอที่จำเป็นต้องใช้
  • ความน่าเชื่อถือ การสลับผู้ให้บริการโดยอัตโนมัติหมายความว่าเหตุขัดข้องของผู้ขายรายหนึ่งจะไม่ทำให้ผลิตภัณฑ์ของคุณหยุดทำงาน
  • ความยืดหยุ่น เปลี่ยนหรือเพิ่มโมเดลได้โดยไม่ต้องเผยแพร่โค้ด เพราะกำหนดเส้นทางไว้ในนโยบาย ไม่ใช่ในแอปของคุณ
  • การกำกับดูแล บังคับใช้งบประมาณ การกำหนดถิ่นที่อยู่ และระดับคุณภาพขั้นต่ำจากส่วนกลาง แทนที่จะกำหนดแยกในแต่ละบริการ

การกำหนดเส้นทางกับการสำรองข้อมูลแบบง่าย

การสำรองข้อมูล ("ถ้า OpenAI ล้มเหลว ให้ลอง Anthropic") เป็นรูปแบบการกำหนดเส้นทางที่พื้นฐานที่สุด แต่การกำหนดเส้นทางจริงจะปรับให้เหมาะสมกับทุกคำขอ ไม่ใช่เฉพาะเมื่อเกิดข้อผิดพลาด โดยเลือกตัวเลือกที่ดีที่สุดตั้งแต่ต้นตามต้นทุนและคุณภาพ ไม่ใช่เลือกเมื่อมีบางอย่างผิดพลาดเท่านั้น

นำคู่มือนี้ไปใช้กับ Ailoot

เชื่อมต่อโมเดล AI เข้ากับแอป เอเจนต์ และระบบอัตโนมัติของคุณผ่าน Ailoot API เพียงรายการเดียว เลือกโมเดลที่เหมาะกับงานของคุณ แล้วทำตามเอกสารประกอบของ Ailoot เพื่อเริ่มต้น