บล็อก

การกำหนดเส้นทางโมเดลคืออะไร?

Markdown

ให้นิยามการกำหนดเส้นทางโมเดล และสรุปเกณฑ์สำหรับประเมินกฎการกำหนดเส้นทาง ชื่อแทน การกระจายผู้ให้บริการ พฤติกรรมการลองใหม่และการสำรองข้อมูล การปรับสมดุลโหลด และการแลกเปลี่ยนระหว่างต้นทุนกับเวลาแฝง

การกำหนดเส้นทางโมเดลคือกระบวนการจับคู่คำขอ LLM ที่เข้ามากับผู้ให้บริการ ตัวระบุโมเดล และคีย์ API ที่เฉพาะเจาะจง ณ เวลาที่ส่งคำขอ โดยอิงตามนโยบายแทนที่จะอิงตามโค้ดแอปพลิเคชัน เราเตอร์โมเดลจะประเมินบริบทของคำขอ (ส่วนหัว ผู้เช่า สถานะงบประมาณ ความซับซ้อนของ prompt) และสถานะของผู้ให้บริการ (อัตราข้อผิดพลาด เวลาแฝง ช่องว่างก่อนถึงขีดจำกัดอัตรา) จากนั้นจึงเขียนเป้าหมายใหม่ก่อนเรียกผู้ให้บริการ โดยทั่วไปทีมจะเริ่มเห็นผลตอบแทนจากชั้นการกำหนดเส้นทางโมเดลที่ช่วยลดต้นทุนโทเค็น LLM เป็นจุดแรก

คำนี้ครอบคลุมกลไกสามแบบที่มักถูกสับสนปะปนกัน:

  • การกำหนดเส้นทางแบบคงที่ จับคู่ชื่อโมเดลกับผู้ให้บริการโดยใช้น้ำหนักที่กำหนดไว้ตายตัว
  • การกำหนดเส้นทางแบบมีเงื่อนไข ประเมินนิพจน์สำหรับแต่ละคำขอ (ส่วนหัวระดับบริการ ทีม งบประมาณที่ใช้ไป ระดับความซับซ้อน) และแทนที่เป้าหมายเมื่อเงื่อนไขตรงกัน
  • การกำหนดเส้นทางแบบปรับเปลี่ยนได้ ปรับน้ำหนักของผู้ให้บริการและคีย์อย่างต่อเนื่องจากอัตราข้อผิดพลาดและเวลาแฝงที่สังเกตได้

เราเตอร์ LLM สำหรับใช้งานจริงจำเป็นต้องมีกลไกทั้งสามแบบ เครื่องมือที่มีเพียงแบบเดียวจะทำให้อีกสองแบบต้องกลับไปจัดการในโค้ดแอปพลิเคชัน คู่มือการกำหนดเส้นทาง LLM อัจฉริยะเรื่องการเลือกโมเดลที่เหมาะสมที่สุดสำหรับแต่ละคำขอจะอธิบายกลไกแบบที่สองอย่างละเอียด

วิธีประเมินเราเตอร์ LLM

เกณฑ์สิ่งที่ควรตรวจสอบ
ภาษาสำหรับเขียนกฎการกำหนดเส้นทางกฎสามารถอ่านส่วนหัว ผู้เช่า การใช้งบประมาณ และประเภทคำขอ โดยมีลำดับความสำคัญที่กำหนดไว้หรือไม่?
การตั้งชื่อแทนโมเดลbest-model สามารถแก้เป็นตัวระบุที่ต่างกันตามคีย์ ทีม หรือสภาพแวดล้อม โดยไม่ต้องเปลี่ยนโค้ดได้หรือไม่?
การกระจายตามน้ำหนักมีการใช้น้ำหนักในระดับผู้ให้บริการและคีย์ API โดยปรับสัดส่วนแยกตามแต่ละโมเดลหรือไม่?
ความหมายของการสำรองและการลองใหม่การสำรองแต่ละครั้งมีงบประมาณสำหรับการลองใหม่เป็นของตัวเองหรือไม่? มีการจัดการ 429 ต่างจาก 401 หรือไม่?
การปรับสมดุลโหลดแบบปรับเปลี่ยนได้มีการคำนวณน้ำหนักใหม่จากอัตราข้อผิดพลาดและเวลาแฝงแบบเรียลไทม์หรือไม่ และเส้นทางที่ฟื้นตัวแล้วจะกลับมาใช้งานได้เร็วเพียงใด?
การคำนึงถึงต้นทุนมีการซิงค์ข้อมูลราคาและสามารถแก้ไขทับได้หรือไม่ และกฎสามารถตอบสนองต่องบประมาณที่ใช้ไปแล้วได้หรือไม่?
ค่าใช้จ่ายส่วนเกินและการติดตั้งใช้งานเวลาแฝงที่วัดได้ภายใต้อัตราการรับส่งข้อมูลต่อเนื่อง; โฮสต์เอง โฮสต์ให้ หรือมีเฉพาะไลบรารี?

ความแตกต่างระหว่างการลองใหม่กับการสำรองเป็นเกณฑ์ที่มักขาดหายไปจากการเปรียบเทียบผู้ให้บริการมากที่สุด: การลองใหม่คือการเรียกผู้ให้บริการรายเดิมอีกครั้ง ส่วนการสำรองคือการเปลี่ยนไปใช้ผู้ให้บริการรายอื่น และเราเตอร์ที่รวมสองอย่างนี้เข้าด้วยกันจะจัดสรรงบประมาณแยกกันไม่ได้

ความท้าทายทั่วไปของเครื่องมือกำหนดเส้นทางโมเดล

ความล้มเหลวในการกำหนดเส้นทางโมเดลสำหรับระบบที่ใช้งานจริงส่วนใหญ่มีสาเหตุมาจากช่องโหว่ที่เกิดซ้ำอยู่ไม่กี่ข้อ ซึ่งแต่ละข้อแก้ได้ในระดับการกำหนดค่า

  • สถานะการกำหนดเส้นทางอยู่ในโค้ดแอปพลิเคชัน ชื่อโมเดล การตั้งค่าผู้ให้บริการที่ต้องการ และรายการสำรองที่ฝังอยู่ในบริการจะเปลี่ยนไม่ได้หากไม่ติดตั้งใช้งานใหม่ การกำหนดค่าคีย์เสมือนและกฎการกำหนดเส้นทางทำให้ตรวจสอบย้อนหลังได้
  • การลองใหม่ที่ไม่สนใจประเภทข้อผิดพลาด การลอง 401 ใหม่โดยใช้การหน่วงเวลาแบบเพิ่มขึ้นทำให้เสียเวลาไปหลายวินาทีและไม่มีทางสำเร็จ เราเตอร์ควรระบุว่าข้อมูลรับรองใช้ไม่ได้และสลับไปใช้รายการอื่นทันที..
  • ไม่มีบันทึกการตัดสินใจกำหนดเส้นทาง การทำความเข้าใจพฤติกรรมขีดจำกัดอัตราของผู้ให้บริการ เช่น ขีดจำกัด RPM และ TPM แบบแบ่งระดับของ OpenAI ทำได้ง่ายขึ้นมากเมื่อเกตเวย์บันทึกว่าเอนจินใดเป็นผู้เลือกเส้นทางและคีย์ใดชนขีดจำกัด

คำถามที่พบบ่อย

เราเตอร์ LLM คืออะไร?

เราเตอร์ LLM คือองค์ประกอบที่เลือกผู้ให้บริการ โมเดล และข้อมูลรับรองสำหรับแต่ละคำขอ โดยอิงตามกฎที่กำหนดไว้ น้ำหนักแบบคงที่ หรือเมตริกประสิทธิภาพแบบเรียลไทม์ เราเตอร์อยู่ระหว่างแอปพลิเคชันกับผู้ให้บริการ เขียนเป้าหมายของคำขอใหม่ก่อนเรียกใช้งาน และจัดการการลองใหม่กับการสำรองเมื่อเส้นทางล้มเหลว

เราเตอร์โมเดลแตกต่างจากเกตเวย์ AI อย่างไร?

เราเตอร์โมเดลตัดสินใจว่าจะส่งคำขอไปที่ใด ส่วนเกตเวย์ AI จะดำเนินการตามคำขอและจัดการข้อมูลรับรอง งบประมาณ ขีดจำกัดอัตรา มาตรการป้องกัน และการบันทึกข้อมูลด้วย

การกำหนดเส้นทางโมเดลช่วยลดต้นทุน LLM ได้อย่างไร?

การกำหนดเส้นทางโมเดลช่วยลดต้นทุนด้วยการส่งคำขอแต่ละรายการไปยังโมเดลที่มีค่าใช้จ่ายต่ำที่สุดและตรงตามข้อกำหนดด้านคุณภาพ พร้อมทั้งย้ายปริมาณการใช้งานออกจากผู้ให้บริการที่ใกล้ถึงขีดจำกัดงบประมาณหรืออัตรา

การลองใหม่แตกต่างจากการสำรองอย่างไร?

การลองใหม่คือการเรียกผู้ให้บริการรายเดิมอีกครั้ง โดยอาจใช้คีย์ API อื่น หลังเกิดข้อผิดพลาดชั่วคราว เช่น 5xx หรือ 429 การสำรองคือการเปลี่ยนไปใช้ผู้ให้บริการและโมเดลรายอื่น หลังจากผู้ให้บริการหลักใช้จำนวนครั้งที่อนุญาตให้ลองใหม่หมดแล้ว

การปรับสมดุลโหลดแบบปรับเปลี่ยนได้ในเราเตอร์ LLM คืออะไร?

การปรับสมดุลโหลดแบบปรับเปลี่ยนได้จะคำนวณน้ำหนักของเส้นทางใหม่จากเมตริกที่สังเกตได้ แทนการใช้การกำหนดค่าแบบคงที่

นำคู่มือนี้ไปใช้กับ Ailoot

เชื่อมต่อโมเดล AI เข้ากับแอปพลิเคชัน เอเจนต์ และระบบอัตโนมัติของคุณผ่าน Ailoot API เดียว เลือกโมเดลที่เหมาะกับงานของคุณและทำตามเอกสารประกอบ Ailootเพื่อเริ่มต้น