# การกำหนดเส้นทางโมเดลคืออะไร?

> ให้นิยามการกำหนดเส้นทางโมเดล และสรุปเกณฑ์สำหรับประเมินกฎการกำหนดเส้นทาง ชื่อแทน การกระจายผู้ให้บริการ พฤติกรรมการลองใหม่และการสำรองข้อมูล การปรับสมดุลโหลด และการแลกเปลี่ยนระหว่างต้นทุนกับเวลาแฝง

Source: https://ailoot.ai/blog/th/what-is-model-routing/
Canonical: https://ailoot.ai/blog/th/what-is-model-routing/
Language: th
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100045
Revision: sha256-143945d26de45ac00d9cd9bd0c701f03f2e76905f12ed95f777aff809ac2658a


การกำหนดเส้นทางโมเดลคือกระบวนการจับคู่คำขอ LLM ที่เข้ามากับผู้ให้บริการ ตัวระบุโมเดล และคีย์ API ที่เฉพาะเจาะจง ณ เวลาที่ส่งคำขอ โดยอิงตามนโยบายแทนที่จะอิงตามโค้ดแอปพลิเคชัน เราเตอร์โมเดลจะประเมินบริบทของคำขอ (ส่วนหัว ผู้เช่า สถานะงบประมาณ ความซับซ้อนของ prompt) และสถานะของผู้ให้บริการ (อัตราข้อผิดพลาด เวลาแฝง ช่องว่างก่อนถึงขีดจำกัดอัตรา) จากนั้นจึงเขียนเป้าหมายใหม่ก่อนเรียกผู้ให้บริการ โดยทั่วไปทีมจะเริ่มเห็นผลตอบแทนจากชั้นการกำหนดเส้นทางโมเดลที่ช่วยลดต้นทุนโทเค็น LLM เป็นจุดแรก

คำนี้ครอบคลุมกลไกสามแบบที่มักถูกสับสนปะปนกัน:

- **การกำหนดเส้นทางแบบคงที่** จับคู่ชื่อโมเดลกับผู้ให้บริการโดยใช้น้ำหนักที่กำหนดไว้ตายตัว
- **การกำหนดเส้นทางแบบมีเงื่อนไข** ประเมินนิพจน์สำหรับแต่ละคำขอ (ส่วนหัวระดับบริการ ทีม งบประมาณที่ใช้ไป ระดับความซับซ้อน) และแทนที่เป้าหมายเมื่อเงื่อนไขตรงกัน
- **การกำหนดเส้นทางแบบปรับเปลี่ยนได้** ปรับน้ำหนักของผู้ให้บริการและคีย์อย่างต่อเนื่องจากอัตราข้อผิดพลาดและเวลาแฝงที่สังเกตได้

เราเตอร์ LLM สำหรับใช้งานจริงจำเป็นต้องมีกลไกทั้งสามแบบ เครื่องมือที่มีเพียงแบบเดียวจะทำให้อีกสองแบบต้องกลับไปจัดการในโค้ดแอปพลิเคชัน คู่มือการกำหนดเส้นทาง LLM อัจฉริยะเรื่องการเลือกโมเดลที่เหมาะสมที่สุดสำหรับแต่ละคำขอจะอธิบายกลไกแบบที่สองอย่างละเอียด

## วิธีประเมินเราเตอร์ LLM

| เกณฑ์ | สิ่งที่ควรตรวจสอบ |
|----|----|
| ภาษาสำหรับเขียนกฎการกำหนดเส้นทาง | กฎสามารถอ่านส่วนหัว ผู้เช่า การใช้งบประมาณ และประเภทคำขอ โดยมีลำดับความสำคัญที่กำหนดไว้หรือไม่? |
| การตั้งชื่อแทนโมเดล | `best-model` สามารถแก้เป็นตัวระบุที่ต่างกันตามคีย์ ทีม หรือสภาพแวดล้อม โดยไม่ต้องเปลี่ยนโค้ดได้หรือไม่? |
| การกระจายตามน้ำหนัก | มีการใช้น้ำหนักในระดับผู้ให้บริการและคีย์ API โดยปรับสัดส่วนแยกตามแต่ละโมเดลหรือไม่? |
| ความหมายของการสำรองและการลองใหม่ | การสำรองแต่ละครั้งมีงบประมาณสำหรับการลองใหม่เป็นของตัวเองหรือไม่? มีการจัดการ `429` ต่างจาก `401` หรือไม่? |
| การปรับสมดุลโหลดแบบปรับเปลี่ยนได้ | มีการคำนวณน้ำหนักใหม่จากอัตราข้อผิดพลาดและเวลาแฝงแบบเรียลไทม์หรือไม่ และเส้นทางที่ฟื้นตัวแล้วจะกลับมาใช้งานได้เร็วเพียงใด? |
| การคำนึงถึงต้นทุน | มีการซิงค์ข้อมูลราคาและสามารถแก้ไขทับได้หรือไม่ และกฎสามารถตอบสนองต่องบประมาณที่ใช้ไปแล้วได้หรือไม่? |
| ค่าใช้จ่ายส่วนเกินและการติดตั้งใช้งาน | เวลาแฝงที่วัดได้ภายใต้อัตราการรับส่งข้อมูลต่อเนื่อง; โฮสต์เอง โฮสต์ให้ หรือมีเฉพาะไลบรารี? |

ความแตกต่างระหว่างการลองใหม่กับการสำรองเป็นเกณฑ์ที่มักขาดหายไปจากการเปรียบเทียบผู้ให้บริการมากที่สุด: การลองใหม่คือการเรียกผู้ให้บริการรายเดิมอีกครั้ง ส่วนการสำรองคือการเปลี่ยนไปใช้ผู้ให้บริการรายอื่น และเราเตอร์ที่รวมสองอย่างนี้เข้าด้วยกันจะจัดสรรงบประมาณแยกกันไม่ได้

## ความท้าทายทั่วไปของเครื่องมือกำหนดเส้นทางโมเดล

ความล้มเหลวในการกำหนดเส้นทางโมเดลสำหรับระบบที่ใช้งานจริงส่วนใหญ่มีสาเหตุมาจากช่องโหว่ที่เกิดซ้ำอยู่ไม่กี่ข้อ ซึ่งแต่ละข้อแก้ได้ในระดับการกำหนดค่า

- **สถานะการกำหนดเส้นทางอยู่ในโค้ดแอปพลิเคชัน** ชื่อโมเดล การตั้งค่าผู้ให้บริการที่ต้องการ และรายการสำรองที่ฝังอยู่ในบริการจะเปลี่ยนไม่ได้หากไม่ติดตั้งใช้งานใหม่ การกำหนดค่าคีย์เสมือนและกฎการกำหนดเส้นทางทำให้ตรวจสอบย้อนหลังได้
- **การลองใหม่ที่ไม่สนใจประเภทข้อผิดพลาด** การลอง `401` ใหม่โดยใช้การหน่วงเวลาแบบเพิ่มขึ้นทำให้เสียเวลาไปหลายวินาทีและไม่มีทางสำเร็จ เราเตอร์ควรระบุว่าข้อมูลรับรองใช้ไม่ได้และสลับไปใช้รายการอื่นทันที..
- **ไม่มีบันทึกการตัดสินใจกำหนดเส้นทาง** การทำความเข้าใจพฤติกรรมขีดจำกัดอัตราของผู้ให้บริการ เช่น ขีดจำกัด RPM และ TPM แบบแบ่งระดับของ OpenAI ทำได้ง่ายขึ้นมากเมื่อเกตเวย์บันทึกว่าเอนจินใดเป็นผู้เลือกเส้นทางและคีย์ใดชนขีดจำกัด

## คำถามที่พบบ่อย

### เราเตอร์ LLM คืออะไร?

เราเตอร์ LLM คือองค์ประกอบที่เลือกผู้ให้บริการ โมเดล และข้อมูลรับรองสำหรับแต่ละคำขอ โดยอิงตามกฎที่กำหนดไว้ น้ำหนักแบบคงที่ หรือเมตริกประสิทธิภาพแบบเรียลไทม์ เราเตอร์อยู่ระหว่างแอปพลิเคชันกับผู้ให้บริการ เขียนเป้าหมายของคำขอใหม่ก่อนเรียกใช้งาน และจัดการการลองใหม่กับการสำรองเมื่อเส้นทางล้มเหลว

### เราเตอร์โมเดลแตกต่างจากเกตเวย์ AI อย่างไร?

เราเตอร์โมเดลตัดสินใจว่าจะส่งคำขอไปที่ใด ส่วนเกตเวย์ AI จะดำเนินการตามคำขอและจัดการข้อมูลรับรอง งบประมาณ ขีดจำกัดอัตรา มาตรการป้องกัน และการบันทึกข้อมูลด้วย

### การกำหนดเส้นทางโมเดลช่วยลดต้นทุน LLM ได้อย่างไร?

การกำหนดเส้นทางโมเดลช่วยลดต้นทุนด้วยการส่งคำขอแต่ละรายการไปยังโมเดลที่มีค่าใช้จ่ายต่ำที่สุดและตรงตามข้อกำหนดด้านคุณภาพ พร้อมทั้งย้ายปริมาณการใช้งานออกจากผู้ให้บริการที่ใกล้ถึงขีดจำกัดงบประมาณหรืออัตรา

### การลองใหม่แตกต่างจากการสำรองอย่างไร?

การลองใหม่คือการเรียกผู้ให้บริการรายเดิมอีกครั้ง โดยอาจใช้คีย์ API อื่น หลังเกิดข้อผิดพลาดชั่วคราว เช่น `5xx` หรือ `429` การสำรองคือการเปลี่ยนไปใช้ผู้ให้บริการและโมเดลรายอื่น หลังจากผู้ให้บริการหลักใช้จำนวนครั้งที่อนุญาตให้ลองใหม่หมดแล้ว

### การปรับสมดุลโหลดแบบปรับเปลี่ยนได้ในเราเตอร์ LLM คืออะไร?

การปรับสมดุลโหลดแบบปรับเปลี่ยนได้จะคำนวณน้ำหนักของเส้นทางใหม่จากเมตริกที่สังเกตได้ แทนการใช้การกำหนดค่าแบบคงที่

## นำคู่มือนี้ไปใช้กับ Ailoot

เชื่อมต่อโมเดล AI เข้ากับแอปพลิเคชัน เอเจนต์ และระบบอัตโนมัติของคุณผ่าน Ailoot API เดียว เลือกโมเดลที่เหมาะกับงานของคุณและทำตาม[เอกสารประกอบ Ailoot](https://ailoot.ai/docs/)เพื่อเริ่มต้น


## Ailoot · บริษัทและพอร์ตโฟลิโอโครงการของบริษัท

Ailoot อาศัยประสบการณ์การดำเนินงานที่สั่งสม ฐานลูกค้าขนาดใหญ่ บริการที่เสถียร และการติดตาม KPI อย่างต่อเนื่อง

บริษัทและพอร์ตโฟลิโอโครงการของบริษัท: ลูกค้าหลายล้านราย; ยอดขายระดับหลายพันล้านต่อเดือน.

Ailoot นำประสบการณ์การดำเนินงานนี้มาใช้เพื่อให้เข้าถึงฟังก์ชัน AI ผ่าน API ในผลิตภัณฑ์ของลูกค้า เอเจนต์ แอปพลิเคชัน และระบบอัตโนมัติ
