# วิธีประเมินเราเตอร์ LLM สำหรับใช้งานจริง

> คู่มืออ้างอิงแหล่งข้อมูลสำหรับประเมินการตัดสินใจเลือกเส้นทาง การเปลี่ยนแปลงของงาน ผลกระทบจากแคชพรอมป์ การสังเกตการณ์ ข้อมูลรับรอง และการนำขึ้นใช้งานจริง

Source: https://ailoot.ai/blog/th/evaluate-llm-router-production/
Canonical: https://ailoot.ai/blog/th/evaluate-llm-router-production/
Language: th
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100017
Revision: sha256-d5828d102f4b610fdd0e77589e0324849fa7f3f9e05be461c8b45b3cf9d76a3f


## คุณจะเลือกเราเตอร์สำหรับภาระงานของตัวเองอย่างไร

**1. บันทึกฟิลด์ที่ใช้ตัดสินทุกอย่าง:** สำหรับการเรียกแต่ละครั้ง ให้บันทึกโมเดล โทเค็นอินพุต โทเค็นอินพุตที่แคชไว้ โทเค็นที่ใช้เขียนลงแคช โทเค็นเอาต์พุต เวลาแฝง ประเภทงาน และผลลัพธ์ได้รับการยอมรับหรือมีการลองใหม่หรือไม่ ฟิลด์อินพุตที่แคชไว้มักเป็นฟิลด์ที่ทีมมองข้าม ทั้งที่เป็นตัวกำหนดว่าเราเตอร์จะช่วยคุณได้หรือไม่ การเก็บข้อมูลเป็นเวลาหนึ่งสัปดาห์ใช้เวลาช่วงบ่ายเพื่อเพิ่มระบบวัดผล

**2. คำนวณเพดานการประหยัดก่อนเริ่มเลือกซื้อ:** การประหยัดสูงสุดคือ S = f x (1 - r) โดย f คือสัดส่วนของการเรียกที่ย้ายออกจากโมเดล frontier ได้ และ r คือต้นทุนของโมเดลราคาถูกเมื่อเทียบเป็นสัดส่วนกับต้นทุนของโมเดล frontier ทั้งสองค่าคำนวณได้จากขั้นตอนแรก ใช้เวลาไปกับการแคชพรอมป์ จุดเชื่อมต่อสำหรับประมวลผลแบบกลุ่ม และระดับความพยายามในการให้เหตุผลแทน

**3. สร้างชุดข้อมูลอ้างอิงจากทราฟฟิกของคุณเอง แยกตามประเภทงาน:** ใช้คำขอจริง 50 ถึง 200 รายการที่มีผลลัพธ์ที่ทราบว่าถูกต้อง โดยสุ่มจากบันทึกการทำงานของคุณแทนการเขียนขึ้นเอง ชุดข้อมูลนี้ทำให้การพูดคุยกับผู้ขายในภายหลังมีสิ่งที่เป็นรูปธรรมให้อ้างอิง หากไม่มีชุดนี้ คุณก็แค่กำลังเปรียบเทียบคำโฆษณา

**4. ทดสอบเงื่อนไขสองข้อที่บ่งชี้พฤติกรรมเมื่อใช้งานจริง:** ขั้นแรก ให้รันเราเตอร์ในโหมดเงาบนทราฟฟิกสด แล้วเปรียบเทียบค่าใช้จ่ายจากการกำหนดเส้นทางกับค่าอ้างอิงที่ใช้โมเดล frontier ทั้งหมด โดยคิดราคาขณะที่แคชอุ่นอยู่ ซึ่งเป็นการเปรียบเทียบที่ยุติธรรมเพียงแบบเดียว ขั้นที่สอง ซึ่งแทบไม่มีใครทำ คือกันประเภทงานที่เราเตอร์ไม่เคยเห็นออกจากชุดทดสอบ แล้ววัดผลกับประเภทงานนั้น ส่วนที่ 2 อธิบายเหตุผล เราเตอร์ที่ดูดีบนชุดปรับเทียบของคุณแต่ล้มเหลวเมื่อเจอด้านฟีเจอร์ใหม่จะไม่ส่งสัญญาณเตือนให้รู้ตัว

**5. กำหนดให้ผลการประเมินเป็นเงื่อนไขก่อนเปิดใช้ และทดสอบต่อเนื่อง:** กำหนดเกณฑ์ที่ชัดเจนซึ่งโมเดลราคาถูกต้องผ่านในแต่ละประเภทงาน ก่อนอนุญาตให้กำหนดเส้นทางสำหรับงานประเภทนั้น จากนั้นให้รันทดสอบต่อไป เพราะเวอร์ชันของโมเดลเปลี่ยนอยู่เสมอ และเราเตอร์ที่ปรับเทียบในเดือนมีนาคมก็อธิบายชุดโมเดลที่ไม่มีอยู่แล้ว

## อะไรทำให้เราเตอร์ LLM สำหรับใช้งานจริงแตกต่างจากเดโม

### 1. ความเหมาะสมสูงสุด ไม่ใช่ตัวเลขประหยัดที่ใช้พาดหัว

ตัวเลขการประหยัดที่ไม่มีตัวเลขคุณภาพกำกับอยู่เป็นเพียงประโยคครึ่งเดียว

ความเหมาะสมสูงสุดเป็นตัวชี้วัดที่ไม่มีใครทำการตลาดด้วย แต่เป็นตัวกำหนดบิลของคุณ ตัวชี้วัดนี้ถามว่าเราเตอร์เลือกโมเดลที่ถูกที่สุดซึ่งยังตอบได้ถูกต้องบ่อยเพียงใด เราเตอร์อาจทำคะแนนความแม่นยำได้ดี แต่ก็ยังใช้เงินสิ้นเปลืองได้

ขออัตราส่วนการเลือกที่เหมาะสมที่สุดจากผู้ขายทุกราย หากพวกเขาให้ตัวเลขนี้ไม่ได้ แสดงว่ายังไม่ได้วัดสิ่งที่คุณกำลังซื้อ

### 2. ความสามารถในการรับมือเมื่อประเภทงานเปลี่ยนไป

เลือกเราเตอร์ที่เคยเห็นทราฟฟิกที่มีลักษณะคล้ายของคุณ และยืนยันให้แสดงผลลัพธ์บนการกระจายข้อมูลที่ไม่ได้ใช้ปรับแต่งเราเตอร์

### 3. พฤติกรรมเมื่อแคชอุ่นอยู่

เราเตอร์จะดีได้เท่ากับกลไกที่ทำงานอยู่เบื้องหลังเท่านั้น

[Anthropic เผยแพร่ตัวคูณไว้](https://platform.claude.com/docs/en/build-with-claude/prompt-caching): การอ่านจากแคชมีค่าใช้จ่าย 0.1x ของอินพุตพื้นฐาน การเขียนแคชที่มีอายุห้านาทีมีค่าใช้จ่าย 1.25x และการเขียนที่มีอายุหนึ่งชั่วโมงมีค่าใช้จ่าย 2x ดังนั้นการสลับโมเดลจึงมีค่าใช้จ่ายประมาณ 12 เท่าของการใช้โมเดลเดิมต่อกับพรอมป์ต์นำหน้าเดียวกัน และจะคุ้มทุนก็ต่อเมื่อโมเดลใหม่รักษาเซสชันนั้นไว้ได้

สองเรื่องนี้สอดคล้องกัน ผู้ให้บริการเก็บพรอมป์ต์นำหน้าที่คุณเลิกใช้ไว้อย่างอุ่น ทำให้กลับมาใช้ได้ในราคาถูก ส่วนที่แพงคือการเขียนแคชบนโมเดลที่คุณย้ายไปใช้ การสลับนั้นคุ้มหรือไม่ขึ้นอยู่กับความยาวของพรอมป์ต์นำหน้าและความถี่ที่คุณกลับมา ไม่มีใครตอบแทนคุณได้ และนั่นคือประเด็น

### 4. ขอบเขตของการกำหนดเส้นทางอยู่ตรงไหน

เราเตอร์ที่ตัดสินใจใหม่ทุกเทิร์นกำลังตัดสินใจทั้งที่ไม่มีข้อมูลเพียงพอ และจ่ายค่าเขียนแคชทุกครั้งที่เปลี่ยนใจ

ขอบเขตการกำหนดเส้นทางที่ดีคือจุดที่เซสชันไม่ย้อนกลับข้ามไปมา เช่น งานย่อยหนึ่งงานทั้งงาน ช่วงงานที่แยกชัดเจน หรืองานเบื้องหลัง

### 5. คุณมองเห็นและเปลี่ยนการตัดสินใจได้หรือไม่

เมื่อคุณภาพเอาต์พุตลดลง วิศวกรต้องตอบคำถามหนึ่งข้อให้ได้อย่างรวดเร็วว่า โมเดลเปลี่ยนไปหรือฉันเปลี่ยนมัน เราเตอร์ที่บันทึกว่าเลือกโมเดลใด เพราะเหตุใด และมีค่าใช้จ่ายเท่าไร ช่วยให้ดีบักได้ ส่วนเราเตอร์ที่ไม่บันทึกข้อมูลเหล่านี้เป็นต้นตอของรีเกรสชันที่หาสาเหตุไม่ได้

กำหนดให้มีฟิลด์โมเดลและฟิลด์ค่าใช้จ่ายสำหรับแต่ละคำขอ พร้อมตัวเลือกให้แทนที่การตัดสินใจ

### 6. ขอบเขตความเสียหาย เพราะเราเตอร์ถือกุญแจของคุณ

เราเตอร์อยู่บนเส้นทางของข้อมูลรับรองโดยโครงสร้างอยู่แล้ว โดยมีคีย์ของผู้ให้บริการ และในการติดตั้งแบบโฮสต์เองก็อาจมีข้อมูลรับรองสำหรับคลาวด์ด้วย จึงเป็นองค์ประกอบที่มีมูลค่าสูง เมื่อประเมินเราเตอร์ ให้ถามว่ามีการแจกจ่ายอย่างไร มีการลงนามในรุ่นที่เผยแพร่หรือไม่ เส้นทางการติดตั้งตรึงเวอร์ชันของส่วนพึ่งพาหรือไม่ และเราเตอร์อ่านข้อมูลอะไรบนโฮสต์ได้บ้าง การโฮสต์เองไม่ได้ปลอดภัยกว่าบริการแบบมีผู้จัดการให้โดยอัตโนมัติ แต่มีรูปแบบการเปิดรับความเสี่ยงต่างกัน

### 7. ใครจะเป็นเจ้าของในอีก 18 เดือน

นี่เป็นเหตุผลให้ถามระหว่างการประเมินว่าแผนงานภายใต้เจ้าของปัจจุบันเป็นอย่างไร และจะย้ายออกได้อย่างไรหากโครงการยุติลง

## เมื่อใดที่ไม่ควรใช้เราเตอร์ LLM

**เมื่อทราฟฟิกของคุณมีความยากสม่ำเสมอ:** การประหยัดจากการกำหนดเส้นทางขึ้นอยู่กับว่าทราฟฟิกของคุณไม่สม่ำเสมอเพียงใด ไม่ได้ขึ้นอยู่กับว่าเราเตอร์ฉลาดแค่ไหน

## จากนี้ควรทำอะไรต่อ

ตอนนี้คุณมีคำถามสองข้อที่ใช้แยกเราเตอร์ที่ใช้งานได้จริงออกจากเราเตอร์ที่ทำเดโมได้ดี ได้แก่ อัตราส่วนการเลือกที่เหมาะสมที่สุดเป็นเท่าใด และจะเกิดอะไรขึ้นเมื่อประเภทงานเปลี่ยนไป

เริ่มจากขั้นตอนแรก เพิ่มจำนวนโทเค็นอินพุตที่แคชไว้และประเภทงานลงในบันทึกคำขอ แล้วปล่อยให้ทำงานต่อเนื่องหนึ่งสัปดาห์ ฟิลด์เดียวนี้คือสิ่งที่ทำให้คุณได้ค่า f จริงแทนการเดา

## คำถามที่พบบ่อย

### เราเตอร์ LLM คืออะไร

เราเตอร์ LLM คือชั้นตัดสินใจระหว่างแอปพลิเคชันของคุณกับกลุ่มโมเดล ซึ่งส่งคำขอแต่ละรายการไปยังโมเดลที่มีแนวโน้มทำงานเสร็จอย่างน่าพอใจด้วยต้นทุนต่ำที่สุด เราเตอร์ก่อนการสร้างผลลัพธ์ตัดสินใจจากพรอมป์ต์เพียงอย่างเดียว ส่วนเราเตอร์แบบลำดับขั้นให้โมเดลราคาถูกตอบก่อน แล้วจึงส่งต่อไปยังโมเดลที่มีความสามารถสูงขึ้นเมื่อระบบให้คะแนนปฏิเสธคำตอบ ระบบสำหรับใช้งานจริงส่วนใหญ่ในปัจจุบันใช้ทั้งสองวิธีร่วมกัน

### เราเตอร์ LLM ช่วยประหยัดเงินจริงหรือไม่

ช่วยได้ แต่ประหยัดน้อยกว่าตัวเลขพาดหัวมาก และจำนวนที่ประหยัดได้ขึ้นอยู่กับทราฟฟิกของคุณ ไม่ใช่ตัวเราเตอร์ คำนวณ S = f x (1 - r) จากบันทึกของคุณเองก่อนเชื่อตัวเลขของผู้ขายรายใด

### เราเตอร์ LLM กับเกตเวย์ AI ต่างกันอย่างไร

เกตเวย์ให้จุดเชื่อมต่อเดียว การสลับเมื่อเกิดข้อผิดพลาด การจัดการคีย์ งบประมาณ และการสังเกตการณ์ข้ามผู้ให้บริการหลายราย ส่วนเราเตอร์ตัดสินใจว่าโมเดลใดจะจัดการคำขอหนึ่งรายการ ปัจจุบันเกตเวย์ส่วนใหญ่มีเราเตอร์มาด้วย แต่ความสามารถทั้งสองอย่างนี้แยกจากกันได้

### ฉันสร้างเราเตอร์ LLM เองแทนการซื้อได้หรือไม่

ได้ และไม่ว่าจะสร้างหรือซื้อ งานวัดผลก็เหมือนกัน ดังนั้นให้ทำขั้นตอนที่หนึ่งถึงสามตามลำดับข้างต้นก่อน หากจะสร้างเอง ให้เริ่มจากตารางค้นหาตามประเภทงาน เพิ่มตัวจำแนกที่เรียนรู้จากข้อมูลก็ต่อเมื่อมีหลักฐานชัดเจนว่าวิธีพื้นฐานนี้ยังไม่เพียงพอ

### การสลับโมเดลทำให้การแคชพรอมป์ต์เสียหรือไม่

การสลับออกจากโมเดลเดิมทำให้เกิดค่าเขียนแคชบนโมเดลใหม่ โดยคิดราคา 1.25x ของอินพุตพื้นฐานสำหรับ TTL ห้านาที เทียบกับ 0.1x สำหรับการอ่านจากแคชที่คุณทิ้งไป ความคุ้มค่าขึ้นอยู่กับความยาวของพรอมป์ต์นำหน้าและความถี่ที่คุณกลับมา จึงควรวัดจากทราฟฟิกของคุณเอง

## นำคู่มือนี้ไปใช้กับ Ailoot

เชื่อมต่อโมเดล AI เข้ากับแอปพลิเคชัน เอเจนต์ และระบบอัตโนมัติของคุณผ่าน API เดียวของ Ailoot เลือกโมเดลที่เหมาะกับงานของคุณและเริ่มต้นใช้งานโดยทำตาม[เอกสารประกอบของ Ailoot](https://ailoot.ai/docs/)


## Ailoot · บริษัทและพอร์ตโฟลิโอโครงการของบริษัท

Ailoot อาศัยประสบการณ์การดำเนินงานที่สั่งสม ฐานลูกค้าขนาดใหญ่ บริการที่เสถียร และการติดตาม KPI อย่างต่อเนื่อง

บริษัทและพอร์ตโฟลิโอโครงการของบริษัท: ลูกค้าหลายล้านราย; ยอดขายระดับหลายพันล้านต่อเดือน.

Ailoot นำประสบการณ์การดำเนินงานนี้มาใช้เพื่อให้เข้าถึงฟังก์ชัน AI ผ่าน API ในผลิตภัณฑ์ของลูกค้า เอเจนต์ แอปพลิเคชัน และระบบอัตโนมัติ
