# Inferencing คืออะไร?

> เรียนรู้ว่า AI inference คืออะไร การอนุมานแบบแบตช์ แบบเอดจ์ แบบเรียลไทม์ และแบบสตรีมทำงานอย่างไร และทีมต่าง ๆ จะรับมือกับความท้าทายด้านความแม่นยำ ประสิทธิภาพ และต้นทุนได้อย่างไร

Source: https://ailoot.ai/blog/th/what-is-ai-inferencing/
Canonical: https://ailoot.ai/blog/th/what-is-ai-inferencing/
Language: th
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100078
Revision: sha256-8b9fc61ac0b280afbc6d0a7f324c2555e41d00ce411006c45d4e9e4d0a995a96


## Inferencing (AI) คืออะไร?

Inferencing คือกระบวนการที่โมเดลปัญญาประดิษฐ์สร้างการคาดการณ์หรือผลลัพธ์จากข้อมูลใหม่ หลังจากฝึกแล้ว โมเดล AI จะเรียนรู้พารามิเตอร์และการแทนข้อมูล เมื่อได้รับข้อมูลใหม่ โมเดลจะใช้สิ่งเหล่านี้เพื่อสร้างผลลัพธ์ การอนุมานเกิดขึ้นในช่วงรันไทม์หรือช่วงติดตั้งใช้งานของแอปพลิเคชัน AI และรองรับกรณีการใช้งานจริงได้หลากหลาย

## เหตุใดการอนุมานจึงสำคัญ?

AI inference คือกระบวนการสร้างผลลัพธ์จากข้อมูลที่ไม่เคยพบมาก่อน หลังจากเรียนรู้รูปแบบทั่วไปจากชุดข้อมูลฝึกแล้ว โมเดลจะนำรูปแบบเหล่านั้นไปใช้กับข้อมูลใหม่

ตัวอย่างเช่น อาจฝึกโมเดล AI ด้วยภาพสแกนทางการแพทย์ที่ผู้เชี่ยวชาญทางการแพทย์ทำคำอธิบายประกอบไว้ ระหว่างการฝึก โมเดลจะเรียนรู้เบาะแสทางภาพและความเชื่อมโยงในข้อมูล จากนั้นโมเดลสามารถระบุเนื้องอกที่อาจเกิดขึ้นหรือความผิดปกติในภาพสแกนใหม่ผ่านการอนุมานได้ ผู้เชี่ยวชาญทางการแพทย์สามารถประเมินความแม่นยำของกระบวนการได้โดยสรุปผลจากภาพสแกนชุดเดียวกัน

เมื่อเทียบกับเทคนิค [การวิเคราะห์](https://aws.amazon.com/what-is/data-analytics/) แบบดั้งเดิม ซึ่งผู้คนกำหนดกฎและเลือกเทคนิคทางสถิติ การฝึกโมเดลช่วยให้โมเดลค้นพบรูปแบบที่ซับซ้อนซึ่งยากจะเขียนโค้ดด้วยตนเอง รูปแบบเหล่านี้เกิดจากพารามิเตอร์ของโมเดล การอนุมานนำรูปแบบเหล่านั้นไปใช้กับข้อมูลใหม่

## การอนุมานของแมชชีนเลิร์นนิงมีกี่ประเภท?

การอนุมานของ[แมชชีนเลิร์นนิง](https://aws.amazon.com/what-is/machine-learning/) (ML) มีหลายประเภท

### **การอนุมานแบบแบตช์**

การอนุมานแบบแบตช์สร้างการคาดการณ์โดยใช้กลุ่มข้อมูลนำเข้าหลายรายการ เหมาะกับแอปพลิเคชันที่ไม่ต้องตอบสนองทันทีและรอผลลัพธ์ได้ ตัวอย่างเช่น แอปพลิเคชัน AI เชิงสร้างสรรค์สำหรับการวิเคราะห์ธุรกิจอาจประมวลผลการอัปเดตทุกชั่วโมง แทนที่จะประมวลผลแบบเรียลไทม์

### **การอนุมานแบบเอดจ์**

การอนุมาน AI แบบ[เอดจ์](https://aws.amazon.com/what-is/edge-computing/) เรียกใช้โมเดลบนอุปกรณ์ของผู้ใช้หรือใกล้กับแหล่งข้อมูล เนื่องจากไม่จำเป็นต้องส่งข้อมูลไปยังศูนย์กลางเพื่อประมวลผล การอนุมานแบบเอดจ์จึงช่วยลดเวลาแฝงของเครือข่ายได้ มีประโยชน์ในพื้นที่ห่างไกลที่การเชื่อมต่อมีจำกัด หรือบนอุปกรณ์ที่จำเป็นต้องมีการอนุมาน ความเร็วในการประมวลผลขึ้นอยู่กับอุปกรณ์และเวลาแฝงของโมเดล

### **การอนุมานแบบเรียลไทม์**

การอนุมานแบบเรียลไทม์สร้างผลลัพธ์ทันทีเพื่อตอบสนองต่อคำขอข้อมูลนำเข้า โมเดลรับข้อมูลจากข้อมูลนำเข้าของผู้ใช้หรือแหล่งข้อมูลที่เชื่อมต่อ ซึ่งทำให้ต้องสร้างผลลัพธ์ทันที การอนุมานแบบเรียลไทม์อาศัยระบบ AI ที่มีเวลาแฝงต่ำ และมักใช้ในระบบที่ต้องคำนึงถึงเวลา ตัวอย่างเช่น ยานยนต์ไร้คนขับใช้การอนุมานนี้เพื่อสนับสนุนการตัดสินใจให้ทันเวลา

### **การอนุมานแบบสตรีม**

การอนุมานแบบสตรีมใช้ไปป์ไลน์ข้อมูลที่ส่งข้อมูลไปยังโมเดลอย่างต่อเนื่อง โดยโมเดลจะสร้างผลลัพธ์แบบเรียลไทม์ เช่นเดียวกับการอนุมานแบบเรียลไทม์ การอนุมานแบบนี้ตอบสนองต่อข้อมูลที่เข้ามา แต่สร้างผลลัพธ์อย่างต่อเนื่องโดยอิงจาก[สตรีมข้อมูลนำเข้า](https://aws.amazon.com/what-is/streaming-data/) การอนุมานแบบเรียลไทม์ตอบสนองต่อข้อมูลนำเข้าของผู้ใช้หรือคำขอแบบสด ส่วนการอนุมานแบบสตรีมประมวลผลกระแสข้อมูลใหม่อย่างต่อเนื่อง

## การอนุมานทำงานอย่างไร?

เทคโนโลยีและระบบข้อมูลหลายอย่างทำงานร่วมกันเพื่อจัดเตรียมโครงสร้างพื้นฐานสำหรับการอนุมาน AI

### **โครงสร้างพื้นฐานของโมเดลแมชชีนเลิร์นนิง**

การอนุมาน AI ทำได้หลังจากฝึกโมเดลแล้ว ก่อนนำไปใช้งาน โมเดลอาจผ่านการฝึก การปรับแต่ง การตรวจสอบความถูกต้อง และการเพิ่มประสิทธิภาพการอนุมาน

โมเดลที่ผ่านการฝึกและใช้งานจริงอาจต้องใช้พลังประมวลผลจำนวนมากจากหน่วยประมวลผลกราฟิก (GPUs) หน่วยประมวลผลกลาง (CPUs) และตัวเร่งความเร็ว AI เฉพาะทาง เช่น [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/) ทรัพยากรประมวลผลยังต้องใช้พื้นที่จัดเก็บข้อมูล ระบบเครือข่าย และไปป์ไลน์ข้อมูลด้วย

### **ข้อมูลนำเข้าของผู้ใช้และการประมวลผลข้อมูลล่วงหน้า**

อาจต้องประมวลผลข้อมูลล่วงหน้าก่อนป้อนเข้าโมเดล ตัวอย่างเช่น โมเดลด้านการมองเห็นอาจใช้การปรับข้อมูลให้เป็นมาตรฐาน ส่วน[โมเดลภาษาขนาดใหญ่](https://aws.amazon.com/what-is/large-language-model/) (LLMs) อาจใช้การแบ่งข้อความเป็นโทเค็น นอกจากนี้ยังสามารถทำความสะอาดข้อมูลเพื่อปรับปรุงคุณภาพได้

### **กระบวนการอนุมาน**

กระบวนการอนุมานรับข้อมูลที่สะอาดแล้วและทำการส่งต่อไปข้างหน้า โดยส่งข้อมูลที่ผ่านการประมวลผลล่วงหน้าไปตามชั้นต่าง ๆ ของโมเดลเพื่อสร้างผลลัพธ์ กระบวนการนี้ประกอบด้วยการคำนวณหลายขั้นตอน

### **การสร้างผลลัพธ์และการประมวลผลภายหลัง**

หลังจากส่งต่อไปข้างหน้า โมเดลจะสร้างผลลัพธ์โดยอิงจากรูปแบบที่เรียนรู้จากข้อมูลฝึก

การประมวลผลภายหลังสามารถสแกน กรอง และจัดรูปแบบผลลัพธ์ให้เป็นไปตามมาตรการป้องกันและนโยบาย ตัวอย่างเช่น มาตรการป้องกันช่วยป้องกันคำหยาบคายหรือเนื้อหาที่เป็นอันตรายได้ และการจัดรูปแบบสามารถปรับผลลัพธ์ให้เข้ากับน้ำเสียงของธุรกิจ

## ความท้าทายของการอนุมานสำหรับโมเดล AI มีอะไรบ้าง?

ความท้าทายหลายอย่างอาจส่งผลต่อความสามารถของโมเดล AI ในการอนุมาน

### **โมเดลดริฟต์**

โมเดลดริฟต์เกิดขึ้นเมื่อโมเดลมีประสิทธิภาพลดลงเมื่อเวลาผ่านไป เนื่องจากข้อมูลในโลกจริงเปลี่ยนแปลงไปจากข้อมูลที่ใช้ฝึกโมเดล ดาต้าดริฟต์เกิดขึ้นเมื่อรูปแบบในข้อมูลนำเข้าเปลี่ยนไป หากน้ำหนักของโมเดลยังคงเดิมตามข้อมูลฝึกก่อนหน้า การเปลี่ยนแปลงเหล่านี้อาจทำให้ผลลัพธ์ไม่แม่นยำ

คอนเซปต์ดริฟต์เกิดขึ้นเมื่อความสัมพันธ์ระหว่างข้อมูลนำเข้าและผลลัพธ์ของโมเดลเปลี่ยนไปหรือซับซ้อนขึ้น ตัวอย่างเช่น โมเดล AI ที่ฝึกให้ระบุอีเมลฟิชชิงใช้รูปแบบที่เรียนรู้เพื่อคาดการณ์ หากเทคโนโลยีใหม่เปลี่ยนวิธีการโจมตีแบบฟิชชิง ผลลัพธ์ของโมเดลอาจแม่นยำน้อยลง อาจจำเป็นต้องฝึกโมเดลใหม่เพื่อรองรับการเปลี่ยนแปลงเหล่านั้น

ในทั้งสองกรณี โมเดลที่เคยทำงานได้ดีอาจเริ่มสร้างคำตอบที่แม่นยำน้อยลงหรือไม่ถูกต้อง

### **ความเร็วและประสิทธิภาพ**

การนำโมเดล AI ไปใช้งานในวงกว้างต้องมีโครงสร้างพื้นฐานที่ส่งมอบผลลัพธ์ได้อย่างน่าเชื่อถือ องค์กรอาจต้องใช้หน่วยประมวลผลกราฟิก เวลาแฝงต่ำ ความเร็วเครือข่ายสูง และหน่วยประมวลผลประสิทธิภาพสูงเพิ่มเติมสำหรับโมเดลที่ซับซ้อน

วิธีอื่น ๆ ในการปรับปรุงความเร็วและประสิทธิภาพ ได้แก่ การปรับแต่งสถาปัตยกรรมโครงสร้างพื้นฐาน การใช้ฮาร์ดแวร์เฉพาะทาง และการใช้เทคนิคเพิ่มประสิทธิภาพการอนุมาน เช่น ควอนไทเซชัน เพื่อลดขนาดโมเดล

การเลือกแนวทางการอนุมานแบบอื่น เช่น การอนุมานแบบแบตช์ สามารถปรับปรุงประสิทธิภาพสำหรับกรณีการใช้งานบางประเภทได้

### **ต้นทุน**

การเรียกใช้เวิร์กโหลดการอนุมานอาจทำให้เกิดค่าใช้จ่ายที่ไม่คาดคิด เมื่อใช้งานในวงกว้างหรือในบริบทที่หลากหลาย พลังประมวลผลและปริมาณคำขออนุมานอาจเพิ่มค่าใช้จ่าย องค์กรสามารถจัดการต้นทุนด้วยกลยุทธ์ต่าง ๆ เช่น ลดขนาดโมเดล ประมวลผลแบบขนาน และใช้โครงสร้างพื้นฐานคลาวด์ที่ปรับขนาดโดยอัตโนมัติสำหรับการอนุมานออนไลน์

## แนวทางปฏิบัติที่ดีที่สุดเพื่อปรับปรุงความแม่นยำและประโยชน์ของ AI

การปรับปรุงความแม่นยำและประโยชน์ของการอนุมาน AI ส่วนหนึ่งขึ้นอยู่กับกระบวนการฝึกและเพิ่มประสิทธิภาพ แนวทางปฏิบัติเหล่านี้ช่วยได้

### **ลงทุนในคุณภาพข้อมูล**

คุณภาพของชุดข้อมูลฝึกส่งผลโดยตรงต่อความสามารถของโมเดลในการคาดการณ์ข้อมูลใหม่และสร้างผลลัพธ์ที่เป็นประโยชน์ ข้อมูลคุณภาพสูงที่ติดป้ายกำกับอย่างดี สม่ำเสมอ และปราศจากสัญญาณรบกวนช่วยเพิ่มความสามารถของโมเดลในการระบุรูปแบบ กำหนดกระบวนการเตรียมข้อมูลที่เข้มงวด ซึ่งรวมถึงการทำความสะอาด การตรวจสอบความถูกต้อง การทำให้เป็นมาตรฐาน และการแก้ไขความไม่สอดคล้องกัน

### **ใช้บุคลากรที่มีทักษะ**

เมื่อทำได้ ให้มีส่วนร่วมกับผู้ที่เชี่ยวชาญด้านการฝึกโมเดลและสถาปัตยกรรมของชุดเทคโนโลยีที่คุณวางแผนจะใช้ ผู้เชี่ยวชาญเฉพาะด้านช่วยใส่คำอธิบายประกอบข้อมูล ทำให้ข้อมูลมีคุณภาพและครอบคลุมยิ่งขึ้น การฝึกโมเดลด้วยข้อมูลคุณภาพสูงช่วยเพิ่มความแม่นยำของผลลัพธ์ได้

### **เพิ่มความสามารถในการอธิบายเพื่อให้สอดคล้องตามข้อกำหนด**

ผลลัพธ์จากการอนุมานควรอธิบายได้ เทคนิคด้านความสามารถในการอธิบายช่วยแสดงให้เห็นว่าคุณลักษณะใดของข้อมูลนำเข้าส่งผลต่อผลลัพธ์หนึ่ง ๆ โมเดล ML แต่ละประเภทใช้เทคนิคแตกต่างกัน ตัวอย่างเช่น Shapley Additive exPlanations (SHAP) สามารถใช้ได้กับทุกโมเดล และเหมาะที่สุดกับโมเดลแบบต้นไม้ โมเดลเชิงเส้น และโครงข่ายประสาทเทียม ความสามารถในการอธิบายยังช่วยให้องค์กรปฏิบัติตามกรอบการกำกับดูแล AI รวมถึงสิทธิในการได้รับคำอธิบายภายใต้ GDPR สำหรับการตัดสินใจที่ AI เป็นผู้ดำเนินการ

## AWS สนับสนุนการอนุมาน AI ได้อย่างไร?

AWS อธิบายบริการและโครงสร้างพื้นฐานที่ออกแบบมาโดยเฉพาะสำหรับขั้นตอนต่าง ๆ ของวงจรชีวิต[แมชชีนเลิร์นนิง](https://aws.amazon.com/ai/machine-learning/) และโมเดล AI

[Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/) มอบสภาพแวดล้อมแมชชีนเลิร์นนิงสำหรับสร้าง ฝึก เพิ่มประสิทธิภาพ ทดสอบ และกำกับดูแลโมเดลที่ปรับแต่งตามความต้องการ

Amazon SageMaker AI เป็นบริการที่มีการจัดการเต็มรูปแบบ พร้อมเครื่องมือแมชชีนเลิร์นนิงสำหรับกรณีการใช้งานหลากหลายรูปแบบ บริการนี้รองรับการสร้าง ฝึก และนำโมเดลไปใช้งานในวงกว้างด้วยเครื่องมือ เช่น โน้ตบุ๊ก ดีบักเกอร์ เครื่องมือวิเคราะห์ประสิทธิภาพ ไปป์ไลน์ และ MLOps ในสภาพแวดล้อมการพัฒนาแบบผสานรวม (IDE)

SageMaker AI รองรับข้อกำหนดด้านการกำกับดูแลตลอดการฝึกและการอนุมานด้วยการควบคุมการเข้าถึงและความโปร่งใสของโครงการ ML นอกจากนี้ยังมีเครื่องมือสำหรับสร้างโมเดลพื้นฐาน (FMs) ซึ่งเป็นโมเดลขนาดใหญ่ที่ฝึกด้วยชุดข้อมูลจำนวนมาก รวมถึงเครื่องมือสำหรับปรับแต่ง ทดลอง ฝึกใหม่ และนำโมเดลเหล่านั้นไปใช้งาน

AWS นำเสนอโครงสร้างพื้นฐานคลาวด์สำหรับการอนุมาน AI รวมถึง GPUs เฉพาะทางบน [Amazon EC2](https://aws.amazon.com/ec2/) และชิปแมชชีนเลิร์นนิง เช่น [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/)

เริ่มต้นใช้งานการอนุมานโมเดล ML บน AWS ด้วยการ[สร้างบัญชีฟรี](https://aws.amazon.com/free/) ได้วันนี้

## นำคู่มือนี้ไปใช้กับ Ailoot

เชื่อมต่อโมเดล AI กับแอปพลิเคชัน เอเจนต์ และระบบอัตโนมัติของคุณผ่าน Ailoot API เพียงหนึ่งเดียว เลือกโมเดลที่เหมาะกับงาน แล้วทำตาม[เอกสาร Ailoot](https://ailoot.ai/docs/) เพื่อเริ่มต้น

## Ailoot · บริษัทและพอร์ตโฟลิโอโครงการของบริษัท

Ailoot อาศัยประสบการณ์การดำเนินงานที่สั่งสม ฐานลูกค้าขนาดใหญ่ บริการที่เสถียร และการติดตาม KPI อย่างต่อเนื่อง

บริษัทและพอร์ตโฟลิโอโครงการของบริษัท: ลูกค้าหลายล้านราย; ยอดขายระดับหลายพันล้านต่อเดือน.

Ailoot นำประสบการณ์การดำเนินงานนี้มาใช้เพื่อให้เข้าถึงฟังก์ชัน AI ผ่าน API ในผลิตภัณฑ์ของลูกค้า เอเจนต์ แอปพลิเคชัน และระบบอัตโนมัติ
