บล็อก

Inferencing คืออะไร?

Markdown

เรียนรู้ว่า AI inference คืออะไร การอนุมานแบบแบตช์ แบบเอดจ์ แบบเรียลไทม์ และแบบสตรีมทำงานอย่างไร และทีมต่าง ๆ จะรับมือกับความท้าทายด้านความแม่นยำ ประสิทธิภาพ และต้นทุนได้อย่างไร

Inferencing (AI) คืออะไร?

Inferencing คือกระบวนการที่โมเดลปัญญาประดิษฐ์สร้างการคาดการณ์หรือผลลัพธ์จากข้อมูลใหม่ หลังจากฝึกแล้ว โมเดล AI จะเรียนรู้พารามิเตอร์และการแทนข้อมูล เมื่อได้รับข้อมูลใหม่ โมเดลจะใช้สิ่งเหล่านี้เพื่อสร้างผลลัพธ์ การอนุมานเกิดขึ้นในช่วงรันไทม์หรือช่วงติดตั้งใช้งานของแอปพลิเคชัน AI และรองรับกรณีการใช้งานจริงได้หลากหลาย

เหตุใดการอนุมานจึงสำคัญ?

AI inference คือกระบวนการสร้างผลลัพธ์จากข้อมูลที่ไม่เคยพบมาก่อน หลังจากเรียนรู้รูปแบบทั่วไปจากชุดข้อมูลฝึกแล้ว โมเดลจะนำรูปแบบเหล่านั้นไปใช้กับข้อมูลใหม่

ตัวอย่างเช่น อาจฝึกโมเดล AI ด้วยภาพสแกนทางการแพทย์ที่ผู้เชี่ยวชาญทางการแพทย์ทำคำอธิบายประกอบไว้ ระหว่างการฝึก โมเดลจะเรียนรู้เบาะแสทางภาพและความเชื่อมโยงในข้อมูล จากนั้นโมเดลสามารถระบุเนื้องอกที่อาจเกิดขึ้นหรือความผิดปกติในภาพสแกนใหม่ผ่านการอนุมานได้ ผู้เชี่ยวชาญทางการแพทย์สามารถประเมินความแม่นยำของกระบวนการได้โดยสรุปผลจากภาพสแกนชุดเดียวกัน

เมื่อเทียบกับเทคนิค การวิเคราะห์ แบบดั้งเดิม ซึ่งผู้คนกำหนดกฎและเลือกเทคนิคทางสถิติ การฝึกโมเดลช่วยให้โมเดลค้นพบรูปแบบที่ซับซ้อนซึ่งยากจะเขียนโค้ดด้วยตนเอง รูปแบบเหล่านี้เกิดจากพารามิเตอร์ของโมเดล การอนุมานนำรูปแบบเหล่านั้นไปใช้กับข้อมูลใหม่

การอนุมานของแมชชีนเลิร์นนิงมีกี่ประเภท?

การอนุมานของแมชชีนเลิร์นนิง (ML) มีหลายประเภท

การอนุมานแบบแบตช์

การอนุมานแบบแบตช์สร้างการคาดการณ์โดยใช้กลุ่มข้อมูลนำเข้าหลายรายการ เหมาะกับแอปพลิเคชันที่ไม่ต้องตอบสนองทันทีและรอผลลัพธ์ได้ ตัวอย่างเช่น แอปพลิเคชัน AI เชิงสร้างสรรค์สำหรับการวิเคราะห์ธุรกิจอาจประมวลผลการอัปเดตทุกชั่วโมง แทนที่จะประมวลผลแบบเรียลไทม์

การอนุมานแบบเอดจ์

การอนุมาน AI แบบเอดจ์ เรียกใช้โมเดลบนอุปกรณ์ของผู้ใช้หรือใกล้กับแหล่งข้อมูล เนื่องจากไม่จำเป็นต้องส่งข้อมูลไปยังศูนย์กลางเพื่อประมวลผล การอนุมานแบบเอดจ์จึงช่วยลดเวลาแฝงของเครือข่ายได้ มีประโยชน์ในพื้นที่ห่างไกลที่การเชื่อมต่อมีจำกัด หรือบนอุปกรณ์ที่จำเป็นต้องมีการอนุมาน ความเร็วในการประมวลผลขึ้นอยู่กับอุปกรณ์และเวลาแฝงของโมเดล

การอนุมานแบบเรียลไทม์

การอนุมานแบบเรียลไทม์สร้างผลลัพธ์ทันทีเพื่อตอบสนองต่อคำขอข้อมูลนำเข้า โมเดลรับข้อมูลจากข้อมูลนำเข้าของผู้ใช้หรือแหล่งข้อมูลที่เชื่อมต่อ ซึ่งทำให้ต้องสร้างผลลัพธ์ทันที การอนุมานแบบเรียลไทม์อาศัยระบบ AI ที่มีเวลาแฝงต่ำ และมักใช้ในระบบที่ต้องคำนึงถึงเวลา ตัวอย่างเช่น ยานยนต์ไร้คนขับใช้การอนุมานนี้เพื่อสนับสนุนการตัดสินใจให้ทันเวลา

การอนุมานแบบสตรีม

การอนุมานแบบสตรีมใช้ไปป์ไลน์ข้อมูลที่ส่งข้อมูลไปยังโมเดลอย่างต่อเนื่อง โดยโมเดลจะสร้างผลลัพธ์แบบเรียลไทม์ เช่นเดียวกับการอนุมานแบบเรียลไทม์ การอนุมานแบบนี้ตอบสนองต่อข้อมูลที่เข้ามา แต่สร้างผลลัพธ์อย่างต่อเนื่องโดยอิงจากสตรีมข้อมูลนำเข้า การอนุมานแบบเรียลไทม์ตอบสนองต่อข้อมูลนำเข้าของผู้ใช้หรือคำขอแบบสด ส่วนการอนุมานแบบสตรีมประมวลผลกระแสข้อมูลใหม่อย่างต่อเนื่อง

การอนุมานทำงานอย่างไร?

เทคโนโลยีและระบบข้อมูลหลายอย่างทำงานร่วมกันเพื่อจัดเตรียมโครงสร้างพื้นฐานสำหรับการอนุมาน AI

โครงสร้างพื้นฐานของโมเดลแมชชีนเลิร์นนิง

การอนุมาน AI ทำได้หลังจากฝึกโมเดลแล้ว ก่อนนำไปใช้งาน โมเดลอาจผ่านการฝึก การปรับแต่ง การตรวจสอบความถูกต้อง และการเพิ่มประสิทธิภาพการอนุมาน

โมเดลที่ผ่านการฝึกและใช้งานจริงอาจต้องใช้พลังประมวลผลจำนวนมากจากหน่วยประมวลผลกราฟิก (GPUs) หน่วยประมวลผลกลาง (CPUs) และตัวเร่งความเร็ว AI เฉพาะทาง เช่น AWS Inferentia ทรัพยากรประมวลผลยังต้องใช้พื้นที่จัดเก็บข้อมูล ระบบเครือข่าย และไปป์ไลน์ข้อมูลด้วย

ข้อมูลนำเข้าของผู้ใช้และการประมวลผลข้อมูลล่วงหน้า

อาจต้องประมวลผลข้อมูลล่วงหน้าก่อนป้อนเข้าโมเดล ตัวอย่างเช่น โมเดลด้านการมองเห็นอาจใช้การปรับข้อมูลให้เป็นมาตรฐาน ส่วนโมเดลภาษาขนาดใหญ่ (LLMs) อาจใช้การแบ่งข้อความเป็นโทเค็น นอกจากนี้ยังสามารถทำความสะอาดข้อมูลเพื่อปรับปรุงคุณภาพได้

กระบวนการอนุมาน

กระบวนการอนุมานรับข้อมูลที่สะอาดแล้วและทำการส่งต่อไปข้างหน้า โดยส่งข้อมูลที่ผ่านการประมวลผลล่วงหน้าไปตามชั้นต่าง ๆ ของโมเดลเพื่อสร้างผลลัพธ์ กระบวนการนี้ประกอบด้วยการคำนวณหลายขั้นตอน

การสร้างผลลัพธ์และการประมวลผลภายหลัง

หลังจากส่งต่อไปข้างหน้า โมเดลจะสร้างผลลัพธ์โดยอิงจากรูปแบบที่เรียนรู้จากข้อมูลฝึก

การประมวลผลภายหลังสามารถสแกน กรอง และจัดรูปแบบผลลัพธ์ให้เป็นไปตามมาตรการป้องกันและนโยบาย ตัวอย่างเช่น มาตรการป้องกันช่วยป้องกันคำหยาบคายหรือเนื้อหาที่เป็นอันตรายได้ และการจัดรูปแบบสามารถปรับผลลัพธ์ให้เข้ากับน้ำเสียงของธุรกิจ

ความท้าทายของการอนุมานสำหรับโมเดล AI มีอะไรบ้าง?

ความท้าทายหลายอย่างอาจส่งผลต่อความสามารถของโมเดล AI ในการอนุมาน

โมเดลดริฟต์

โมเดลดริฟต์เกิดขึ้นเมื่อโมเดลมีประสิทธิภาพลดลงเมื่อเวลาผ่านไป เนื่องจากข้อมูลในโลกจริงเปลี่ยนแปลงไปจากข้อมูลที่ใช้ฝึกโมเดล ดาต้าดริฟต์เกิดขึ้นเมื่อรูปแบบในข้อมูลนำเข้าเปลี่ยนไป หากน้ำหนักของโมเดลยังคงเดิมตามข้อมูลฝึกก่อนหน้า การเปลี่ยนแปลงเหล่านี้อาจทำให้ผลลัพธ์ไม่แม่นยำ

คอนเซปต์ดริฟต์เกิดขึ้นเมื่อความสัมพันธ์ระหว่างข้อมูลนำเข้าและผลลัพธ์ของโมเดลเปลี่ยนไปหรือซับซ้อนขึ้น ตัวอย่างเช่น โมเดล AI ที่ฝึกให้ระบุอีเมลฟิชชิงใช้รูปแบบที่เรียนรู้เพื่อคาดการณ์ หากเทคโนโลยีใหม่เปลี่ยนวิธีการโจมตีแบบฟิชชิง ผลลัพธ์ของโมเดลอาจแม่นยำน้อยลง อาจจำเป็นต้องฝึกโมเดลใหม่เพื่อรองรับการเปลี่ยนแปลงเหล่านั้น

ในทั้งสองกรณี โมเดลที่เคยทำงานได้ดีอาจเริ่มสร้างคำตอบที่แม่นยำน้อยลงหรือไม่ถูกต้อง

ความเร็วและประสิทธิภาพ

การนำโมเดล AI ไปใช้งานในวงกว้างต้องมีโครงสร้างพื้นฐานที่ส่งมอบผลลัพธ์ได้อย่างน่าเชื่อถือ องค์กรอาจต้องใช้หน่วยประมวลผลกราฟิก เวลาแฝงต่ำ ความเร็วเครือข่ายสูง และหน่วยประมวลผลประสิทธิภาพสูงเพิ่มเติมสำหรับโมเดลที่ซับซ้อน

วิธีอื่น ๆ ในการปรับปรุงความเร็วและประสิทธิภาพ ได้แก่ การปรับแต่งสถาปัตยกรรมโครงสร้างพื้นฐาน การใช้ฮาร์ดแวร์เฉพาะทาง และการใช้เทคนิคเพิ่มประสิทธิภาพการอนุมาน เช่น ควอนไทเซชัน เพื่อลดขนาดโมเดล

การเลือกแนวทางการอนุมานแบบอื่น เช่น การอนุมานแบบแบตช์ สามารถปรับปรุงประสิทธิภาพสำหรับกรณีการใช้งานบางประเภทได้

ต้นทุน

การเรียกใช้เวิร์กโหลดการอนุมานอาจทำให้เกิดค่าใช้จ่ายที่ไม่คาดคิด เมื่อใช้งานในวงกว้างหรือในบริบทที่หลากหลาย พลังประมวลผลและปริมาณคำขออนุมานอาจเพิ่มค่าใช้จ่าย องค์กรสามารถจัดการต้นทุนด้วยกลยุทธ์ต่าง ๆ เช่น ลดขนาดโมเดล ประมวลผลแบบขนาน และใช้โครงสร้างพื้นฐานคลาวด์ที่ปรับขนาดโดยอัตโนมัติสำหรับการอนุมานออนไลน์

แนวทางปฏิบัติที่ดีที่สุดเพื่อปรับปรุงความแม่นยำและประโยชน์ของ AI

การปรับปรุงความแม่นยำและประโยชน์ของการอนุมาน AI ส่วนหนึ่งขึ้นอยู่กับกระบวนการฝึกและเพิ่มประสิทธิภาพ แนวทางปฏิบัติเหล่านี้ช่วยได้

ลงทุนในคุณภาพข้อมูล

คุณภาพของชุดข้อมูลฝึกส่งผลโดยตรงต่อความสามารถของโมเดลในการคาดการณ์ข้อมูลใหม่และสร้างผลลัพธ์ที่เป็นประโยชน์ ข้อมูลคุณภาพสูงที่ติดป้ายกำกับอย่างดี สม่ำเสมอ และปราศจากสัญญาณรบกวนช่วยเพิ่มความสามารถของโมเดลในการระบุรูปแบบ กำหนดกระบวนการเตรียมข้อมูลที่เข้มงวด ซึ่งรวมถึงการทำความสะอาด การตรวจสอบความถูกต้อง การทำให้เป็นมาตรฐาน และการแก้ไขความไม่สอดคล้องกัน

ใช้บุคลากรที่มีทักษะ

เมื่อทำได้ ให้มีส่วนร่วมกับผู้ที่เชี่ยวชาญด้านการฝึกโมเดลและสถาปัตยกรรมของชุดเทคโนโลยีที่คุณวางแผนจะใช้ ผู้เชี่ยวชาญเฉพาะด้านช่วยใส่คำอธิบายประกอบข้อมูล ทำให้ข้อมูลมีคุณภาพและครอบคลุมยิ่งขึ้น การฝึกโมเดลด้วยข้อมูลคุณภาพสูงช่วยเพิ่มความแม่นยำของผลลัพธ์ได้

เพิ่มความสามารถในการอธิบายเพื่อให้สอดคล้องตามข้อกำหนด

ผลลัพธ์จากการอนุมานควรอธิบายได้ เทคนิคด้านความสามารถในการอธิบายช่วยแสดงให้เห็นว่าคุณลักษณะใดของข้อมูลนำเข้าส่งผลต่อผลลัพธ์หนึ่ง ๆ โมเดล ML แต่ละประเภทใช้เทคนิคแตกต่างกัน ตัวอย่างเช่น Shapley Additive exPlanations (SHAP) สามารถใช้ได้กับทุกโมเดล และเหมาะที่สุดกับโมเดลแบบต้นไม้ โมเดลเชิงเส้น และโครงข่ายประสาทเทียม ความสามารถในการอธิบายยังช่วยให้องค์กรปฏิบัติตามกรอบการกำกับดูแล AI รวมถึงสิทธิในการได้รับคำอธิบายภายใต้ GDPR สำหรับการตัดสินใจที่ AI เป็นผู้ดำเนินการ

AWS สนับสนุนการอนุมาน AI ได้อย่างไร?

AWS อธิบายบริการและโครงสร้างพื้นฐานที่ออกแบบมาโดยเฉพาะสำหรับขั้นตอนต่าง ๆ ของวงจรชีวิตแมชชีนเลิร์นนิง และโมเดล AI

Amazon SageMaker AI มอบสภาพแวดล้อมแมชชีนเลิร์นนิงสำหรับสร้าง ฝึก เพิ่มประสิทธิภาพ ทดสอบ และกำกับดูแลโมเดลที่ปรับแต่งตามความต้องการ

Amazon SageMaker AI เป็นบริการที่มีการจัดการเต็มรูปแบบ พร้อมเครื่องมือแมชชีนเลิร์นนิงสำหรับกรณีการใช้งานหลากหลายรูปแบบ บริการนี้รองรับการสร้าง ฝึก และนำโมเดลไปใช้งานในวงกว้างด้วยเครื่องมือ เช่น โน้ตบุ๊ก ดีบักเกอร์ เครื่องมือวิเคราะห์ประสิทธิภาพ ไปป์ไลน์ และ MLOps ในสภาพแวดล้อมการพัฒนาแบบผสานรวม (IDE)

SageMaker AI รองรับข้อกำหนดด้านการกำกับดูแลตลอดการฝึกและการอนุมานด้วยการควบคุมการเข้าถึงและความโปร่งใสของโครงการ ML นอกจากนี้ยังมีเครื่องมือสำหรับสร้างโมเดลพื้นฐาน (FMs) ซึ่งเป็นโมเดลขนาดใหญ่ที่ฝึกด้วยชุดข้อมูลจำนวนมาก รวมถึงเครื่องมือสำหรับปรับแต่ง ทดลอง ฝึกใหม่ และนำโมเดลเหล่านั้นไปใช้งาน

AWS นำเสนอโครงสร้างพื้นฐานคลาวด์สำหรับการอนุมาน AI รวมถึง GPUs เฉพาะทางบน Amazon EC2 และชิปแมชชีนเลิร์นนิง เช่น AWS Inferentia

เริ่มต้นใช้งานการอนุมานโมเดล ML บน AWS ด้วยการสร้างบัญชีฟรี ได้วันนี้

นำคู่มือนี้ไปใช้กับ Ailoot

เชื่อมต่อโมเดล AI กับแอปพลิเคชัน เอเจนต์ และระบบอัตโนมัติของคุณผ่าน Ailoot API เพียงหนึ่งเดียว เลือกโมเดลที่เหมาะกับงาน แล้วทำตามเอกสาร Ailoot เพื่อเริ่มต้น