บล็อก

AI Inference คืออะไร? กระบวนการเบื้องหลังผลลัพธ์ AI ทุกอย่าง

Markdown

เรียนรู้ว่า AI inference คืออะไร โมเดลที่ผ่านการฝึกสร้างการคาดการณ์แบบเรียลไทม์ได้อย่างไร และเหตุใดเวลาแฝง ต้นทุน และความสามารถในการปรับขนาดจึงสำคัญต่อการสร้างแอปพลิเคชัน AI

ทุกครั้งที่แอปพลิเคชัน AI สร้างคำตอบหรือแจ้งเตือนธุรกรรมที่อาจเป็นการฉ้อโกง แอปกำลังทำ inference โมเดลที่ผ่านการฝึกจะรับข้อมูลใหม่และส่งข้อมูลนั้นผ่านชั้นต่าง ๆ ของพารามิเตอร์ที่เรียนรู้มาเพื่อสร้างผลลัพธ์ กระบวนการนี้เกิดขึ้นภายในเวลาไม่กี่มิลลิวินาที และมักเกิดขึ้นหลายล้านครั้งต่อวัน แต่ความเร็วนี้ก็มีต้นทุน คำขอ inference แต่ละครั้งต้องใช้การประมวลผล GPU และแบนด์วิดท์หน่วยความจำ ซึ่งเพิ่มขึ้นตามขนาดโมเดลและปริมาณทราฟฟิก เวลาแฝงที่พุ่งสูงทำให้ผู้ใช้ไม่พอใจ ค่าใช้จ่าย GPU เพิ่มขึ้นเร็วกว่าที่คาดไว้ นอกจากนี้ การปรับขนาดเวิร์กโหลดข้ามภูมิภาคยังเพิ่มความซับซ้อนของโครงสร้างพื้นฐานที่ทีมส่วนใหญ่ไม่ได้คาดการณ์ไว้ digitalocean.com/currents/february-2026), ปัจจุบัน inference ใช้งบประมาณ AI ประมาณ 76-100% ในหลายองค์กร

หากคุณกำลังนำโมเดลแมชชีนเลิร์นนิงหรือเวิร์กโฟลว์ AI ไปใช้งาน สิ่งสำคัญที่สุดไม่ได้มีแค่ว่าโมเดลเรียนรู้อย่างไร แต่ยังรวมถึงประสิทธิภาพที่โมเดลใช้ในการให้บริการการคาดการณ์แบบเรียลไทม์ด้วย การทำความเข้าใจว่า AI inference คืออะไร และอะไรเป็นตัวกำหนดประสิทธิภาพของ AI inference จะช่วยให้คุณตัดสินใจด้านสถาปัตยกรรมสำหรับโปรเจกต์ AI ถัดไปได้อย่างชาญฉลาดยิ่งขึ้น

ประเด็นสำคัญ:

  • การฝึกช่วยพัฒนาความฉลาดของโมเดล ส่วน inference ทำให้แอปพลิเคชันอย่างการตรวจจับการฉ้อโกง อินเทอร์เฟซแชต LLM และระบบแนะนำทำงานได้

  • เมื่อสัดส่วนงบประมาณ AI เปลี่ยนไปสู่การนำไปใช้งานจริง ปัจจัยสำคัญในการสร้างแอปพลิเคชัน AI/ML ได้แก่ throughput ต้นทุนต่อคำขอ การใช้ GPU และเวลาแฝง P95/P99

  • สภาพแวดล้อม AI inference เช่น คลาวด์ เอดจ์ และ inference บนอุปกรณ์ ตอบโจทย์ความต้องการด้านเวลาแฝง ความเป็นส่วนตัว แบนด์วิดท์ และการปรับขนาดที่แตกต่างกัน ระบบใช้งานจริงจำนวนมากใช้แนวทางแบบไฮบริด

  • ด้วย GPU Droplets, Bare Metal GPUs และ Gradient™ AI Inference Cloud ของ DigitalOcean คุณสามารถนำ inference ที่ปรับขนาดได้และคุ้มค่าต้นทุนไปใช้งานได้โดยไม่ต้องรับมือกับความซับซ้อนแบบ hyperscaler

AI inference คืออะไร?

ภาพวงจรชีวิตผลิตภัณฑ์ AI

AI inference คือขั้นตอนในวงจรชีวิต AI ที่โมเดลซึ่งผ่านการฝึกแล้วใช้คาดการณ์หรือสร้างผลลัพธ์จากข้อมูลใหม่ นี่คือสิ่งที่ขับเคลื่อนแอปพลิเคชันที่ใช้งานจริง เช่น ระบบแนะนำ การวินิจฉัยทางการแพทย์ และอินเทอร์เฟซแชตของโมเดลภาษาขนาดใหญ่ (LLM) ในสภาพแวดล้อมใช้งานจริงของคุณ AI inference เป็นตัวกำหนดว่าผู้ใช้จะได้รับผลลัพธ์เร็วเพียงใด ระบบของคุณรับมือกับทราฟฟิกที่พุ่งสูงได้ดีแค่ไหน และการให้บริการการคาดการณ์แต่ละครั้งมีค่าใช้จ่ายเท่าใด

Workato ลดต้นทุน inference ได้ 67%:

Workato ร่วมมือกับ agentic inference cloud ของ DigitalOcean เพื่อเพิ่มประสิทธิภาพ long-context LLM inference สำหรับการเรียกใช้ agentic AI ในระดับหนึ่งล้านล้านเวิร์กโหลด ด้วยการนำ NVIDIA Dynamo และ vLLM บน DOKS พร้อมการกำหนดเส้นทางที่รับรู้ KV มาใช้ พวกเขาทำ tokens/sec ต่อ GPU ได้สูงขึ้น 67% และลดต้นทุนโมเดลลง 67% โดยใช้ GPU เพียงครึ่งหนึ่ง

การฝึกกับ inference แตกต่างกันอย่างไร?

การฝึกคือกระบวนการที่โมเดลเรียนรู้ คุณป้อนชุดข้อมูลขนาดใหญ่ให้โมเดล จากนั้นโมเดลจะปรับพารามิเตอร์ภายในนับล้านค่าอย่างต่อเนื่องจนสามารถจดจำรูปแบบได้ด้วยตัวเอง โมเดลจะได้รับข้อมูลอินพุตพร้อมคำตอบที่ถูกต้อง (เช่น รูปภาพที่มีป้ายกำกับ หรือข้อความที่มีผลลัพธ์ที่คาดหวัง) จากนั้นจึงคาดการณ์ เปรียบเทียบผลกับคำตอบที่ถูกต้อง และปรับตัวเพื่อลดข้อผิดพลาด กระบวนการนี้ทำซ้ำหลายรอบจนโมเดลสามารถคาดการณ์ได้อย่างแม่นยำ กระบวนการนี้ใช้ทรัพยากรประมวลผลสูง แต่เกิดขึ้นเพียงครั้งเดียวหรือเป็นระยะ ส่วน inference คือสิ่งที่เกิดขึ้นหลังจากนั้น: โมเดลที่ผ่านการฝึกจะรับข้อมูลใหม่ที่ไม่เคยพบมาก่อนและสร้างการคาดการณ์หรือคำตอบแบบเรียลไทม์

ปัจจัยการฝึก AIAI inference
วัตถุประสงค์เรียนรู้รูปแบบและเพิ่มประสิทธิภาพความแม่นยำของโมเดลสร้างการคาดการณ์หรือผลลัพธ์จากข้อมูลใหม่
ข้อมูลที่ใช้ชุดข้อมูลติดป้ายกำกับขนาดใหญ่ (เช่น ธุรกรรมฉ้อโกงในอดีต รูปภาพทางการแพทย์ที่มีคำอธิบายประกอบ รีวิวที่ติดป้ายกำกับความรู้สึก)ข้อมูลอินพุตใหม่ที่ไม่เคยพบมาก่อน
ผลลัพธ์น้ำหนักโมเดลที่อัปเดตแล้ว (โมเดลที่ผ่านการฝึกขั้นสุดท้าย)การคาดการณ์ คะแนน การจัดประเภท หรือคำตอบที่สร้างขึ้น
ความต้องการด้านการประมวลผลสูงมาก (เช่น คลัสเตอร์ GPU แบบกระจาย)ต่ำกว่าต่อคำขอ แต่ไวต่อเวลาแฝง
ความอ่อนไหวต่อเวลาออฟไลน์ ไม่ได้ให้บริการแก่ผู้ใช้โดยตรงเรียลไทม์หรือเกือบเรียลไทม์ ให้บริการแก่ผู้ใช้
ความถี่เป็นครั้งคราว (การฝึกครั้งแรกและการฝึกซ้ำ)ต่อเนื่อง ทำงานทุกคำขอ
โครงสร้างต้นทุนต้นทุนการฝึกเริ่มต้นสูงต้นทุนต่อเนื่องต่อคำขอ
จุดเน้นในการเพิ่มประสิทธิภาพความแม่นยำและการลด lossเวลาแฝง throughput และประสิทธิภาพด้านต้นทุน
ตัวอย่าง: ระบบกลั่นกรองเนื้อหา AIระบบได้รับการฝึกจากโพสต์หลายล้านรายการที่ติดป้ายกำกับว่า “ปลอดภัย” “สแปม” “คำพูดแสดงความเกลียดชัง” หรือ “ละเมิดนโยบาย” ระหว่างการฝึก โมเดลเรียนรู้รูปแบบในข้อความ น้ำเสียง คำสำคัญ และบริบท โดยปรับน้ำหนักภายในเพื่อแยกแยะเนื้อหาที่เป็นอันตรายออกจากเนื้อหาที่ยอมรับได้เมื่อผู้ใช้ส่งโพสต์ใหม่ โมเดลที่ผ่านการฝึกจะประมวลผลข้อความแบบเรียลไทม์และกำหนดคะแนนความน่าจะเป็นให้กับเนื้อหาแต่ละหมวดหมู่ จากคะแนนเหล่านี้ ระบบจะเผยแพร่โพสต์โดยอัตโนมัติ แจ้งเตือน จำกัดการมองเห็น หรือส่งโพสต์ให้มนุษย์ตรวจสอบ

ผู้คนมักเหมารวมการฝึกกับ inference เข้าด้วยกัน แต่ทั้งสองอย่างสร้างข้อกำหนดต่อโครงสร้างพื้นฐานและงบประมาณแตกต่างกันมาก บทความของเราเกี่ยวกับ AI inference เทียบกับการฝึกจะแจกแจงว่าเงินถูกใช้ไปที่ใดจริง ๆ และควรให้ความสำคัญกับอะไรเมื่อใช้งานโมเดลในระบบจริง

สภาพแวดล้อม AI inference

คุณสามารถเรียกใช้ inference ในสถานที่ต่าง ๆ ได้ ขึ้นอยู่กับความต้องการของแอปพลิเคชัน ความอ่อนไหวของข้อมูล และข้อกำหนดด้านประสิทธิภาพ โดยอาจทำงานในศูนย์ข้อมูลคลาวด์ส่วนกลาง ใกล้ผู้ใช้มากขึ้นที่เอดจ์ หรือโดยตรงบนอุปกรณ์ภายในเครื่อง

สภาพแวดล้อม inference บนคลาวด์

สภาพแวดล้อม inference บนคลาวด์เป็นรูปแบบที่พบได้บ่อยที่สุดสำหรับ AI inference ในระบบจริง โดยมีทรัพยากรประมวลผลที่ปรับขนาดได้ เช่น GPU สภาพแวดล้อมนี้รองรับเฟรมเวิร์กสำหรับให้บริการโมเดล การตรวจสอบ และการผสานรวมกับ API และระบบแบบกระจาย

ตัวอย่างเช่น ทีมที่นำระบบแนะนำไปใช้งานอาจทำตามเวิร์กโฟลว์ต่อไปนี้:

  • เรียกใช้บริการ inference บน DigitalOcean GPU Droplets

  • นำ API ไปใช้งานโดยใช้ App Platform เพื่อให้บริการ API

  • จัดเก็บอาร์ติแฟกต์โมเดลใน Spaces

สภาพแวดล้อม inference ที่เอดจ์

Edge inference ทำงานใกล้แหล่งข้อมูลมากขึ้น เช่น ในร้านค้าปลีก โรงงาน หรือเสาสัญญาณโทรคมนาคม เพื่อลดเวลาแฝงและการใช้แบนด์วิดท์ สำหรับแอปพลิเคชันอย่างการวิเคราะห์วิดีโอและการตรวจสอบ IoT การประมวลผลข้อมูลในพื้นที่ช่วยให้ตัดสินใจได้ภายในเวลาไม่กี่มิลลิวินาที แทนที่จะต้องสื่อสารไปกลับกับเซิร์ฟเวอร์คลาวด์ส่วนกลาง

ในร้านค้าปลีก กล้องรักษาความปลอดภัยจะตรวจสอบช่องชำระเงิน อุปกรณ์เอดจ์ขนาดเล็กที่ติดตั้งในสถานที่จะเรียกใช้โมเดลคอมพิวเตอร์วิทัศน์เพื่อตรวจจับพฤติกรรมที่น่าสงสัย เช่น มีคนไม่ชำระเงิน หากพบสิ่งผิดปกติ ระบบจะแจ้งพนักงานร้านทันที ส่วนสรุปการแจ้งเตือนและรายงานวิเคราะห์ประจำวันจะถูกอัปโหลดภายหลังเพื่อตรวจสอบจากส่วนกลาง

Inference บนอุปกรณ์

Inference บนอุปกรณ์ทำงานโดยตรงบนฮาร์ดแวร์ของผู้ใช้ เช่น สมาร์ตโฟน แล็ปท็อป หรือระบบฝังตัว โดยมีเป้าหมายเพื่อเพิ่มความเป็นส่วนตัว ลดการพึ่งพาการเชื่อมต่อเครือข่าย และให้การตอบสนองทันทีในแอปพลิเคชันอย่างผู้ช่วยเสียงและการยืนยันตัวตนด้วยไบโอเมตริก

เมื่อผู้ใช้พูดวลีปลุก เช่น “เฮ้ ผู้ช่วย” โมเดลโครงข่ายประสาทเทียมที่ทำงานในอุปกรณ์จะคอยฟังวลีเรียกใช้นั้นอย่างต่อเนื่อง เสียงจะถูกประมวลผลแบบเรียลไทม์บน CPU ของอุปกรณ์หรือชิป AI เฉพาะ เมื่อระบบตรวจพบคำปลุก ระบบจะเริ่มทำงานและส่งคำขอไปยังคลาวด์เพื่อประมวลผลต่อ ในการตั้งค่านี้:

  • โมเดลตรวจจับคำปลุกที่ผ่านการฝึกจะจัดเก็บไว้ในอุปกรณ์

  • Inference ทำงานอย่างต่อเนื่องบนฮาร์ดแวร์ภายในเครื่อง

  • เสียงดิบจะไม่ออกจากอุปกรณ์ เว้นแต่มีการเปิดใช้งาน

  • ผู้ช่วยตอบสนองทันที แม้ไม่มีการเชื่อมต่ออินเทอร์เน็ตที่ใช้งานอยู่

วิธีเลือกสภาพแวดล้อม AI inference ที่เหมาะสม

สภาพแวดล้อม inference ที่คุณเลือกขึ้นอยู่กับข้อกำหนดด้านเวลาแฝง ปริมาณทราฟฟิก ความอ่อนไหวของข้อมูล และข้อจำกัดด้านต้นทุน ในระบบจริงจำนวนมาก ทีมต่าง ๆ ใช้แนวทางแบบไฮบริด โดยผสานการประมวลผลบนอุปกรณ์หรือที่เอดจ์เข้ากับ inference บนคลาวด์

  • เลือก inference บนคลาวด์: หากคุณต้องการความสามารถในการปรับขนาดสูง การจัดการโมเดลจากส่วนกลาง และความสามารถในการรองรับปริมาณทราฟฟิกมากหรือเวิร์กโหลดที่ใช้ GPU หนัก

  • เลือก inference ที่เอดจ์: หากแอปพลิเคชันของคุณต้องการเวลาแฝงต่ำใกล้แหล่งข้อมูล ลดการใช้แบนด์วิดท์ หรือประมวลผลแบบเรียลไทม์ในสถานที่กระจายตัว

  • เลือก inference บนอุปกรณ์: หากความเป็นส่วนตัวสำคัญ ต้องใช้งานแบบออฟไลน์ หรือจำเป็นต้องตอบสนองทันทีบนฮาร์ดแวร์ของผู้ใช้ เช่น สมาร์ตโฟน

สับสนระหว่างเอดจ์กับคลาวด์ใช่ไหม? เริ่มจากคำถามเดียว: ระบบของคุณต้องตอบสนองเร็วแค่ไหน? อ่านบทความของเราเกี่ยวกับคลาวด์เทียบกับเอดจ์คอมพิวติง เพื่อทำความเข้าใจว่าควรใช้แต่ละแบบเมื่อใดและอย่างไรให้มีประสิทธิภาพ

ประโยชน์ของ AI inference

AI inference เป็นตัวกำหนดว่าแอปพลิเคชันของคุณตอบสนองเร็วเพียงใด ปรับขนาดได้อย่างน่าเชื่อถือแค่ไหน และคุณจัดการต้นทุนโครงสร้างพื้นฐานได้มีประสิทธิภาพเพียงใด เมื่อนำไปใช้อย่างเหมาะสม AI inference จะมอบข้อได้เปรียบด้านประสิทธิภาพและการดำเนินงานที่วัดผลได้:

  • การตัดสินใจแบบเรียลไทม์: Inference แปลงข้อมูลสดเป็นผลลัพธ์แบบมีโครงสร้างอย่างต่อเนื่อง เช่น คะแนนความเสี่ยง การจัดประเภท การจัดอันดับ หรือข้อความที่สร้างขึ้น ผลลัพธ์เหล่านี้จะถูกส่งต่อไปยังแอปพลิเคชัน ตัวอย่างเช่น โมเดลตรวจจับความผิดปกติสามารถแจ้งเตือนกิจกรรมผิดปกติแบบเรียลไทม์ เพื่อให้ส่งการแจ้งเตือนอัตโนมัติและตอบสนองด้านการปฏิบัติงานได้เร็วขึ้น

  • การใช้โมเดลอย่างคุ้มค่าต้นทุน: เมื่อโมเดลผ่านการฝึกแล้ว ก็สามารถให้บริการการคาดการณ์นับล้านครั้งโดยไม่ต้องฝึกซ้ำ แม้ inference จะมีราคาแพงเมื่อใช้งานในระดับใหญ่ แต่เทคนิคอย่าง batching และ quantization สามารถลดต้นทุนต่อคำขอเมื่อต้องให้บริการเวิร์กโหลดปริมาณสูง เช่น ผู้ช่วยที่ขับเคลื่อนด้วย LLM

  • ประสบการณ์ผู้ใช้ที่ดีขึ้น: Inference ที่มีเวลาแฝงต่ำส่งผลโดยตรงต่อความรู้สึกว่าแอปพลิเคชัน “ฉลาด” เพียงใด หากฟีเจอร์ AI ตอบสนองภายใน 100 มิลลิวินาทีแทนที่จะเป็น 2 วินาที ผู้ใช้จะรู้สึกว่าผลิตภัณฑ์ตอบสนองได้ดี เชื่อถือได้ และน่าไว้วางใจ

  • การนำระบบจริงไปใช้ที่ปรับขนาดได้: เมื่อทราฟฟิกเพิ่มขึ้น ไปป์ไลน์ inference จะปรับขนาดในแนวนอนโดยใช้โครงสร้างพื้นฐานแบบกระจายและการปรับขนาดอัตโนมัติ ผู้ช่วยเขียนข้อความด้วย generative AI ที่ฝังอยู่ในแพลตฟอร์ม SaaS อาจมีผู้ใช้ไม่กี่ร้อยคนในช่วงเวลาปกติ แต่รองรับผู้ใช้หลายหมื่นคนได้อย่างสบายหลังเปิดตัวผลิตภัณฑ์

  • การทดลองและปรับปรุงโมเดลที่รวดเร็วยิ่งขึ้น: ไปป์ไลน์ inference ช่วยให้ทดสอบและเปิดตัวโมเดลเวอร์ชันใหม่ได้โดยไม่ต้องฝึกใหม่ตั้งแต่ต้น คุณสามารถทำ A/B test กับโมเดลสองตัวโดยให้บริการแก่กลุ่มผู้ใช้ที่ต่างกัน เรียกใช้ shadow deployment เพื่อประเมินโมเดลใหม่เทียบกับทราฟฟิกจริงโดยไม่กระทบผู้ใช้ หรือใช้ canary release เพื่อค่อย ๆ เปลี่ยนทราฟฟิกไปยังเวอร์ชันใหม่ก่อนเปิดตัวเต็มรูปแบบ

เรียกใช้โมเดล generative AI ได้ทันทีโดยไม่ต้องใช้เซิร์ฟเวอร์ เข้าถึงหลายโมเดลด้วยคีย์ API เพียงคีย์เดียว เปลี่ยนผู้ให้บริการ และทำให้เวิร์กโหลด inference ของคุณทำงานต่อเนื่อง ดูวิธีนำโมเดลสร้างภาพและเสียง Fal ไปใช้งานบนแพลตฟอร์ม Gradient AI ของ DigitalOcean โดยใช้การเรียก Python แบบง่าย ๆ ในแอป Streamlit

ความท้าทายของ inference

เมื่อโมเดลต้องรับมือกับเวิร์กโหลดในระบบจริง ความซับซ้อนของ AI inference ก็ปรากฏขึ้น เมื่อย้ายแอปพลิเคชันจากการทดลองไปสู่การใช้งานในระดับใหญ่ คุณต้องประเมินต้นทุน ประสิทธิภาพ และข้อจำกัดของโครงสร้างพื้นฐาน

  • ต้นทุน inference สูงเมื่อใช้งานในระดับใหญ่: การใช้ GPU อย่างต่อเนื่อง การกำหนดราคาตามจำนวนโทเค็น และรูปแบบทราฟฟิกที่คาดเดาไม่ได้ ล้วนมีส่วนทำให้ต้นทุนเพิ่มขึ้น

  • ความอ่อนไหวต่อเวลาแฝงในเวิร์กโหลดระบบจริง: แอปพลิเคชันเรียลไทม์ต้องการการตอบสนองที่มีเวลาแฝงต่ำอย่างสม่ำเสมอภายใต้ทราฟฟิกที่เปลี่ยนแปลง คอขวดด้านประสิทธิภาพในการให้บริการโมเดล เครือข่าย หรือการจัดเตรียมฮาร์ดแวร์อาจทำให้ประสบการณ์ผู้ใช้และความน่าเชื่อถือของระบบลดลง

  • ความซับซ้อนของโครงสร้างพื้นฐานและภาระในการ orchestration: หลายทีมพึ่งพาเครื่องมือและ API หลายรายการเพื่อเรียกใช้ inference ซึ่งเพิ่มความซับซ้อนในการปฏิบัติงาน การ orchestration การนำไปใช้งาน การกำหนดค่าการปรับขนาดอัตโนมัติ และ observability ในระบบแบบกระจาย ต้องอาศัยความเชี่ยวชาญเฉพาะด้านการจัดตาราง GPU และการกระจายโหลด

  • ความน่าเชื่อถือและข้อกังวลในการใช้งานจริง: ไปป์ไลน์ inference ต้องคงเสถียรภายใต้โหลดพร้อมรักษาความสม่ำเสมอของผลลัพธ์ หากโหนด GPU inference ที่รองรับงานช่วยเรนเดอร์ขัดข้องเมื่อมี concurrency สูง เซสชันตัดต่อวิดีโอที่กำลังใช้งานอาจล้มเหลว หรือภาพตัวอย่างอาจค้าง

ต้องการเปลี่ยนจาก GPU ทั่วไปไปสู่ inference cloud ที่ปรับแต่งมาโดยเฉพาะหรือไม่? DigitalOcean ร่วมมือกับ Character.AI และ AMD เพื่อลดต้นทุน inference ลง 50% ขยายขนาดเป็น ~2X QPS และมอบประสิทธิภาพสูงกว่าการตั้งค่า GPU มาตรฐาน ~91%

ประเภทของ AI inference

AI inference จำแนกตามวิธีและช่วงเวลาที่สร้างการคาดการณ์ บางระบบตอบสนองต่ออินพุตของผู้ใช้ทันที ขณะที่บางระบบประมวลผลข้อมูลปริมาณมากเป็นระยะหรือต่อเนื่องเมื่อเกิดเหตุการณ์ ความแตกต่างอยู่ที่:

  • ช่วงเวลาของคำขอ: การคาดการณ์ถูกสร้างเมื่อใด: ทันทีต่อคำขอ ในช่วงเวลาที่กำหนดไว้ หรืออย่างต่อเนื่องเมื่อข้อมูลเข้ามา

  • รูปแบบการไหลของข้อมูล: ข้อมูลอินพุตเคลื่อนผ่านระบบอย่างไร: คำขอและการตอบกลับหนึ่งครั้ง การประมวลผลชุดข้อมูลจำนวนมาก หรือการสตรีมที่ขับเคลื่อนด้วยเหตุการณ์

  • ข้อกำหนดด้านการตอบสนอง: เวลาตอบสนองที่ยอมรับได้สำหรับแอปพลิเคชัน: ระดับมิลลิวินาทีสำหรับระบบเรียลไทม์ หรือผลลัพธ์ที่ล่าช้าสำหรับเวิร์กโหลดที่ไม่เร่งด่วน

Inference แบบเรียลไทม์ (ออนไลน์)

Inference แบบเรียลไทม์ประมวลผลคำขอครั้งละหนึ่งรายการเมื่อได้รับคำขอ และส่งคืนการคาดการณ์ทันที โดยทำงานตามรูปแบบ “คำขอ–การตอบกลับ” ซึ่งการกระทำของผู้ใช้หรือการเรียก API แต่ละครั้งจะกระตุ้นให้โมเดลคาดการณ์ เวลาตอบสนองมักอยู่ระหว่างไม่กี่มิลลิวินาทีถึงไม่กี่วินาที ขึ้นอยู่กับความซับซ้อนของโมเดลและโครงสร้างพื้นฐาน

Streaming inference

Streaming inference ประเมินสตรีมข้อมูลขาเข้าอย่างต่อเนื่อง แทนที่จะรอคำขอที่แยกจากกันหรืองานตามกำหนดเวลา ข้อมูลไหลผ่านระบบในรูปแบบต่อเนื่องที่ขับเคลื่อนด้วยเหตุการณ์ และสร้างการคาดการณ์เกือบเรียลไทม์เมื่อข้อมูลใหม่เข้ามา ในแง่การตอบสนอง วิธีนี้อยู่ระหว่าง real-time inference กับ batch inference: เร็วกว่างาน batch ตามกำหนดเวลา แต่ทำงานกับข้อมูลสตรีมแทนคำขอที่แยกเป็นรายการ

Batch inference

Batch inference เรียกใช้การคาดการณ์กับชุดข้อมูลขนาดใหญ่พร้อมกันตามช่วงเวลาที่กำหนด ระบบประมวลผลข้อมูลเป็นชุดใหญ่ เช่น งานตามรอบที่อาจใช้เวลาหลายนาทีหรือหลายชั่วโมงจึงเสร็จ เวิร์กโหลดจะถูกจัดการด้วยตัวจัดตารางงานหรือเวิร์กโฟลว์เอนจิน และทำงานบนคลัสเตอร์ประมวลผลแบบกระจาย ระบบอ่านข้อมูลจากระบบจัดเก็บ ประมวลผลแบบขนาน แล้วเขียนกลับเป็นตาราง ไฟล์ หรือระเบียนฐานข้อมูลที่อัปเดตแล้ว

ประเภทคำอธิบายช่วงเวลาตอบสนองการไหลของข้อมูลกรณีใช้งาน
Real-time (online) inferenceประมวลผลคำขอครั้งละหนึ่งรายการเมื่อได้รับคำขอมิลลิวินาทีถึงวินาทีคำขอ-การตอบกลับแชตบอต การตรวจจับการฉ้อโกง และระบบแนะนำ
Streaming inferenceประเมินสตรีมข้อมูลขาเข้าอย่างต่อเนื่องเกือบเรียลไทม์การไหลต่อเนื่องที่ขับเคลื่อนด้วยเหตุการณ์การตรวจสอบ IoT การตรวจจับเหตุการณ์ทางการเงิน การตรวจจับความผิดปกติ
Batch inferenceเรียกใช้การคาดการณ์กับชุดข้อมูลขนาดใหญ่พร้อมกันตามช่วงเวลาที่กำหนดนาทีถึงชั่วโมง (งานตามกำหนดเวลา)การประมวลผลข้อมูลจำนวนมากการให้คะแนนเครดิต รายงานวิเคราะห์ การให้คะแนนโมเดลเป็นระยะ

AI inference ทำงานอย่างไร

กระบวนการ AI inference เกิดขึ้นผ่านเลเยอร์ให้บริการโมเดล ซึ่งจัดการคำขอ ทำการคำนวณ (บน CPU หรือ GPU) และส่งผลลัพธ์กลับผ่าน API หรือในรูปแบบที่กำหนด มาดูกันว่าเกิดอะไรขึ้นในแต่ละขั้นตอนเมื่อระบบตรวจจับการฉ้อโกงประเมินธุรกรรมบัตรเครดิต

ภาพเวิร์กโฟลว์ AI inference

  1. การประมวลผลข้อมูลอินพุตล่วงหน้า: อินพุตดิบ เช่น ข้อความ รูปภาพ เสียง หรือข้อมูลที่มีโครงสร้าง จะได้รับการตรวจสอบและแปลงเป็นรูปแบบที่โมเดลต้องการ ซึ่งอาจรวมถึง tokenization (สำหรับ LLM) การทำ normalization การดึงฟีเจอร์ หรือการแปลงเป็น tensor

ตัวอย่างเช่น สมมติว่าลูกค้ารูดบัตรเครดิตเพื่อซื้ออุปกรณ์อิเล็กทรอนิกส์มูลค่า $2,400 จากร้านค้าปลีกใน São Paulo—แต่บัญชีของลูกค้าอยู่ใน Chicago และระบบไม่เคยเห็นอุปกรณ์ดังกล่าวมาก่อน ระบบดึงฟีเจอร์ที่มีโครงสร้างจากธุรกรรม ได้แก่ จำนวนเงิน หมวดหมู่ร้านค้า ลายนิ้วมืออุปกรณ์ ตำแหน่งทางภูมิศาสตร์ ช่วงเวลา และประวัติการใช้จ่ายล่าสุด ฟีเจอร์เหล่านี้ได้รับการทำ normalization และแปลงเป็นเวกเตอร์ฟีเจอร์เชิงตัวเลขที่โมเดลประมวลผลได้

  1. การโหลดและเริ่มต้นโมเดล: โมเดลที่ผ่านการฝึก ซึ่งรวมถึงสถาปัตยกรรมและน้ำหนักที่เรียนรู้มา จะถูกโหลดเข้าสู่หน่วยความจำ ในสภาพแวดล้อมใช้งานจริง โมเดลส่วนใหญ่จะบรรจุในคอนเทนเนอร์และให้บริการผ่านเฟรมเวิร์ก เช่น TensorFlow Serving, TorchServe หรือบริการที่สร้างขึ้นเองบน FastAPI

ในสถานการณ์นี้ โครงข่ายประสาทเทียมสำหรับตรวจจับการฉ้อโกงที่ผ่านการฝึกไว้ล่วงหน้ากำลังทำงานอยู่ในหน่วยความจำ โดยนำไปใช้งานผ่านเซิร์ฟเวอร์โมเดลแบบคอนเทนเนอร์ที่ใช้ TorchServe เมื่อธุรกรรมเข้ามา API gateway จะกำหนดเส้นทางเวกเตอร์ฟีเจอร์ไปยัง endpoint ของโมเดล

  1. การคำนวณ forward pass: อินพุตที่ผ่านการประมวลผลจะถูกส่งผ่านโมเดล ซึ่งการคูณเมทริกซ์และฟังก์ชันกระตุ้นจะคำนวณผลลัพธ์ สำหรับ deep learning และ LLM inference ขั้นตอนนี้ทำงานบน GPU หรือ accelerator อื่น ๆ เพื่อเพิ่มประสิทธิภาพด้านเวลาแฝงและ throughput

จากตัวอย่างการตรวจจับการฉ้อโกง โมเดลส่งเวกเตอร์ฟีเจอร์ผ่านเลเยอร์เครือข่าย โดยประเมินการผสมผสานระหว่างอุปกรณ์ที่ไม่คุ้นเคย ตำแหน่งระหว่างประเทศ และยอดธุรกรรมสูง เทียบกับรูปแบบที่เรียนรู้จากธุรกรรมในอดีตนับล้านรายการ โมเดลให้คะแนนความน่าจะเป็นของการฉ้อโกงดิบที่ 0.92

  1. การประมวลผลการคาดการณ์ภายหลัง: ผลลัพธ์ดิบจากโมเดลจะถูกแปลงเป็นผลลัพธ์ที่นำไปใช้ได้ เช่น คะแนนความน่าจะเป็น ป้ายกำกับการจัดประเภท รายการที่จัดอันดับ หรือโทเค็นที่สร้างขึ้น อาจมีการใช้การกำหนด threshold กลยุทธ์การถอดรหัส (เช่น greedy decoding หรือ beam search) หรือกฎทางธุรกิจ

ในกรณีนี้ กลไกกฎจะตีความคะแนน 0.92 ตามตรรกะทางธุรกิจของระบบ เนื่องจากคะแนนสูงกว่า threshold 0.85 และ ธุรกรรมข้ามพรมแดน กลไกจึงจัดประเภทว่ามีความเสี่ยงสูงและแจ้งให้ทำการยืนยันตัวตนเพิ่มเติม แทนการปฏิเสธธุรกรรมทันที

  1. การส่งคืนคำตอบและการบันทึกล็อก: ผลลัพธ์สุดท้ายจะถูกส่งคืนไปยัง API ฐานข้อมูล หรือระบบปลายทาง (เช่น Kafka streams, payment gateways, ระบบแจ้งเตือน และอื่น ๆ) ขึ้นอยู่กับสถาปัตยกรรมของแอปพลิเคชัน ในเวลาเดียวกัน จะมีการบันทึกเมตริก เช่น เวลาแฝง (P95/P99), throughput และอัตราข้อผิดพลาด เพื่อการตรวจสอบ การปรับขนาด และการเพิ่มประสิทธิภาพ

สรุปลำดับการทำงานนี้ ภายใน 120 มิลลิวินาทีหลังจากรูดบัตรครั้งแรก payment gateway จะได้รับผลการจัดประเภทความเสี่ยงสูงและส่งคำขอยืนยัน OTP ไปยังโทรศัพท์ของลูกค้า พร้อมกันนั้น ระบบบันทึกคะแนนโมเดล เมตาดาต้าธุรกรรม เวลาแฝง (P95) และผลการยืนยันตัวตน ข้อมูลเหล่านี้จะนำไปใช้ฝึกโมเดลซ้ำในอนาคตและตรวจสอบประสิทธิภาพ

หยุดไล่ตาม FLOPs ดิบ แล้ววัดประสิทธิภาพ LLM inference ในจุดที่มีความหมาย อ่านคู่มือฉบับเต็มเรื่องการวัดประสิทธิภาพ LLM Inference เพื่อเรียนรู้วิธีวัดเวลาแฝง throughput concurrency และต้นทุน

ตัวชี้วัดประสิทธิภาพหลักสำหรับ AI inference

การเพิ่มประสิทธิภาพ inference เริ่มต้นจากการรู้ว่าควรให้ความสนใจกับเมตริกใด เมตริกเหล่านี้ไม่ได้สำคัญเท่ากันทั้งหมดสำหรับกรณีใช้งานของคุณ แต่การละเลยเมตริกใด ๆ อาจทำให้การตอบสนองช้า ใช้ทรัพยากรประมวลผลสิ้นเปลือง หรือต้นทุนเพิ่มขึ้นอย่างเงียบ ๆ ต่อไปนี้คือเมตริกที่สำคัญที่สุด:

ตัวชี้วัดประสิทธิภาพคำอธิบายเหตุผลที่สำคัญตัวอย่าง
เวลาแฝงเวลาที่ใช้สร้างการคาดการณ์สำหรับคำขอเดียวกำหนดความเร็วที่ผู้ใช้รับรู้; tail latency (P95/P99) สะท้อนความล่าช้ากรณีแย่ที่สุดภายใต้โหลดแชตบอตตอบสนองโดยเฉลี่ยใน 120ms แต่ใช้เวลา 2 วินาทีที่ P99 ระหว่างทราฟฟิกสูงสุด
Throughputจำนวนคำขอต่อวินาที (RPS) หรือจำนวนโทเค็นต่อวินาที (สำหรับ LLM)บ่งชี้ว่าระบบรองรับทราฟฟิกได้มากเพียงใดก่อนประสิทธิภาพลดลงLLM ที่สร้าง 80 โทเค็น/วินาที เทียบกับ 20 โทเค็น/วินาที ส่งผลต่อความเร็วการตอบสนองเมื่อใช้งานในระดับใหญ่
ต้นทุนต่อคำขอต้นทุนการประมวลผลที่ใช้ในการเรียก inference แต่ละครั้งส่งผลต่อเศรษฐศาสตร์การใช้งานจริงระยะยาวและความเป็นไปได้ในการปรับขนาดinference ที่ใช้ GPU มีต้นทุน $0.002 ต่อคำขอ เทียบกับ $0.02 เมื่อมีปริมาณสูง
การใช้ฮาร์ดแวร์ประสิทธิภาพในการใช้ CPU, GPU หรือ acceleratorการใช้ทรัพยากรต่ำเพิ่มต้นทุนและสร้างคอขวดด้านประสิทธิภาพGPU ที่มีการใช้งาน 30% ทำให้สูญเสียกำลังการประมวลผลและเพิ่มต้นทุนต่อการคาดการณ์
ความสามารถในการปรับขนาดภายใต้โหลดความสามารถในการรักษาประสิทธิภาพระหว่างทราฟฟิกพุ่งสูงช่วยให้มั่นใจในความน่าเชื่อถือและเวลาแฝงที่สม่ำเสมอช่วงที่มีความต้องการสูงระบบแนะนำอีคอมเมิร์ซรองรับทราฟฟิก Black Friday โดยไม่มีเวลาแฝงพุ่งสูง

กรณีใช้งาน AI inference

AI inference เริ่มต้นทันทีที่แอปพลิเคชันของคุณตอบสนองจริง ไม่ว่าจะเป็นการให้คะแนนธุรกรรม จัดอันดับผลการค้นหา หรือสร้างข้อความ inference คือเลเยอร์การดำเนินการที่เปลี่ยนความฉลาดของโมเดลให้เป็นการกระทำที่ผู้ใช้เห็น

  • การตรวจจับการฉ้อโกงในธุรกรรมทางการเงิน: H2o.ai บริษัทระบบการชำระเงินในสหรัฐฯ ประมวลผลโมเดล deep learning ที่ฝึกจากระเบียน 160 ล้านรายการและฟีเจอร์ 1,500 รายการ เพื่อตรวจจับการฉ้อโกงแบบเรียลไทม์ เมื่อเริ่มธุรกรรมใหม่ โมเดลที่นำไปใช้งานจะให้คะแนนภายในเวลาไม่กี่มิลลิวินาที ระบบจะบล็อกหรือแจ้งเตือนกิจกรรมที่น่าสงสัยก่อนอนุมัติธุรกรรม

  • การวิเคราะห์ภาพทางการแพทย์: ในแวดวงสุขภาพ งานศึกษาเกี่ยวกับการตรวจหามะเร็งสมองแสดงให้เห็นว่าการทำ inference กับภาพทางการแพทย์ทำงานอย่างไรในทางปฏิบัติ ภาพสแกน MRI ได้รับการติดป้ายกำกับ ปรับขนาดเป็น 150×150 พิกเซล และทำ normalization ก่อนป้อนเข้าสู่โครงข่ายประสาทเทียมแบบคอนโวลูชัน (CNN) ที่ปรับแต่งเฉพาะ ระหว่าง inference โมเดลที่ผ่านการฝึกจะจัดประเภทภาพสแกนแต่ละภาพว่ามีหรือไม่มีเนื้องอก ด้วยความแม่นยำในการตรวจสอบ 98.67% เพื่อสนับสนุนการตัดสินใจทางคลินิก เทคนิคประมวลผลภายหลัง เช่น SHAP, LIME และ Grad-CAM สร้างแผนที่ความร้อนที่แสดงบริเวณซึ่งส่งผลต่อการคาดการณ์

  • การจัดอันดับการค้นหาและระบบแนะนำ: เมื่อผู้ใช้ส่งคำค้นหาหรือเข้าชมหน้าเว็บ ระบบจะเข้ารหัสฟีเจอร์ตามบริบท เช่น การคลิกก่อนหน้า พฤติกรรมในเซสชัน และเมตาดาต้า โมเดลจัดอันดับหรือแนะนำจะให้คะแนนรายการตัวเลือกหลายรายการแบบเรียลไทม์ ระบบ AI inference จะเรียงลำดับผลลัพธ์ตามคะแนนความเกี่ยวข้องที่คาดการณ์ไว้และส่งคืนรายการที่จัดอันดับภายใต้ข้อจำกัดเวลาแฝงที่เข้มงวด Netflix ใช้ inference โดยมีขั้นตอนดึงข้อมูลรอบแรกที่ใช้การคลิกในเซสชัน พฤติกรรมการเรียกดู และความชอบระยะยาวเพื่อสร้างชุดตัวเลือก จากนั้นโมเดล deep learning รอบที่สองจะคำนวณคะแนนความเกี่ยวข้องและส่งมอบรายการจัดอันดับในเวลาประมาณ 40 มิลลิวินาที

  • การรับรู้สภาพแวดล้อมของยานยนต์อัตโนมัติ: Tata Elxsi ผสาน AI เข้ากับเซ็นเซอร์ LiDAR ระยะไกล (สูงสุด 1 km) ที่ทำงานที่ 10 Hz เพื่อขับเคลื่อนการรับรู้สภาพแวดล้อมของยานยนต์อัตโนมัติแบบเรียลไทม์ ข้อมูลพอยต์คลาวด์จาก LiDAR และภาพจากกล้องถูกรวมเข้าด้วยกันและแปลงเป็น tensor จากนั้นป้อนข้อมูล tensor เข้าโมเดล deep learning เพื่อทำ inference สำหรับตรวจจับยานพาหนะ คนเดินถนน และป้ายจราจร รวมถึงแบ่งส่วนพื้นที่ที่ขับขี่ได้ ผลลัพธ์จากโมเดล เช่น การจัดประเภทวัตถุ การประมาณระยะทาง และการตรวจจับการฝ่าฝืน (เช่น ขับรถย้อนศรหรือขับเร็วเกินกำหนด) จะถูกส่งตรงไปยังระบบตรวจสอบและควบคุมเพื่อแจ้งเตือนหรือใช้ประกอบการตัดสินใจในการขับขี่ทันทีภายใต้สภาพแสงและสภาพอากาศที่เปลี่ยนแปลง

  • Generative AI และการสร้างเนื้อหา: Writer เป็นแพลตฟอร์ม agentic AI ที่นำ LLM ขนาด 40 พันล้านพารามิเตอร์ไปใช้งานเพื่อสร้างข้อความการตลาดและเนื้อหาระดับองค์กร พรอมต์ของผู้ใช้จะถูกส่งผ่าน API ประมวลผลโดยโมเดลที่เร่งความเร็วด้วย GPU และให้บริการผ่าน NVIDIA Triton Inference Server จากนั้นจึงสร้างคำตอบทีละโทเค็น ในกรณีนี้ inference รองรับการเรียก API ได้สูงสุดหนึ่งล้านล้านครั้งต่อเดือน และสร้างคำได้ 90,000 คำต่อวินาที

DigitalOcean สร้าง inference รุ่นใหม่อย่างไร? ดูวิศวกรของ DigitalOcean ใช้ Ray, vLLM และ Kubernetes เพื่อสร้าง inference สำหรับ generative AI ที่ปรับขนาดได้และเพิ่มประสิทธิภาพสำหรับ GPU รับชมเซสชันเพื่อทำความเข้าใจการทำงานของโหมด serverless และ dedicated, dynamic batching และกลยุทธ์ KV-cache ขั้นสูง

คำถามที่พบบ่อยเกี่ยวกับ AI inference

AI inference คืออะไร?

AI inference คือกระบวนการใช้โมเดลแมชชีนเลิร์นนิงที่ผ่านการฝึกเพื่อสร้างการคาดการณ์หรือผลลัพธ์จากข้อมูลใหม่ที่ไม่เคยพบมาก่อน นี่คือขั้นตอนการใช้งานจริงของ AI ซึ่งนำโมเดลไปทำงานเพื่อสร้างแอปพลิเคชันเรียลไทม์ การวิเคราะห์ และระบบตัดสินใจอัตโนมัติ

การฝึกกับ inference แตกต่างกันอย่างไร? การฝึกสร้างโมเดลด้วยการเรียนรู้รูปแบบจากชุดข้อมูลขนาดใหญ่และปรับพารามิเตอร์ภายใน ส่วน inference ใช้โมเดลที่ผ่านการฝึกกับข้อมูลใหม่เพื่อสร้างการคาดการณ์ การจัดประเภท หรือผลลัพธ์ที่สร้างขึ้น

ในระบบจริง inference สำคัญกว่าการฝึกหรือไม่? ในระบบใช้งานจริง inference มีความสำคัญด้านการปฏิบัติงานมากกว่า เพราะทำงานอย่างต่อเนื่องและส่งผลโดยตรงต่อเวลาแฝง ความสามารถในการปรับขนาด และต้นทุน การฝึกกำหนดความแม่นยำของโมเดล ส่วน inference กำหนดประสบการณ์ผู้ใช้และเศรษฐศาสตร์ของระบบจริง

ใช้ฮาร์ดแวร์อะไรสำหรับ AI inference? AI inference ทำงานบน GPU และ accelerator เฉพาะทาง เช่น TPU โดยขึ้นอยู่กับข้อกำหนดด้านประสิทธิภาพและเวิร์กโหลดของคุณ การใช้ GPU inference เป็นเรื่องปกติสำหรับเวิร์กโหลด deep learning และ LLM

Real-time inference ต่างจาก batch inference อย่างไร?

Real-time inference สร้างการคาดการณ์ทันทีเมื่อคำขอเข้ามา โดยส่วนใหญ่อยู่ภายในเวลาไม่กี่มิลลิวินาทีหรือไม่กี่วินาที ใช้ในแอปพลิเคชันแบบโต้ตอบที่ผู้ใช้หรือระบบต้องการคำตอบทันที เช่น แชตบอต การตรวจจับการฉ้อโกง หรือระบบแนะนำ

Batch inference ประมวลผลข้อมูลปริมาณมากตามช่วงเวลาที่กำหนด แทนการตอบสนองต่อคำขอทีละรายการ โมเดลจะคาดการณ์กับชุดข้อมูลที่สะสมไว้ในรูปแบบงานเป็นระยะ เพื่อสร้างผลลัพธ์ เช่น คะแนนความเสี่ยง การคาดการณ์ความต้องการ หรือรายงานวิเคราะห์

แพลตฟอร์มใดเหมาะที่สุดสำหรับ AI inference?

แพลตฟอร์ม AI inference ที่ดีที่สุดมีโครงสร้างพื้นฐาน GPU ที่ปรับขนาดได้ ราคาที่คาดการณ์ได้ และเครื่องมือให้บริการโมเดลแบบผสานรวม Gradient™ AI inference Cloud ของ DigitalOcean ให้บริการ inference ที่ขับเคลื่อนด้วย GPU การปรับขนาดอัตโนมัติ และโครงสร้างพื้นฐานที่เรียบง่ายขึ้นสำหรับเวิร์กโหลด AI ในระบบจริง

นำคู่มือนี้ไปใช้กับ Ailoot

เชื่อมต่อโมเดล AI เข้ากับแอปพลิเคชัน เอเจนต์ และระบบอัตโนมัติของคุณผ่าน Ailoot API เดียว เลือกโมเดลที่เหมาะกับงานของคุณ แล้วทำตามเอกสารประกอบของ Ailoot เพื่อเริ่มต้น