# Suy luận AI là gì? Quy trình đằng sau mọi đầu ra của AI

> Tìm hiểu suy luận AI là gì, cách các mô hình đã được huấn luyện tạo ra dự đoán theo thời gian thực, và vì sao độ trễ, chi phí và khả năng mở rộng quan trọng khi xây dựng ứng dụng AI.

Source: https://ailoot.ai/blog/vi/what-is-ai-inference-the-process-behind-every-ai-output/
Canonical: https://ailoot.ai/blog/vi/what-is-ai-inference-the-process-behind-every-ai-output/
Language: vi
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100073
Revision: sha256-c98fd30caa7641fd624f369303accb31dc2ae8bdb6a8dc05a2d4be95829611cb


Mỗi khi một ứng dụng AI tạo phản hồi hoặc đánh dấu một giao dịch gian lận, nó đang thực hiện suy luận. Một mô hình đã được huấn luyện tiếp nhận dữ liệu mới và đưa dữ liệu đó qua các lớp tham số đã học để tạo ra đầu ra. Việc này diễn ra trong vài mili giây và thường lặp lại hàng triệu lần mỗi ngày. Nhưng tốc độ đó đi kèm chi phí. Mỗi yêu cầu suy luận cần tài nguyên tính toán GPU và băng thông bộ nhớ tăng theo kích thước mô hình và lưu lượng truy cập. Độ trễ tăng đột biến khiến người dùng khó chịu. Hóa đơn GPU tăng nhanh hơn dự kiến. Ngoài ra, việc mở rộng khối lượng công việc trên nhiều khu vực làm phát sinh độ phức tạp về hạ tầng mà hầu hết các nhóm không lường trước. digitalocean.com/currents/february-2026), suy luận hiện chiếm khoảng 76-100% ngân sách AI ở nhiều tổ chức.

Nếu bạn đang triển khai mô hình học máy hoặc quy trình AI, điều quan trọng nhất không chỉ là cách mô hình học. Đó còn là mức độ hiệu quả khi mô hình phục vụ dự đoán theo thời gian thực. Hiểu suy luận AI là gì và những yếu tố quyết định hiệu suất của nó có thể giúp bạn đưa ra quyết định kiến trúc sáng suốt hơn cho dự án AI tiếp theo.

**Điểm chính:**

- Trong khi huấn luyện phát triển trí tuệ của mô hình, suy luận vận hành các ứng dụng như phát hiện gian lận, giao diện trò chuyện LLM và hệ thống đề xuất.

- Khi ngân sách AI chuyển dịch sang triển khai, thông lượng, chi phí mỗi yêu cầu, mức sử dụng GPU và độ trễ P95/P99 là những yếu tố quan trọng khi xây dựng ứng dụng AI/ML.

- Các môi trường suy luận AI như đám mây, biên và trên thiết bị đáp ứng những nhu cầu khác nhau về độ trễ, quyền riêng tư, băng thông và khả năng mở rộng. Nhiều hệ thống sản xuất sử dụng cách tiếp cận kết hợp.

- Với GPU Droplets, Bare Metal GPUs và Gradient™ AI Inference Cloud của DigitalOcean, bạn có thể triển khai suy luận có khả năng mở rộng, tiết kiệm chi phí mà không gặp độ phức tạp của các nhà cung cấp siêu quy mô.

## Suy luận AI là gì?

Hình ảnh vòng đời sản phẩm AI

Suy luận AI là giai đoạn trong vòng đời AI khi một mô hình đã được huấn luyện đưa ra dự đoán hoặc tạo đầu ra từ dữ liệu mới. Đây là nền tảng cho các ứng dụng trực tiếp như công cụ đề xuất, chẩn đoán y tế và giao diện trò chuyện mô hình ngôn ngữ lớn (LLM). Trong môi trường sản xuất, suy luận AI quyết định tốc độ người dùng nhận được kết quả, khả năng hệ thống xử lý các đợt tăng lưu lượng đột biến và chi phí phục vụ mỗi dự đoán.

**Workato giảm 67% chi phí suy luận**:

Để vận hành AI tác tử ở quy mô một nghìn tỷ khối lượng công việc, Workato hợp tác với đám mây suy luận tác tử của DigitalOcean nhằm tối ưu suy luận LLM ngữ cảnh dài. Bằng cách triển khai NVIDIA Dynamo, vLLM trên DOKS với định tuyến nhận biết KV, họ đạt được số token mỗi giây trên mỗi GPU cao hơn 67% và chi phí mô hình thấp hơn 67% khi sử dụng một nửa số GPU.

### Sự khác nhau giữa huấn luyện và suy luận là gì?

Huấn luyện là cách mô hình học. Bạn cung cấp cho mô hình các tập dữ liệu khổng lồ, và mô hình liên tục điều chỉnh hàng triệu tham số nội bộ cho đến khi có thể tự nhận diện các mẫu. Mô hình được cung cấp dữ liệu đầu vào cùng với đáp án đúng (chẳng hạn như hình ảnh có nhãn hoặc văn bản kèm đầu ra kỳ vọng), sau đó đưa ra dự đoán, so sánh với đáp án đúng và tự điều chỉnh để giảm sai sót. Quá trình này lặp lại qua nhiều chu kỳ cho đến khi mô hình dự đoán chính xác. Đây là quá trình đòi hỏi nhiều tài nguyên tính toán nhưng chỉ diễn ra một lần hoặc theo định kỳ. Suy luận diễn ra sau đó: mô hình đã được huấn luyện tiếp nhận dữ liệu mới chưa từng thấy và tạo dự đoán hoặc phản hồi theo thời gian thực.

| Yếu tố | Huấn luyện AI | Suy luận AI |
|----|----|----|
| Mục đích | Học các mẫu và tối ưu độ chính xác của mô hình | Tạo dự đoán hoặc đầu ra từ dữ liệu mới |
| Dữ liệu sử dụng | Tập dữ liệu lớn có gắn nhãn (ví dụ: giao dịch gian lận trong quá khứ, ảnh y tế đã chú giải, đánh giá có nhãn cảm xúc) | Dữ liệu đầu vào mới, chưa từng thấy |
| Đầu ra | Trọng số mô hình đã cập nhật (mô hình được huấn luyện hoàn chỉnh) | Dự đoán, điểm số, phân loại hoặc phản hồi được tạo ra |
| Yêu cầu tính toán | Rất cao (chẳng hạn như cụm GPU phân tán) | Thấp hơn cho mỗi yêu cầu nhưng nhạy cảm với độ trễ |
| Mức độ nhạy cảm về thời gian | Ngoại tuyến, không hướng đến người dùng | Theo thời gian thực hoặc gần thời gian thực, hướng đến người dùng |
| Tần suất | Thỉnh thoảng (huấn luyện ban đầu và huấn luyện lại) | Liên tục, chạy theo từng yêu cầu |
| Cơ cấu chi phí | Chi phí huấn luyện ban đầu cao | Chi phí phát sinh cho mỗi yêu cầu |
| Trọng tâm tối ưu hóa | Độ chính xác và giảm hàm mất mát | Độ trễ, thông lượng, hiệu quả chi phí |
| Ví dụ: Hệ thống kiểm duyệt nội dung bằng AI | Hệ thống được huấn luyện trên hàng triệu bài đăng có nhãn “an toàn”, “thư rác”, “ngôn từ thù ghét” hoặc “vi phạm chính sách”. Trong quá trình huấn luyện, mô hình học các mẫu về văn bản, giọng điệu, từ khóa và ngữ cảnh bằng cách điều chỉnh trọng số nội bộ để phân biệt nội dung có hại với nội dung được chấp nhận. | Khi người dùng gửi bài đăng mới, mô hình đã được huấn luyện xử lý văn bản theo thời gian thực và gán điểm xác suất cho từng danh mục nội dung. Dựa trên các điểm này, hệ thống tự động đăng bài, đánh dấu, hạn chế khả năng hiển thị hoặc chuyển bài để người kiểm duyệt xem xét. |

Huấn luyện và suy luận thường bị gộp chung, nhưng chúng đặt ra những yêu cầu rất khác nhau cho hạ tầng và ngân sách của bạn. Bài viết của chúng tôi về suy luận AI và huấn luyện AI phân tích nơi tiền thực sự được chi và những gì cần ưu tiên khi vận hành mô hình trong môi trường sản xuất.

## Môi trường suy luận AI

Suy luận có thể chạy ở nhiều vị trí khác nhau tùy theo nhu cầu ứng dụng, độ nhạy cảm của dữ liệu và yêu cầu hiệu suất. Quá trình này có thể thực thi tại các trung tâm dữ liệu đám mây tập trung, gần người dùng hơn ở biên hoặc trực tiếp trên thiết bị cục bộ.

### Môi trường suy luận đám mây

Môi trường suy luận đám mây là thiết lập phổ biến nhất cho suy luận AI trong môi trường sản xuất, với tài nguyên tính toán có khả năng mở rộng như GPU. Môi trường này hỗ trợ các framework phục vụ mô hình, giám sát và tích hợp với API cùng hệ thống phân tán.

Ví dụ, một nhóm triển khai công cụ đề xuất có thể thực hiện quy trình sau:

- Chạy dịch vụ suy luận trên DigitalOcean GPU Droplets

- Triển khai API bằng App Platform để cung cấp API

- Lưu trữ lâu dài tạo phẩm mô hình trong Spaces

### Môi trường suy luận biên

Suy luận biên chạy gần nguồn dữ liệu hơn, chẳng hạn như trong cửa hàng bán lẻ, nhà máy hoặc tháp viễn thông, nhằm giảm độ trễ và mức sử dụng băng thông. Với các ứng dụng như phân tích video và giám sát IoT, xử lý dữ liệu tại chỗ đảm bảo quyết định được đưa ra trong vài mili giây thay vì phải dựa vào liên lạc khứ hồi với các máy chủ đám mây tập trung.

Tại một cửa hàng bán lẻ, camera an ninh giám sát các quầy thanh toán. Một thiết bị biên nhỏ được lắp tại chỗ chạy mô hình thị giác máy tính để phát hiện hành vi đáng ngờ, chẳng hạn như người bỏ qua bước thanh toán. Nếu phát hiện dấu hiệu đáng ngờ, hệ thống lập tức cảnh báo nhân viên cửa hàng. Các cảnh báo tóm tắt và báo cáo phân tích hằng ngày sau đó được tải lên để xem xét tập trung.

### Suy luận trên thiết bị

Suy luận trên thiết bị chạy trực tiếp trên phần cứng của người dùng như điện thoại thông minh, máy tính xách tay hoặc hệ thống nhúng. Phương thức này nhằm cải thiện quyền riêng tư, giảm sự phụ thuộc vào kết nối mạng và mang lại phản hồi tức thì trong các ứng dụng như trợ lý giọng nói và xác thực sinh trắc học.

Khi người dùng nói một cụm từ đánh thức như “Này, trợ lý”, một mô hình mạng nơ-ron chạy cục bộ trên thiết bị liên tục lắng nghe cụm từ kích hoạt cụ thể đó. Âm thanh được xử lý theo thời gian thực trên CPU hoặc chip AI chuyên dụng của thiết bị. Khi phát hiện từ đánh thức, hệ thống kích hoạt và gửi yêu cầu lên đám mây để xử lý thêm. Trong thiết lập này:

- Mô hình phát hiện từ đánh thức đã được huấn luyện được lưu trên thiết bị.

- Suy luận chạy liên tục trên phần cứng cục bộ.

- Âm thanh thô không rời khỏi thiết bị trừ khi được kích hoạt.

- Trợ lý phản hồi ngay lập tức, ngay cả khi không có kết nối internet.

### Cách chọn môi trường suy luận AI phù hợp

Môi trường suy luận bạn chọn sẽ phụ thuộc vào yêu cầu độ trễ, lưu lượng truy cập, độ nhạy cảm của dữ liệu và giới hạn chi phí. Trong nhiều hệ thống sản xuất, các nhóm sử dụng cách tiếp cận kết hợp, phối hợp xử lý trên thiết bị hoặc ở biên với suy luận dựa trên đám mây.

- **Chọn suy luận đám mây**: Nếu bạn cần khả năng mở rộng cao, quản lý mô hình tập trung và khả năng xử lý khối lượng truy cập lớn hoặc khối lượng công việc đòi hỏi nhiều GPU.

- **Chọn suy luận biên**: Nếu ứng dụng của bạn cần độ trễ thấp gần nguồn dữ liệu, giảm mức sử dụng băng thông hoặc xử lý thời gian thực tại các địa điểm phân tán.

- **Chọn suy luận trên thiết bị**: Nếu quyền riêng tư quan trọng, cần khả năng hoạt động ngoại tuyến hoặc cần phản hồi tức thì trên phần cứng người dùng như điện thoại thông minh.

Bạn đang bối rối giữa biên và đám mây? Hãy bắt đầu bằng một câu hỏi: hệ thống của bạn cần phản hồi nhanh đến mức nào? Đọc bài viết về điện toán đám mây và điện toán biên để hiểu khi nào và cách sử dụng từng phương thức hiệu quả.

## Lợi ích của suy luận AI

Suy luận AI quyết định tốc độ ứng dụng phản hồi, độ tin cậy khi mở rộng và hiệu quả quản lý chi phí hạ tầng. Khi được triển khai đúng cách, suy luận AI mang lại những lợi thế có thể đo lường về hiệu suất và vận hành:

- **Ra quyết định theo thời gian thực**: Suy luận liên tục chuyển đổi dữ liệu trực tiếp thành đầu ra có cấu trúc, gồm điểm rủi ro, phân loại, xếp hạng hoặc văn bản được tạo ra. Các đầu ra này được chuyển cho ứng dụng. Chẳng hạn, mô hình phát hiện bất thường có thể đánh dấu hoạt động bất thường theo thời gian thực để phát cảnh báo tự động và giúp hoạt động vận hành phản ứng nhanh hơn.

- **Sử dụng mô hình tiết kiệm chi phí**: Sau khi được huấn luyện, mô hình có thể phục vụ hàng triệu dự đoán mà không cần huấn luyện lại. Dù suy luận tốn kém khi triển khai ở quy mô lớn, các kỹ thuật như xử lý theo lô và lượng tử hóa có thể giảm chi phí mỗi yêu cầu khi phục vụ khối lượng công việc lớn như trợ lý ứng dụng LLM.

- **Cải thiện trải nghiệm người dùng**: Suy luận có độ trễ thấp ảnh hưởng trực tiếp đến cảm nhận về mức độ “thông minh” của ứng dụng. Nếu một tính năng AI phản hồi trong 100 mili giây thay vì 2 giây, người dùng sẽ cảm nhận sản phẩm phản hồi nhanh, đáng tin cậy và có thể tin tưởng.

- **Triển khai sản xuất có khả năng mở rộng**: Khi lưu lượng tăng, các quy trình suy luận mở rộng theo chiều ngang bằng hạ tầng phân tán và tự động mở rộng quy mô. Một trợ lý viết bằng AI tạo sinh được tích hợp trong nền tảng SaaS có thể có vài trăm người dùng trong giờ bình thường nhưng vẫn dễ dàng đáp ứng hàng chục nghìn người dùng sau khi ra mắt sản phẩm.

- **Thử nghiệm và lặp lại mô hình nhanh hơn:** Các quy trình suy luận cho phép thử nghiệm và triển khai phiên bản mô hình mới mà không phải huấn luyện lại từ đầu. Bạn có thể thử nghiệm A/B hai mô hình bằng cách phục vụ chúng cho các nhóm người dùng khác nhau, chạy triển khai bóng để đánh giá mô hình mới trên lưu lượng trực tiếp mà không ảnh hưởng đến người dùng, hoặc dùng bản phát hành canary để dần chuyển lưu lượng sang phiên bản mới trước khi triển khai đầy đủ.

Chạy mô hình AI tạo sinh ngay lập tức, không cần máy chủ. Truy cập nhiều mô hình bằng một khóa API duy nhất, chuyển đổi nhà cung cấp và duy trì hoạt động cho khối lượng công việc suy luận. Tìm hiểu cách triển khai các mô hình tạo ảnh và âm thanh Fal trên nền tảng Gradient AI của DigitalOcean bằng các lệnh gọi Python đơn giản trong ứng dụng Streamlit.

## Thách thức của suy luận

Khi mô hình xử lý khối lượng công việc sản xuất, độ phức tạp của suy luận AI bắt đầu bộc lộ. Khi chuyển ứng dụng từ giai đoạn thử nghiệm sang triển khai quy mô lớn, bạn phải đánh giá chi phí, hiệu suất và các giới hạn về hạ tầng.

- **Chi phí suy luận cao ở quy mô lớn**: Việc sử dụng GPU liên tục, định giá theo token và các mẫu lưu lượng khó dự đoán góp phần làm chi phí tăng cao.

- **Độ nhạy về độ trễ trong khối lượng công việc sản xuất**: Ứng dụng thời gian thực cần phản hồi ổn định với độ trễ thấp khi lưu lượng thay đổi. Nút thắt hiệu suất trong việc phục vụ mô hình, mạng hoặc cung cấp phần cứng có thể làm giảm trải nghiệm người dùng và độ tin cậy của hệ thống.

- **Độ phức tạp của hạ tầng và chi phí điều phối**: Nhiều nhóm dựa vào nhiều công cụ và API để chạy suy luận, làm tăng độ phức tạp vận hành. Điều phối triển khai, cấu hình tự động mở rộng và khả năng quan sát trong hệ thống phân tán đòi hỏi chuyên môn về lập lịch GPU và cân bằng tải.

- **Độ tin cậy và các mối lo ngại trong môi trường sản xuất**: Các quy trình suy luận phải duy trì ổn định khi chịu tải đồng thời đảm bảo tính nhất quán của đầu ra. Nếu các nút suy luận GPU xử lý hỗ trợ dựng hình gặp sự cố khi có mức độ đồng thời cao, các phiên chỉnh sửa video đang hoạt động có thể thất bại hoặc bản xem trước có thể bị treo.

Bạn muốn mở rộng từ GPU phổ thông sang đám mây suy luận được tối ưu hóa? DigitalOcean hợp tác với Character.AI và AMD để giảm 50% chi phí suy luận, mở rộng lên khoảng 2X QPS và đạt hiệu suất cao hơn khoảng 91% so với các thiết lập GPU tiêu chuẩn.

## Các loại suy luận AI

Suy luận AI được phân loại dựa trên cách thức và thời điểm tạo dự đoán. Một số hệ thống phản hồi tức thì với đầu vào của người dùng, trong khi những hệ thống khác xử lý khối lượng lớn dữ liệu theo định kỳ hoặc liên tục khi sự kiện xảy ra. Sự khác biệt nằm ở:

- **Thời điểm yêu cầu**: Thời điểm tạo dự đoán: tức thì theo từng yêu cầu, theo các khoảng thời gian đã lên lịch hoặc liên tục khi dữ liệu đến.

- **Mẫu luồng dữ liệu**: Cách dữ liệu đầu vào di chuyển qua hệ thống: một yêu cầu và phản hồi, xử lý tập dữ liệu hàng loạt hoặc luồng dữ liệu theo sự kiện.

- **Yêu cầu về khả năng phản hồi:** Thời gian phản hồi chấp nhận được của ứng dụng: vài mili giây đối với hệ thống thời gian thực hoặc kết quả trễ đối với khối lượng công việc không khẩn cấp.

### Suy luận thời gian thực (trực tuyến)

Suy luận thời gian thực xử lý từng yêu cầu khi yêu cầu đến và trả về dự đoán ngay lập tức. Quy trình này tuân theo mẫu “yêu cầu–phản hồi”, trong đó mỗi thao tác của người dùng hoặc lệnh gọi API đều kích hoạt một dự đoán của mô hình. Thời gian phản hồi thường dao động từ vài mili giây đến vài giây, tùy thuộc vào độ phức tạp của mô hình và hạ tầng.

### Suy luận luồng

Suy luận luồng liên tục đánh giá các luồng dữ liệu đến thay vì chờ yêu cầu riêng lẻ hoặc công việc theo lịch. Dữ liệu di chuyển qua hệ thống theo mẫu liên tục dựa trên sự kiện, và dự đoán được tạo gần như theo thời gian thực khi dữ liệu mới đến. Xét về khả năng phản hồi, suy luận luồng nằm giữa suy luận thời gian thực và suy luận hàng loạt: nhanh hơn các công việc hàng loạt theo lịch nhưng hoạt động trên dữ liệu luồng thay vì các yêu cầu riêng lẻ.

### Suy luận hàng loạt

Suy luận hàng loạt chạy dự đoán đồng thời trên các tập dữ liệu lớn theo những khoảng thời gian đã lên lịch. Hệ thống xử lý dữ liệu hàng loạt, chẳng hạn như các công việc định kỳ có thể mất vài phút hoặc vài giờ. Khối lượng công việc được điều phối thông qua bộ lập lịch công việc hoặc công cụ quy trình làm việc và thực thi trên các cụm tính toán phân tán. Dữ liệu được đọc từ hệ thống lưu trữ, xử lý song song rồi ghi lại dưới dạng bảng, tệp hoặc bản ghi cơ sở dữ liệu đã cập nhật.

| Loại | Mô tả | Thời điểm phản hồi | Luồng dữ liệu | Trường hợp sử dụng |
|----|----|----|----|----|
| Suy luận thời gian thực (trực tuyến) | Xử lý từng yêu cầu khi yêu cầu đến | Từ mili giây đến giây | Yêu cầu–phản hồi | Chatbot, phát hiện gian lận và công cụ đề xuất |
| Suy luận luồng | Liên tục đánh giá các luồng dữ liệu đến | Gần thời gian thực | Luồng liên tục dựa trên sự kiện | Giám sát IoT, phát hiện sự kiện tài chính, phát hiện bất thường |
| Suy luận hàng loạt | Chạy dự đoán đồng thời trên các tập dữ liệu lớn theo những khoảng thời gian đã lên lịch | Từ vài phút đến vài giờ (công việc theo lịch) | Xử lý hàng loạt | Chấm điểm tín dụng, báo cáo phân tích, chấm điểm mô hình định kỳ |

## Cách suy luận AI hoạt động

Quy trình suy luận AI diễn ra thông qua một lớp phục vụ mô hình, lớp này xử lý yêu cầu, thực hiện tính toán (trên CPU hoặc GPU) và trả kết quả qua API hoặc theo một định dạng cụ thể. Hãy cùng tìm hiểu điều gì diễn ra ở từng bước khi một hệ thống phát hiện gian lận đánh giá giao dịch thẻ tín dụng.

Hình ảnh quy trình suy luận AI

1.  **Tiền xử lý dữ liệu đầu vào**: Đầu vào thô như văn bản, hình ảnh, âm thanh hoặc dữ liệu có cấu trúc được xác thực và chuyển đổi sang định dạng mà mô hình yêu cầu. Quá trình này có thể gồm phân tách token (đối với LLM), chuẩn hóa, trích xuất đặc trưng hoặc chuyển đổi thành tensor.

Ví dụ, giả sử một khách hàng quẹt thẻ tín dụng để mua thiết bị điện tử trị giá \$2,400 tại một nhà bán lẻ ở São Paulo—nhưng tài khoản của họ đặt tại Chicago và thiết bị này chưa từng được hệ thống nhìn thấy. Hệ thống trích xuất các đặc trưng có cấu trúc từ giao dịch: số tiền, danh mục đơn vị bán hàng, dấu vân tay thiết bị, vị trí địa lý, thời điểm trong ngày và lịch sử chi tiêu gần đây. Các đặc trưng này được chuẩn hóa và chuyển thành một vectơ đặc trưng dạng số mà mô hình có thể xử lý.

2.  **Tải và khởi tạo mô hình**: Mô hình đã được huấn luyện, bao gồm kiến trúc và các trọng số đã học, được tải vào bộ nhớ. Trong môi trường sản xuất, mô hình phần lớn được đóng gói trong container và phục vụ thông qua các framework như TensorFlow Serving, TorchServe hoặc dịch vụ tùy chỉnh dựa trên FastAPI.

Trong tình huống này, một mạng nơ-ron phát hiện gian lận đã được huấn luyện trước đang chạy sẵn trong bộ nhớ, được triển khai thông qua máy chủ mô hình đóng gói trong container sử dụng TorchServe. Khi giao dịch đến, cổng API định tuyến vectơ đặc trưng đến endpoint của mô hình.

3.  **Tính toán truyền xuôi**: Đầu vào đã xử lý được truyền qua mô hình, nơi các phép nhân ma trận và hàm kích hoạt tính toán đầu ra. Đối với học sâu và suy luận LLM, bước này chạy trên GPU hoặc bộ tăng tốc khác để tối ưu độ trễ và thông lượng.

Tiếp tục với ví dụ minh họa về phát hiện gian lận, mô hình đưa vectơ đặc trưng qua các lớp mạng, cân nhắc kết hợp giữa thiết bị lạ, vị trí quốc tế và số tiền giao dịch lớn dựa trên các mẫu đã học từ hàng triệu giao dịch trong quá khứ. Mô hình đưa ra điểm xác suất gian lận thô là 0.92.

4.  **Hậu xử lý dự đoán**: Đầu ra thô của mô hình được chuyển thành kết quả hữu dụng như điểm xác suất, nhãn phân loại, danh sách xếp hạng hoặc token được tạo ra. Có thể áp dụng ngưỡng, chiến lược giải mã (ví dụ: giải mã tham lam hoặc tìm kiếm chùm) hoặc quy tắc nghiệp vụ.

Trong trường hợp này, một công cụ quy tắc diễn giải điểm 0.92 theo logic nghiệp vụ của hệ thống. Vì điểm này vượt ngưỡng 0.85 *và* giao dịch là giao dịch xuyên biên giới, công cụ phân loại giao dịch là có rủi ro cao và đánh dấu để xác thực tăng cường thay vì từ chối hoàn toàn.

5.  **Gửi phản hồi và ghi nhật ký**: Đầu ra cuối cùng được trả về API, cơ sở dữ liệu hoặc hệ thống tiếp theo (như luồng Kafka, cổng thanh toán, hệ thống cảnh báo, v.v.), tùy thuộc vào kiến trúc ứng dụng. Đồng thời, các chỉ số như độ trễ (P95/P99), thông lượng và tỷ lệ lỗi được ghi lại để giám sát, mở rộng và tối ưu hiệu suất.

Để kết thúc chuỗi này, trong vòng 120 mili giây kể từ lần quẹt thẻ ban đầu, cổng thanh toán nhận được phân loại rủi ro cao và kích hoạt yêu cầu xác minh OTP gửi đến điện thoại của khách hàng. Đồng thời, hệ thống ghi lại điểm số mô hình, siêu dữ liệu giao dịch, độ trễ (P95) và kết quả xác thực—dữ liệu sẽ được dùng cho các lần huấn luyện lại mô hình và giám sát hiệu suất trong tương lai.

Đừng chạy theo FLOPs thô; hãy đánh giá hiệu năng suy luận LLM dựa trên những gì thực sự quan trọng. Đọc hướng dẫn đầy đủ về Đánh giá hiệu năng suy luận LLM để tìm hiểu cách đo độ trễ, thông lượng, mức độ đồng thời và chi phí.

## Các chỉ số hiệu suất chính cho suy luận AI

Tối ưu suy luận bắt đầu bằng việc biết cần chú ý đến những chỉ số nào. Không phải chỉ số nào cũng quan trọng như nhau đối với trường hợp sử dụng của bạn, nhưng bỏ qua bất kỳ chỉ số nào cũng có thể dẫn đến phản hồi chậm, lãng phí tài nguyên tính toán hoặc chi phí âm thầm tăng vọt. Sau đây là những chỉ số quan trọng nhất:

| Chỉ số hiệu suất | Mô tả | Vì sao quan trọng | Ví dụ |
|----|----|----|----|
| Độ trễ | Thời gian cần để tạo dự đoán cho một yêu cầu | Quyết định tốc độ người dùng cảm nhận; độ trễ đuôi (P95/P99) phản ánh những lần chậm nhất khi chịu tải | Chatbot phản hồi trung bình trong 120ms, nhưng mất 2 giây ở P99 khi lưu lượng đạt đỉnh |
| Thông lượng | Số yêu cầu mỗi giây (RPS) hoặc số token mỗi giây (đối với LLM) | Cho biết hệ thống xử lý được bao nhiêu lưu lượng trước khi hiệu suất suy giảm | LLM tạo 80 token/giây so với 20 token/giây sẽ ảnh hưởng đến tốc độ phản hồi ở quy mô lớn |
| Chi phí mỗi yêu cầu | Chi phí tài nguyên tính toán tiêu thụ cho mỗi lần gọi suy luận | Ảnh hưởng đến hiệu quả kinh tế dài hạn trong môi trường sản xuất và khả năng mở rộng | Suy luận dùng GPU có chi phí \$0.002 mỗi yêu cầu so với \$0.02 ở lưu lượng cao |
| Mức sử dụng phần cứng | Hiệu quả sử dụng CPU, GPU hoặc bộ tăng tốc | Mức sử dụng thấp làm tăng chi phí và tạo ra nút thắt hiệu suất | GPU chạy ở mức sử dụng 30% gây lãng phí công suất và tăng chi phí mỗi dự đoán |
| Khả năng mở rộng khi chịu tải | Khả năng duy trì hiệu suất trong các đợt lưu lượng tăng đột biến | Đảm bảo độ tin cậy và độ trễ ổn định khi nhu cầu đạt đỉnh | Hệ thống đề xuất thương mại điện tử xử lý lưu lượng Black Friday mà không tăng đột biến độ trễ |

## Trường hợp sử dụng suy luận AI

Suy luận AI bắt đầu ngay khi ứng dụng thực sự phản hồi. Dù là chấm điểm giao dịch, xếp hạng kết quả tìm kiếm hay tạo văn bản, suy luận chính là lớp thực thi biến trí tuệ của mô hình thành hành động hướng đến người dùng.

- **Phát hiện gian lận trong giao dịch tài chính**: Công ty hệ thống thanh toán H2o.ai có trụ sở tại Hoa Kỳ xử lý các mô hình học sâu được huấn luyện trên 160 triệu bản ghi với 1,500 đặc trưng để phát hiện gian lận theo thời gian thực. Khi một giao dịch mới được khởi tạo, mô hình đã triển khai chấm điểm giao dịch trong vài mili giây. Hệ thống chặn hoặc đánh dấu hoạt động đáng ngờ trước khi giao dịch được xác thực.

- **Phân tích hình ảnh y tế**: Trong lĩnh vực chăm sóc sức khỏe, một nghiên cứu về phát hiện khối u não cho thấy suy luận hình ảnh y tế hoạt động như thế nào trong thực tế. Ảnh MRI trước tiên được gắn nhãn, đổi kích thước thành 150×150 pixel và chuẩn hóa trước khi đưa vào mạng nơ-ron tích chập (CNN) tùy chỉnh. Trong quá trình suy luận, mô hình đã được huấn luyện phân loại từng ảnh chụp là có hoặc không có khối u với độ chính xác xác thực đạt 98.67%. Để hỗ trợ ra quyết định lâm sàng, các kỹ thuật hậu xử lý như SHAP, LIME và Grad-CAM tạo ra bản đồ nhiệt trực quan, làm nổi bật những vùng ảnh hưởng đến dự đoán.

- **Xếp hạng tìm kiếm và hệ thống đề xuất**: Khi người dùng gửi truy vấn hoặc truy cập một trang, các đặc trưng ngữ cảnh như lượt nhấp trước đây, hành vi trong phiên và siêu dữ liệu được mã hóa. Mô hình xếp hạng hoặc đề xuất chấm điểm nhiều mục ứng viên theo thời gian thực. Hệ thống suy luận AI sắp xếp kết quả dựa trên điểm mức độ liên quan dự đoán và trả về danh sách xếp hạng trong giới hạn độ trễ nghiêm ngặt. Netflix sử dụng suy luận trong đó giai đoạn truy xuất lượt đầu dùng lượt nhấp trong phiên, hành vi duyệt xem và sở thích dài hạn để tạo tập ứng viên. Sau đó, mô hình học sâu ở lượt thứ hai tính điểm mức độ liên quan và cung cấp danh sách xếp hạng trong khoảng 40 mili giây.

- **Nhận thức của xe tự hành**: Tata Elxsi tích hợp AI với cảm biến LiDAR tầm xa (lên đến 1 km) hoạt động ở 10 Hz để hỗ trợ nhận thức thời gian thực cho xe tự hành. Dữ liệu đám mây từ LiDAR và hình ảnh từ camera được hợp nhất rồi chuyển thành tensor. Sau đó, dữ liệu tensor được đưa vào các mô hình học sâu thực hiện suy luận để phát hiện phương tiện, người đi bộ và biển báo giao thông, đồng thời phân đoạn các khu vực có thể lưu thông. Đầu ra của mô hình, như phân loại đối tượng, ước tính khoảng cách và phát hiện vi phạm (chẳng hạn như lái xe ngược chiều hoặc chạy quá tốc độ), được chuyển trực tiếp đến hệ thống giám sát và điều khiển để phát cảnh báo tức thời hoặc đưa ra quyết định lái xe trong các điều kiện ánh sáng và thời tiết khác nhau.

- **AI tạo sinh và sáng tạo nội dung**: Writer là nền tảng AI tác tử triển khai các LLM 40 tỷ tham số để tạo nội dung tiếp thị và nội dung doanh nghiệp. Prompt của người dùng được gửi qua API, xử lý bởi các mô hình tăng tốc GPU được phục vụ qua NVIDIA Triton Inference Server, và phản hồi được tạo từng token một. Tại đây, suy luận hỗ trợ tới một nghìn tỷ lệnh gọi API mỗi tháng và tạo ra 90,000 từ mỗi giây.

DigitalOcean xây dựng suy luận thế hệ mới như thế nào? Tìm hiểu cách các kỹ sư DigitalOcean sử dụng Ray, vLLM và Kubernetes để xây dựng suy luận có khả năng mở rộng, được tối ưu cho GPU cho AI tạo sinh. Xem phiên thảo luận để hiểu cách thức hoạt động của các chế độ không máy chủ và chuyên dụng, xử lý theo lô động và chiến lược KV-cache nâng cao.

## Câu hỏi thường gặp về suy luận AI

**Suy luận AI là gì?**

Suy luận AI là quá trình sử dụng mô hình học máy đã được huấn luyện để tạo dự đoán hoặc đầu ra từ dữ liệu mới, chưa từng thấy. Đây là giai đoạn sản xuất của AI, khi các mô hình được thực thi để xây dựng ứng dụng thời gian thực, phân tích và hệ thống ra quyết định tự động.

**Sự khác nhau giữa huấn luyện và suy luận là gì?** Huấn luyện xây dựng mô hình bằng cách học các mẫu từ tập dữ liệu lớn và điều chỉnh tham số nội bộ. Suy luận áp dụng mô hình đã được huấn luyện vào dữ liệu mới để tạo dự đoán, phân loại hoặc đầu ra.

**Trong môi trường sản xuất, suy luận có quan trọng hơn huấn luyện không?** Trong các hệ thống sản xuất, suy luận quan trọng hơn về mặt vận hành vì nó chạy liên tục và ảnh hưởng trực tiếp đến độ trễ, khả năng mở rộng và chi phí. Huấn luyện quyết định độ chính xác của mô hình, còn suy luận quyết định trải nghiệm người dùng và hiệu quả kinh tế của môi trường sản xuất.

**Phần cứng nào được dùng cho suy luận AI?** Suy luận AI chạy trên GPU và các bộ tăng tốc chuyên dụng như TPU, tùy thuộc vào yêu cầu hiệu suất và khối lượng công việc của bạn. Suy luận GPU thường được dùng cho khối lượng công việc học sâu và LLM.

**Suy luận thời gian thực khác suy luận hàng loạt như thế nào?**

Suy luận thời gian thực tạo dự đoán ngay khi yêu cầu đến, thường trong vài mili giây hoặc vài giây. Phương thức này được dùng trong các ứng dụng tương tác cần người dùng hoặc hệ thống nhận phản hồi tức thì, chẳng hạn như chatbot, phát hiện gian lận hoặc hệ thống đề xuất.

Suy luận hàng loạt xử lý khối lượng dữ liệu lớn theo các khoảng thời gian đã lên lịch thay vì phản hồi từng yêu cầu riêng lẻ. Mô hình chạy dự đoán trên các tập dữ liệu tích lũy dưới dạng công việc định kỳ để tạo đầu ra như điểm rủi ro, dự báo nhu cầu hoặc báo cáo phân tích.

**Những nền tảng nào tốt nhất cho suy luận AI?**

Các nền tảng tốt nhất cho suy luận AI cung cấp hạ tầng GPU có khả năng mở rộng, mức giá dự đoán được và công cụ phục vụ mô hình tích hợp. Gradient™ AI inference Cloud của DigitalOcean cung cấp suy luận dùng GPU, tự động mở rộng quy mô và hạ tầng đơn giản hóa cho khối lượng công việc AI trong môi trường sản xuất.

## Áp dụng hướng dẫn này với Ailoot

Kết nối các mô hình AI với ứng dụng, tác tử và quy trình tự động hóa của bạn thông qua một API Ailoot duy nhất. Chọn mô hình phù hợp với tác vụ và làm theo [tài liệu Ailoot](https://ailoot.ai/docs/) để bắt đầu.


## Ailoot · Công ty và danh mục dự án của công ty

Ailoot dựa trên kinh nghiệm vận hành tích lũy, cơ sở khách hàng lớn, dịch vụ ổn định và việc kiểm soát KPI liên tục.

Công ty và danh mục dự án của công ty: hàng triệu khách hàng; doanh số hàng tỷ mỗi tháng.

Ailoot áp dụng kinh nghiệm vận hành này để cung cấp quyền truy cập API vào các tính năng AI trong sản phẩm của khách hàng, tác tử, ứng dụng và quy trình tự động hóa.
