AI inference là quá trình dùng một mô hình AI đã được huấn luyện để xử lý dữ liệu đầu vào mới và tạo ra đầu ra, như dự đoán, phân loại, đề xuất hoặc câu trả lời.
Ví dụ, khi một công cụ AI đọc email mới của khách hàng rồi đề xuất danh mục hoặc câu trả lời, mô hình đang thực hiện inference. Training (huấn luyện) là giai đoạn mô hình học mẫu từ dữ liệu ví dụ; inference là giai đoạn mô hình áp dụng các mẫu đó vào tình huống mới.
Tóm tắt cốt lõi (Key Takeaways)
- Là gì: AI inference diễn ra khi một mô hình đã huấn luyện xử lý dữ liệu đầu vào mới và tạo ra đầu ra.
- Diễn ra thế nào: Ứng dụng gửi dữ liệu đến mô hình, mô hình áp dụng các mẫu đã học, rồi hệ thống trả về kết quả.
- Ý nghĩa: Inference là phần vận hành của AI. Đầu ra vẫn có thể cần được kiểm tra vì kết quả do mô hình tạo ra không mặc nhiên là sự thật đã được xác minh.
AI Inference là gì?
AI inference là quá trình một mô hình machine learning (học máy) đã được huấn luyện sử dụng dữ liệu mới để đưa ra kết luận hoặc tạo kết quả. Đây là giai đoạn mô hình được sử dụng, không phải giai đoạn mô hình được dạy. Cloudflare mô tả inference là việc một mô hình machine learning đã huấn luyện đưa ra kết luận từ dữ liệu hoàn toàn mới.
Chẳng hạn, một khách hàng gửi email hỏi về đơn hàng giao trễ. Công cụ hỗ trợ khách hàng dùng AI có thể xác định chủ đề, ước tính mức độ khẩn cấp và đề xuất câu trả lời. Email là dữ liệu đầu vào mới; chủ đề, mức độ khẩn cấp và câu trả lời đề xuất là đầu ra.
Đầu ra có thể là nhãn như “vấn đề thanh toán”, điểm số khả năng gian lận, đề xuất sản phẩm, dự báo hoặc thông tin trích xuất từ tài liệu. Điểm chung là mô hình nhận dữ liệu mới và tạo kết quả dựa trên các mẫu đã học.
AI Training và AI Inference là hai giai đoạn khác nhau
Training điều chỉnh mô hình bằng các ví dụ; inference áp dụng mô hình đã tạo ra vào dữ liệu đầu vào mới. Cloudflare cũng mô tả sự khác biệt giữa training và inference.
| Khía cạnh | AI training | AI inference |
|---|---|---|
| Mục đích chính | Học các mẫu hữu ích | Áp dụng các mẫu đã học |
| Dữ liệu thường dùng | Các ví dụ huấn luyện | Dữ liệu đầu vào mới từ người dùng hoặc hệ thống |
| Kết quả chính | Một mô hình đã được điều chỉnh | Dự đoán, phân loại, đề xuất hoặc câu trả lời |
| Thời điểm diễn ra | Trong quá trình phát triển hoặc cập nhật mô hình | Mỗi khi một ứng dụng sử dụng mô hình |
| Ví dụ | Học các mẫu liên quan đến thư rác | Phân loại một email mới nhận được |
Bộ lọc thư rác là ví dụ điển hình. Trong quá trình training, hệ thống nhận các ví dụ về thư rác và thư hợp lệ để điều chỉnh cách nhận diện mẫu. Trong quá trình inference, hệ thống kiểm tra một email mới và dự đoán liệu email đó có khả năng là thư rác hay không.
Mô hình không cần training lại cho từng email. Email mới là dữ liệu đầu vào cho inference; training và retraining (huấn luyện lại) là các hoạt động riêng, có thể diễn ra theo quy trình khác.
Việc mô hình tạo kết quả từ dữ liệu đầu vào không tự chứng minh mô hình đã học vĩnh viễn từ dữ liệu đó. Việc sản phẩm lưu dữ liệu, dùng dữ liệu để cải thiện dịch vụ hoặc duy trì ghi nhớ giữa các cuộc trò chuyện phụ thuộc vào thiết kế và chính sách của sản phẩm, không phụ thuộc vào từ “inference”.
AI Inference hoạt động thế nào: từ dữ liệu đầu vào mới đến đầu ra
AI inference thường gồm ba bước: ứng dụng cung cấp dữ liệu đầu vào mới, mô hình xử lý bằng các mẫu đã học, rồi hệ thống trả về đầu ra.
Trong một quy trình hỗ trợ khách hàng, các bước có thể là:
1. Dữ liệu đầu vào mới xuất hiện. Một phiếu yêu cầu hỗ trợ chứa câu hỏi về việc thay đổi gói thuê bao.
2. Mô hình xử lý dữ liệu đầu vào. Mô hình đối chiếu phiếu yêu cầu với các mẫu đã học trong quá trình training, rồi ước tính chủ đề và mức độ khẩn cấp.
3. Hệ thống trả về đầu ra. Hệ thống có thể gắn nhãn phiếu là “gói thuê bao”, chỉ định mức độ ưu tiên hoặc soạn sẵn câu trả lời.
4. Một người hoặc hệ thống khác sử dụng đầu ra. Nhân viên hỗ trợ có thể duyệt bản nháp, hoặc hệ thống quản lý yêu cầu có thể chuyển phiếu đến đúng nhóm.
Kết quả có thể là nhãn, điểm số, dự đoán, đề xuất, trường dữ liệu được trích xuất hoặc nội dung được tạo ra. Với quy trình rủi ro thấp, đầu ra có thể kích hoạt sắp xếp tự động. Với quy trình có tác động lớn hơn, con người có thể cần kiểm tra trước khi hành động.
Inference chỉ mô tả bước xử lý của mô hình, không bao gồm toàn bộ ứng dụng như lưu trữ dữ liệu, kiểm soát quyền truy cập, quy tắc nghiệp vụ hoặc phê duyệt của con người.
Mô hình ngôn ngữ tạo câu trả lời mới bằng inference
Đúng vậy. Khi một large language model (mô hình ngôn ngữ lớn) trả lời một prompt mới, mô hình đang thực hiện inference: xử lý prompt và tạo câu trả lời từ các mẫu đã học trong quá trình training. Cloudflare liệt kê việc mô hình ngôn ngữ lớn trả lời prompt mới là một ví dụ về AI inference.
Ví dụ, một nhân viên có thể nhập:
> Tóm tắt biên bản cuộc họp sau thành năm gạch đầu dòng và liệt kê ba việc chưa được giải quyết.
Mô hình xử lý prompt cùng biên bản cuộc họp, rồi tạo văn bản theo định dạng được yêu cầu. Ứng dụng chat có thể đồng thời xử lý giao diện, lịch sử hội thoại hoặc tải tệp lên; bước mô hình tạo câu trả lời là inference.
Đầu ra vẫn cần được đối chiếu với biên bản gốc. Câu trả lời có thể trôi chảy nhưng bỏ sót quyết định quan trọng, hiểu sai người phụ trách hoặc trình bày điểm chưa chắc chắn với mức độ tự tin quá cao. Inference giải thích cách câu trả lời được tạo ra, không bảo đảm câu trả lời chính xác.
Ví dụ AI Inference trong đời sống và công việc
AI inference xuất hiện khi một hệ thống AI áp dụng mô hình đã huấn luyện vào trường hợp mới.
1. Phát hiện gian lận
– Dữ liệu đầu vào mới: Một giao dịch thanh toán cùng các chi tiết như số tiền, thời gian và địa điểm.
– Đầu ra: Điểm số rủi ro, cảnh báo hoặc yêu cầu xác minh bổ sung.
– Ý nghĩa thực tế: Hệ thống so sánh giao dịch mới với các mẫu gắn với hoạt động trước đó.
2. Phân tích y tế
– Dữ liệu đầu vào mới: Thông tin được gửi đến hệ thống phân tích y tế.
– Đầu ra: Một kết quả phân loại, dự đoán hoặc nội dung cần chuyên gia xem xét.
– Ý nghĩa thực tế: Mô hình hỗ trợ phân tích, còn các chuyên gia có đủ năng lực vẫn chịu trách nhiệm diễn giải kết quả và đưa ra quyết định phù hợp.
3. Đề xuất nội dung hoặc sản phẩm
– Dữ liệu đầu vào mới: Hoạt động hiện tại, sở thích hoặc nội dung người dùng đã chọn.
– Đầu ra: Danh sách sản phẩm, video, bài viết hoặc các mục khác.
– Ý nghĩa thực tế: Hệ thống đề xuất áp dụng các mẫu đã học vào bối cảnh hiện tại.
4. Lọc email
– Dữ liệu đầu vào mới: Một email vừa nhận được.
– Đầu ra: Danh mục như thư rác, quảng cáo hoặc hộp thư chính.
– Ý nghĩa thực tế: Hệ thống ước tính danh mục nào phù hợp nhất với email.
5. Xử lý hóa đơn
– Dữ liệu đầu vào mới: Một hóa đơn mới do nhân viên tải lên.
– Đầu ra: Các trường được trích xuất như nhà cung cấp, ngày, số tiền hoặc số đơn mua hàng.
– Ý nghĩa thực tế: Mô hình chuyển nội dung tài liệu không có cấu trúc thành thông tin mà một quy trình có thể sử dụng.
6. Dự đoán nhu cầu
– Dữ liệu đầu vào mới: Thông tin bán hàng hoặc vận hành hiện tại.
– Đầu ra: Dự báo giúp nhóm lập kế hoạch tồn kho hoặc nhân sự.
– Ý nghĩa thực tế: Dự báo là một ước tính dựa trên các mẫu đã học, không phải cam kết về điều sẽ xảy ra.
Red Hat xác định phát hiện gian lận, y tế và các hệ thống tự động là những lĩnh vực sử dụng AI inference. Trong mọi trường hợp, dữ liệu mới được đưa vào và mô hình đã huấn luyện tạo ra kết quả.
AI Inference có diễn ra theo thời gian thực không?
AI inference có thể diễn ra khi người dùng đang tương tác với ứng dụng, hoặc theo lịch và theo lô. Cách phù hợp phụ thuộc vào tốc độ cần có của kết quả.
| Loại inference | Thời điểm tạo ra kết quả | Ví dụ |
|---|---|---|
| Inference trực tuyến hoặc theo thời gian thực | Trong lúc tương tác hoặc sự kiện diễn ra | Trợ lý giọng nói trả lời một câu hỏi |
| Inference gần thời gian thực | Một thời gian ngắn sau khi dữ liệu mới xuất hiện | Hệ thống thanh toán kiểm tra một giao dịch |
| Inference theo lô hoặc không theo thời gian thực | Vào thời điểm đã định hoặc theo từng nhóm | Công ty xử lý các hóa đơn của ngày hôm trước trong đêm |
Online inference trả về câu trả lời trong lúc ứng dụng được sử dụng. Cách này phù hợp khi độ trễ cản trở công việc, như hội thoại, kiểm tra giao dịch hoặc tìm kiếm tương tác. Red Hat mô tả online inference là việc tạo ra câu trả lời theo thời gian thực và cho biết cách này được dùng ở những nơi độ trễ thấp có ý nghĩa.
Với xử lý theo lô, tổ chức có thể thu thập tài liệu trong ngày rồi xử lý qua đêm. Mô hình vẫn thực hiện inference, nhưng ứng dụng không cần trả về từng kết quả ngay lập tức.
Inference cũng có thể lặp lại liên tục khi dữ liệu đầu vào mới xuất hiện. Hệ thống phát hiện gian lận có thể đánh giá nhiều giao dịch lần lượt, trong khi hệ thống đề xuất có thể tạo kết quả mới mỗi khi người dùng xem hoặc chọn nội dung. Cloudflare mô tả inference là quá trình tiếp tục diễn ra khi mô hình đang được sử dụng.
Vì sao AI Inference đáng chú ý khi bạn sử dụng AI?
Inference đáng chú ý vì đây là lúc hệ thống AI tạo đầu ra để sử dụng trong công việc hoặc quy trình thực tế. Hiểu rõ bước này giúp xác định cách dùng và mức kiểm tra cần thiết cho kết quả.
1. Bắt đầu từ dữ liệu đầu vào. Xem hệ thống nhận thông tin gì, thông tin đó có đầy đủ và phù hợp không.
2. Xác định đầu ra. Làm rõ mô hình đang tạo văn bản, gán danh mục, ước tính rủi ro, trích xuất dữ liệu hay đưa ra đề xuất.
3. Chọn mức độ kiểm tra phù hợp. Tiêu đề email được đề xuất có thể chỉ cần kiểm tra nhanh; ngày hết hạn hợp đồng, quyết định tài chính hoặc kết quả xác định điều kiện của khách hàng có thể cần con người xem xét kỹ hơn.
4. Tách biệt hỗ trợ và phê duyệt. Mô hình có thể chuẩn bị hoặc sắp xếp thông tin theo ưu tiên, còn người chịu trách nhiệm xác nhận các hành động có hệ quả.
Trong quy trình rà soát hợp đồng, công cụ AI có thể trích xuất ngày gia hạn từ hợp đồng mới và đưa vào bảng theo dõi. Nhân viên sau đó đối chiếu với tài liệu gốc trước khi dùng thông tin để lập kế hoạch. AI inference tạo ra kết quả ban đầu hữu ích; bước kiểm tra giúp phát hiện lỗi trích xuất.
Yêu cầu nghiệp vụ nên quyết định quy trình. Ứng dụng cần phản hồi ngay có thể dùng online inference; nếu tốc độ không quan trọng, xử lý theo lô có thể phù hợp.
AI Inference không có nghĩa là gì?
Inference không đồng nghĩa với một số khái niệm thường được liên hệ với AI.
1. Inference không có nghĩa là học vĩnh viễn. Mô hình có thể xử lý dữ liệu đầu vào mới mà không được huấn luyện lại bằng chính dữ liệu đó. Sử dụng mô hình và cập nhật mô hình là hai hoạt động riêng biệt.
2. Inference không tự động có nghĩa là ghi nhớ dài hạn. Một ứng dụng chat có thể cung cấp lịch sử hội thoại hoặc tính năng ghi nhớ khác, nhưng đây là câu hỏi về thiết kế sản phẩm. Context Window (cửa sổ ngữ cảnh) cũng không giống với bộ nhớ vĩnh viễn.
3. Inference không bảo đảm tính đúng đắn. Mô hình tạo đầu ra dựa trên các mẫu đã học; kết quả vẫn có thể thiếu, không có căn cứ hoặc sai.
4. Inference không giải thích việc lưu giữ dữ liệu. Việc ứng dụng ghi nhật ký, lưu trữ hoặc sử dụng dữ liệu đã gửi cho mục đích khác phụ thuộc vào chính sách và cấu hình của nhà cung cấp. Không nhập tài liệu mật, thông tin cá nhân, mật khẩu, API key hoặc mã nguồn riêng tư trừ khi công cụ được phê duyệt và cách thức xử lý dữ liệu của công cụ cho phép.
Inference cho biết mô hình đang áp dụng cách xử lý đã học vào dữ liệu đầu vào. Thuật ngữ này không trả lời mọi câu hỏi về bộ nhớ, quyền riêng tư, độ chính xác hoặc quản trị.
AI Inference trong một mô hình tư duy đơn giản
Mô hình đơn giản nhất là:
> Training dạy các mẫu. Inference áp dụng các mẫu đó vào dữ liệu đầu vào mới. Ứng dụng trình bày đầu ra được tạo ra.
Bộ lọc thư rác học từ các ví dụ đã gắn nhãn trong quá trình training. Khi email mới xuất hiện, inference là bước phân loại email đó. Sau đó, một người hoặc hệ thống quyết định cần làm gì với kết quả.
Mô hình này áp dụng cho chatbot, hệ thống đề xuất, cảnh báo gian lận, trích xuất tài liệu và nhiều công cụ AI khác. Kết quả inference là đầu ra do mô hình tạo ra, không phải sự bảo đảm tự động. Hãy sử dụng kết quả phù hợp với mức độ rủi ro của công việc và kiểm tra các kết quả quan trọng bằng thông tin đáng tin cậy trước khi hành động.