Human-in-the-Loop AI là gì?

Human-in-the-Loop AI là cách thiết kế quy trình AI trong đó con người cung cấp thông tin, kiểm tra kết quả, sửa lỗi hoặc phê duyệt hành động nhằm cải thiện chất lượng, độ an toàn, tính công bằng và khả năng quy trách nhiệm.

Ví dụ, AI có thể soạn câu trả lời cho khách hàng, nhưng nhân viên hỗ trợ kiểm tra trước khi gửi. Bước kiểm tra này là một phần của thiết kế quy trình, không chỉ là cách sử dụng công cụ.

Human-in-the-Loop AI có thể được áp dụng khi huấn luyện, kiểm thử, vận hành hoặc phê duyệt hành động. Không phải mọi kết quả đều cần người kiểm tra; nhiều quy trình chỉ chuyển các trường hợp không chắc chắn, bất thường hoặc có rủi ro cao.

Human-in-the-Loop AI là gì?

Human-in-the-Loop AI là mẫu thiết kế hệ thống trong đó con người tham gia vào việc huấn luyện, đánh giá, giám sát, kiểm tra, sửa lỗi hoặc vận hành AI. Vai trò này được tích hợp vào quy trình thay vì chỉ bổ sung như một bước kiểm tra không chính thức ở cuối. Google Cloud mô tả cách tiếp cận này là việc tích hợp thông tin đầu vào và chuyên môn của con người trong suốt vòng đời của các hệ thống AI và machine learning.

Ví dụ, công cụ AI có thể soạn biên bản cuộc họp bằng cách xác định chủ đề, quyết định và việc cần làm. Nhân viên sau đó kiểm tra tên, ngày tháng và các quyết định trước khi công bố. Nếu bản nháp sai, nhân viên sửa lỗi thay vì xem kết quả AI là bản cuối cùng.

Con người có thể gắn nhãn dữ liệu huấn luyện, đánh giá kết quả, kiểm tra quyết định trong lúc hệ thống vận hành hoặc phê duyệt hành động do AI agent đề xuất. Điểm chung là phán đoán của con người được kết nối với quy trình AI và có thể ảnh hưởng đến bước tiếp theo.

Vòng lặp Human-in-the-Loop hoạt động ra sao?

Một quy trình Human-in-the-Loop điển hình gồm các bước sau:

1. Xác định nhiệm vụ và ranh giới. Đội ngũ xác định AI cần làm gì, không được làm gì và quyết định nào cần thẩm quyền của con người.
2. Cung cấp đầu vào. Hệ thống tiếp nhận tin nhắn khách hàng, tài liệu, hình ảnh, giao dịch hoặc bản ghi cuộc họp.
3. Tạo kết quả. AI model tạo bản nháp, phân loại, đề xuất, bản tóm tắt hoặc hành động được đề xuất.
4. Kiểm tra kết quả. Một người đối chiếu kết quả với bằng chứng, yêu cầu nhiệm vụ, chính sách hoặc phán đoán chuyên môn.
5. Sửa, phê duyệt, từ chối hoặc chuyển cấp. Người kiểm tra thay đổi, chấp nhận, chuyển tiếp hoặc dừng quy trình.
6. Ghi nhận phản hồi hữu ích. Việc sửa lỗi hoặc quyết định có thể được dùng để cải thiện hướng dẫn, quy tắc, dữ liệu huấn luyện, hoạt động đánh giá hoặc quy trình.
7. Theo dõi hiệu suất về sau. Đội ngũ kiểm tra xem lỗi tương tự có tiếp tục xảy ra hay không và điều chỉnh khi cần.

Phản hồi không đồng nghĩa với việc model được huấn luyện lại sau mỗi lần sửa lỗi. Phản hồi cũng có thể chỉ dùng để cải thiện prompt, quy tắc nghiệp vụ, danh sách kiểm tra, dữ liệu huấn luyện hoặc cách phân tuyến trường hợp.

Ví dụ, công cụ tóm tắt cuộc họp có thể ghi sai tên dự án. Nhân viên sửa tên và phê duyệt bản tóm tắt. Về sau, tổ chức có thể dùng các lỗi lặp lại để cải thiện hướng dẫn hoặc quy trình đánh giá.

Con người có thể tham gia ở đâu?

Human-in-the-Loop AI bao gồm nhiều điểm tham gia trong vòng đời AI, không chỉ việc gắn nhãn dữ liệu huấn luyện. Databricks nêu việc huấn luyện, kiểm tra kết quả và phê duyệt hành động trong môi trường production là những ví dụ về nơi con người có thể tham gia.

1. Chuẩn bị dữ liệu huấn luyện. Con người gắn nhãn hóa đơn, phân loại tin nhắn hỗ trợ, xác định vật thể trong hình ảnh hoặc đánh dấu câu trả lời có tuân thủ chính sách hay không. Những ví dụ này có thể giúp điều chỉnh machine-learning model trong quá trình huấn luyện.
2. Đánh giá model. Người kiểm tra thử nghiệm kết quả trước khi triển khai và xác định lỗi, phản hồi không an toàn, phân loại không rõ ràng hoặc các mẫu thiếu công bằng.
3. Kiểm tra kết quả trong vận hành thực tế. Một người kiểm tra bản tóm tắt, đề xuất, cảnh báo hoặc tin nhắn trước khi sử dụng.
4. Phê duyệt hành động. AI agent có thể đề xuất hoàn tiền, thay đổi bản ghi cơ sở dữ liệu hoặc cập nhật tài khoản khách hàng. Một người phê duyệt, từ chối hoặc sửa hành động đó.
5. Cải thiện quy trình sau triển khai. Người kiểm tra xác định lỗi lặp lại và hỗ trợ cập nhật prompt, quy tắc, tài liệu, ví dụ huấn luyện hoặc tiêu chí chuyển cấp.

Các vai trò này không giống nhau. Người gắn nhãn dữ liệu giúp chuẩn bị hệ thống, còn người phê duyệt giao dịch đang diễn ra kiểm soát một hành động cụ thể. Cả hai đều có thể thuộc thiết kế Human-in-the-Loop, nhưng trách nhiệm và rủi ro khác nhau.

Có phải con người phải kiểm tra mọi kết quả AI không?

Không. Hệ thống Human-in-the-Loop có thể chỉ chuyển các trường hợp được chọn cho con người. Quy trình thường dùng tín hiệu độ tin cậy, điểm rủi ro, quy tắc nghiệp vụ hoặc điều kiện chuyển cấp để xác định kết quả cần kiểm tra. Databricks lưu ý rằng các quy trình trưởng thành thường dùng ngưỡng và chấm điểm rủi ro thay vì chuyển mọi quyết định cho người kiểm tra.

Ví dụ, hệ thống phân loại email có thể tự xử lý yêu cầu nội bộ thông thường nhưng chuyển các tin nhắn liên quan đến thông tin khách hàng nhạy cảm, cam kết tài chính, vấn đề pháp lý hoặc yêu cầu không rõ ràng.

Kiểm tra có chọn lọc giúp quy trình dễ quản lý hơn, nhưng đòi hỏi thiết kế cẩn thận. Độ tin cậy mà model thể hiện không đồng nghĩa với tính đúng đắn. Đội ngũ nên kết hợp tín hiệu từ model với hậu quả của lỗi, mức độ nhạy cảm của thông tin và khả năng đảo ngược hành động.

Lỗi định dạng có rủi ro thấp có thể chỉ cần được lấy mẫu định kỳ. Đề xuất ảnh hưởng đến tiền bạc, việc làm, sức khỏe, quyền tiếp cận hoặc vị thế pháp lý thường cần kiểm tra chặt chẽ hơn và có thẩm quyền rõ ràng hơn.

Khi nào kiểm tra của con người có giá trị nhất?

Kiểm tra của con người có giá trị nhất khi nhiệm vụ đòi hỏi bối cảnh, phán đoán, thông tin chưa đầy đủ hoặc khả năng quy trách nhiệm mà AI có thể không có. Google Cloud nhấn mạnh rằng chuyên môn của con người có thể tạo thêm giá trị trong các tình huống cần phán đoán, hiểu bối cảnh và xử lý thông tin chưa đầy đủ.

Các điều kiện thường nên kích hoạt việc kiểm tra gồm:

• Quyết định có tác động lớn: Kết quả có thể ảnh hưởng đến việc làm, sức khỏe, tài chính, giáo dục, quyền tiếp cận hoặc quyền pháp lý.
• Yêu cầu mơ hồ: Ý định của người dùng không rõ hoặc có nhiều cách diễn giải hợp lý.
• Thông tin chưa đầy đủ: Hệ thống thiếu dữ kiện quan trọng để đưa ra quyết định có trách nhiệm.
• Trường hợp bất thường hoặc mới: Tình huống khác với các ví dụ dùng để phát triển hoặc đánh giá hệ thống.
• Kết quả có độ tin cậy thấp hoặc mâu thuẫn: Các tín hiệu cho thấy model không chắc chắn hoặc bằng chứng không thống nhất.
• Bối cảnh cá nhân nhạy cảm: Nhiệm vụ liên quan đến thông tin cá nhân, bảo mật hoặc người dùng dễ bị tổn thương.
• Hành động khó đảo ngược: Xóa nhầm, thanh toán, công bố hoặc thay đổi tài khoản có thể tốn kém để khắc phục.
• Phán đoán chuyên môn hoặc tổ chức: Câu trả lời phụ thuộc vào chính sách, mối quan hệ hoặc kiến thức chưa được thể hiện đầy đủ trong đầu vào.

Điều kiện kích hoạt nên dựa vào hậu quả của lỗi, không chỉ vào độ tin cậy của model. Một cách diễn giải hợp đồng do AI tạo ra dù có vẻ chắc chắn vẫn có thể cần chuyên gia kiểm tra vì chi phí sai sót rất cao.

Ví dụ về Human-in-the-Loop AI trong công việc hằng ngày

Các ví dụ sau cho thấy nhiệm vụ của AI, trách nhiệm của con người và quy tắc chuyển cấp có thể kết hợp như thế nào.

Việc một người nhìn qua kết quả không tự động khiến kết quả đáng tin cậy. Người kiểm tra cần đủ bối cảnh để chất vấn kết quả, không chỉ đủ thông tin để bấm nút phê duyệt.

Lợi ích của Human-in-the-Loop AI là gì?

Sự tham gia của con người có thể cải thiện quy trình AI theo nhiều cách, tùy thuộc vào thiết kế và chất lượng kiểm tra.

1. Phát hiện lỗi: Con người có thể nhận ra tên sai, thiếu bối cảnh, tuyên bố không có căn cứ hoặc đề xuất không phù hợp trước khi sử dụng.
2. Xử lý bối cảnh tốt hơn: Người kiểm tra có thể hiểu ưu tiên của tổ chức, mối quan hệ với khách hàng hoặc dữ kiện không có trong đầu vào.
3. Cải thiện độ tin cậy: Bước kiểm tra có thể ngăn một số lỗi đến với khách hàng, nhân viên, học sinh hoặc người ra quyết định.
4. Nhận diện thiên lệch: Người kiểm tra có thể nhận thấy các mẫu gây bất lợi cho một nhóm hoặc việc áp dụng quy tắc không nhất quán. Kiểm tra của con người không tự loại bỏ thiên lệch, nhưng có thể làm lộ vấn đề để điều tra.
5. Tăng tính minh bạch: Quy trình kiểm tra được ghi nhận giúp làm rõ cách đề xuất của AI được đánh giá và ai có thẩm quyền quyết định cuối cùng.
6. Khả năng quy trách nhiệm: Việc chỉ định người kiểm tra giúp tổ chức không xem hệ thống AI là bên ra quyết định khi con người vẫn phải chịu trách nhiệm.
7. Cải thiện liên tục: Các lần sửa lỗi lặp lại có thể cho thấy prompt yếu, thiếu ví dụ, chính sách chưa rõ hoặc giới hạn của model.

Ví dụ, đội ngũ hỗ trợ khách hàng có thể nhận thấy bộ phân loại AI thường chuyển câu hỏi về thanh toán sang sai hàng đợi. Người kiểm tra sửa từng phiếu, xác định mẫu lỗi, cập nhật hướng dẫn phân tuyến và theo dõi lỗi tái diễn. Giá trị nằm ở việc xử lý phản hồi, không chỉ thu thập phản hồi.

Những giới hạn và chi phí là gì?

Human-in-the-Loop AI không phải cơ chế an toàn được bảo đảm. Sự tham gia của con người có thể tạo ra vấn đề mới nếu quy trình thiết kế kém. Databricks cảnh báo rằng quy trình Human-in-the-Loop yếu có thể tạo ra điểm nghẽn, quyết định không nhất quán hoặc vẻ ngoài của việc giám sát mà không có quyền kiểm soát thực chất.

Các giới hạn thường gặp gồm:

• Tăng thời gian và chi phí: Người kiểm tra, chuyên gia lĩnh vực, đào tạo và kiểm tra chất lượng đều cần nguồn lực.
• Điểm nghẽn: Quá nhiều trường hợp chuyển cấp có thể làm chậm quyết định và giảm giá trị của hệ thống AI.
• Phán đoán không nhất quán: Người kiểm tra có thể áp dụng tiêu chuẩn khác nhau nếu tiêu chí không rõ hoặc chưa được hiệu chỉnh.
• Mệt mỏi khi kiểm tra: Con người có thể bỏ sót lỗi khi xem liên tục các kết quả tương tự hoặc làm việc dưới áp lực thời gian.
• Thiên lệch tự động hóa: Người kiểm tra có thể quá dễ dàng chấp nhận đề xuất của AI vì nó có vẻ khách quan hoặc phức tạp về kỹ thuật.
• Thiếu chuyên môn: Người kiểm tra không thể đánh giá có ý nghĩa nếu thiếu kiến thức để chất vấn kết quả.
• Trách nhiệm không rõ ràng: Nếu không ai biết ai có thể từ chối kết quả hoặc sở hữu quyết định cuối cùng, bước kiểm tra dễ trở thành hình thức.
• Sử dụng phản hồi kém: Sửa lỗi có giá trị hạn chế nếu tổ chức không phân tích hoặc cập nhật quy trình.

Ví dụ, đội ngũ kiểm tra yêu cầu bồi thường có thể phải xem hàng trăm đề xuất AI trong thời gian ngắn. Nếu họ chỉ nhìn thấy đề xuất mà không thấy bằng chứng hỗ trợ, họ có thể nhanh chóng phê duyệt. Khi đó, quy trình có một điểm kiểm tra bởi con người nhưng không có giám sát thực chất.

Human-in-the-Loop, Human-on-the-Loop và Human-over-the-Loop khác nhau thế nào?

Các thuật ngữ này mô tả những mô hình giám sát khác nhau. Cách dùng có thể thay đổi giữa các tổ chức, nên thẩm quyền thực tế và quy trình quan trọng hơn tên gọi.

Human-in-the-loop đặt con người gần một quyết định cụ thể. Human-on-the-loop cho phép hệ thống tự vận hành trong khi con người theo dõi. Human-over-the-loop đề cập đến quản trị và khả năng quy trách nhiệm ở phạm vi rộng hơn.

Một tổ chức có thể dùng cả ba mô hình: đội hỗ trợ phê duyệt một số tin nhắn khách hàng, đội vận hành theo dõi hoạt động tự động tổng thể, còn lãnh đạo thiết lập chính sách sử dụng.

Human-in-the-Loop AI và RLHF

Human-in-the-Loop AI là khái niệm rộng hơn, bao gồm việc con người hướng dẫn, kiểm tra, cung cấp phản hồi, giám sát hoặc phê duyệt trong quá trình huấn luyện, đánh giá, vận hành hoặc cải thiện hệ thống.

Reinforcement Learning from Human Feedback, viết tắt là RLHF, là một phương pháp huấn luyện model cụ thể. Con người đánh giá hoặc xếp hạng các câu trả lời khả dĩ của model, rồi dùng các ưu tiên đó để tác động đến hành vi của model. Databricks phân biệt RLHF là một phương pháp huấn luyện cụ thể với Human-in-the-Loop AI là khái niệm rộng hơn.

Ví dụ, người phê duyệt thay đổi cơ sở dữ liệu do AI agent đề xuất đang tham gia quy trình Human-in-the-Loop. Những người xếp hạng các câu trả lời trong quá trình huấn luyện model có thể đang tham gia RLHF. Hai khái niệm có thể giao nhau nhưng không đồng nghĩa.

Cách quyết định nơi cần kiểm tra của con người

Sử dụng trình tự sau khi đánh giá một quy trình có AI hỗ trợ:

1. Xác định hậu quả của lỗi. Xem xét tổn thất tài chính, lộ dữ liệu riêng tư, đối xử không công bằng, vấn đề an toàn, tổn hại danh tiếng hoặc gián đoạn vận hành nếu AI sai.
2. Đánh giá sự mơ hồ và thông tin còn thiếu. Xác định AI có đủ dữ kiện cần thiết hay không và nhiệm vụ có cần bối cảnh hoặc phán đoán khó thể hiện trong đầu vào hay không.
3. Kiểm tra khả năng đảo ngược. Xem hành động có thể dễ dàng hoàn tác hay gây hậu quả lâu dài.
4. Xác định những gì AI được phép tự làm. Tách nhiệm vụ soạn thảo, sắp xếp hoặc đề xuất rủi ro thấp khỏi hành động cần phê duyệt.
5. Thiết lập điều kiện chuyển cấp. Có thể dùng rủi ro, mức độ nhạy cảm, sự không chắc chắn, mẫu bất thường, bằng chứng mâu thuẫn hoặc yêu cầu ngoại lệ.
6. Quy định thẩm quyền của người kiểm tra. Người kiểm tra cần xem được bằng chứng liên quan, thay đổi kết quả, từ chối, yêu cầu thêm thông tin hoặc dừng hành động khi phù hợp.
7. Ghi lại tiêu chí kiểm tra. Nêu rõ người kiểm tra cần xem xét điều gì và cách ghi nhận sửa lỗi hoặc bất đồng.
8. Bảo vệ dữ liệu nhạy cảm. Không tải tài liệu mật, thông tin cá nhân, mật khẩu, API key, mã nguồn riêng tư hoặc dữ liệu tài chính lên dịch vụ AI trừ khi tổ chức đã đánh giá dịch vụ và phê duyệt điều kiện xử lý. Việc huấn luyện model và lưu giữ dữ liệu là hai vấn đề riêng: nhà cung cấp có thể không dùng dữ liệu để huấn luyện model nhưng vẫn lưu log trong một khoảng thời gian.
9. Đo lường quy trình. Theo dõi tỷ lệ bất đồng, trường hợp chuyển cấp bị bỏ sót, thời gian kiểm tra, lỗi lặp lại và những trường hợp người kiểm tra không thể hành động hiệu quả.
10. Điều chỉnh quy trình. Dùng bằng chứng thu được để thay đổi prompt, quy tắc, ngưỡng, ví dụ huấn luyện, hướng dẫn cho người kiểm tra hoặc mức độ thẩm quyền của con người.

Ví dụ, công cụ AI soạn bản tóm tắt hợp đồng có thể được phép sắp xếp tiêu đề và trích xuất ngày tháng cho bản nháp nội bộ mà không cần phê duyệt. Tuy nhiên, chuyên gia nên kiểm tra cách diễn giải nghĩa vụ, ngoại lệ, trách nhiệm hoặc điều khoản chấm dứt trước khi có người dựa vào bản tóm tắt. Phần rủi ro cao cần chuyên môn và thẩm quyền mạnh hơn việc định dạng cơ bản.

Nguyên tắc cốt lõi: Sự giám sát của con người phải có ý nghĩa

Human-in-the-Loop AI hoạt động hiệu quả khi vai trò của con người được thực hiện đúng lúc, có đủ thông tin, tương xứng với mức rủi ro và gắn với thẩm quyền thực tế. Người kiểm tra cần đủ bối cảnh để đánh giá kết quả và đủ quyền thay đổi, từ chối hoặc dừng kết quả đó.

Người có thể xem bằng chứng và từ chối đề xuất của AI đang cung cấp sự giám sát có ý nghĩa. Người chỉ nhìn thấy đề xuất, không có thời gian kiểm tra hoặc không thể thay đổi kết quả thì chỉ tạo ra vẻ ngoài của việc giám sát.

Kiểm tra của con người có thể cải thiện độ tin cậy, khả năng quy trách nhiệm và việc rút kinh nghiệm từ sai sót, nhưng không loại bỏ nhu cầu kiểm chứng AI hoặc thiết kế quy trình có trách nhiệm. Câu hỏi thực tế không phải là có người xuất hiện ở đâu đó trong quy trình hay không, mà là người đó có thể đưa ra quyết định đủ thông tin và có ảnh hưởng thực tế hay không.