NIST AI Risk Management Framework (NIST AI RMF) là bộ hướng dẫn tự nguyện giúp tổ chức nhận diện, đánh giá và quản lý rủi ro liên quan đến hệ thống AI. Framework cung cấp cách chung để sắp xếp các quyết định về rủi ro; đây không phải luật hay chứng nhận.
Ví dụ, một công ty cân nhắc dùng AI để soạn câu trả lời cho bộ phận hỗ trợ khách hàng có thể dùng framework để xác định trách nhiệm, cách sử dụng công cụ, rủi ro có thể phát sinh và các bước kiểm tra cần thiết.
Tóm tắt cốt lõi (Key Takeaways)
- Framework này là gì: NIST AI RMF là hướng dẫn của Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ (National Institute of Standards and Technology, NIST) về quản lý rủi ro liên quan đến AI trong suốt vòng đời hệ thống.
- Framework hoạt động ra sao: Bốn chức năng Govern, Map, Measure và Manage bổ trợ cho nhau. Tổ chức có thể cần xem xét lại khi hệ thống hoặc cách sử dụng thay đổi.
- Nên bắt đầu thế nào: Chọn một trường hợp sử dụng AI, phân công trách nhiệm, xác định những người có thể bị ảnh hưởng, đánh giá rủi ro và quyết định cách ứng phó. Kiểm tra riêng các nghĩa vụ pháp lý áp dụng.
NIST AI RMF là gì?
NIST AI RMF giúp tổ chức quản lý rủi ro liên quan đến việc thiết kế, phát triển, triển khai hoặc sử dụng hệ thống AI. NIST đã công bố phiên bản đầu tiên, AI RMF 1.0, dưới dạng hướng dẫn để tổ chức tiếp cận rủi ro AI một cách có hệ thống. Tổng quan về framework của NIST và AI RMF 1.0 mô tả mục đích và phạm vi của framework.
Quản lý rủi ro AI (AI risk management) là xác định điều gì có thể gây hại hoặc khiến hệ thống thất bại, mức độ nghiêm trọng ra sao và tổ chức nên ứng phó thế nào. Với công cụ hỗ trợ khách hàng, rủi ro có thể gồm câu trả lời không chính xác, lộ thông tin khách hàng hoặc nhân viên dựa vào câu trả lời mà không kiểm tra.
Framework hướng đến việc xem xét rủi ro trong suốt vòng đời hệ thống, không chỉ khi công cụ được đưa vào sử dụng. Tổ chức có thể điều chỉnh hướng dẫn theo mục đích sử dụng và bối cảnh; framework không quy định một giải pháp duy nhất cho mọi hệ thống.
NIST AI RMF có bắt buộc không, hay là một chứng nhận?
NIST AI RMF là hướng dẫn tự nguyện, không phải chương trình chứng nhận. Sử dụng framework không tự chứng minh tổ chức tuân thủ các yêu cầu khác, cũng không có nghĩa hệ thống AI đã hết rủi ro. NIST mô tả AI RMF là tự nguyện; tài liệu framework cũng giải thích mục đích và giới hạn sử dụng.
| Thuật ngữ | Ý nghĩa | Không có nghĩa là |
|---|---|---|
| Hướng dẫn | Tài liệu giúp sắp xếp các quyết định và cách làm | Sự chấp thuận pháp lý hoặc chứng chỉ |
| Quy định | Yêu cầu pháp lý có thể áp dụng với một tổ chức | Điều tương tự như hướng dẫn tự nguyện |
| Chứng nhận | Xác nhận chính thức theo một chương trình được xác định | Điều mà chính AI RMF cấp |
Tổ chức có thể dùng framework để sắp xếp hoạt động quản lý rủi ro nội bộ, nhưng cần xác định riêng luật, hợp đồng và các yêu cầu khác áp dụng trong hoàn cảnh cụ thể. Bài viết này không đánh giá nghĩa vụ pháp lý của tổ chức hay khu vực tài phán cụ thể nào.
Bốn chức năng AI RMF phối hợp với nhau như thế nào?
AI RMF tổ chức công việc quản lý rủi ro thành bốn chức năng: Govern, Map, Measure và Manage. Chúng hỗ trợ lẫn nhau, không phải danh sách kiểm tra chỉ cần làm một lần. AI RMF 1.0 của NIST mô tả các chức năng và mối liên hệ giữa chúng.
1. Govern: Thiết lập trách nhiệm, chính sách và cách thức ra quyết định.
2. Map: Tìm hiểu mục đích, bối cảnh hệ thống và những người có thể bị ảnh hưởng.
3. Measure: Đánh giá và theo dõi các rủi ro liên quan.
4. Manage: Quyết định cách ứng phó với rủi ro đã nhận diện.
Nhóm có thể xem xét lại quyết định khi hiểu thêm về hệ thống, thay đổi cách sử dụng hoặc phát hiện vấn đề. Chẳng hạn, nếu nhân viên gửi câu trả lời do AI soạn với mức độ kiểm tra thấp hơn dự kiến, nhóm có thể cần đánh giá lại trường hợp sử dụng, các bước kiểm tra và trách nhiệm liên quan.
Govern: Xác định ai chịu trách nhiệm về rủi ro AI
Govern đề cập đến cơ cấu tổ chức, chính sách và cơ chế trách nhiệm giải trình phục vụ quản lý rủi ro AI. Nhóm cần biết ai phụ trách trường hợp sử dụng, ai phê duyệt thay đổi, chính sách nào áp dụng và nhân viên báo cáo quan ngại bằng cách nào. Framework không yêu cầu mọi tổ chức dùng chung một cơ cấu. AI RMF 1.0 của NIST xác định Govern là một trong bốn chức năng.
Với công cụ soạn câu trả lời cho khách hàng, tổ chức có thể chỉ định người phụ trách nghiệp vụ, xác định ai xem xét vấn đề có thể ảnh hưởng đến khách hàng và hướng dẫn nhân viên báo cáo bản nháp sai hoặc không phù hợp. Việc này làm rõ trách nhiệm trước khi vấn đề phát sinh.
Map: Tìm hiểu hệ thống AI và những người bị ảnh hưởng
Map là tìm hiểu mục đích của hệ thống và hoàn cảnh sử dụng. Trước khi đánh giá rủi ro, nhóm cần làm rõ AI thực hiện việc gì, được đưa vào quy trình ở đâu, sử dụng thông tin nào và những ai có thể bị ảnh hưởng. AI RMF 1.0 của NIST mô tả Map là chức năng thiết lập bối cảnh và nhận diện rủi ro liên quan.
Dùng AI để soạn câu trả lời cho nhân viên xem lại khác với tự động gửi câu trả lời do AI tạo ra. Nhóm cũng nên xem xét khả năng khách hàng nhận thông tin sai, khó hiểu hoặc không phù hợp. Rủi ro phụ thuộc một phần vào cách công cụ được sử dụng thực tế, không chỉ vào khả năng mà nhà cung cấp mô tả.
Measure: Đánh giá và theo dõi rủi ro AI
Measure bao gồm đánh giá rủi ro và theo dõi chúng theo thời gian. Nhóm cần bằng chứng phù hợp, chẳng hạn kết quả đầu ra có đáp ứng yêu cầu nhiệm vụ hay không và các bước kiểm tra có phát hiện vấn đề lặp lại hay không. Một điểm số không thể đại diện cho mọi loại rủi ro; cũng không có thước đo chung phù hợp với mọi mục đích sử dụng AI. AI RMF 1.0 của NIST xem đo lường là một chức năng riêng.
Với công cụ hỗ trợ khách hàng, nhân viên có thể kiểm tra một mẫu bản nháp để tìm lỗi thực tế, giọng điệu không phù hợp hoặc cách xử lý thông tin khách hàng chưa đúng. Nhóm cũng nên xác định thời điểm kiểm tra lại, nhất là khi công cụ, chỉ dẫn hoặc quy trình hỗ trợ thay đổi.
Manage: Quyết định cách xử lý các rủi ro đã nhận diện
Manage là ứng phó với rủi ro đã nhận diện và quyết định cách tiếp tục. Tổ chức có thể bổ sung bước kiểm tra của con người, thay đổi quy trình, giới hạn cách dùng công cụ, tăng cường theo dõi hoặc không dùng công cụ cho một nhiệm vụ. Đây là ví dụ về cách ứng phó, không phải danh sách hành động cố định do NIST yêu cầu. AI RMF 1.0 của NIST mô tả Manage là chức năng xử lý các rủi ro đã nhận diện.
Nếu bản nháp đôi khi tự tạo thông tin về chính sách, tổ chức có thể yêu cầu nhân viên đối chiếu nội dung đó với nguồn đã được phê duyệt trước khi gửi. Sau đó, tổ chức có thể đánh giá hiệu quả của biện pháp bảo vệ và xem công cụ còn phù hợp với nhiệm vụ hay không.
Cách thực tế để bắt đầu áp dụng AI RMF
Tổ chức mới bắt đầu quản lý rủi ro AI có thể chọn một trường hợp sử dụng thay vì xử lý mọi hệ thống cùng lúc. Các bước dưới đây chuyển bốn chức năng thành một đợt rà soát ban đầu có phạm vi vừa phải:
1. Chọn trường hợp sử dụng. Xác định AI sẽ hỗ trợ việc gì, chẳng hạn soạn câu trả lời cho bộ phận hỗ trợ khách hàng.
2. Phân công trách nhiệm. Chỉ định người phụ trách và làm rõ ai có thể xem xét quan ngại hoặc phê duyệt thay đổi.
3. Tìm hiểu bối cảnh. Ghi lại cách sử dụng công cụ, loại thông tin được xử lý và những người có thể bị ảnh hưởng.
4. Nhận diện các rủi ro có thể xảy ra. Cân nhắc lỗi, vấn đề quyền riêng tư, kết quả không phù hợp và cách mọi người có thể dựa vào hệ thống.
5. Quyết định nội dung cần kiểm tra. Chọn bằng chứng và cách rà soát phù hợp với nhiệm vụ, chẳng hạn yêu cầu nhân viên kiểm tra bản nháp trước khi gửi.
6. Chọn cách ứng phó và xem xét lại. Giới hạn cách sử dụng, bổ sung biện pháp bảo vệ hoặc dừng sử dụng nếu rủi ro không thể chấp nhận. Ấn định thời điểm xem xét kết quả thực tế.
Thử nghiệm nhỏ có người kiểm tra giúp nhóm hiểu công cụ hoạt động thế nào trong quy trình thực tế trước khi mở rộng sử dụng. Framework hỗ trợ rà soát rủi ro có hệ thống, nhưng không yêu cầu mọi nhóm áp dụng cùng một thiết kế thử nghiệm hay chứng minh rủi ro đã được loại bỏ.
Framework đề cập đến những đặc tính nào của AI đáng tin cậy?
NIST AI RMF nêu các đặc tính gắn với AI đáng tin cậy: hợp lệ và đáng tin cậy; an toàn; bảo mật và có khả năng chống chịu; có trách nhiệm giải trình và minh bạch; có thể giải thích và diễn giải; tăng cường bảo vệ quyền riêng tư; công bằng, đồng thời kiểm soát thiên lệch có hại. Việc nêu hoặc xem xét các đặc tính này không bảo đảm hệ thống đáng tin cậy. Tài liệu framework giải thích các đặc tính này.
Với công cụ hỗ trợ khách hàng, độ tin cậy có thể được xem xét bằng cách kiểm tra độ chính xác của câu trả lời đối với mục đích dự kiến. Quyền riêng tư liên quan đến cách xử lý thông tin khách hàng. Trách nhiệm giải trình và minh bạch bao gồm việc xác định ai kiểm tra kết quả đầu ra và cách báo cáo vấn đề. Bằng chứng và biện pháp bảo vệ phù hợp tùy thuộc vào bối cảnh hệ thống và những ảnh hưởng có thể xảy ra.
Một số đặc tính có thể dẫn đến những cân nhắc trái chiều; nhóm cần đưa ra và ghi lại quyết định trong bối cảnh cụ thể. Danh sách kiểm tra có thể hỗ trợ thảo luận, nhưng không thay thế bằng chứng, phán đoán hoặc hoạt động giám sát phù hợp.
Tài liệu NIST AI RMF và những điều framework không thể làm
NIST cung cấp AI RMF Playbook để giúp tổ chức tìm hiểu các hành động liên quan đến kết quả mà framework hướng tới. Playbook là tài liệu bổ trợ, không phải chứng nhận hay sự thay thế cho việc xác định cách làm phù hợp với từng trường hợp sử dụng. Để tìm hiểu framework, hãy xem trang tổng quan NIST AI RMF và tài liệu AI RMF 1.0.
Framework giúp nhóm sắp xếp quyết định về rủi ro AI, nhưng không chứng nhận tổ chức, bảo đảm tuân thủ pháp luật hay bảo đảm hệ thống AI không có rủi ro. Với công cụ hỗ trợ khách hàng, lợi ích thực tế là quy trình rõ ràng hơn để phân công trách nhiệm, xác định người có thể bị ảnh hưởng, kiểm tra kết quả và ứng phó khi có vấn đề. Các yêu cầu pháp lý và trách nhiệm của tổ chức vẫn cần được xem xét riêng.