Quy trình kiểm chứng thông tin do AI tạo

Kiểm chứng thông tin do AI tạo là quy trình có cấu trúc để đối chiếu từng nhận định trong nội dung AI tạo ra với bằng chứng phù hợp trước khi tin dùng, chia sẻ hoặc xuất bản.

Một câu trả lời có thể rõ ràng và chuyên nghiệp nhưng vẫn chứa số liệu sai, thông tin lỗi thời, kết luận gây hiểu lầm hoặc trích dẫn không tồn tại. Hiệu đính chỉ cải thiện cách diễn đạt; kiểm chứng thông tin xác định liệu từng nhận định có được bằng chứng hỗ trợ hay không.

Quy trình gồm các việc chính: xác định nhận định, tìm nguồn phù hợp, đối chiếu bằng chứng với nguyên văn, quyết định nội dung cần giữ hoặc sửa và ghi lại lý do.

Vì sao nội dung do AI tạo cần được kiểm chứng?

Nội dung do AI tạo cần được kiểm chứng trước khi dùng trong báo cáo, email, bài viết, bài thuyết trình hoặc quyết định, vì văn phong tự tin không bảo đảm thông tin đúng. Wellows mô tả đây là quy trình kiểm tra độ chính xác, độ đáng tin và độ tin cậy của nội dung, đồng thời khuyến nghị kiểm tra nguồn và các nhận định quan trọng trước khi xuất bản.

AI tạo văn bản dựa trên các mẫu trong dữ liệu huấn luyện và, trong một số trường hợp, thông tin được truy xuất trong quá trình thực hiện. Hệ thống không tự động biết mọi câu có đúng trong tình huống hiện tại hay không.

Ví dụ, một bản tóm tắt thị trường có thể nói rằng một sản phẩm giúp giảm 18% chi phí kinh doanh và dẫn nguồn một nghiên cứu đại học. Cần kiểm tra riêng ba điểm:

1. Nghiên cứu đó có tồn tại không?
2. Nghiên cứu có báo cáo mức giảm 18% không?
3. Đối tượng và phương pháp nghiên cứu có đủ cơ sở cho nhận định rộng hơn về sản phẩm không?

Vì vậy, kiểm chứng không hỏi đoạn văn có “nghe hợp lý” hay không. Quy trình này xác định từng nhận định có nghĩa gì và bằng chứng nào hỗ trợ cho nhận định đó.

Bạn nên kiểm tra những gì trong câu trả lời do AI tạo?

Hãy kiểm tra trước các phát biểu có thể đối chiếu bằng bằng chứng và phân bổ công sức theo mức độ rủi ro.

Một câu có thể chứa nhiều nhận định. Ví dụ:

> “Làm việc từ xa đã làm năng suất tăng 18% trong năm 2024, theo một nghiên cứu của trường đại học lớn.”

Câu này chứa tỷ lệ phần trăm, khoảng thời gian, nhóm đối tượng chưa được nêu tên, một nghiên cứu chưa xác định và hàm ý nhân quả. Hãy tách các phần đó trước khi tìm kiếm.

Tổng quan quy trình kiểm chứng thông tin do AI tạo

Một quy trình hữu ích gồm mười giai đoạn:

1. Lưu lại nguyên văn đầu ra của AI.
2. Trích xuất những phát biểu có thể đúng hoặc sai.
3. Tách các nhận định phức hợp thành những đơn vị nhỏ hơn.
4. Ưu tiên các nhận định theo mức rủi ro và tầm quan trọng.
5. Tìm bằng chứng phù hợp với từng nhận định.
6. Đối chiếu bằng chứng với nguyên văn nhận định.
7. Phân loại từng nhận định là được hỗ trợ, bị mâu thuẫn hoặc chưa có đủ bằng chứng.
8. Ghi lại nguồn, lý do, ngày kiểm tra và quyết định của người duyệt.
9. Sửa, bổ sung điều kiện, loại bỏ hoặc chuyển nội dung để xem xét thêm.
10. Đặt mốc hoặc điều kiện kích hoạt lần kiểm tra tiếp theo khi thông tin có thể thay đổi.

Khi kiểm tra một bản tóm tắt thị trường, hãy lưu bản nháp gốc, lập danh sách nhận định, kiểm tra số liệu và nguồn được nêu, sửa cách diễn đạt chưa có bằng chứng rồi ghi lại ngày kiểm tra. Không tải lên báo cáo mật, thông tin cá nhân, mật khẩu, mã nguồn riêng tư hoặc dữ liệu khách hàng, trừ khi tổ chức đã phê duyệt công cụ và điều khoản xử lý dữ liệu của công cụ đó.

Bước 1: Trích xuất và ưu tiên các nhận định có thể kiểm chứng

Hãy sao chép câu trả lời gốc vào một tài liệu làm việc, sau đó đánh dấu và ưu tiên các nhận định có thể kiểm chứng. Bản sao giúp giữ nguyên cách diễn đạt ban đầu và cho thấy các chỉnh sửa có làm thay đổi nhận định hay không.

Đánh dấu những phát biểu chứa:

• số liệu, tỷ lệ phần trăm, giá hoặc phép đo;
• ngày tháng, sự kiện, tổ chức hoặc cá nhân được nêu tên;
• trích dẫn và ý kiến được quy cho một nguồn;
• khả năng sản phẩm hoặc thông số kỹ thuật;
• kết quả nghiên cứu và trích dẫn;
• nhận định về nguyên nhân, rủi ro, hiệu suất hoặc kết quả.

Hãy viết lại phát biểu mơ hồ thành các câu hỏi có thể kiểm tra nhưng không thêm ý nghĩa mới. “Phần mềm được các công ty thành công sử dụng rộng rãi” có thể được tách thành: Những công ty nào? Bao nhiêu công ty? “Rộng rãi” nghĩa là gì? Bằng chứng nào hỗ trợ từ “thành công”?

Sau đó, sắp xếp ưu tiên theo năm yếu tố:

1. Hậu quả: Sai sót có thể ảnh hưởng đến tiền bạc, an toàn, việc làm, sức khỏe, quyền pháp lý hoặc khách hàng không?
2. Mức độ cụ thể: Nhận định có chứa con số, ngày tháng hoặc trích dẫn chính xác không?
3. Tầm quan trọng: Nhận định có làm cơ sở cho kết luận chính không?
4. Mức độ không chắc chắn: Nhận định có khẳng định rộng hoặc gây bất ngờ không?
5. Tính nhạy cảm theo thời gian: Thông tin có thể sớm thay đổi không?

Với bản nháp về một sản phẩm phần mềm, hãy tách ngày ra mắt, tính năng, chứng nhận bảo mật, tỷ lệ khách hàng và mức cải thiện năng suất thành các nhận định riêng. Tính năng có thể được kiểm tra qua tài liệu chính thức; nhận định về năng suất có thể cần nghiên cứu độc lập.

Bước 2: Tìm bằng chứng từ đúng nguồn

Hãy tìm bằng chứng bằng chính nhận định cần kiểm tra, thay vì đặt câu hỏi mơ hồ như “Điều này có đúng không?”. Truy vấn nên gồm đối tượng, thông tin cụ thể, ngày liên quan và cụm từ hoặc con số đặc trưng.

Ghép loại nguồn với loại nhận định:

1. Hồ sơ chính thức và dữ liệu chính phủ: phù hợp với luật, thống kê công, quy định, bầu cử và sự kiện chính thức.
2. Tổ chức tiêu chuẩn và cơ quan kỹ thuật: phù hợp với tiêu chuẩn, thông số kỹ thuật và định nghĩa chính thức.
3. Nghiên cứu gốc: phù hợp với kết quả nghiên cứu, nhưng vẫn cần xem xét phương pháp, mẫu nghiên cứu và giới hạn.
4. Tài liệu chính thức của công ty: phù hợp với tính năng sản phẩm, giá, phạm vi cung cấp và chính sách đã công bố.
5. Báo chí độc lập đáng tin cậy: phù hợp với sự kiện hiện tại và các nhận định cần nguồn bên ngoài tổ chức liên quan.

Không có loại nguồn nào phù hợp với mọi câu hỏi. Trang công ty có thể mô tả chính xác một tính năng, nhưng không phải bằng chứng độc lập cho thấy tính năng đó cải thiện năng suất. Phần tóm tắt nghiên cứu có thể xác nhận nghiên cứu tồn tại, trong khi phương pháp đầy đủ cho thấy kết quả chỉ áp dụng cho một nhóm hẹp.

Khi AI cung cấp trích dẫn, hãy kiểm tra:

• nguồn đó có tồn tại không;
• nguồn có thực sự nói về chủ đề được nhận định không;
• nguồn có hỗ trợ đúng con số, ngày tháng, phạm vi và kết luận không.

Trích dẫn do AI tạo có thể bị thiếu, hỏng, không liên quan, lỗi thời hoặc bịa đặt. Wellows khuyến nghị đối chiếu trích dẫn và số liệu với cơ sở dữ liệu có thẩm quyền, ấn phẩm học thuật hoặc nguồn chính phủ. Đây chỉ là điểm khởi đầu; người kiểm duyệt vẫn phải đánh giá mức độ phù hợp của nguồn.

Với số liệu quan trọng, sự kiện được nêu tên hoặc nhận định sẽ xuất bản, có thể kiểm tra hai nguồn độc lập và đáng tin cậy. Đây không phải quy tắc áp dụng cho mọi trường hợp: một hồ sơ chính thức có thể mạnh hơn nhiều trang chỉ sao chép cùng một báo cáo, còn nhận định gây tranh cãi hoặc phức tạp có thể cần nghiên cứu thêm và chuyên gia xem xét.

Bước 3: Đối chiếu bằng chứng với nhận định nguyên văn

Một nguồn liên quan chưa chắc là bằng chứng hỗ trợ. Hãy đối chiếu nhận định với nguồn theo các yếu tố sau:

• Đối tượng: Có phải cùng một cá nhân, sản phẩm, tổ chức hoặc nhóm dân số không?
• Hành động: Nguồn có nói điều tương tự đã xảy ra không?
• Con số và đơn vị: Tỷ lệ phần trăm, tiền tệ, phép đo và cách tính có giống nhau không?
• Thời gian: Bằng chứng có bao phủ đúng giai đoạn được nêu không?
• Địa điểm và phạm vi: Một kết quả ở địa phương có đủ hỗ trợ cho phát biểu toàn cầu không?
• Điều kiện: Kết quả có phụ thuộc vào phương pháp hoặc tình huống cụ thể không?
• Mức độ chắc chắn: Nguồn cho thấy bằng chứng, mối liên hệ, ước tính hay khả năng?

Hãy đọc toàn bộ nguồn thay vì chỉ dựa vào tiêu đề hoặc đoạn trích tìm kiếm, vì các phần này có thể bỏ qua điều kiện làm thay đổi ý nghĩa.

Nếu AI tuyên bố “một nghiên cứu chứng minh năng suất tăng 20%”, bài nghiên cứu có thể chỉ báo cáo một mối liên hệ nhỏ hơn trong mẫu giới hạn. Khi đó, bằng chứng có thể hỗ trợ câu hẹp hơn: “Nghiên cứu phát hiện mối liên hệ giữa biện pháp can thiệp và năng suất được báo cáo cao hơn trong mẫu nghiên cứu.” Bằng chứng không hỗ trợ kết luận rằng biện pháp can thiệp gây ra mức tăng 20% cho mọi doanh nghiệp.

Đây là bước thường làm lộ lỗi: AI biến tương quan thành quan hệ nhân quả, biến ước tính thành sự thật cố định hoặc biến kết quả giới hạn thành kết luận khái quát. Nghiên cứu về kiểm chứng thông tin cũng nhấn mạnh việc nối kết kết luận với bằng chứng và lập luận, thay vì chỉ đưa ra nhãn nhị phân (nghiên cứu trên arXiv).

Bước 4: Phân loại từng nhận định và quyết định cách xử lý

Sau khi đối chiếu, hãy gán cho mỗi nhận định một trạng thái và quyết định xử lý tương ứng. Khung ba nhãn dưới đây được mô tả trong một quy trình kiểm chứng thông tin tự động mẫu từ Google Cloud Community.

“Chưa có đủ bằng chứng” không có nghĩa là “chắc chắn sai”; đó là kết luận rằng bằng chứng hiện có chưa đủ cho cách diễn đạt đang dùng. Phân biệt này cần thiết với nhận định mới, ít tài liệu, mang tính riêng tư hoặc khó đo lường.

Nếu nhận định chỉ được hỗ trợ một phần, hãy thu hẹp cách diễn đạt. Chẳng hạn, thay “Công cụ này giúp giảm chi phí” bằng “Nhà cung cấp cho biết công cụ này có thể giảm chi phí trong các trường hợp sử dụng được mô tả”, nếu bằng chứng chỉ đến từ nhà cung cấp.

Một bảng báo cáo có thể như sau:

Bước 5: Lưu dấu vết kiểm chứng đơn giản

Hãy ghi lại nhận định, nguồn, bằng chứng và quyết định để người khác có thể hiểu hoặc tái hiện quá trình kiểm tra. Một nhãn có hoặc không nhưng không kèm bằng chứng sẽ khó xem xét và dễ bị hiểu sai.

Sử dụng các trường sau:

Bản ghi này hữu ích khi báo cáo có nhiều biên tập viên, nguồn có thể thay đổi hoặc quyết định cần được tái hiện sau này. Nó cũng phân biệt nguồn thực sự hỗ trợ nhận định với nguồn chỉ đề cập cùng chủ đề.

Khi nào con người hoặc chuyên gia lĩnh vực nên xem xét kết quả?

Con người hoặc chuyên gia lĩnh vực nên xem xét sâu hơn khi nội dung chuyên biệt, có tác động lớn, gây tranh cãi, mơ hồ hoặc không thể diễn giải đầy đủ chỉ bằng bằng chứng bề mặt.

Hãy yêu cầu chuyên gia xem xét nội dung liên quan đến:

1. hậu quả về sức khỏe, an toàn, pháp lý, tài chính hoặc việc làm;
2. hoạt động có quy định hoặc yêu cầu tuân thủ;
3. tiêu chuẩn kỹ thuật hoặc thuật ngữ chuyên ngành;
4. quyết định ảnh hưởng đến những cá nhân có thể nhận diện;
5. các nghiên cứu mâu thuẫn hoặc phương pháp chưa rõ;
6. bằng chứng phức tạp cần phán đoán chuyên môn;
7. các nhận định mà cách diễn giải sai có thể gây tổn hại đáng kể.

Một bản tóm tắt cuộc họp thường ngày có thể chỉ cần kiểm tra tên, ngày tháng, quyết định và nhiệm vụ. Tuyên bố về an toàn khách hàng hoặc chính sách phúc lợi cần người có chuyên môn kiểm tra thuật ngữ, phạm vi, quy định hiện hành và hậu quả. Công việc này không chỉ tìm từ khớp nhau mà còn đánh giá việc diễn giải bằng chứng.

Wellows khuyến nghị chuyên gia lĩnh vực xem xét nội dung chuyên biệt. Khuyến nghị này không thay thế tư vấn chuyên môn hoặc pháp lý khi tình huống cụ thể cần đến những tư vấn đó.

Cách kiểm tra lại nội dung có AI hỗ trợ khi thông tin thay đổi

Hãy đặt lịch hoặc điều kiện kiểm tra lại dựa trên tốc độ thay đổi của chủ đề, hậu quả của sai sót và loại nhận định; không có một khoảng thời gian phù hợp cho mọi tài liệu.

Ghi lại ngày kiểm tra ban đầu và xác định thời điểm hoặc điều kiện kích hoạt lần xem xét tiếp theo, chẳng hạn:

• luật, chính sách, sản phẩm mới hoặc thay đổi giá;
• số liệu hoặc nghiên cứu được cập nhật;
• liên kết nguồn bị hỏng hoặc được cập nhật;
• quy trình của tổ chức thay đổi;
• một sự kiện hiện tại tiếp tục diễn biến sau khi xuất bản.

Giải thích cơ bản về khái niệm ổn định có thể chỉ cần xem xét khi nguồn hoặc mục đích giảng dạy thay đổi. Trang giá, hướng dẫn phúc lợi, bản tóm tắt chính sách hoặc báo cáo sự kiện hiện tại cần được duy trì chủ động hơn. Hãy kiểm tra trước những nhận định dễ lỗi thời nhất.

Wellows khuyến nghị xem lại nội dung có AI hỗ trợ đã xuất bản vì thông tin thay đổi theo thời gian. Lịch trình phù hợp vẫn phụ thuộc vào bối cảnh.

Kiểm chứng thông tin tự động có thể và không thể làm gì?

Kiểm chứng tự động có thể hỗ trợ các phần lặp lại như trích xuất nhận định, tạo truy vấn, truy xuất tài liệu, tóm tắt đoạn văn, đối chiếu cách diễn đạt và đề xuất nhãn sơ bộ. Hệ thống có khả năng tìm kiếm còn có thể dùng công cụ bên ngoài để đối chiếu nhận định, thay vì chỉ dựa vào thông tin trong mô hình (Google Cloud Community).

Quyền tìm kiếm không bảo đảm câu trả lời đúng. Hệ thống có thể chọn nguồn yếu, bỏ sót điều kiện, xem bài viết liên quan như bằng chứng, dựa vào thông tin lỗi thời hoặc tổng hợp sai nhiều mảnh bằng chứng. Nghiên cứu về kiểm chứng thông tin tự động và đa phương thức ghi nhận các giới hạn liên quan đến kiến thức nội tại, phạm vi phương thức và việc tổng hợp bằng chứng qua nhiều bước (arXiv).

Hãy dùng tự động hóa như trợ lý nghiên cứu, không phải cơ quan quyết định cuối cùng. Bằng chứng và chất lượng đối chiếu phải quyết định kết quả.

Checklist kiểm chứng thông tin do AI tạo cho người mới bắt đầu

Hãy dùng checklist này khi AI tạo email, báo cáo, bản tóm tắt nghiên cứu hoặc ghi chú học tập:

• [ ] Lưu lại nguyên văn đầu ra của AI.
• [ ] Đánh dấu những phát biểu có thể đối chiếu bằng bằng chứng.
• [ ] Tách số liệu, ngày tháng, nguồn và kết luận thành các nhận định riêng.
• [ ] Ưu tiên nhận định theo hậu quả, mức độ cụ thể, tầm quan trọng, mức độ không chắc chắn và tính nhạy cảm theo thời gian.
• [ ] Xác minh mọi trích dẫn có tồn tại và đề cập đúng nhận định cần kiểm tra.
• [ ] Sử dụng nguồn phù hợp với câu hỏi, chẳng hạn hồ sơ chính thức, nghiên cứu gốc, tài liệu kỹ thuật hoặc báo chí đáng tin cậy.
• [ ] Đối chiếu chính xác đối tượng, con số, thời gian, phạm vi, điều kiện và mức độ chắc chắn.
• [ ] Gắn nhãn từng nhận định là được hỗ trợ, bị mâu thuẫn hoặc chưa có đủ bằng chứng.
• [ ] Sửa, bổ sung điều kiện, loại bỏ hoặc chuyển xem xét thêm các nhận định chưa được hỗ trợ.
• [ ] Ghi lại nguồn, bằng chứng, quyết định, người xem xét và ngày kiểm tra.
• [ ] Bảo vệ thông tin mật, cá nhân, tài chính, khách hàng và thông tin độc quyền.
• [ ] Đặt điều kiện kích hoạt lần kiểm tra tiếp theo cho thông tin có thể thay đổi.

Mục tiêu không phải là điều tra mọi câu với mức độ công sức như nhau. Hãy tập trung vào những nhận định quan trọng và đưa ra quyết định có thể bảo vệ được. AI có thể hỗ trợ sắp xếp công việc; tri thức đã được kiểm chứng vẫn cần bằng chứng phù hợp, đối chiếu cẩn thận và phán đoán của con người.