Multimodal AI là gì?

Multimodal AI là loại trí tuệ nhân tạo có thể xử lý hoặc tạo ra nhiều dạng thông tin như văn bản, hình ảnh, âm thanh và video, rồi kết hợp chúng cho cùng một nhiệm vụ.

Ví dụ, khách hàng có thể mô tả sản phẩm bị hỏng bằng giọng nói, tải lên một bức ảnh và yêu cầu viết câu trả lời. Hệ thống có thể phân tích cả lời mô tả, hình ảnh và yêu cầu bằng văn bản trước khi soạn phản hồi. Điểm cốt lõi không chỉ là chấp nhận nhiều loại tệp, mà là kết nối thông tin giữa các định dạng đó.

“Modality” trong AI nghĩa là gì?

“Modality” là hình thức hoặc kênh biểu diễn thông tin. Email là văn bản, biên lai là hình ảnh, bản ghi cuộc họp là âm thanh, còn video đào tạo có thể chứa cả hình ảnh chuyển động và âm thanh.

Các modality thường gặp gồm:

1. Văn bản: Email, báo cáo, câu hỏi, hướng dẫn và tin nhắn trò chuyện.
2. Hình ảnh: Ảnh chụp, ảnh chụp màn hình, tài liệu quét, biên lai, biểu đồ và sơ đồ.
3. Âm thanh: Tin nhắn thoại, cuộc phỏng vấn, cuộc gọi điện thoại và bản ghi cuộc họp.
4. Video: Cảnh quay đào tạo, video giới thiệu sản phẩm, video kiểm tra và bài thuyết trình được ghi lại.
5. Dữ liệu có cấu trúc: Bảng, bảng tính hoặc bản ghi cơ sở dữ liệu. Dạng dữ liệu này được xử lý khác với hình ảnh hoặc âm thanh nhưng vẫn là thông tin mà hệ thống AI có thể sử dụng.

Đầu vào và đầu ra không nhất thiết phải cùng một modality. Hệ thống có thể nhận hình ảnh và tạo văn bản, nhận giọng nói rồi trả về bản tóm tắt, hoặc phân tích video để xác định các sự kiện trong một báo cáo.

Chẳng hạn, quản lý có thể cung cấp bản ghi cuộc họp và yêu cầu tạo danh sách công việc bằng văn bản. Bản ghi là đầu vào, còn danh sách công việc là đầu ra. Người học có thể tải lên một sơ đồ và yêu cầu giải thích bằng ngôn ngữ đơn giản.

Vì vậy, Multimodal AI tập trung vào mối quan hệ giữa các loại thông tin, không chỉ vào số lượng nút bấm hoặc tùy chọn tải tệp. (SuperAnnotate, Kong Inc.)

Multimodal AI khác Unimodal AI như thế nào?

Unimodal AI chủ yếu làm việc với một loại dữ liệu, còn Multimodal AI có thể xử lý và kết nối nhiều loại dữ liệu trong cùng một nhiệm vụ. Unimodal không đồng nghĩa với đơn giản hoặc kém hiệu quả; một hệ thống tập trung vào một loại đầu vào vẫn có thể rất mạnh trong phạm vi đó.

Một công cụ chỉ tóm tắt văn bản có thể hoạt động tốt khi mọi thông tin liên quan đã được viết ra. Hệ thống xử lý hình ảnh có thể xác định vật thể hoặc trích xuất văn bản từ tài liệu quét. Multimodal AI có thể dùng cả tài liệu quét và hướng dẫn bằng văn bản, chẳng hạn: “Tìm tổng tiền trên hóa đơn và giải thích các trường còn thiếu.”

Điểm khác biệt nằm ở khả năng xử lý và liên hệ các loại thông tin, không phải ở việc Multimodal AI luôn tốt hơn. Với nhiệm vụ chỉ gồm văn bản rõ ràng, thêm hình ảnh hoặc âm thanh có thể không đem lại lợi ích. (SuperAnnotate)

Multimodal AI hoạt động ở mức khái quát như thế nào?

Ở mức khái quát, Multimodal AI xử lý từng loại đầu vào, kết nối thông tin liên quan rồi tạo ra kết quả. Cách triển khai thực tế có thể khác nhau, nên đây là mô hình tư duy chung chứ không phải kiến trúc áp dụng cho mọi hệ thống.

Với yêu cầu hỗ trợ gồm mô tả bằng văn bản, ảnh sản phẩm và tin nhắn thoại, quy trình có thể diễn ra như sau:

1. Xử lý từng đầu vào: Hệ thống phân tích văn bản, trích xuất thông tin trực quan từ ảnh và chuyển lời nói thành dạng thông tin có thể sử dụng.
2. Kết nối thông tin: Hệ thống liên hệ các đầu vào. Văn bản có thể xác định sản phẩm, hình ảnh cho thấy vết nứt, còn tin nhắn thoại cho biết vấn đề bắt đầu từ khi nào.
3. Tạo đầu ra: Hệ thống có thể phân loại vấn đề, đề xuất bước tiếp theo hoặc soạn câu trả lời cho khách hàng.

Một số hệ thống dùng thành phần xử lý riêng cho từng loại dữ liệu, một giai đoạn kết hợp hoặc căn chỉnh thông tin và một thành phần tạo đầu ra. Cách xây dựng và kết nối các thành phần phụ thuộc vào nhiệm vụ; không có một kiến trúc duy nhất mô tả mọi sản phẩm Multimodal AI.

Quy trình này không giống nhận thức của con người. Hệ thống không trải nghiệm hình ảnh, bản ghi âm hay tài liệu như con người, mà nhận diện các mẫu trong đầu vào và tạo kết quả dựa trên cách được xây dựng và huấn luyện. Vì vậy, đầu ra vẫn cần được kiểm tra.

Multimodal AI có thể làm gì trong công việc hằng ngày?

Multimodal AI hữu ích khi thông tin cho một nhiệm vụ nằm ở nhiều định dạng. Hệ thống có thể trích xuất, so sánh, tóm tắt, phân loại, giải thích hoặc tạo nội dung từ các định dạng đó.

Xử lý tài liệu và hình ảnh

Multimodal AI có thể trích xuất thông tin từ hóa đơn đã quét, chẳng hạn tên nhà cung cấp, ngày và tổng tiền; hệ thống cũng có thể so sánh ảnh với đơn đặt hàng bằng văn bản để tìm các trường có vẻ không nhất quán.

Cách này có thể giảm việc sao chép thủ công, nhưng các trường được trích xuất cần được kiểm tra trước khi đưa vào hệ thống kế toán, pháp lý hoặc vận hành. Bản quét mờ, bố cục bất thường hoặc trang bị thiếu có thể gây sai lệch.

Cuộc họp và tin nhắn thoại

Multimodal AI có thể chuyển bản ghi cuộc họp thành bản tóm tắt gồm quyết định, người phụ trách và thời hạn, sau đó so sánh nội dung thảo luận với bản mô tả dự án bằng văn bản.

Bản ghi có thể chứa phần ngắt lời, người nói không rõ, tiếng ồn nền hoặc những phát biểu được sửa lại sau đó. Con người nên xác nhận cam kết quan trọng trước khi dùng bản tóm tắt làm hồ sơ chính thức.

Hỗ trợ khách hàng

Multimodal AI có thể kết hợp khiếu nại bằng văn bản, ảnh sản phẩm và tin nhắn thoại để soạn phản hồi. Ví dụ, hệ thống có thể dùng tình trạng nhìn thấy được trong ảnh và mốc thời gian được nói trong bản ghi âm để hiểu vấn đề đầy đủ hơn.

Tuy nhiên, không nên đưa ra quyết định có tác động lớn chỉ dựa trên một hình ảnh hoặc một diễn giải được tạo tự động. (Kong Inc.)

Học tập và giải thích

Người học có thể tải lên sơ đồ, biểu đồ hoặc trang sách giáo khoa để yêu cầu giải thích đơn giản hơn. Hệ thống có thể mô tả thành phần nhìn thấy được, trả lời câu hỏi về nhãn hoặc liên hệ sơ đồ với bài học bằng văn bản.

Những phần giải thích quan trọng vẫn cần được đối chiếu với tài liệu gốc hoặc nguồn đáng tin cậy. Một câu trả lời rõ ràng, mạch lạc vẫn có thể đọc sai nhãn hoặc mối quan hệ trong hình ảnh.

Bán lẻ, kiểm tra và sản xuất

Doanh nghiệp có thể kết hợp mô tả sản phẩm, ảnh chụp, ghi chú kiểm tra và video để lập danh mục hàng hóa, xem xét lỗi nhìn thấy được hoặc sắp xếp thông tin bảo trì. Multimodal AI cũng được đề cập trong chăm sóc khách hàng, trích xuất tài liệu, bán lẻ, phân tích liên quan đến an ninh và sản xuất. (SuperAnnotate)

Trong các trường hợp này, hệ thống có thể hỗ trợ ưu tiên hoặc lập hồ sơ thay vì thay thế hoạt động kiểm tra của người có chuyên môn. Mức độ tự động hóa phù hợp phụ thuộc vào chi phí của sai sót và quy trình kiểm tra của tổ chức.

Vì sao kết hợp nhiều loại dữ liệu lại hữu ích?

Kết hợp nhiều loại dữ liệu hữu ích vì mỗi modality có thể cung cấp thông tin bổ sung: văn bản nêu yêu cầu, hình ảnh cho thấy tình trạng vật lý, còn âm thanh lưu giữ những chi tiết chưa được viết ra.

Ví dụ, tin nhắn yêu cầu trả hàng có thể chỉ nói: “Nó không hoạt động.” Ảnh cho thấy bộ phận bị nứt, trong khi tin nhắn thoại cho biết vấn đề bắt đầu sau khi giao hàng. Ba đầu vào này cung cấp nhiều ngữ cảnh hơn so với phần khiếu nại ngắn bằng văn bản.

Hệ thống cũng có thể giảm việc nhân viên phải tự chuyển thông tin giữa các định dạng. Thay vì nghe bản ghi, viết bản chép lời, xem ảnh rồi soạn câu trả lời riêng, nhân viên có thể yêu cầu hệ thống sắp xếp tài liệu thành bản nháp đầu tiên.

Tuy nhiên, nhiều đầu vào hơn không bảo đảm kết quả tốt hơn. Tệp bổ sung có thể không liên quan, chất lượng thấp, mâu thuẫn hoặc gây hiểu sai. Multimodal AI mở rộng thông tin sẵn có cho nhiệm vụ nhưng không bảo đảm kết quả cuối cùng chính xác.

Multimodal AI có những giới hạn nào?

Multimodal AI có thể hiểu sai một đầu vào hoặc mối quan hệ giữa nhiều đầu vào. Nhiều modality vừa cung cấp thêm ngữ cảnh, vừa tạo thêm điểm có thể phát sinh lỗi.

Các giới hạn phổ biến gồm:

1. Chất lượng đầu vào kém: Biên lai bị mờ, ảnh máy móc chụp sai góc hoặc bản ghi nhiều tạp âm có thể che khuất thông tin liên quan.
2. Lỗi về lời nói và ngôn ngữ: Giọng địa phương, nhiều người nói chồng lên nhau, tiếng ồn nền hoặc thuật ngữ không quen thuộc có thể ảnh hưởng đến cách hệ thống diễn giải âm thanh.
3. Thiếu ngữ cảnh: Một bức ảnh có thể không cho thấy mặt còn lại của vật thể. Một biểu đồ có thể mất ý nghĩa nếu thiếu tiêu đề, nhãn hoặc nguồn.
4. Đầu vào mâu thuẫn: Mô tả bằng văn bản có thể không khớp với hình ảnh hoặc bản ghi, trong khi hệ thống không biết nguồn nào đáng tin cậy hơn.
5. Kết nối không chính xác: Hệ thống có thể liên hệ hai chi tiết xuất hiện cùng nhau nhưng thực tế không liên quan.
6. Đầu ra nghe có vẻ hợp lý nhưng không có căn cứ: Câu trả lời có thể chắc chắn nhưng diễn giải sai. Khi không được bằng chứng hỗ trợ, đây là một dạng ảo giác AI (AI hallucination).
7. Thiên kiến: Dữ liệu huấn luyện và thiết kế hệ thống có thể tạo ra các mô thức có tính hệ thống, ảnh hưởng khác nhau đến các nhóm người. Đầu vào Multimodal có thể thể hiện hoặc tái tạo thiên kiến qua ngôn ngữ, hình ảnh, lời nói hoặc các quyết định dựa trên dữ liệu đó.
8. Phức tạp trong vận hành: Thu thập, lưu trữ, xem xét và quản lý nhiều loại dữ liệu có thể khó hơn quản lý một định dạng đầu vào. (SuperAnnotate)

Hãy kiểm tra đầu vào gốc trước khi chấp nhận kết luận. Nếu hệ thống xác định một khoản tiền trên biên lai, hãy kiểm tra biên lai. Nếu hệ thống tóm tắt cuộc họp, hãy nghe phần liên quan. Nếu hệ thống diễn giải biểu đồ, hãy xác nhận nhãn và nguồn.

Nên sử dụng Multimodal AI an toàn như thế nào?

Hãy dùng Multimodal AI như trợ lý cho việc phân tích và soạn thảo, đồng thời để con người kiểm tra các kết quả quan trọng.

Một quy trình thực tế gồm:

1. Kiểm tra đầu vào: Xác nhận đúng tệp, hình ảnh, bản ghi hoặc video đã được tải lên và có thể đọc hoặc nghe được.
2. Đưa ra hướng dẫn rõ ràng: Nêu nhiệm vụ, bối cảnh, đầu ra mong muốn và giới hạn. Ví dụ, yêu cầu hệ thống tách sự kiện quan sát được khỏi giả định.
3. Kiểm tra các khẳng định quan trọng: Đối chiếu ngày tháng, số tiền, tên, trích dẫn, số đo và khuyến nghị với bằng chứng gốc.
4. Xem xét nội dung nhạy cảm: Nếu có thể, hãy xóa thông tin cá nhân hoặc mật khi không cần thiết trước khi tải lên.
5. Xin phê duyệt: Người có chuyên môn nên xem xét tin nhắn gửi khách hàng, diễn giải pháp lý, quyết định tài chính, đánh giá an toàn và các đầu ra có hậu quả đáng kể khác.

Hình ảnh, âm thanh, video và tài liệu có thể chứa thông tin cá nhân hoặc mật, gồm khuôn mặt, giọng nói, địa chỉ, hồ sơ khách hàng, hợp đồng, kế hoạch nội bộ, mã nguồn, thông tin xác thực hoặc dữ liệu tài chính.

Không nên mặc định cách nhà cung cấp xử lý dữ liệu giống nhau giữa các sản phẩm hoặc loại tài khoản. Huấn luyện mô hình (Model training) đặt ra câu hỏi liệu nội dung người dùng có thể được dùng để cải thiện hoặc huấn luyện mô hình hay không. Lưu giữ và ghi nhật ký dữ liệu (Data retention and logging) liên quan đến việc nhà cung cấp có lưu yêu cầu và đầu ra hay không, lưu trong bao lâu và phục vụ mục đích vận hành hoặc bảo mật nào. Đây là các vấn đề riêng biệt.

Trước khi tải tài liệu nhạy cảm lên, hãy kiểm tra chính sách chính thức hiện hành của đúng dịch vụ và tài khoản, tuân thủ quy định của tổ chức, đồng thời không nhập mật khẩu, khóa API hoặc thông tin không cần thiết. Việc hệ thống không cập nhật mô hình trong một lần tương tác cụ thể không chứng minh rằng dữ liệu không được lưu trữ hoặc xem xét.

Multimodal AI khác với một tính năng Multimodal AI trong sản phẩm như thế nào?

Multimodal AI là năng lực tổng quát, AI model (mô hình AI) là hệ thống tính toán tạo đầu ra, còn tính năng sản phẩm là giao diện hoặc quy trình cung cấp một số năng lực được chọn cho người dùng.

Một sản phẩm có thể cho phép tải ảnh lên, nhập giọng nói hoặc phân tích tài liệu dưới dạng các tính năng riêng. Sản phẩm cũng có thể chỉ hỗ trợ một số loại tệp, nhiệm vụ hoặc định dạng đầu ra. Tính năng hiển thị cho người dùng không cho biết toàn bộ chi tiết về mô hình nền tảng hoặc cách nhà cung cấp xử lý dữ liệu.

Khi đánh giá một công cụ AI, hãy kiểm tra công cụ đó chấp nhận đầu vào nào, tạo đầu ra nào, ghi rõ những giới hạn gì và xử lý dữ liệu ra sao. Không nên cho rằng mọi sản phẩm có nút tải ảnh lên đều hỗ trợ cùng một kiểu suy luận Multimodal.

Kết luận thực tế: Multimodal AI kết nối thông tin, nhưng con người vẫn phải kiểm tra kết quả

Multimodal AI có thể xử lý hoặc tạo ra nhiều dạng thông tin rồi sử dụng chúng cùng nhau cho một nhiệm vụ. Ví dụ gồm kết hợp ảnh sản phẩm với mô tả bằng giọng nói, chuyển bản ghi cuộc họp thành ghi chú hoặc giải thích sơ đồ bằng ngôn ngữ đơn giản.

Khác với Unimodal AI, vốn chủ yếu tập trung vào một loại dữ liệu, Multimodal AI có thể kết nối văn bản, hình ảnh, âm thanh, video và đôi khi là dữ liệu có cấu trúc. Điều này hữu ích khi bằng chứng liên quan nằm rải rác ở nhiều định dạng.

Trong trường hợp sản phẩm bị hỏng, ảnh có thể cho biết tình trạng, văn bản nêu yêu cầu, còn âm thanh bổ sung ngữ cảnh. Hệ thống có thể kết hợp các thông tin này để soạn câu trả lời; con người vẫn cần xác minh bằng chứng, bảo vệ dữ liệu nhạy cảm và phê duyệt quyết định quan trọng trước khi hành động.