Context Window (cửa sổ ngữ cảnh) là lượng thông tin đã được chuyển thành token mà mô hình AI có thể xem xét khi tạo câu trả lời. Nó giống không gian làm việc tạm thời cho một yêu cầu, có thể chứa hướng dẫn, lịch sử hội thoại, tài liệu và thông tin từ công cụ, nhưng không phải bộ nhớ lâu dài.
Đó là lý do AI có thể trả lời mạch lạc nhưng vẫn bỏ sót chi tiết được nêu từ trước trong cuộc hội thoại dài. Thông tin có thể đã bị loại khỏi ngữ cảnh hiện tại, bị chìm giữa quá nhiều nội dung hoặc không được mô hình sử dụng đáng tin cậy.
Tóm tắt cốt lõi (Key Takeaways)
- Là gì: Context Window là lượng thông tin hữu hạn đã được chuyển thành token mà mô hình AI có thể xem xét trong một yêu cầu.
- Hoạt động ra sao: Nó có thể gồm hướng dẫn, prompt, tin nhắn trước đó, tài liệu, kết quả từ công cụ và câu trả lời của mô hình. Khi vượt quá dung lượng, một phần thông tin có thể bị xóa hoặc tóm tắt.
- Vì sao quan trọng: Context Window lớn hơn không bảo đảm bộ nhớ hay độ chính xác hoàn hảo. Thông tin rõ ràng, liên quan và được sắp xếp tốt thường hữu ích hơn việc chỉ cung cấp thật nhiều nội dung.
Context Window của AI là gì?
Context Window là lượng thông tin tối đa mà mô hình có thể xem xét tại một thời điểm khi tạo câu trả lời. Trong một cuộc trò chuyện công việc, nó có thể gồm yêu cầu chỉnh sửa email, hướng dẫn đã đưa ra, lịch sử liên quan và câu trả lời đang được tạo.
Có thể hình dung đây là không gian làm việc tạm thời. Khi viết lại email dựa trên bản tóm tắt dự án, trợ lý cần truy cập cả email và bản tóm tắt. Nếu cuộc hội thoại quá dài, nội dung ở đầu có thể không còn được giữ nguyên đầy đủ.
Thông tin nằm trong Context Window không đồng nghĩa với việc mô hình hiểu và áp dụng chính xác từng chi tiết như con người. Đây chỉ là lượng thông tin đang sẵn có cho yêu cầu hiện tại, không phải cam kết rằng mọi chi tiết sẽ được ghi nhớ. Tổng quan của Wikipedia về Context Window mô tả giới hạn này theo lượng văn bản đã được chuyển thành token hoặc dữ liệu đầu vào khác có sẵn khi mô hình tạo đầu ra.
Thông tin nào nằm trong Context Window?
Context Window có thể gồm nhiều lớp thông tin, không chỉ tin nhắn mới nhất của người dùng:
1. Hướng dẫn hệ thống (System instructions): Quy tắc định hướng cách trợ lý hành xử hoặc định dạng câu trả lời.
2. Hướng dẫn và prompt của người dùng: Nhiệm vụ, câu hỏi, ví dụ và các ràng buộc được cung cấp.
3. Lịch sử hội thoại: Các tin nhắn trước đó mà sản phẩm gửi cùng yêu cầu mới nhất.
4. Tài liệu và tệp đính kèm: Văn bản từ báo cáo, bản ghi, bảng tính hoặc tệp mã nguồn.
5. Thông tin được truy xuất: Nội dung lấy từ cơ sở tri thức hoặc hệ thống tìm kiếm được kết nối.
6. Kết quả từ công cụ: Thông tin do máy tính, ứng dụng, cơ sở dữ liệu hoặc công cụ khác trả về.
7. Câu trả lời được tạo: Trong nhiều hệ thống, câu trả lời cũng chiếm một phần dung lượng của yêu cầu.
Ví dụ, yêu cầu tóm tắt cuộc họp có thể chứa hướng dẫn của trợ lý, bản ghi, chương trình họp, yêu cầu liệt kê đầu việc và bản tóm tắt đang được tạo. Thành phần chính xác phụ thuộc vào sản phẩm, mô hình và quy trình sử dụng. DataHub giải thích các thành phần ngữ cảnh phổ biến này, gồm prompt, hướng dẫn, lịch sử hội thoại, tài liệu được truy xuất và đầu ra của mô hình.
Vì Context Window dành cho toàn bộ yêu cầu, thêm một tệp lớn có thể làm giảm dung lượng còn lại cho hội thoại và câu trả lời, ngay cả khi tin nhắn cuối cùng khá ngắn.
Vì sao Context Window được đo bằng token?
Context Window được đo bằng token vì mô hình AI xử lý văn bản theo các đơn vị nhỏ gọi là token. Tùy tokenizer, một token có thể là một từ hoàn chỉnh, một phần của từ, dấu câu hoặc đơn vị văn bản khác.
Một câu thông thường, cụm từ kỹ thuật, mã nguồn, URL và văn bản đa ngôn ngữ có thể được tách thành số token khác nhau. Do đó, hai đoạn có cùng số từ vẫn có thể chiếm dung lượng Context Window không giống nhau.
Ước tính theo số từ vì thế chỉ mang tính gần đúng. Cách tách token thay đổi theo mô hình, ngôn ngữ, định dạng và nội dung. Phần giải thích của DataHub về Context Window cũng lưu ý rằng một token có thể đại diện cho một từ hoàn chỉnh, một phần của từ hoặc một ký tự.
Trong công việc hằng ngày, không nhất thiết phải tự đếm token. Tài liệu dài, hướng dẫn lặp lại, bảng biểu, mã nguồn và lịch sử hội thoại đều sử dụng không gian xử lý.
Context Window và bộ nhớ AI khác nhau thế nào?
Context Window là thông tin có sẵn cho yêu cầu hiện tại; bộ nhớ AI (AI memory) có thể lưu giữ hoặc truy xuất thông tin qua nhiều lần tương tác; còn dữ liệu huấn luyện (training data) là dữ liệu dùng để phát triển hoặc điều chỉnh mô hình.
| Khái niệm | Ý nghĩa | Ví dụ đơn giản |
|---|---|---|
| Context Window | Thông tin có sẵn trong yêu cầu hiện tại | Một sở thích được nêu trước đó trong cuộc trò chuyện đang mở |
| Bộ nhớ AI | Tính năng hoặc hệ thống bên ngoài có thể lưu và truy xuất thông tin về sau | Một sở thích đã lưu được dùng trong cuộc trò chuyện sau |
| Dữ liệu huấn luyện | Các ví dụ được dùng để phát triển hoặc điều chỉnh mô hình | Văn bản được sử dụng trong quá trình phát triển mô hình |
| Lưu giữ hoặc ghi nhật ký dữ liệu | Chính sách của nhà cung cấp về việc lưu thông tin đã gửi | Một dịch vụ lưu bản ghi hội thoại trong khoảng thời gian được nêu rõ |
Nếu bạn yêu cầu trợ lý dùng giọng văn trang trọng trong một cuộc trò chuyện, hướng dẫn đó có thể nằm trong ngữ cảnh hiện tại. Nếu sản phẩm lưu tùy chọn này và dùng ở cuộc trò chuyện sau, đó là chức năng bộ nhớ hoặc một hệ thống bên ngoài khác.
Không thể suy ra chính sách lưu prompt chỉ từ việc Context Window mang tính tạm thời. Hãy kiểm tra tài liệu hiện hành về quyền riêng tư và sử dụng dữ liệu trước khi nhập thông tin mật. DataHub phân biệt ngữ cảnh với bộ nhớ dài hạn và dữ liệu huấn luyện.
Điều gì xảy ra khi Context Window đầy?
Khi thông tin cần cho yêu cầu vượt quá dung lượng sẵn có, hệ thống phải cắt bớt, loại bỏ, tóm tắt hoặc sắp xếp lại nội dung trước khi gửi cho mô hình.
Quá trình thường diễn ra như sau:
1. Thông tin tích lũy: Cuộc hội thoại có thêm tin nhắn, tệp, hướng dẫn và kết quả từ công cụ.
2. Dung lượng còn lại giảm: Yêu cầu tiến gần giới hạn ngữ cảnh, bao gồm cả không gian cần cho câu trả lời.
3. Hệ thống điều chỉnh đầu vào: Tin nhắn cũ hoặc nội dung ít liên quan có thể bị xóa, rút ngắn hoặc tóm tắt.
4. Mô hình trả lời với ngữ cảnh bị giảm: Câu trả lời có thể bỏ sót yêu cầu trước đó hoặc dựa trên bản tóm tắt chưa đầy đủ.
Người dùng không phải lúc nào cũng nhận được cảnh báo rõ ràng. Dấu hiệu có thể là trợ lý quên một ràng buộc, lặp lại câu hỏi hoặc làm theo hướng dẫn mới mà thiếu bối cảnh cần thiết. IBM giải thích rằng prompt, cuộc hội thoại, tài liệu và kho mã nguồn dài có thể cần được cắt bớt hoặc tóm tắt khi vượt quá Context Window của mô hình.
Vì vậy, nên nhắc lại các yêu cầu quan trọng trong yêu cầu đang xử lý thay vì giả định mọi tin nhắn trước đó vẫn còn nguyên vẹn.
Context Window lớn hơn có làm AI chính xác hơn không?
Không. Context Window lớn hơn cho phép AI nhận nhiều thông tin hơn, nhưng không bảo đảm mô hình nhớ lại, suy luận hoặc sử dụng thông tin chính xác hơn.
Đầu vào dài có thể chứa bằng chứng hữu ích cùng thông tin lặp lại, lỗi thời hoặc không liên quan. Nghiên cứu được IBM thảo luận cho thấy một số mô hình không sử dụng thông tin nằm giữa các đầu vào dài một cách đáng tin cậy; hiệu suất thường tốt hơn khi thông tin liên quan nằm gần đầu hoặc cuối. Hiện tượng này thường được gọi là “lost in the middle” (bỏ sót thông tin ở giữa), với mức độ ảnh hưởng thay đổi theo mô hình và nhiệm vụ.
Ví dụ, khi rà soát hợp đồng, một ngoại lệ quan trọng ở trang 38 có thể khó được sử dụng nhất quán hơn so với khi được đưa vào bản tóm tắt ngắn, có tiêu đề rõ ràng và đặt cạnh điều khoản liên quan. Dung lượng lớn hơn không thay thế cho ngữ cảnh tập trung.
- Dung lượng ngữ cảnh là lượng thông tin mô hình có thể nhận.
- Mức độ sử dụng hiệu quả là khả năng mô hình tìm và áp dụng thông tin liên quan.
- Độ chính xác là việc câu trả lời cuối cùng có đúng và được hỗ trợ bằng bằng chứng đáng tin cậy hay không.
Phần thảo luận của IBM về hiệu suất với ngữ cảnh dài giải thích vì sao nhiều đầu vào hơn không tự động khiến mô hình sử dụng mọi chi tiết đáng tin cậy như nhau.
Độ dài ngữ cảnh có thể ảnh hưởng đến tốc độ và chi phí ra sao?
Xử lý nhiều token hơn có thể cần nhiều năng lực tính toán hơn, từ đó ảnh hưởng đến thời gian phản hồi hoặc chi phí, tùy mô hình, sản phẩm và cách tính phí.
Chẳng hạn, tóm tắt một chính sách dài hai trang thường cần ít tài nguyên hơn so với xử lý toàn bộ kho chính sách liên quan. Kho tài liệu lớn có thể chứa thông tin nền hữu ích, nhưng gửi tất cả cùng lúc cũng có thể khiến nhiệm vụ kém tập trung.
Mối quan hệ cụ thể phụ thuộc vào kiến trúc mô hình, hệ thống, phần cứng và quy định giá của nhà cung cấp. Một số giải thích kỹ thuật cho rằng chi phí tính toán liên quan đến attention tăng nhanh theo độ dài chuỗi, nhưng không nên dùng đó làm công thức tính phí chung cho mọi hệ thống AI. IBM thảo luận về những đánh đổi tính toán liên quan đến Context Window lớn hơn.
Trong thực tế, nên cung cấp thông tin cần cho nhiệm vụ, loại bỏ phần lặp lại và không xem dung lượng tối đa là mục tiêu cần đạt.
Ví dụ đơn giản: Dùng AI để tóm tắt tài liệu
Để tóm tắt bản ghi cuộc họp và xác định các quyết định, hãy cung cấp nhiệm vụ rõ ràng, nguồn tài liệu và đủ ngữ cảnh liên quan.
1. Xác định nhiệm vụ: Yêu cầu tóm tắt, các quyết định, câu hỏi chưa được giải quyết và người phụ trách.
2. Cung cấp nguồn: Gửi bản ghi hoặc phần liên quan.
3. Thêm ngữ cảnh hữu ích: Bao gồm ngày họp, tên dự án hoặc định nghĩa cần thiết.
4. Tạo kết quả trung gian: Yêu cầu dàn ý bảo toàn sự kiện trước khi viết biên bản hoàn chỉnh.
5. Tiếp tục với tài liệu tập trung: Dùng dàn ý và đoạn trích liên quan cho các câu hỏi tiếp theo.
Trợ lý cần truy cập hướng dẫn, tài liệu nguồn, thông tin nền và đủ không gian để tạo câu trả lời. Nếu bản ghi quá dài, hệ thống có thể phải chia thành các phần hoặc tạo bản tóm tắt trước khi trả lời câu hỏi chi tiết.
Quy trình theo giai đoạn không thay thế việc rà soát. Bản tóm tắt vẫn có thể bỏ sót điều kiện hoặc quy kết nhầm quyết định, nên biên bản quan trọng cần được đối chiếu với bản ghi gốc. Nguyên tắc này cũng áp dụng cho chính sách nội bộ, hợp đồng, ghi chú nghiên cứu và tài liệu tài chính.
Cách làm việc trong giới hạn Context Window
Cách hiệu quả nhất là quản lý chủ động thông tin đưa vào, giữ lại phần liên quan và kiểm tra kết quả theo từng bước.
1. Bắt đầu bằng nhiệm vụ và đầu ra mong muốn. Nêu rõ bạn cần bản tóm tắt, so sánh, bản nháp, danh sách kiểm tra hay phân tích.
2. Đặt yêu cầu quan trọng gần yêu cầu đang xử lý. Nhắc lại đối tượng đọc, định dạng, thời hạn hoặc ràng buộc bắt buộc khi cần.
3. Loại bỏ lịch sử không liên quan. Cuộc hội thoại ngắn và tập trung thường hữu ích hơn lịch sử chưa lọc.
4. Tóm tắt công việc trước đó. Yêu cầu bản tóm tắt có cấu trúc, gồm quyết định, câu hỏi mở, giả định và bước tiếp theo.
5. Chia tài liệu lớn theo ý nghĩa. Chia theo phần, chủ đề hoặc quy trình thay vì cắt tại các điểm tùy ý.
6. Dùng các bước kiểm tra trung gian. Yêu cầu AI liệt kê sự kiện đã tìm thấy trước khi viết báo cáo cuối cùng.
7. Cung cấp lại thông tin quan trọng. Đưa lại chi tiết ảnh hưởng đến quyết định trong yêu cầu hiện tại.
8. Kiểm chứng kết quả. Đối chiếu nhận định, con số, tên và trích dẫn quan trọng với nguồn gốc.
Với báo cáo dự án, có thể xác định đầu ra, cung cấp nguồn, yêu cầu dàn ý, kiểm tra dàn ý rồi viết bản nháp chỉ dựa trên các đoạn trích liên quan. Cách này giảm ngữ cảnh không cần thiết nhưng vẫn giữ thông tin phục vụ từng bước.
Các bước trên không loại bỏ lỗi của AI và cũng không biến Context Window thành bộ nhớ lâu dài. Chúng chỉ làm cho thông tin sẵn có rõ ràng, liên quan và dễ được mô hình sử dụng hơn.
Kết luận thực tế: Ngữ cảnh là không gian làm việc, không phải bộ nhớ hoàn hảo
Context Window là không gian làm việc hữu hạn mà mô hình AI sử dụng trong một yêu cầu. Nó có thể chứa prompt, hướng dẫn, lịch sử hội thoại, tài liệu, kết quả từ công cụ và câu trả lời đang được tạo.
Bộ nhớ AI, quá trình huấn luyện mô hình và việc nhà cung cấp lưu giữ dữ liệu là các khái niệm riêng. Context Window lớn hơn hỗ trợ nhiệm vụ dài hơn, nhưng không bảo đảm mọi chi tiết được nhớ lại, diễn giải chính xác hoặc được xử lý theo chính sách riêng tư của một dịch vụ cụ thể.
Quy tắc thực tế là cung cấp thông tin cần thiết cho nhiệm vụ hiện tại, trình bày rõ ràng và cập nhật, rồi kiểm tra xem câu trả lời có sử dụng đúng các chi tiết quan trọng hay không.
Các câu hỏi thường gặp về Context Window
Context Window có phải là bộ nhớ lâu dài không?
Không. Context Window chỉ chứa thông tin có sẵn cho yêu cầu hiện tại. Sản phẩm có thể cung cấp riêng tính năng bộ nhớ để lưu hoặc truy xuất thông tin qua nhiều lần tương tác, tùy sản phẩm và cài đặt.
Chỉ prompt mới nhất của tôi có được tính không?
Không. Yêu cầu cũng có thể gồm hướng dẫn hệ thống, tin nhắn trước đó, tệp đã tải lên, đoạn văn được truy xuất, kết quả từ công cụ và không gian cho câu trả lời. Thành phần chính xác phụ thuộc vào hệ thống AI.
Context Window lớn hơn có bảo đảm câu trả lời tốt hơn không?
Không. Dung lượng lớn hơn cho phép mô hình nhận nhiều thông tin hơn, nhưng không bảo đảm mô hình sử dụng mọi phần hiệu quả. Mức độ liên quan, cách sắp xếp, chất lượng nguồn và độ rõ ràng của nhiệm vụ vẫn quan trọng.
Tôi có luôn thấy lỗi khi Context Window đầy không?
Không. Hệ thống có thể cắt bớt hoặc tóm tắt nội dung mà không hiển thị cảnh báo rõ ràng. Bỏ sót chi tiết cũ, lặp lại câu hỏi hoặc bỏ qua yêu cầu trước đó có thể là dấu hiệu ngữ cảnh đang hoạt động đã thay đổi.
Một Context Window chứa được bao nhiêu từ?
Không có quy đổi số từ chung cho mọi trường hợp. Giới hạn được đo bằng token, còn số token phụ thuộc vào mô hình, ngôn ngữ, định dạng, mã nguồn và nội dung. Nên kiểm tra giới hạn hiện hành của từng mô hình và ước tính trong tài liệu chính thức của nhà cung cấp liên quan thay vì dựa vào một quy tắc chung.