Token AI là những mảnh văn bản mà mô hình ngôn ngữ đọc và tạo ra để xử lý yêu cầu, sau đó đưa ra câu trả lời. Một token có thể là cả từ, một phần của từ, dấu câu hoặc chuỗi văn bản ngắn khác. Hiểu về token giúp bạn ước tính giới hạn sử dụng AI, độ dài câu trả lời và chi phí trong các hệ thống tính phí theo token.
Ví dụ, khi bạn yêu cầu công cụ AI “Soạn email nhắc lại lịch sự”, hệ thống không xử lý nguyên câu theo cách con người nhìn thấy. Văn bản được chia thành các đơn vị nhỏ hơn trước khi mô hình xử lý. Xem thêm về mô hình trong bài Mô hình ngôn ngữ lớn là gì?.
Token AI không giống token tiền mã hóa. Token AI là đơn vị văn bản được mô hình ngôn ngữ xử lý; token tiền mã hóa là tài sản số gắn với hệ thống blockchain (Decagon).
Tóm tắt cốt lõi (Key Takeaways)
- Là gì: Token AI là một đơn vị văn bản mà mô hình ngôn ngữ đọc hoặc tạo ra. Đó có thể là một từ, một phần của từ, dấu câu hoặc chuỗi văn bản khác.
- Hoạt động ra sao: Mô hình chia văn bản đầu vào thành token, xử lý chúng rồi tạo câu trả lời dưới dạng token đầu ra.
- Vì sao cần biết: Số lượng token ảnh hưởng đến lượng thông tin mô hình có thể xem xét, độ dài câu trả lời và, trong các hệ thống tính phí theo token, chi phí sử dụng và thời gian xử lý.
Token AI là gì?
Token AI là một mảnh văn bản cơ bản mà Mô hình ngôn ngữ lớn xử lý. Token không nhất thiết là một từ hoàn chỉnh. Tùy văn bản và mô hình, token có thể là từ thông dụng, một phần của từ dài, con số, dấu câu hoặc chuỗi văn bản ngắn khác (Decagon).
Khi bạn dán bản tóm tắt dự án và yêu cầu trợ lý AI tóm lược, từ ngữ, dấu câu, định dạng và hướng dẫn trở thành token đầu vào. Bản tóm tắt do mô hình tạo ra trở thành token đầu ra. Mô hình xử lý các đơn vị này thay vì văn bản thô theo đúng hình thức hiển thị trên màn hình.
Ranh giới token do phương pháp xử lý văn bản của từng mô hình quyết định. Vì vậy, không nên xem “token” là từ đồng nghĩa với “từ”.
Token không giống từ hay ký tự
Token là đơn vị do hệ thống xử lý văn bản của mô hình ngôn ngữ lựa chọn, không phải đơn vị ngôn ngữ hay ký tự cố định. Từ là đơn vị con người dùng khi viết và đọc; ký tự là chữ cái, chữ số, dấu cách hoặc dấu câu.
| Đơn vị | Ý nghĩa | Vì sao cần quan tâm |
|---|---|---|
| Từ | Đơn vị ngôn ngữ quen thuộc, thường được phân tách bằng dấu cách hoặc dấu câu | Hữu ích khi viết thông thường và xem độ dài tài liệu |
| Ký tự | Chữ cái, chữ số, dấu cách hoặc dấu câu | Tạo nên phần văn bản hiển thị |
| Token | Một mảnh văn bản được mô hình ngôn ngữ xử lý | Được dùng trong xử lý mô hình, giới hạn và đôi khi cả tính phí |
Một từ ngắn, thông dụng có thể được biểu diễn bằng một token. Từ dài hoặc ít quen thuộc có thể được chia thành nhiều mảnh. Dấu câu có thể là token riêng hoặc được gộp với phần văn bản gần đó, tùy quy tắc của mô hình. Tên riêng ít gặp, từ viết tắt, mã, bảng và ký hiệu lặp lại vì thế có thể dùng nhiều token hơn số từ gợi ý.
Tài liệu 1.000 từ cũng không có số lượng token cố định. Kết quả phụ thuộc vào ngôn ngữ, định dạng, vốn từ và mô hình được sử dụng.
AI chuyển văn bản thành token như thế nào?
AI chuyển văn bản thành token thông qua tokenization, tức quá trình chia văn bản thành các đơn vị mà mô hình sử dụng để xử lý. Hệ thống sau đó biểu diễn các đơn vị này dưới dạng mô hình có thể làm việc (Decagon).
Quy trình từ yêu cầu đến câu trả lời:
Ví dụ, khi bạn yêu cầu AI tóm tắt ghi chú cuộc họp:
1. Bạn nhập yêu cầu. Nội dung có thể gồm bản ghi cuộc họp, hướng dẫn và định dạng đầu ra.
2. Hệ thống chia văn bản thành token. Đây là phần đầu vào mô hình xử lý.
3. Mô hình tạo câu trả lời. Bản tóm tắt được tạo dần dưới dạng token đầu ra.
4. Ứng dụng hiển thị kết quả. Bạn nhìn thấy từ và câu thông thường, dù mô hình tạo chúng qua các đơn vị token.
Tokenizer là tập hợp quy tắc hoặc quy trình dùng để chia văn bản thành token. Các hệ thống hiện đại có thể sử dụng những phương pháp liên quan đến Byte Pair Encoding, WordPiece hoặc SentencePiece. Bạn không cần hiểu các thuật toán này để sử dụng AI; điểm cần nhớ là mỗi mô hình có thể chia văn bản thành các mảnh khác nhau trước khi xử lý.
Xem thêm Mô hình ngôn ngữ lớn hoạt động như thế nào.
Vì sao cùng một văn bản có thể có số token khác nhau?
Cùng một câu có thể tạo ra số lượng token khác nhau ở các mô hình AI vì mỗi mô hình có thể dùng tokenizer riêng. Tên thương hiệu, từ viết tắt, con số hoặc chuỗi dấu câu có thể được chia theo những cách khác nhau (Decagon).
Ví dụ, tiêu đề chứa từ viết tắt, mã sản phẩm và ký hiệu có thể được một mô hình chia thành nhiều mảnh hơn mô hình khác. Không mô hình nào mặc nhiên đếm sai; chúng đang dùng quy tắc phân đoạn khác nhau.
Điều này cần được tính đến khi so sánh công cụ, ước tính mức sử dụng ngữ cảnh hoặc lập kế hoạch cho yêu cầu API. Ước tính token hữu ích cho việc lập kế hoạch, nhưng không phải công thức quy đổi phổ quát giữa mọi nhà cung cấp.
Token đầu vào và token đầu ra
Token xuất hiện ở hai vị trí chính: thông tin gửi cho mô hình và câu trả lời do mô hình tạo ra.
| Loại token | Bao gồm những gì | Ví dụ tại nơi làm việc |
|---|---|---|
| Token đầu vào | Yêu cầu, tài liệu dán vào, hướng dẫn và phần lịch sử hội thoại liên quan | Bản tóm tắt dự án và hướng dẫn viết bản tóm lược dành cho lãnh đạo |
| Token đầu ra | Văn bản do mô hình tạo ra | Bản tóm lược dành cho lãnh đạo do AI trả về |
Token đầu vào gồm câu hỏi, chỉ dẫn hệ thống, tin nhắn trước đó, tài liệu đính kèm hoặc dán vào và thông tin ngữ cảnh khác được cung cấp cho mô hình.
Token đầu ra là các mảnh văn bản được tạo trong câu trả lời. Câu trả lời ngắn thường dùng ít token đầu ra hơn báo cáo chi tiết, nhưng số lượng chính xác còn tùy mô hình và nội dung.
Trong các hệ thống đo mức sử dụng bằng token, cả đầu vào và đầu ra đều có thể ảnh hưởng đến mức tiêu thụ. Sản phẩm dành cho người dùng phổ thông có thể thể hiện điều này qua giới hạn tin nhắn, chỉ báo sử dụng, hạn chế gói dịch vụ hoặc cơ chế khác thay vì hóa đơn token. Chi tiết tùy sản phẩm; không nên cho rằng mọi công cụ AI đều hiển thị hoặc tính phí token giống nhau (Pivot Point Security).
Một token AI tương đương bao nhiêu từ?
Với văn bản tiếng Anh, ước tính sơ bộ là một token tương đương khoảng bốn ký tự hoặc xấp xỉ ba phần tư từ. Đây không phải công thức cố định. Vốn từ, dấu câu, định dạng, ngôn ngữ và tokenizer đều có thể làm thay đổi kết quả (Decagon).
Theo ước tính này, bản nháp tiếng Anh dài 750 từ có thể vào khoảng 1.000 token. Con số chỉ phù hợp để lập kế hoạch chung, không nên dùng để đối soát hóa đơn hoặc xác định chắc chắn một yêu cầu có nằm trong giới hạn mô hình hay không.
Ước tính kém tin cậy hơn với mã, bảng, tên ít gặp, nhiều ngôn ngữ hoặc nhiều ký hiệu. Khi cần chính xác, hãy dùng tokenizer hoặc bộ đo mức sử dụng dành cho mô hình tương ứng. Không nên áp dụng ước tính tiếng Anh cho mọi ngôn ngữ.
Vì sao token quan trọng khi sử dụng AI?
Token quan trọng vì chúng liên quan trực tiếp đến lượng thông tin mô hình có thể xem xét, độ dài câu trả lời và mức sử dụng trong các hệ thống tính theo token.
1. Ngữ cảnh sẵn có: Tài liệu dài, hướng dẫn chi tiết và cuộc trò chuyện kéo dài có thể chiếm phần lớn dung lượng văn bản của một lượt tương tác.
2. Độ dài câu trả lời: Báo cáo chi tiết thường tạo nhiều token đầu ra hơn năm gạch đầu dòng. Một số ứng dụng cũng đặt giới hạn tối đa cho câu trả lời.
3. Mức sử dụng và chi phí: Trong hệ thống tính theo token, yêu cầu và câu trả lời dài hơn thường dùng nhiều token hơn. Gửi lại lịch sử hội thoại không cần thiết có thể làm tăng tổng mức sử dụng (Pivot Point Security).
4. Thời gian xử lý: Văn bản dài hơn có thể cần xử lý nhiều hơn. Trải nghiệm thực tế còn phụ thuộc vào mô hình, ứng dụng, hạ tầng và tải hệ thống.
Ví dụ, khi bạn dán toàn bộ quy định dài của công ty và yêu cầu câu trả lời chi tiết, tài liệu chiếm dung lượng đầu vào còn câu trả lời chiếm dung lượng đầu ra. Nếu yêu cầu quá lớn, ứng dụng có thể cần rút gọn, tóm tắt hoặc loại bỏ một phần thông tin. Đây là cơ sở để hiểu khái niệm cửa sổ ngữ cảnh.
Token và cửa sổ ngữ cảnh
Cửa sổ ngữ cảnh (Context Window) là lượng thông tin mô hình AI có thể xem xét trong một yêu cầu hoặc lượt tương tác. Cửa sổ được đo bằng token và có thể gồm yêu cầu, lịch sử hội thoại liên quan, tài liệu, hướng dẫn và phần đầu ra được tạo.
Cửa sổ ngữ cảnh không đồng nghĩa với trí nhớ lâu dài. Nó mô tả thông tin làm việc mà mô hình có thể dùng trong một lượt tương tác cụ thể. Hệ thống có thể có tính năng lưu thông tin giữa các cuộc trò chuyện, nhưng đó là cơ chế riêng.
Trong cuộc trò chuyện dài về một dự án, khi ghi chú họp, quyết định, chỉnh sửa và bản nháp tăng lên, ứng dụng có thể cần tóm tắt tin nhắn cũ hoặc bỏ bớt thông tin. Nếu câu trả lời sau đó bỏ sót chi tiết cũ, có thể chi tiết đó không còn nằm trong ngữ cảnh đang hoạt động.
Xem Cửa sổ ngữ cảnh AI là gì? để biết thêm. Đừng mặc định kích thước cửa sổ cụ thể nếu chưa kiểm tra tài liệu hiện hành của mô hình bạn đang dùng.
Cách đơn giản để sử dụng token hợp lý hơn
Cách sử dụng token hiệu quả là cung cấp đủ thông tin liên quan cho nhiệm vụ và loại bỏ phần lặp lại không giúp ích cho mô hình.
1. Nêu nhiệm vụ và kết quả mong muốn. Cho biết bạn cần bản tóm tắt, phần so sánh, bản nháp, danh sách kiểm tra hay phân tích.
2. Cung cấp ngữ cảnh liên quan. Đưa vào dữ kiện, đối tượng đọc, giới hạn và tài liệu nguồn cần thiết.
3. Loại bỏ nội dung lặp. Xóa chỉ dẫn trùng lặp, đoạn nhắc lại và thông tin nền không liên quan.
4. Sắp xếp tài liệu dài. Dùng tiêu đề, nhãn, ngày tháng và các mục rõ ràng.
5. Nêu độ dài câu trả lời phù hợp. Có thể yêu cầu email ngắn, bản tóm lược một trang hoặc phân tích chi tiết.
6. Kiểm tra kết quả. Câu trả lời ngắn hơn không mặc nhiên tốt hơn; hãy kiểm tra các chi tiết quan trọng.
7. Tóm tắt hoặc bắt đầu lại khi phù hợp. Nếu cuộc trò chuyện có quá nhiều nội dung không liên quan, hãy tạo bản tóm tắt ngắn hoặc mở cuộc trò chuyện mới với ngữ cảnh cần thiết.
Thay vì dán toàn bộ bản ghi cuộc họp và yêu cầu “mọi điều quan trọng”, hãy yêu cầu AI xác định quyết định, người phụ trách, thời hạn và câu hỏi chưa được giải quyết, rồi trình bày thành bảng. Cách này giảm đầu vào không liên quan và làm rõ đầu ra mong muốn.
Trước khi dán thông tin khách hàng, hợp đồng bảo mật, dữ liệu cá nhân, mã nguồn, mật khẩu, khóa API hoặc hồ sơ tài chính vào công cụ AI, hãy tuân thủ chính sách của tổ chức. Việc phân tách thành token không quyết định nhà cung cấp có lưu nhật ký yêu cầu hay dùng dữ liệu để huấn luyện mô hình hay không. Đây là các vấn đề riêng về xử lý dữ liệu. Xem Không nên chia sẻ gì với AI để biết hướng dẫn thực tế.
Điều cốt lõi cần nhớ về token AI
Token AI là những mảnh văn bản mà mô hình ngôn ngữ xử lý. Chúng không nhất thiết là từ, không tương ứng cố định một-một với ký tự và không phải tài sản tiền mã hóa.
Yêu cầu và tài liệu hỗ trợ trở thành token đầu vào; câu trả lời trở thành token đầu ra. Tổng lượng văn bản ảnh hưởng đến ngữ cảnh sẵn có, độ dài câu trả lời và, khi áp dụng, chi phí tính theo mức sử dụng. Các mô hình khác nhau có thể đếm cùng một văn bản khác nhau vì dùng tokenizer khác nhau.
Hãy cung cấp ngữ cảnh rõ ràng, liên quan và yêu cầu câu trả lời phù hợp với nhiệm vụ. Khi cần độ chính xác, dùng tokenizer hoặc bộ đo mức sử dụng cụ thể; đừng loại bỏ ngữ cảnh hữu ích chỉ để giảm số token.
Câu hỏi thường gặp về token AI
Tokenization là gì?
Tokenization là quá trình chia văn bản thành token trước khi mô hình ngôn ngữ xử lý. Các mảnh có thể là từ hoàn chỉnh, một phần của từ, dấu câu hoặc chuỗi văn bản khác (Decagon).
Những loại token chính trong sử dụng AI hằng ngày là gì?
Hai nhóm cần biết là token đầu vào và token đầu ra.
| Nhóm | Ý nghĩa |
|---|---|
| Token đầu vào | Văn bản gửi cho mô hình, gồm yêu cầu và ngữ cảnh liên quan |
| Token đầu ra | Văn bản mô hình tạo ra trong câu trả lời |
Hai nhóm này mô tả vị trí token xuất hiện trong một lượt tương tác, không phải hai loại đơn vị ngôn ngữ hoàn toàn khác nhau.
Token AI khác từ như thế nào?
Token và từ đôi khi trùng nhau nhưng không tương đương. Một từ thông dụng có thể là một token, còn từ dài hoặc ít gặp có thể được chia thành nhiều token. Dấu câu và định dạng cũng có thể ảnh hưởng đến số lượng.
Token AI có giống token tiền mã hóa không?
Không. Token AI là đơn vị văn bản được mô hình ngôn ngữ xử lý. Token tiền mã hóa là tài sản số gắn với hệ thống blockchain. Việc dùng chung từ “token” không cho thấy chúng có liên hệ kỹ thuật (Decagon).