Hiện tượng chatbot AI “mất trí nhớ” bắt nguồn từ cửa sổ ngữ cảnh, khi mô hình vượt giới hạn token và buộc phải loại bỏ thông tin cũ trong hội thoại.
Các chatbot AI như ChatGPT, Gemini và Claude đang trở thành công cụ phổ biến trong đời sống số. Tuy nhiên, người dùng thường nhận thấy một hiện tượng lạ là sau một thời gian trò chuyện, các mô hình này dường như “mất trí nhớ” và quên mất những gì bạn vừa nói, hoặc bắt đầu lặp lại, trả lời sai lệch.
Về vấn đề này, theo các chuyên gia công nghệ, bắt nguồn từ một khái niệm kỹ thuật then chốt được gọi là cửa sổ ngữ cảnh (context window).
YouTuber và nhà nghiên cứu AI Matt Pocock gần đây đã chia sẻ trong video của mình rằng cửa sổ ngữ cảnh là giới hạn quan trọng, nhưng cũng dễ bị hiểu nhầm nhất trong cách hoạt động của các mô hình ngôn ngữ lớn (LLM). Nói đơn giản, đó là “bộ nhớ ngắn hạn” của trí tuệ nhân tạo.
Cửa sổ ngữ cảnh là gì?
Mỗi khi người dùng gửi câu hỏi và mô hình trả lời, toàn bộ văn bản sẽ được chia thành những đơn vị nhỏ gọi là token. Mỗi token có thể đại diện cho một vài ký tự hoặc phần của từ. Tất cả các token trong cuộc hội thoại sẽ tạo nên ngữ cảnh mà mô hình có thể nhìn thấy tại một thời điểm.
Nếu cửa sổ ngữ cảnh của một mô hình là 200.000 token, thì nó chỉ có thể ghi nhớ ngần ấy thông tin. Khi vượt quá giới hạn này, những dữ kiện cũ hơn sẽ bị xóa dần, khiến AI quên mất phần đầu của cuộc trò chuyện.
Ví dụ, Claude 4.5 có thể ghi nhớ tới 200.000 token, trong khi Gemini 2.5 Pro có thể xử lý tới 2 triệu. Ngược lại, các mô hình nhỏ như LLaMA hay Mistral chỉ có giới hạn vài nghìn.
Vì sao AI không thể có trí nhớ vô hạn?
Việc tăng dung lượng cửa sổ ngữ cảnh không phải lúc nào cũng khả thi. Mỗi token bổ sung đều tiêu tốn tài nguyên tính toán và bộ nhớ, khiến chi phí vận hành tăng cao.
Bên cạnh đó, khi ngữ cảnh quá lớn, mô hình lại khó tìm đúng chi tiết cần thiết, giống như mò kim đáy bể.
Quan trọng hơn, mỗi mô hình được thiết kế với giới hạn kiến trúc cố định, nên không thể chỉ mở rộng vô hạn bộ nhớ mà không đánh đổi hiệu suất.
Lạc giữa chừng: Khi AI quên phần giữa câu chuyện
Pocock gọi một hiện tượng đặc trưng của giới hạn ngữ cảnh là “midpoint forgetting”, tạm dịch là “lạc giữa chừng”.
AI thường tập trung vào phần đầu (hướng dẫn) và phần cuối (tin nhắn mới nhất) của cuộc trò chuyện, trong khi phần giữa ít được chú ý hơn.
Cơ chế này xuất phát từ cách các mô hình LLM phân bổ sự chú ý cho các token. Giống như con người, chúng ưu tiên những gì xảy ra gần đây hơn. Kết quả là những đoạn thông tin ở giữa, dù quan trọng nhưng lại dễ bị bỏ quên.
Điều này đặc biệt gây khó khăn cho các lập trình viên. Nếu một nhà phát triển nhờ AI sửa lỗi trong đoạn mã cách đây vài trăm dòng, mô hình có thể không nhớ chính xác phần đó vì nó đã trượt ra ngoài tầm chú ý.
Tác động với các công cụ AI lập trình
Các công cụ như Claude Code hay GitHub Copilot cũng hoạt động trong giới hạn cửa sổ ngữ cảnh. Khi dự án hoặc phiên làm việc quá dài, chúng dễ gặp lỗi quên lệnh, phản hồi sai hoặc ngừng trả lời.
Vì vậy, người dùng chuyên nghiệp thường phải chia nhỏ, tóm tắt hoặc đặt lại phiên làm việc để giúp AI giữ tập trung.
Việc các chatbot như ChatGPT hay Gemini “bị quên” không phải lỗi hệ thống, mà là giới hạn tự nhiên của công nghệ hiện nay.
Khi các hãng công nghệ tiếp tục mở rộng cửa sổ ngữ cảnh và tối ưu khả năng ghi nhớ, tương lai có thể chứng kiến những mô hình AI nhớ lâu hơn, hiểu sâu hơn, tiến gần hơn tới trí tuệ nhân tạo thực thụ.
