Các mô hình lớn vẫn đang cạnh tranh về tham số, nhưng thực sự bắt đầu giới hạn ngành công nghiệp đã chuyển sang một vấn đề khác: lưu trữ ngữ cảnh.

Khi độ dài suy luận, chuỗi gọi Agent, trí nhớ dài hạn đều tăng lên, điều quyết định trải nghiệm và chi phí không chỉ là sức mạnh tính toán, mà còn là “liệu ngữ cảnh có thể được đọc, ghi, điều phối và tái sử dụng một cách hiệu quả hay không”. Đó cũng là lý do tại sao gần đây thị trường bắt đầu chú ý đến các hạ tầng như Nhớ Ngữ cảnh, Bộ đệm KV, phân tầng lưu trữ suy luận.
Giai đoạn tiếp theo của cạnh tranh AI, có thể không phải là ai tạo ra nhiều nội dung hơn, mà là ai có thể giúp mô hình duy trì hoạt động ổn định, chi phí thấp trong các nhiệm vụ dài hơn.
Nếu nói thời kỳ huấn luyện cạnh tranh về GPU, thì thời kỳ Agent, cạnh tranh về Memory.
Đây cũng là lý do tôi thảo luận với các bạn trong nhóm về việc tại sao tôm hùm đáng để chơi, tôi nói rằng Claude code đều nhắm vào tôm hùm để tối ưu. Nhưng họ nói về vấn đề toàn bộ ngữ cảnh, tôi lại không biết nói gì, chỉ biết trung thành nuôi tôm hùm thật tốt.