khi các tác nhân AI bắt đầu ghi nhớ, chúng cũng bắt đầu tin tưởng và đó chính xác là nơi mọi thứ có thể đi sai.
Các tác nhân AI không chỉ nhận lệnh nữa. họ còn lưu trữ ký ức về các cuộc trò chuyện trước, hành động, thậm chí là dữ liệu ví.
khoản ký ức đó giúp họ duy trì sự nhất quán nhưng nó cũng có thể bị đầu độc.
Hãy tưởng tượng ai đó lén lút đưa một thông tin giả mạo vào (not trí nhớ dài hạn của một đặc vụ trong prompt) nhưng trong những gì nó đã tin là đúng.
lần tới khi tác nhân hoạt động, nó sẽ không nghĩ rằng nó bị hack. Nó chỉ đơn giản là làm theo ký ức bị hỏng đó và ký giao dịch sai, gử
Xem bản gốc