khi các tác nhân AI bắt đầu ghi nhớ, chúng cũng bắt đầu tin tưởng và đó chính xác là nơi mọi thứ có thể đi sai.

Các tác nhân AI không chỉ nhận lệnh nữa. họ còn lưu trữ ký ức về các cuộc trò chuyện trước, hành động, thậm chí là dữ liệu ví.
khoản ký ức đó giúp họ duy trì sự nhất quán nhưng nó cũng có thể bị đầu độc.

Hãy tưởng tượng ai đó lén lút đưa một thông tin giả mạo vào (not trí nhớ dài hạn của một đặc vụ trong prompt) nhưng trong những gì nó đã tin là đúng.

lần tới khi tác nhân hoạt động, nó sẽ không nghĩ rằng nó bị hack. Nó chỉ đơn giản là làm theo ký ức bị hỏng đó và ký giao dịch sai, gửi tiền đến ví sai hoặc thậm chí rò rỉ dữ liệu cá nhân vì nó "nhớ" một lời nói dối.

@SentientAGI gọi đây là một cuộc tấn công tiêm trí nhớ, một mối đe dọa âm thầm mà hầu hết các hệ thống AI chưa sẵn sàng và nó ẩn nấp trong những gì tác nhân đã biết.

để có thể chống lại điều này, Sentient đang khám phá các tác nhân có thể xác minh, hệ thống mà mọi ký ức và quyết định có thể được kiểm tra mật mã trước khi thực hiện.

bởi vì một khi AI có thể nhớ, nó cũng có thể quên ai mà nó đã được định nghĩa.

và đó là nơi mà nguy hiểm thực sự bắt đầu.