quando os agentes de IA começam a lembrar, também começam a confiar e é exatamente aí que as coisas podem correr mal.

Os agentes de IA não apenas recebem prompts agora. Eles também armazenam memória de chats passados, ações, até mesmo dados de carteira.
essa memória os ajuda a manterem-se consistentes, mas também pode ser envenenada.

Imagine alguém a introduzir uma informação falsa na memória de longo prazo de um agente (não no prompt) mas no que já acredita ser verdade.

na próxima vez que o agente agir, ele não achará que foi hackeado. Ele apenas seguirá aquela memória corrompida e assinará a transação errada, enviará fundos para a carteira errada ou até mesmo vazará dados privados porque "lembra-se" de uma mentira.

@SentientAGI chama isso de ataque de injeção de memória, uma ameaça silenciosa para a qual a maioria dos sistemas de IA não está preparada e que se esconde no que o agente já sabe.

para poder combater isso, a Sentient está a explorar agentes verificáveis, sistemas onde cada memória e decisão pode ser verificada criptograficamente antes de ser executada.

porque uma vez que a IA pode lembrar, também pode esquecer quem deveria ser.

e é aí que começa o verdadeiro perigo.