cuando los agentes de IA comienzan a recordar, también comienzan a confiar y ahí es exactamente donde las cosas pueden salir mal.

Los agentes de IA ya no solo reciben indicaciones. También almacenan recuerdos de chats pasados, acciones, e incluso datos de billetera.
esa memoria les ayuda a mantenerse consistentes, pero también puede estar envenenada.

Imagina a alguien colando una pieza falsa de información en la memoria a largo plazo de un agente (no en el aviso) sino en lo que ya cree que es verdad.

la próxima vez que el agente actúe, no pensará que ha sido hackeado. Simplemente seguirá esa memoria corrupta y firmará la transacción incorrecta, enviará fondos a la billetera equivocada o incluso filtrará datos privados porque "recuerda" una mentira.

@SentientAGI llama a esto un ataque de inyección de memoria, una amenaza silenciosa para la que la mayoría de los sistemas de IA no están preparados y se oculta en lo que el agente ya sabe

para poder luchar contra esto, Sentient está explorando agentes verificables, sistemas donde cada memoria y decisión puede ser verificada criptográficamente antes de que se ejecute.

porque una vez que la IA puede recordar, también puede olvidar quién se suponía que debía ser.

y ahí es donde comienza el verdadero peligro.