Lorsque les agents d'IA commencent à se souvenir, ils commencent aussi à faire confiance et c'est précisément là que les choses peuvent mal tourner.

Les agents IA ne se contentent plus de recevoir des instructions. Ils stockent également la mémoire des discussions passées, des actions, voire des données de portefeuille.
cette mémoire les aide à rester cohérents mais elle peut aussi être empoisonnée.

Imaginez quelqu'un glissant une fausse information dans la mémoire à long terme d'un agent (pas dans l'invite) mais dans ce qu'il croit déjà être vrai.

la prochaine fois que l'agent agira, il ne pensera pas qu'il a été piraté. Il suivra simplement cette mémoire corrompue et signera la mauvaise transaction, enverra des fonds au mauvais portefeuille ou même divulguera des données privées parce qu'il "se souvient" d'un mensonge.

@SentientAGI qualifie cela d'attaque par injection de mémoire, une menace silencieuse à laquelle la plupart des systèmes d'IA ne sont pas préparés et qui se cache dans ce que l'agent sait déjà.

pour pouvoir lutter contre cela, Sentient explore des agents vérifiables, des systèmes où chaque mémoire et décision peut être vérifiée cryptographiquement avant son exécution.

parce qu'une fois que l'IA peut se souvenir, elle peut aussi oublier qui elle était censée être.

et c'est là que le vrai danger commence.