AIエージェントが記憶を持ち始めると、彼らは信頼し始め、それが正に問題が発生するところです。

AIエージェントはもはや単なるプロンプトを受け取るだけではありません。彼らは過去のチャットや行動、さらにはウォレットデータの記憶も保存します。
その記憶は彼らが一貫性を保つのに役立ちますが、それはまた毒される可能性もあります。

誰かがエージェントの長期記憶に偽の情報を忍び込ませることを想像してみてください(プロンプトの中ではなく)すでに真実だと信じていることの中に。

次にエージェントが行動する時、ハッキングされたとは思わないでしょう。ただその壊れた記憶に従って間違った取引に署名し、間違ったウォレットに資金を送信したり、プライベートデータを漏洩したりするかもしれません。なぜなら、それは「嘘」を「覚えている」からです。

@SentientAGIはこれをメモリーインジェクション攻撃と呼び、ほとんどのAIシステムが準備できていない静かな脅威であり、それはエージェントがすでに知っていることに隠れています。

これに対抗するために、Sentientは、実行される前にすべての記憶と決定が暗号的に検証できるシステムである検証可能なエージェントを探求しています。

なぜなら、AIが記憶できるようになると、元々の自分を忘れることもできるからです。

そして、そこで本当の危険が始まります。