当人工智能代理开始记忆时,它们也开始信任,而这正是事情可能出错的地方。



AI代理不再只是接受提示。它们还存储过去聊天、行动甚至钱包数据的记忆。
那段记忆帮助他们保持一致,但它也可能被污染。

想象一下,有人偷偷地将一条虚假的信息放入代理的长期记忆中(不是在提示中)而是在它已经相信的真实内容中。

下次代理人行动时,它不会认为自己被黑客攻击。它只会遵循那段损坏的记忆,签署错误的交易,将资金发送到错误的钱包,甚至泄露私人数据,因为它“记得”一个谎言。

@SentientAGI称之为内存注入攻击,这是一种大多数AI系统未准备好的静默威胁,它隐藏在代理已经知道的内容中。

为了能够应对这一点,Sentient 正在探索可验证的代理,这些系统中的每个记忆和决策在执行之前都可以进行加密检查。

因为一旦人工智能可以记住,它也可以忘记它原本应该是什么。

而这就是真正危险开始的地方。
查看原文
post-image
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
0/400
暂无评论
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)