當人工智能代理開始記憶時,它們也開始信任,而這正是事情可能出錯的地方。



AI代理不再只是接受提示。它們還存儲過去聊天、行動甚至錢包數據的記憶。
那段記憶幫助他們保持一致,但它也可能被污染。

想象一下,有人偷偷地將一條虛假的信息放入代理的長期記憶中(不是在提示中)而是在它已經相信的真實內容中。

下次代理人行動時,它不會認爲自己被黑客攻擊。它只會遵循那段損壞的記憶,簽署錯誤的交易,將資金發送到錯誤的錢包,甚至泄露私人數據,因爲它“記得”一個謊言。

@SentientAGI稱之爲內存注入攻擊,這是一種大多數AI系統未準備好的靜默威脅,它隱藏在代理已經知道的內容中。

爲了能夠應對這一點,Sentient 正在探索可驗證的代理,這些系統中的每個記憶和決策在執行之前都可以進行加密檢查。

因爲一旦人工智能可以記住,它也可以忘記它原本應該是什麼。

而這就是真正危險開始的地方。
查看原文
post-image
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 留言
  • 轉發
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate App
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)