ketika agen AI mulai mengingat, mereka juga mulai mempercayai dan itulah tepatnya di mana segalanya bisa salah.

Agen AI tidak hanya menerima prompt lagi. Mereka juga menyimpan memori dari obrolan, tindakan, bahkan data dompet yang lalu.
memori itu membantu mereka tetap konsisten tetapi juga bisa diracuni.

Bayangkan seseorang menyusupkan informasi palsu ke dalam ingatan jangka panjang seorang agen (bukan dalam prompt) tetapi dalam apa yang sudah diyakininya sebagai kebenaran.

ketika agen bertindak berikutnya, ia tidak akan berpikir bahwa ia telah diretas. Ia hanya akan mengikuti memori yang rusak itu dan menandatangani transaksi yang salah, mengirim dana ke dompet yang salah atau bahkan membocorkan data pribadi karena ia "mengingat" sebuah kebohongan.

@SentientAGI menyebut ini sebagai serangan injeksi memori, ancaman diam yang kebanyakan sistem AI belum siap hadapi dan ia bersembunyi di dalam apa yang sudah diketahui oleh agen tersebut.

untuk dapat melawan ini, Sentient sedang menjelajahi agen yang dapat diverifikasi, sistem di mana setiap ingatan dan keputusan dapat diperiksa secara kriptografis sebelum dijalankan.

karena begitu AI bisa mengingat, ia juga bisa melupakan siapa seharusnya ia.

dan di situlah bahaya yang sebenarnya dimulai.