коли агентам ШІ починають запам'ятовувати, вони також починають довіряти, і саме тут можуть виникнути проблеми.

AI-агенти вже не просто реагують на запити. Вони також зберігають пам'ять про минулі чати, дії, навіть дані гаманця.
ця пам'ять допомагає їм залишатися послідовними, але її також можна отруїти.

Уявіть собі, що хтось підсовує фальшиву інформацію в довгострокову пам'ять агента (не в підказці), а в те, у що він вже вважає правдою.

в наступний раз, коли агент буде діяти, він не подумає, що його зламали. Він просто дотримуватиметься цієї корумпованої пам'яті та підпише неправильну транзакцію, надішле кошти не на той гаманець або навіть витече приватні дані, тому що він «пам'ятає» брехню.

@SentientAGI називає це атакою ін'єкції пам'яті, тихою загрозою, до якої більшість систем ШІ не готові, і вона ховається в тому, що агент вже знає.

щоб мати можливість протистояти цьому, Sentient досліджує верифікованих агентів, системи, де кожна пам'ять і рішення можуть бути криптографічно перевірені перед виконанням.

бо як тільки ШІ може запам'ятовувати, він також може забути, ким він мав бути.

і ось де починається справжня небезпека.