коли агентам ШІ починають запам'ятовувати, вони також починають довіряти, і саме тут можуть виникнути проблеми.
AI-агенти вже не просто реагують на запити. Вони також зберігають пам'ять про минулі чати, дії, навіть дані гаманця.
ця пам'ять допомагає їм залишатися послідовними, але її також можна отруїти.
Уявіть собі, що хтось підсовує фальшиву інформацію в довгострокову пам'ять агента (не в підказці), а в те, у що він вже вважає правдою.
в наступний раз, коли агент буде діяти, він не подумає, що його зламали. Він просто дотримуватиметься цієї корумпованої пам'яті та підпише
Переглянути оригінал