когда агенты ИИ начинают запоминать, они также начинают доверять, и именно здесь все может пойти не так.

AI-агенты больше не просто принимают запросы. Они также хранят память о предыдущих чатах, действиях, даже данных кошелька.
эта память помогает им оставаться последовательными, но она также может быть отравлена.

Представьте себе, что кто-то подсовывает фальшивую информацию в долговременную память агента (не в подсказке), а в то, что он уже считает истинным.

в следующий раз, когда агент будет действовать, он не подумает, что его взломали. Он просто будет следовать этой испорченной памяти и подпишет неверную транзакцию, отправит средства на неправильный кошелек или даже泄露 личные данные, потому что он "помнит" ложь.

@SentientAGI называет это атакой инъекции памяти, тихой угрозой, к которой большинство ИИ-систем не готовы, и она скрывается в том, что агент уже знает.

для того чтобы с этим бороться, Sentient исследует проверяемых агентов, системы, в которых каждая память и каждое решение могут быть криптографически проверены перед выполнением.

потому что, как только ИИ может запомнить, он также может забыть, кем он должен был быть.

и вот где начинается настоящая опасность.