Виталик Бутерин назвал "управление с помощью ИИ" "плохой идеей"

Соучредитель Ethereum, Виталик Бутерин, считает, что использование искусственного интеллекта (AI) для управления — это «плохая идея». Он предупреждает, что если использовать ИИ для распределения бюджета, система будет легко подвержена эксплуатации с помощью jailbreak-кода с целью присвоения всех средств.

Комментарий Бутерина был сделан после того, как Эито Миямура, генеральный директор EdisonWatch, указал на серьезную уязвимость в ChatGPT после того, как эта платформа полностью интегрировала протокол MCP, позволяющий ИИ получать доступ к данным из таких приложений, как Gmail, Calendar и Notion. Миямура заявил, что злоумышленник может украсть всю личную информацию всего лишь с помощью одного электронного письма, содержащего вредоносное приглашение на встречу.

Вместо того чтобы передавать все полномочия ИИ, Бутерин предложил модель «информационных финансов» — открытый рынок, где множество разработчиков предоставляют различные модели ИИ. Эти модели могут быть случайным образом проверены и оценены кадровым советом с поддержкой LLM, чтобы обеспечить разнообразие и прозрачность.

Бутерин предупреждает, что тенденция «ИИ как управляющий» несет серьезные риски, не только в отношении традиционной безопасности ИИ, но и может привести к «значительным потерям в ценности» в краткосрочной перспективе.