Недавно у меня возникла мысль: если бы можно было напрямую предоставить большие языковые модели доступ к управлению компьютером, возможно, это дало бы неожиданные результаты.

Современные AI-помощники на самом деле довольно неловкие, они могут понять ваши потребности только через диалоговое окно и не могут видеть, какие программы запущены на вашем компьютере и какие файлы открыты. Если бы AI мог «увидеть» локальную среду — диспетчер задач, файловую директорию, даже содержимое экрана, его советы и действия могли бы быть гораздо более точными.

Конечно, безопасность — это большая проблема, но с точки зрения технической реализации эта локализованная модель взаимодействия ИИ действительно стоит изучения. В конце концов, какой бы мощной ни была облачная модель, она все равно не знает конкретной ситуации на вашем компьютере.