Як AI autoresearch переосмислює експерименти з кодування AI та розпалює дебати щодо самовдосконалюючих систем...

За останні тижні вірусний експеримент Андрея Карпати перетворив автоматичне дослідження штучного інтелекту з ніші у центральну тему обговорень у спільноті AI-розробників.

Походження концепції автоматичного дослідження Карпати

Раніше цього місяця Андрей Карпата, видатний дослідник штучного інтелекту та один із засновників OpenAI, поділився вражаючим експериментом у X. Пізніше він очолив AI у Tesla, а зараз працює незалежно, керуючи Eureka Labs — проектом, що створює новий тип школи для епохи AI.

Карпата, який має 1,9 мільйона підписників у X, має таку впливовість, що майже будь-який коментар про AI швидко поширюється. Однак цей останній пост виділявся тим, що демонстрував систему, яку він створив для автоматизованих досліджень, назвавши її “автоматичним дослідженням”. Ідея швидко захопила уяву як практиків, так і теоретиків.

У експерименті Карпата запустив AI-агента для кодування, щоб провести серію тестів, спрямованих на покращення навчання невеликої мовної моделі. За два безперервні дні агент виконав 700 експериментів, систематично досліджуючи конфігурації навчання для пошуку кращих налаштувань.

У ході цих експериментів агент виявив 20 оптимізацій, що підвищили ефективність навчання. Більше того, застосувавши ті самі 20 змін до більшої, хоча й досі відносно невеликої мовної моделі, Карпата зафіксував 11% прискорення у часі навчання. Цей конкретний результат підкреслив практичний потенціал його підходу.

Від лабораторної демонстрації до потенційної нової парадигми досліджень

Карпата описав цю систему як універсальний рушій для оптимізації коду та моделей. Важливо, що він наголосив, що агент автоматичного дослідження не налаштовує себе сам, а скоріше коригує код навчання та початкові параметри нейронної мережі іншої, меншої AI-моделі. Це розмежування важливе для обговорень безпеки, навіть якщо його наслідки для дослідницьких процесів є значними.

Він стверджував, що такі інструменти можуть змінити спосіб, яким провідні лабораторії проводять дослідження AI. “Усі передові лабораторії LLM зроблять це. Це фінальна битва босів,” — писав Карпата у X. Однак він визнав, що масштабування ідеї з проекту на 630 рядків Python до коду передової моделі, що в сотні разів більша, додає значну складність.

Карпата все ще вважає цю задачу інженерною проблемою, а не концептуальним бар’єром. На його думку, лабораторії запустять безліч агентів, які співпрацюватимуть для налаштування менших моделей, а потім поступово просуватимуть найперспективніші ідеї до більших масштабів. Люди, за його словами, “можуть за бажанням” долучатися на крайніх етапах, керуючи та оцінюючи, а не вручну переписуючи кожну зміну.

Зараз його реалізація зосереджена на одному агенті, який ітеративно покращує кодову базу за одним шляхом. У майбутньому ж він очікує, що кілька AI-агентів досліджуватимуть різні гіпотези та експерименти паралельно. Він писав, що наступний крок для автоматичного дослідження — стати асинхронним, масово колаборативним середовищем для агентів, створеним для імітації дослідницької спільноти, а не одного PhD-студента.

Реакція індустрії та тест Shopify

Експеримент швидко перейшов від теорії до практики, коли Тобіас Лютке, співзасновник і CEO Shopify, вирішив спробувати цю систему на даних компанії. Лютке повідомив у X, що він використав систему для оптимізації внутрішньої AI-моделі, наказавши агенту покращити і якість, і швидкість. Це зробило концепцію більш зрозумілою для застосувань у бізнесі.

За словами Лютке, після нічної роботи агент провів 37 експериментів і досяг 19% покращення продуктивності. Він не опублікував повний технічний опис, але результат був достатньо вражаючим, щоб викликати додатковий інтерес і спекуляції щодо комерційного впливу.

Карпата згодом зазначив, що будь-яка метрика, яку можна ефективно оцінити, може бути ціллю для такого рою агентів. Більше того, він додав, що якщо метрика має дешевий проксі, наприклад, навчання меншої мережі замість великої, її також можна враховувати. Він закликав технологів задуматися, чи їхні задачі оптимізації належать до цієї категорії.

Зв’язки з мрією та страхом самовдосконалювального AI

Що справді привернуло увагу публіки, — це те, наскільки ця ідея нагадує довго обговорювану концепцію самовдосконалювального AI. Наукова фантастика часто зображує системи, що переписують свій код, тоді як деякі сучасні дослідники прагнуть до таких можливостей, а інші їх бояться. Ідея рекурсивного самовдосконалення має особливий резонанс у колах безпеки AI.

У цих дискусіях головною тривогою є те, що AI може безперервно оптимізувати свою архітектуру та навчальні дані у циклі. За багато циклів це може спричинити те, що деякі дослідники безпеки називають “жорстким злітанням” або “вибухом інтелекту”. У такому сценарії AI може швидко перевищити людські когнітивні здібності, ускладнюючи або роблячи неможливим збереження контрольованості.

Однак налаштування Карпати не відповідає цій ідеалізованій або тривожній картині. Агент, який він використовує, не змінює власний процес навчання або внутрішню структуру. Замість цього він переписує код навчання та налаштування нейронної мережі іншої, простішої моделі. Це зберігає систему у межах більш традиційної парадигми оптимізації, хоча напрямок розвитку очевидний.

Проте багато спостерігачів сприйняли цю роботу як попередній огляд того, як лабораторії зможуть з часом керувати більш автономними системами. Крім того, зробивши експерименти на основі агентів доступними та ефективними, цей проект може прискорити впровадження подібних архітектур, включаючи більш просунуті цикли оптимізації агентських систем.

Цикл Карпати та узагальнені шаблони агентів

Деякі аналітики підкреслили, що основний патерн цього проекту можна абстрагувати та повторно використовувати. Янакірам MSV, головний аналітик Janakiram & Associates, написав у технічному виданні The New Stack, що Карпата фактично визначив повторюваний цикл. Він назвав його “циклом Карпати”, пропонуючи шаблон для ширших систем агентів.

За словами Янакірама, цей цикл має три основні елементи. По-перше, агент має мати доступ до одного файлу, який він може вільно змінювати. По-друге, потрібно мати єдину, об’єктивно тестовану метрику для оптимізації. По-третє, має бути фіксований час для кожного експерименту, обмежуючи час роботи агента перед звітом.

Він також наголосив, що інструкції, закладені Карпато у конфігураційний файл, є сильною моделлю для того, як спілкуватися з будь-яким AI-агентом. Текстовий файл чітко визначав, що агент має робити, які обмеження застосовуються, що він не повинен торкатися, і критерії зупинки. Крім того, він точно визначав, скільки має тривати кожен цикл і коли агент має зупинитися та підсумувати результати.

Коментатори стверджували, що цей стиль точного проектування підказок стає важливим навиком. Поки базові моделі стають потужнішими, ефективний контроль все ще залежить від людей, які пишуть чіткі, структуровані директиви, що узгоджують автономію агента з конкретними цілями та обмеженнями.

Автоматичне дослідження проти існуючих AutoML підходів

Не всі погоджувалися, що робота Карпати є проривом. Деякі критики казали, що він фактично відновив компоненти AutoML — набору технік, які Google, Microsoft та інші лабораторії AI використовують уже роками. AutoML-фреймворки також виконують ітеративні експерименти у пошуках кращих даних, архітектур і гіперпараметрів.

Класичні AutoML-системи сильно залежать від автоматизованих циклів оптимізації та стратегій пошуку. Вони досліджують архітектури моделей, налаштовують гіперпараметри і іноді вибирають дані для навчання за допомогою випадкових варіацій або еволюційних алгоритмів. Однак вони зазвичай не мають агента, який може читати наукові статті, проектувати нові гіпотези і вносити довільні зміни у код у відповідь.

Карпата заперечив порівняння, що зменшують різницю. Він вказав на методи, такі як пошук нейронних архітектур, що з’явилися як спосіб автоматизації дизайну моделей. На його думку, ранні форми цієї техніки були слабкими порівняно з агентом, який може аналізувати код, вчитися на попередніх випробуваннях і витягати інформацію з інтернету.

Він описав історичний пошук архітектур нейронних мереж як “таку слабку версію, що вона сама по собі є цілком марною”. Більше того, він підкреслив, що його система використовує великий мовний модель для написання довільного коду, інтерпретації результатів попередніх експериментів і адаптації стратегій у реальному часі, що робить її набагато гнучкішою за традиційні pipelines AutoML.

Перспективи масштабування та ширший вплив

З зростанням уваги деякі дослідники досліджують, як ідеї автоматичного дослідження Карпати можна масштабувати до повних роїв агентів. Мета — створити мережу спеціалізованих агентів, які розподілятимуть завдання, перевірятимуть результати і пропонуватимуть нові підходи, при цьому люди задаватимуть високорівневі цілі та обмеження. Це може трансформувати як академічні, так і промислові процеси AI.

Однак масштабування роїв агентів піднімає відкриті питання безпеки, надійності та управління. Спостерігачі, які стурбовані ризиками рекурсивного самовдосконалення, попереджають, що зростання автономії та впливу цих систем на критичну інфраструктуру вимагає ретельного контролю. Важливо зберігати надійні метрики оцінки та людський контроль на кожному етапі.

Поки що проект Карпати залишається відносно обмеженим прикладом того, як мовні моделі можуть проводити експерименти автоматичного дослідження на скромних кодових базах. Однак реакція таких фігур, як Лютке, та аналітиків галузі свідчить, що цей патерн може швидко поширитися, розмиваючи межу між людськими дослідниками та автономними колективами агентів.

У підсумку, робота Карпати з автоматичного дослідження демонструє, що один добре налаштований агент може за кілька днів виявити вимірювані покращення продуктивності, а не за місяці. Крім того, з розширенням цих технік на більші моделі та багаторойові системи, вони можуть розкрити нові потужні можливості і водночас посилити давні дискусії про автономію, контроль і майбутній напрям досліджень AI.