Как DeAI может конкурировать с централизованным ИИ: преимущества, применение и финансирование

Автор: 0xJeff, шифрование KOL

Компиляция: Felix, PANews

Сегодня каждый что-то продает, будь то еда, жилье, энциклопедии, электроника, приложения или последние достижения в области ИИ.

Ранее продавались практичные вещи, удовлетворяющие более низкие уровни иерархии потребностей Маслоу, сегодня же продаются мечты и надежды, упакованные в яркую оболочку, особенно в области шифрования ИИ.

Шифрование AI продукты и инфраструктура часто трудно понимаемы, что приводит к тому, что команды используют слишком много специализированной терминологии в общении, не способствуя привлечению пользователей.

Кроме того, запуск настоящей лаборатории ИИ (не просто простая упаковка) требует значительных средств для финансирования талантов, участников, вычислительных ресурсов и других необходимых ресурсов.

Передовые корпоративные AI лаборатории обходятся в миллионы долларов в год. Если речь идет о исследовании, обучении и оптимизации передовых AI моделей, стоимость может достигать сотен миллионов долларов. Цены на GPU модели H100 колеблются от 25 000 до 40 000 долларов, в то время как более новые GPU модели Blackwell B200 и GB200 стоят от 30 000 до 70 000 долларов. Обучение одной передовой модели может потребовать тысячи таких GPU.

Преимущества децентрализованного AI (DeAI): малые модели + обучение с подкреплением

Выбор децентрализованной системы, то есть координация вычислительных ресурсов по всему миру для обучения одной модели, теоретически может значительно снизить стоимость GPU (сэкономить от 30% до 90%), поскольку вы можете использовать глобальную сеть неиспользуемых GPU. Однако на практике координировать эти GPU и гарантировать, что они все работают качественно, очень трудно. Поэтому в настоящее время нет децентрализованных AI-лабораторий, способных справиться с проблемой децентрализованного обучения.

Тем не менее, будущее все еще обнадеживает, поскольку несколько лабораторий добились обнадеживающих результатов в области децентрализованного усиленного обучения. Именно этот процесс самосоревнования и самообучения позволяет небольшой модели стать чрезвычайно умной.

Не во всех случаях необходимы крупные языковые модели (LLM). Обучение специализированных моделей и использование обучения с подкреплением (RL) для совершенствования и повышения их навыков является наиболее экономически эффективным способом предоставления корпоративных AI-решений, поскольку в конечном итоге клиентам нужны результаты (соответствие, безопасность, высокая стоимость и повышение производительности).

Еще в 2019 году OpenAI Five победил тогдашнюю команду чемпиона мира OG в игре «Dota 2». Это не было везением, а полное подавление, с двумя подряд победами над командой OG.

Вам может быть интересно, как это сделано?

«Dota 2» — это крайне сложная многопользовательская игра в жанре боевой арены, в которой 5 игроков сражаются друг с другом, выполняя различные задачи и уничтожая базу противника.

Чтобы ИИ мог противостоять топовым игрокам, он следовал следующим шагам:

• Начните с нуля и сражайтесь с самим собой: изучайте базовые знания и проводите миллионы самосражений. Если вы победите, это означает, что действия были удачными; если вы проиграете, это означает, что действия были неудачными (то есть масштабное пробование и ошибки).
• Настройка системы вознаграждений (баллы), стимулирующая действия с положительным ожидаемым значением (EV), такие как разрушение башен и убийство героев, и штрафующие за действия с отрицательным ожидаемым значением.
• Метод тренировки использует алгоритм усиленного обучения под названием “PPO”, AI пробует определённые действия в соревновании, PPO рассматривает результаты как обратную связь. Если результат хороший, то действия повторяются чаще; если результат плохой, то действия повторяются реже. Этот подход постепенно направляет AI в правильном направлении.
• Сотни GPU работают почти год, обучая ИИ, который постоянно учится и адаптируется к обновлениям и изменениям версий игр.
• Через некоторое время он начинает самостоятельно исследовать сложные стратегии (жертвуя линией, принимая консервативный или агрессивный стиль игры в нужный момент, выбирая время для крупной атаки и т.д.) и начинает противостоять человеческим игрокам и побеждать.

Несмотря на то, что OpenAI Five уже выведен из эксплуатации, он вдохновил на использование небольших моделей, которые также могут быть крайне эффективными в определенных задачах (объем параметров OpenAI Five составляет всего 58 МБ).

Причина, по которой крупные лаборатории ИИ, такие как OpenAI, могут это сделать, заключается в наличии средств и ресурсов для обучения моделей с подкреплением. Если компания хочет иметь свой собственный OpenAI Five для обнаружения мошенничества, заводских роботов, автомобилей с автопилотом или торговли на финансовых рынках, ей потребуется значительное количество средств для этого.

Децентрализованное усиленное обучение решает эту проблему, и именно поэтому такие децентрализованные AI-лаборатории, как Nous Research, Pluralis, gensyn, Prime Intellect и Gradient, создают глобальную сеть GPU для совместной тренировки моделей усиленного обучения, предоставляя инфраструктуру для AI в конкретных областях для корпоративного уровня.

Некоторые лаборатории исследуют способы дальнейшего снижения затрат, например, используя RTX 5090/4090 вместо H100 для обучения моделей обучения с подкреплением. Есть также те, кто сосредотачивается на использовании обучения с подкреплением для повышения умственного уровня крупных базовых моделей.

Независимо от того, на каком исследовании сосредоточено внимание, это станет одним из самых перспективных направлений развития децентрализованного ИИ. Если децентрализованные решения для обучения с подкреплением смогут быть коммерчески широко применены, корпоративные клиенты вложат значительные средства в ИИ и увидят, как больше децентрализованных команд ИИ достигают годового дохода от 8 до 9 цифр.

предоставляет финансирование для DeAI и реализует масштабирование через координационный уровень

Однако, прежде чем достичь дохода в 8–9 цифр в год, им необходимо продолжать исследовать, внедрять и переходить к коммерчески жизнеспособным решениям на основе усиленного обучения, что требует значительных финансовых вложений.

Сбор средств через координационные уровни, такие как Bittensor, является одним из лучших способов. Каждый день миллионы долларов TAO распределяются между подсетями (стартапами и AI-лабораториями), в то время как участники (AI-таланты) вносят свой вклад в заинтересованные подсети, чтобы получить часть стимулирующих средств.

Bittensor позволяет участникам принимать участие в разработке ИИ, а также предоставляет инвесторам возможность инвестировать в лаборатории ИИ, которые вносят вклад в технологии DeAI.

В настоящее время в экосистеме Bittensor выделяются несколько ключевых сегментов DeAI, включая квантовые вычисления, децентрализованное обучение, AI-агенты и прогнозные системы (усиленное обучение пока не относится к ним, но более 3 подсетей активно занимаются децентрализованным усиленным обучением).

Каковы текущие достижения в области децентрализованного усиленного обучения?

Усиленное обучение уже доказало свою возможность широкого применения, но еще не достигло индустриализации. Хорошая новость заключается в том, что спрос на ИИ-агентов, способных обучаться на основе реальной обратной связи, стремительно растет. Например, агенты, которые могут учиться на реальных условиях, продажах и звонках в службу поддержки клиентов, а также торговые модели, способные адаптироваться к изменениям на рынке. Эти системы самообучения могут создавать или экономить миллионы долларов для предприятий.

Технологии конфиденциальности также набирают популярность. Применение таких технологий, как доверенные исполняемые окружения (TEE), встроенное шифрование в TEE и дифференциальная конфиденциальность в циклах обратной связи, способствует шифрованию и защите личной информации, позволяя таким чувствительным отраслям, как здравоохранение, финансовые услуги и юриспруденция, оставаться в соответствии с нормами, обладая при этом мощными AI-агентами для самообучения в конкретных областях.

Что будет дальше?

Усиленное обучение является безусловным выбором для дальнейшего повышения интеллекта ИИ. Усиленное обучение превращает ИИ из генеративной системы в активного, умного агента ИИ.

Сочетание шифрования и обучения с подкреплением будет способствовать фактическому принятию компаниями, предоставляя клиентам соответствующие решения.

Усиленное обучение сделало возможной “экономику агентов”, где агенты покупают вычислительные ресурсы, ведут взаимные переговоры и предоставляют услуги.

Из-за соотношения цены и качества децентрализованное усиленное обучение станет стандартным способом масштабирования обучения с подкреплением.

Федеративное обучение с подкреплением (Federated RL) появится, позволяя нескольким сторонам сотрудничать в обучении без обмена локальными конфиденциальными данными, сочетая защиту конфиденциальности с самообучением, что значительно повысит уровень интеллекта и будет соответствовать требованиям соблюдения.

Сопутствующие материалы: Шифрование AI меняет правила игры: Virtuals теряют популярность, DeFAI и предсказательный AI захватывают рынок.