Из Attention Is All You Need — ключ к прорыву в области ИИ

На GTC 2024 произошло интересное событие: основатель Nvidia Дженсен Хуанг провёл групповую дискуссию с 8 инженерами Google, один из которых оказался основателем NEAR. Эти 8 инженеров совместно опубликовали статью «Attention Is All You Need» 7 лет назад, которая по сей день цитируется более 110 000 раз. Возможно, они и не предполагали, как глубоко это исследование, опубликованное 12 июня 2017 года, изменит всю индустрию ИИ.

Как Transformer революционизировал обучение ИИ

Представьте, что человеческий мозг — это амазонский тропический лес — заполнен различными функциональными зонами, соединёнными плотными путями. Нейроны — это посланники этих путей, способные отправлять и получать сигналы в любую часть мозга. Эта структура даёт человеку мощные способности к обучению и распознаванию.

Архитектура Transformer — это попытка воспроизвести этот механизм нейронной сети. Она вводит механизм самовнимания, преодолевая ограничения ранних RNN (рекуррентных нейронных сетей) — RNN могли обрабатывать последовательности только поэтапно, тогда как Transformer способен одновременно анализировать все части последовательности, что позволяет захватывать долгосрочные зависимости и контекст. Конечно, на сегодняшний день уровень технологий ещё далёк от человеческого мозга — менее чем на одну сотую.

От приложений распознавания речи, таких как Siri, до современных ChatGPT — эволюция ИИ идёт через итерации моделей серии Transformer: XLNet, BERT, GPT и их производные. Среди них GPT наиболее известна, но её предсказательная способность всё ещё явно уступает человеку.

Следующий ключевой момент больших языковых моделей — способность к временной интеграции

Attention Is All You Need сделал основной вклад в механизм внимания, а следующий скачок в ИИ будет связан с временными интеграторами (TFT). Когда крупные языковые модели (LLM) смогут предсказывать будущие события на основе исторических данных и паттернов, это станет большим шагом к реализации общего искусственного интеллекта (AGI).

TFT не только предсказывает будущие значения, но и объясняет свою логику предсказания. Эта способность имеет уникальное применение в блокчейн-сфере. Определяя правила внутри модели, TFT может автоматически управлять процессами консенсуса, повышать скорость блокирования, поощрять честных валидаторов и наказывать злонамеренных участников.

Новые возможности в механизмах консенсуса блокчейна

Консенсус в публичных сетях — это по сути игра между валидаторами: нужно, чтобы более двух третей согласовали, кто создаст следующий блок. Этот процесс часто приводит к разногласиям и снижает эффективность таких сетей, как Ethereum.

Внедрение TFT открывает новые идеи. Публичные цепочки могут строить системы репутации на основе истории голосований валидаторов, записей предложений блоков, Slash-историй, суммы стейкинга и активности. Валидаторы с высоким рейтингом получают больше наград за блоки, что повышает общую эффективность.

Проект BasedAI уже экспериментирует с этим подходом, планируя использовать модель TFT для распределения токенов между валидаторами и участниками сети. Также он интегрирует технологию полного гомоморфного шифрования (FHE), позволяя разработчикам запускать приватные крупные языковые модели (Zk-LLMs) на своей децентрализованной инфраструктуре «Brains».

Приватность и шифрование: ключ к AGI

Преимущество FHE в том, что пользователи могут активировать персонализированные AI-сервисы, сохраняя свои данные полностью зашифрованными. Технологии приватности, такие как Zero-Knowledge ML (ZkML), Blind Computation и гомоморфное шифрование, заполняют этот пробел.

Когда люди будут уверены, что их данные защищены шифрованием и готовы делиться ими при полном соблюдении приватности, мы будем ближе к прорыву AGI. Это связано с тем, что для реализации AGI нужны огромные объёмы многомерных данных, а текущие опасения по поводу безопасности данных ограничивают их поток.

Однако реальные вызовы всё ещё остаются — все эти технологии требуют больших вычислительных ресурсов, что делает их пока что на ранних стадиях применения, и до масштабного внедрения ещё далеко. Но тренд ясен: двери, открытые Attention Is All You Need, будут продолжать открываться благодаря слиянию приватности, вычислений и консенсуса, выводя нас в новую эпоху.