De Attention Is All You Need a la clave de los avances en IA

En la conferencia GTC de 2024 ocurrió algo interesante: el fundador de Nvidia, Jensen Huang, participó en un panel con 8 ingenieros de Google, y uno de ellos resultó ser el fundador de NEAR. Estos 8 ingenieros publicaron juntos el artículo “Attention Is All You Need” hace 7 años, que hasta ahora ha sido citado más de 110,000 veces. Es posible que no hayan imaginado cómo esta investigación, publicada el 12 de junio de 2017, revolucionaría profundamente toda la industria de la IA.

Cómo los Transformers han revolucionado la forma en que la IA aprende

Imagina que el cerebro humano es como la selva amazónica: lleno de diferentes áreas funcionales conectadas por vías estrechas. Las neuronas son como los mensajeros de estas vías, capaces de enviar y recibir señales a cualquier parte del cerebro. Esta estructura otorga a la mente humana una poderosa capacidad de aprendizaje y reconocimiento.

La arquitectura Transformer intenta replicar este mecanismo en las redes neuronales. Introduce el mecanismo de atención, superando el cuello de botella de las primeras RNN (redes neuronales recurrentes), que solo podían procesar secuencias de forma secuencial. Los Transformers pueden analizar todas las partes de una secuencia simultáneamente, capturando relaciones a larga distancia y contexto. Por supuesto, la tecnología aún no alcanza ni siquiera una milésima de la capacidad del cerebro humano.

Desde aplicaciones de reconocimiento de voz como Siri hasta el actual ChatGPT, la evolución de la IA ha sido una serie de iteraciones de modelos Transformer: XLNet, BERT, GPT y otros derivados han surgido en cascada. Entre ellos, GPT es el más conocido, aunque todavía presenta limitaciones en la predicción de eventos.

La próxima clave en los grandes modelos de lenguaje: la capacidad de fusión temporal

El núcleo de “Attention Is All You Need” es el mecanismo de atención, y el próximo gran salto en IA vendrá de los transformadores de fusión temporal (TFT). Cuando los grandes modelos de lenguaje (LLM) puedan predecir eventos futuros basándose en datos históricos y patrones, estaremos dando un paso importante hacia la inteligencia artificial general (AGI).

El TFT no solo predice valores futuros, sino que también puede explicar su lógica de predicción. Esta capacidad tiene un valor único en el campo de las cadenas de bloques. Al definir reglas en el modelo, el TFT puede gestionar automáticamente los procesos de consenso, aumentar la velocidad de creación de bloques, recompensar a los validadores honestos y penalizar a los malintencionados.

Nuevas posibilidades en los mecanismos de consenso de blockchain

El consenso en las redes públicas es esencialmente un juego entre validadores: se requiere que más de dos tercios de ellos estén de acuerdo sobre quién crea el próximo bloque. Este proceso puede generar desacuerdos, lo que lleva a ineficiencias en redes como Ethereum.

La introducción del TFT ofrece una nueva perspectiva. Las cadenas públicas pueden basarse en el historial de votos de los validadores, registros de propuestas de bloques, registros de Slash, montos de staking y niveles de actividad para construir un sistema de reputación. Los validadores con mayor puntuación de reputación recibirán más recompensas por bloques, mejorando así la eficiencia en la producción de bloques.

El proyecto BasedAI está explorando esta vía, planeando usar modelos TFT para distribuir tokens entre validadores y participantes de la red. Además, integra tecnología de cifrado homomórfico completo (FHE), permitiendo a los desarrolladores desplegar grandes modelos de lenguaje (Zk-LLMs) en su infraestructura descentralizada de IA llamada “Brains”, con protección de privacidad.

Privacidad y cifrado: un paso clave hacia la AGI

La ventaja de la tecnología FHE es que los usuarios pueden activar servicios de IA personalizados manteniendo sus datos completamente cifrados. Tecnologías de protección de privacidad como el aprendizaje automático con conocimiento cero (ZkML), computación ciega y cifrado homomórfico están llenando ese vacío.

Cuando las personas confíen en que sus datos están protegidos por cifrado y estén dispuestas a contribuir con datos en un entorno de privacidad total, estaremos más cerca de lograr la ruptura de la AGI. Esto se debe a que la implementación de la AGI requiere una cantidad masiva de datos multidimensionales, y las preocupaciones sobre la seguridad de los datos limitan actualmente su flujo.

Sin embargo, los desafíos siguen presentes: todas estas tecnologías de protección de privacidad consumen muchos recursos computacionales, lo que las mantiene en etapas iniciales y aún no permiten una implementación a gran escala. Pero la tendencia está clara: la puerta que abrió “Attention Is All You Need” será empujada hacia una nueva era por la fusión de privacidad, computación y consenso.