Cómo DeAI compite con la IA centralizada: ventajas, aplicaciones y financiación

Autor: 0xJeff, encriptación KOL

Compilado por: Felix, PANews

Hoy en día, todos están vendiendo cosas, ya sea comida, vivienda, enciclopedias, productos electrónicos, aplicaciones o la reciente encriptación de la IA.

En el pasado, se vendían artículos prácticos que satisfacían los niveles más bajos de la jerarquía de necesidades de Maslow; hoy en día, se venden sueños y esperanzas, y se envuelven en un atractivo exterior, especialmente en el ámbito de la encriptación AI.

Los productos e infraestructuras de encriptación AI a menudo son difíciles de entender, lo que lleva a los equipos a usar demasiados términos técnicos en la comunicación, sin poder atraer a los usuarios.

Además, iniciar un verdadero laboratorio de IA (no solo un simple empaque) requiere una gran cantidad de fondos para financiar talento, contribuyentes, recursos de computación y otros recursos necesarios.

Los laboratorios de IA de nivel empresarial avanzados pueden costar millones de dólares al año. Si se están investigando, entrenando y optimizando modelos de IA de vanguardia, los costos pueden ascender a cientos de millones de dólares. El precio de las GPU del modelo H100 oscila entre 25,000 y 40,000 dólares, mientras que las GPU de los modelos más nuevos Blackwell B200 y GB200 tienen un precio entre 30,000 y 70,000 dólares. Entrenar un modelo de vanguardia puede requerir miles de estas GPU.

Ventajas de la AI descentralizada (DeAI): modelos pequeños + aprendizaje reforzado

Elegir un sistema descentralizado, es decir, coordinar recursos de computación a nivel global para entrenar un solo modelo, teóricamente puede reducir significativamente el costo de las GPU (ahorrando entre un 30% y un 90%), ya que puedes aprovechar la red de GPU inactivas en todo el mundo. Sin embargo, en la práctica, coordinar estas GPU y asegurar que todas funcionen con alta calidad es muy difícil. Por lo tanto, actualmente no hay laboratorios de IA descentralizados que puedan resolver el problema del entrenamiento descentralizado.

Sin embargo, el futuro aún tiene esperanza, ya que algunos laboratorios han logrado resultados alentadores en el aprendizaje reforzado descentralizado. Es precisamente este proceso de auto-juego y auto-aprendizaje lo que puede hacer que un modelo pequeño se vuelva extremadamente inteligente.

No todas las situaciones requieren modelos de lenguaje de gran escala (LLM). Entrenar modelos específicos de dominio y utilizar el aprendizaje por refuerzo (RL) para perfeccionar y mejorar sus habilidades es la forma más económica y efectiva de proporcionar soluciones de IA a nivel empresarial, ya que, al final, lo que los clientes quieren son resultados (cumplimiento, seguridad, rentabilidad y aumento de la productividad).

Desde 2019, OpenAI Five derrotó al equipo campeón mundial OG en Dota 2. No fue una casualidad, sino una aplastante victoria, derrotando al equipo OG en dos partidas consecutivas.

¿Te preguntarás cómo lo hace?

“Dota 2” es un juego de arena de batalla en línea multijugador extremadamente complejo, donde 5 jugadores compiten entre sí, completando varios objetivos y destruyendo la base del oponente.

Para que la IA pueda competir con los mejores jugadores, siguió los siguientes pasos:

• Comienza desde cero en la auto-batalla: aprende los conocimientos básicos y participa en millones de auto-batallas. Si ganas, significa que la operación es favorable; si pierdes, significa que la operación no es buena (es decir, una gran prueba y error).
• Establecer un sistema de recompensas (puntos) que incentive aquellas conductas que pueden llevar a un valor esperado (EV) positivo (como destruir torres de defensa, eliminar héroes), y penalice las conductas con valor esperado negativo.
• El método de entrenamiento utiliza un algoritmo de aprendizaje por refuerzo llamado “PPO”. La IA intenta ciertas acciones en la competencia, y PPO considera los resultados como retroalimentación. Si el resultado es bueno, se hace más; si el resultado es malo, se hace menos. De esta manera, la IA se dirige gradualmente en la dirección correcta.
• Cientos de GPU han estado entrenando inteligencia artificial durante casi un año, la IA sigue aprendiendo y adaptándose a las actualizaciones y cambios de la versión del juego.
• Después de un tiempo, comenzó a explorar por sí mismo estrategias complejas (sacrificar una línea de tropas, adoptar un enfoque conservador o agresivo en el momento adecuado, aprovechar el momento de un ataque a gran escala, etc.), y comenzó a enfrentarse a jugadores humanos y a ganar.

A pesar de que OpenAI Five ya se ha retirado, inspiró a que modelos más pequeños puedan ser extremadamente efectivos en tareas de dominios específicos (la cantidad de parámetros de OpenAI Five es de solo 58MB).

La razón por la que grandes laboratorios de IA como OpenAI pueden hacer esto es porque tienen los fondos y recursos para entrenar modelos de aprendizaje por refuerzo. Si una empresa quiere tener su propio OpenAI Five para detección de fraudes, robots en fábricas, coches autónomos o trading en mercados financieros, necesita una gran cantidad de fondos para lograrlo.

El aprendizaje por refuerzo descentralizado ha resuelto este problema, por lo que laboratorios de IA descentralizados como Nous Research, Pluralis, gensyn, Prime Intellect y Gradient están construyendo una red global de GPU para entrenar conjuntamente modelos de aprendizaje por refuerzo, proporcionando infraestructura para la IA específica de nivel empresarial.

Algunos laboratorios están investigando métodos para reducir aún más los costos, como usar RTX 5090/4090 en lugar de H100 para entrenar modelos de aprendizaje por refuerzo. También hay algunos que se centran en utilizar el aprendizaje por refuerzo para mejorar el nivel de inteligencia de los grandes modelos base.

Independientemente de dónde se centre la investigación, se convertirá en una de las direcciones de desarrollo más prometedoras de la IA descentralizada. Si las soluciones de aprendizaje por refuerzo descentralizado pueden aplicarse comercialmente a gran escala, los clientes empresariales invertirán grandes cantidades de dinero en la IA y también verán más equipos de IA descentralizada logrando ingresos anuales de 8 a 9 cifras.

a través de la capa de coordinación proporciona financiación a DeAI y logra la escalabilidad

Sin embargo, antes de alcanzar ingresos anuales de 8 a 9 cifras, necesitan investigar, implementar y transitar hacia soluciones de aprendizaje reforzado con viabilidad comercial, lo que requiere una gran cantidad de fondos.

Una de las mejores maneras de recaudar fondos es a través de capas de coordinación como Bittensor. Cada día, se distribuyen millones de dólares en incentivos TAO a las subredes (startups y laboratorios de IA), mientras que los contribuyentes (talento de IA) aportan a las subredes que les interesan para obtener una parte de los incentivos.

Bittensor permite a los contribuyentes participar en el desarrollo de IA y también permite a los inversores invertir en laboratorios de IA que contribuyen a la tecnología DeAI.

Actualmente, en el ecosistema de Bittensor, hay varios campos clave de DeAI que se destacan, incluyendo la computación cuántica, el entrenamiento descentralizado, los agentes de IA y los sistemas de predicción (el aprendizaje por refuerzo aún no es uno de ellos, pero hay más de 3 subredes que están prestando atención activamente al aprendizaje por refuerzo descentralizado).

¿Cuál es el progreso actual en el aprendizaje reforzado descentralizado?

El aprendizaje reforzado ha demostrado ser aplicable a gran escala, pero aún no se ha industrializado. La buena noticia es que la demanda de agentes de IA que pueden aprender de retroalimentación real está creciendo rápidamente en las empresas. Por ejemplo, agentes que pueden aprender de entornos reales, ventas y llamadas de servicio al cliente, y modelos de trading que pueden adaptarse a los cambios del mercado, entre otros. Estos sistemas de autoaprendizaje pueden generar o ahorrar millones de dólares para las empresas.

Las tecnologías de privacidad también están en auge. La aplicación de técnicas como los Entornos de Ejecución Confiables (TEE), la encriptación integrada en el TEE y la privacidad diferencial en los ciclos de retroalimentación ayuda a encriptar y proteger la información privada, permitiendo que industrias sensibles como la atención médica, las finanzas y el derecho mantengan el cumplimiento mientras cuentan con potentes agentes de IA de autoaprendizaje en campos específicos.

¿Qué pasará a continuación?

El aprendizaje por refuerzo es la mejor opción para hacer que la IA sea aún más inteligente. El aprendizaje por refuerzo convierte a la IA de un sistema generativo en un agente de IA proactivo e inteligente.

La combinación de privacidad y aprendizaje reforzado impulsará a las empresas a adoptar realmente soluciones compatibles para sus clientes.

El aprendizaje reforzado hace posible la “economía de agentes”, donde los agentes compran recursos computacionales, negocian entre sí y ofrecen servicios.

Debido a su relación costo-efectividad, el aprendizaje por refuerzo descentralizado se convertirá en el método predeterminado para escalar el entrenamiento del aprendizaje por refuerzo.

El aprendizaje por refuerzo federado (Federated RL) aparecerá, permitiendo que múltiples partes aprendan de manera colaborativa sin compartir datos sensibles locales, combinando la protección de la privacidad con el autoaprendizaje, lo que mejorará enormemente el nivel de inteligencia al mismo tiempo que cumple con los requisitos de conformidad.

Lectura relacionada: encriptación AI gran reestructuración: Virtuals pierde popularidad, DeFAI y AI de predicción compiten por la oportunidad.