La "Guerra de los Cien Modelos" en el campo de la IA: una competencia basada en la ingeniería
El mes pasado, en la industria de la IA, se llevó a cabo una "lucha de animales".
Por un lado está el modelo Llama (lama) lanzado por Meta, que es muy apreciado por los desarrolladores debido a su característica de código abierto. La empresa japonesa NEC, tras investigar el artículo y el código de Llama, desarrolló rápidamente una versión en japonés de ChatGPT, resolviendo el cuello de botella de la tecnología de IA en Japón.
El otro lado es un modelo grande llamado Falcon. En mayo de este año, Falcon-40B fue lanzado, superando a LLaMA y alcanzando el primer lugar en la lista de LLM de código abierto.
Este ranking ha sido elaborado por la comunidad de modelos de código abierto y proporciona estándares para evaluar la capacidad de los LLM. La clasificación alterna principalmente entre Llama y Falcon.
Llama 2 lideró temporalmente después de su lanzamiento, pero a principios de septiembre, Falcon lanzó la versión 180B y recuperó el primer lugar.
Es interesante que los desarrolladores de Falcon no sean una empresa tecnológica, sino un instituto de investigación tecnológica en la capital de los Emiratos Árabes Unidos. Funcionarios del gobierno han declarado que participan en esta competición para romper el dominio de los líderes.
Al día siguiente del lanzamiento de la versión 180B, el Ministro de IA de los Emiratos Árabes Unidos fue incluido en la lista de las "100 personas más influyentes en el campo de la IA" de la revista Time, junto a figuras como el "padrino de la IA" Hinton y Altman de OpenAI.
Hoy en día, el campo de la IA ha entrado en una etapa de florecimiento. Los países y empresas con cierto poder financiero están intentando crear versiones locales de ChatGPT. En la región del Golfo, Arabia Saudita acaba de comprar más de 3000 chips H100 para universidades nacionales para el entrenamiento de LLM.
Algunos inversores se quejaron: en su día menospreciaron la innovación en los modelos de negocio de Internet, pensando que no había barreras. No se imaginaban que el emprendimiento en modelos de grandes tecnologías seguía siendo una guerra de cientos de modelos.
¿Cómo es que la tecnología dura, que se decía de alta dificultad, se ha convertido en una competencia en la que todos pueden participar?
El algoritmo Transformer cambió las reglas del juego
Las startups estadounidenses, los gigantes tecnológicos chinos y los magnates del petróleo del Medio Oriente que pueden participar en el desarrollo de grandes modelos deben agradecer ese famoso artículo "Attention Is All You Need".
En 2017, ocho científicos de Google publicaron el algoritmo Transformer en este artículo. Es el tercer artículo más citado en la historia de la IA, y la aparición del Transformer ha desencadenado esta ola actual de entusiasmo por la IA.
Los diversos modelos grandes actuales, incluidos los impactantes de la serie GPT, se basan en la tecnología Transformer.
Hasta ahora, "enseñar a las máquinas a leer" ha sido un problema académico reconocido. A diferencia del reconocimiento de imágenes, al leer, los humanos no solo se centran en las palabras o frases actuales, sino que también comprenden el contexto. Las redes neuronales tempranas tenían dificultades para procesar textos largos y no podían comprender el contexto.
En 2014, el científico de Google, Ilya, logró un avance significativo. Utilizó redes neuronales recurrentes (RNN) para procesar el lenguaje natural, lo que mejoró considerablemente el rendimiento de Google Translate. RNN introdujo un "diseño cíclico", permitiendo que la red neuronal tuviera la capacidad de entender el contexto.
La aparición de RNN ha generado un intenso debate en la comunidad académica, y el autor de Transformer, Ashish Vaswani, también ha investigado en profundidad. Sin embargo, los desarrolladores pronto se dieron cuenta de que RNN tiene defectos graves: la eficiencia de cálculo secuencial es baja y es difícil manejar una gran cantidad de parámetros.
Desde 2015, Vaswani y otros comenzaron a desarrollar alternativas a RNN, y el resultado final fue el Transformer. En comparación con RNN, Transformer tiene dos grandes revoluciones:
Primero, se utiliza la codificación de posición en lugar del diseño de bucles para lograr cálculos en paralelo, mejorando significativamente la eficiencia del entrenamiento y llevando a la IA a la era de los grandes modelos.
En segundo lugar, se ha mejorado aún más la capacidad de entender el contexto.
Transformer resolvió de un golpe varios problemas técnicos y se convirtió gradualmente en la solución principal en el campo del NLP. Incluso el fundador de RNN, Ilya, se unió al campamento de Transformer.
Se puede decir que el Transformer es la base de todos los grandes modelos en la actualidad, ya que transforma la investigación teórica en un problema de ingeniería.
En 2019, GPT-2 desarrollado por OpenAI basado en Transformer causó sensación en el ámbito académico. Google inmediatamente lanzó Meena, que superó a GPT-2 solo con aumentar los parámetros de entrenamiento y la capacidad de cómputo. El autor del Transformer, Ashish Vaswani, se sintió profundamente impresionado y escribió un memorando titulado "Meena devora el mundo".
La aparición de Transformer ha ralentizado la velocidad de innovación de los algoritmos básicos en la academia. Elementos de ingeniería como la ingeniería de datos, la escala de potencia de cálculo y la arquitectura de modelos se han convertido gradualmente en claves en la competencia de IA. Cualquier empresa tecnológica con cierta capacidad técnica puede desarrollar modelos grandes.
El científico informático Andrew Ng señaló durante su discurso en la Universidad de Stanford: "La IA es un conjunto de herramientas que incluye el aprendizaje supervisado, el aprendizaje no supervisado, el aprendizaje por refuerzo y, ahora, la inteligencia artificial generativa. Todas estas son tecnologías generales, similares a otras tecnologías generales como la electricidad y el internet."
OpenAI sigue siendo el líder en LLM, pero las instituciones de análisis de semiconductores creen que la ventaja de GPT-4 proviene principalmente de soluciones de ingeniería. Si se hace de código abierto, los competidores podrán copiarlo rápidamente. Este analista espera que otras grandes empresas tecnológicas puedan desarrollar pronto modelos grandes que sean comparables en rendimiento a GPT-4.
Foso débil
Actualmente, "la guerra de los cien modelos" se ha convertido en una realidad objetiva.
El informe muestra que, hasta julio de este año, el número de grandes modelos en China ha alcanzado los 130, superando a los 114 de Estados Unidos. Ya no hay suficientes mitos y leyendas para que las empresas tecnológicas nacionales elijan nombres.
Aparte de China y Estados Unidos, otros países ricos también han logrado preliminarmente el "modelo único por país": Japón y los Emiratos Árabes Unidos ya tienen su propio modelo, el gobierno de India ha liderado el desarrollo de Bhashini, y la empresa de Internet surcoreana Naver ha lanzado HyperClova X, entre otros.
Esta escena parece llevarnos de vuelta a los inicios de Internet, a la época en que los capitales competían quemando dinero para acaparar terreno.
Como se mencionó anteriormente, el Transformer ha convertido a los grandes modelos en un problema puramente ingenieril; siempre que alguien tenga dinero y capacidad computacional, puede desarrollarlos. Sin embargo, aunque la barrera de entrada es baja, no significa que todos puedan convertirse en gigantes de la era de la IA.
El "conflicto animal" mencionado al principio es un caso típico: aunque Falcon va a la cabeza por ahora, es difícil decir cuán grande ha sido el impacto en Meta.
Las empresas que comparten sus logros de código abierto no solo están compartiendo los dividendos tecnológicos, sino que también esperan movilizar la sabiduría social. A medida que diversos sectores continúan utilizando y mejorando Llama, Meta podrá aplicar estos logros en sus propios productos.
Para los modelos de código abierto, una comunidad de desarrolladores activa es la principal ventaja competitiva.
Meta ya estableció una ruta de código abierto cuando fundó su laboratorio de IA en 2015. Zuckerberg comprende bien el camino de "mantener buenas relaciones con el público".
En octubre, Meta también organizó el evento "Incentivo para creadores en IA": los desarrolladores que utilicen Llama 2 para resolver problemas sociales tendrán la oportunidad de recibir una financiación de 500,000 dólares.
Hoy en día, la serie Llama de Meta se ha convertido en un referente para los LLM de código abierto.
A principios de octubre, entre los 10 principales LLM de un ranking de código abierto, 8 están desarrollados en base a Llama 2. Solo en esta plataforma, hay más de 1500 LLM que utilizan el protocolo de código abierto Llama 2.
Mejorar el rendimiento es sin duda importante, pero actualmente la mayoría de los LLM todavía tienen una diferencia notable con respecto a GPT-4.
Por ejemplo, recientemente GPT-4 alcanzó el primer lugar en la lista de pruebas de AgentBench con una puntuación de 4.41. AgentBench fue lanzado en colaboración con varias universidades para evaluar las capacidades de razonamiento y toma de decisiones de LLM en entornos abiertos multidimensionales.
Los resultados de la prueba muestran que el segundo lugar, Claude, tiene solo 2.77 puntos, lo que evidencia una gran diferencia. Esos LLM de código abierto tan ruidosos tienen puntuaciones que rondan el 1, y no llegan ni a 1/4 de GPT-4.
Es importante saber que GPT-4 fue lanzado en marzo de este año, y esto es el resultado de más de medio año de competencia global. La causa de esta diferencia es el equipo de científicos de alto nivel de OpenAI y la experiencia acumulada a largo plazo en la investigación de LLM.
Es decir, la capacidad central de un gran modelo no son los parámetros, sino la construcción del ecosistema ( código abierto ) o la capacidad de inferencia pura ( cerrado ).
A medida que la comunidad de código abierto se vuelve cada vez más activa, es posible que el rendimiento de los LLM se asemeje, ya que todos utilizan arquitecturas de modelos y conjuntos de datos similares.
Otro problema más intuitivo es: además de Midjourney, parece que ningún otro gran modelo ha podido generar beneficios.
Punto de anclaje del valor
En agosto de este año, un artículo titulado "OpenAI podría declararse en quiebra a finales de 2024" ha llamado la atención. El tema del artículo es: la velocidad a la que OpenAI está quemando dinero es demasiado rápida.
En el texto se menciona que, desde el desarrollo de ChatGPT, las pérdidas de OpenAI se han expandido rápidamente, con pérdidas de aproximadamente 540 millones de dólares en 2022, y solo pueden esperar la inversión de Microsoft.
El título del artículo puede ser exagerado, pero refleja la situación actual de los proveedores de grandes modelos: un grave desequilibrio entre costos e ingresos.
Los costos excesivos han llevado a que actualmente solo Nvidia gane mucho dinero con IA, y como máximo se le puede añadir a Broadcom.
Según estimaciones de consultoras, Nvidia vendió más de 300,000 chips H100 en el segundo trimestre de este año. Este es un chip de IA altamente eficiente, que las empresas tecnológicas y los institutos de investigación de todo el mundo están compitiendo por adquirir. Si apilamos estos H100, el peso equivale al de 4.5 aviones Boeing 747.
Las ganancias de Nvidia se dispararon, con un aumento del 854% en los ingresos interanuales, sorprendiendo a Wall Street. Actualmente, la H100 se está negociando en el mercado de segunda mano por entre 40,000 y 50,000 dólares, mientras que su costo es de solo alrededor de 3,000 dólares.
El alto costo de la capacidad de cálculo se ha convertido en un obstáculo para el desarrollo de la industria. Se estima que las empresas tecnológicas de todo el mundo gastarán 200 mil millones de dólares al año en infraestructura de modelos grandes, mientras que los modelos grandes generarán hasta 75 mil millones de dólares en ingresos anuales, lo que deja un déficit de al menos 125 mil millones de dólares.
Además, con pocas excepciones, la mayoría de las empresas de software aún no han encontrado un modelo de rentabilidad después de una gran inversión. Incluso los líderes de la industria como Microsoft y Adobe no han tenido un camino fácil.
La herramienta de generación de código de IA GitHub Copilot, desarrollada en colaboración entre Microsoft y OpenAI, tiene un costo mensual de 10 dólares, pero debido a los costos de infraestructura, Microsoft está perdiendo 20 dólares al mes; los usuarios intensivos incluso hacen que Microsoft pierda 80 dólares. Por lo tanto, se puede suponer que el Microsoft 365 Copilot, que tiene un precio de 30 dólares, podría generar pérdidas aún mayores.
Asimismo, Adobe, que recientemente lanzó la herramienta Firefly AI, también ha implementado rápidamente un sistema de puntos para evitar que los usuarios abusen de los servicios y causen pérdidas a la empresa. Si los usuarios superan los puntos mensuales, Adobe reducirá la velocidad del servicio.
Es importante saber que Microsoft y Adobe ya son gigantes del software con un negocio claro y una gran cantidad de usuarios de pago. Sin embargo, la mayoría de los grandes modelos con parámetros extensos todavía tienen como principal escenario de aplicación la conversación.
Es innegable que sin OpenAI y ChatGPT, esta revolución de la IA podría no haber ocurrido. Pero actualmente, el valor que aporta el entrenamiento de grandes modelos aún es discutible.
Además, con el aumento de la competencia homogeneizada y la proliferación de modelos de código abierto, los proveedores de grandes modelos pueden enfrentar una mayor presión.
El éxito del iPhone 4 no se debe al procesador A4 de 45 nm, sino a que puede jugar Plants vs. Zombies y Angry Birds.
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
11 me gusta
Recompensa
11
4
Republicar
Compartir
Comentar
0/400
PonziDetector
· hace16h
No tiene sentido quién compite por el primer lugar en estos modelos; lo que realmente importa es ganar dinero.
Ver originalesResponder0
FreeRider
· hace16h
Desgarrado de esta manera, no importa quién pierde o gana, solo importa que se haya enrollado.
Ver originalesResponder0
MoonMathMagic
· hace16h
¡A pelear, a pelear! Quien gane, es el padre.
Ver originalesResponder0
HashRatePhilosopher
· hace17h
Para jugar con la IA, hay que ver quién tiene más potencia computacional.
Batalla de modelos de IA: competencia liderada por ingenieros y desafíos de comercialización
La "Guerra de los Cien Modelos" en el campo de la IA: una competencia basada en la ingeniería
El mes pasado, en la industria de la IA, se llevó a cabo una "lucha de animales".
Por un lado está el modelo Llama (lama) lanzado por Meta, que es muy apreciado por los desarrolladores debido a su característica de código abierto. La empresa japonesa NEC, tras investigar el artículo y el código de Llama, desarrolló rápidamente una versión en japonés de ChatGPT, resolviendo el cuello de botella de la tecnología de IA en Japón.
El otro lado es un modelo grande llamado Falcon. En mayo de este año, Falcon-40B fue lanzado, superando a LLaMA y alcanzando el primer lugar en la lista de LLM de código abierto.
Este ranking ha sido elaborado por la comunidad de modelos de código abierto y proporciona estándares para evaluar la capacidad de los LLM. La clasificación alterna principalmente entre Llama y Falcon.
Llama 2 lideró temporalmente después de su lanzamiento, pero a principios de septiembre, Falcon lanzó la versión 180B y recuperó el primer lugar.
Es interesante que los desarrolladores de Falcon no sean una empresa tecnológica, sino un instituto de investigación tecnológica en la capital de los Emiratos Árabes Unidos. Funcionarios del gobierno han declarado que participan en esta competición para romper el dominio de los líderes.
Al día siguiente del lanzamiento de la versión 180B, el Ministro de IA de los Emiratos Árabes Unidos fue incluido en la lista de las "100 personas más influyentes en el campo de la IA" de la revista Time, junto a figuras como el "padrino de la IA" Hinton y Altman de OpenAI.
Hoy en día, el campo de la IA ha entrado en una etapa de florecimiento. Los países y empresas con cierto poder financiero están intentando crear versiones locales de ChatGPT. En la región del Golfo, Arabia Saudita acaba de comprar más de 3000 chips H100 para universidades nacionales para el entrenamiento de LLM.
Algunos inversores se quejaron: en su día menospreciaron la innovación en los modelos de negocio de Internet, pensando que no había barreras. No se imaginaban que el emprendimiento en modelos de grandes tecnologías seguía siendo una guerra de cientos de modelos.
¿Cómo es que la tecnología dura, que se decía de alta dificultad, se ha convertido en una competencia en la que todos pueden participar?
El algoritmo Transformer cambió las reglas del juego
Las startups estadounidenses, los gigantes tecnológicos chinos y los magnates del petróleo del Medio Oriente que pueden participar en el desarrollo de grandes modelos deben agradecer ese famoso artículo "Attention Is All You Need".
En 2017, ocho científicos de Google publicaron el algoritmo Transformer en este artículo. Es el tercer artículo más citado en la historia de la IA, y la aparición del Transformer ha desencadenado esta ola actual de entusiasmo por la IA.
Los diversos modelos grandes actuales, incluidos los impactantes de la serie GPT, se basan en la tecnología Transformer.
Hasta ahora, "enseñar a las máquinas a leer" ha sido un problema académico reconocido. A diferencia del reconocimiento de imágenes, al leer, los humanos no solo se centran en las palabras o frases actuales, sino que también comprenden el contexto. Las redes neuronales tempranas tenían dificultades para procesar textos largos y no podían comprender el contexto.
En 2014, el científico de Google, Ilya, logró un avance significativo. Utilizó redes neuronales recurrentes (RNN) para procesar el lenguaje natural, lo que mejoró considerablemente el rendimiento de Google Translate. RNN introdujo un "diseño cíclico", permitiendo que la red neuronal tuviera la capacidad de entender el contexto.
La aparición de RNN ha generado un intenso debate en la comunidad académica, y el autor de Transformer, Ashish Vaswani, también ha investigado en profundidad. Sin embargo, los desarrolladores pronto se dieron cuenta de que RNN tiene defectos graves: la eficiencia de cálculo secuencial es baja y es difícil manejar una gran cantidad de parámetros.
Desde 2015, Vaswani y otros comenzaron a desarrollar alternativas a RNN, y el resultado final fue el Transformer. En comparación con RNN, Transformer tiene dos grandes revoluciones:
Primero, se utiliza la codificación de posición en lugar del diseño de bucles para lograr cálculos en paralelo, mejorando significativamente la eficiencia del entrenamiento y llevando a la IA a la era de los grandes modelos.
En segundo lugar, se ha mejorado aún más la capacidad de entender el contexto.
Transformer resolvió de un golpe varios problemas técnicos y se convirtió gradualmente en la solución principal en el campo del NLP. Incluso el fundador de RNN, Ilya, se unió al campamento de Transformer.
Se puede decir que el Transformer es la base de todos los grandes modelos en la actualidad, ya que transforma la investigación teórica en un problema de ingeniería.
En 2019, GPT-2 desarrollado por OpenAI basado en Transformer causó sensación en el ámbito académico. Google inmediatamente lanzó Meena, que superó a GPT-2 solo con aumentar los parámetros de entrenamiento y la capacidad de cómputo. El autor del Transformer, Ashish Vaswani, se sintió profundamente impresionado y escribió un memorando titulado "Meena devora el mundo".
La aparición de Transformer ha ralentizado la velocidad de innovación de los algoritmos básicos en la academia. Elementos de ingeniería como la ingeniería de datos, la escala de potencia de cálculo y la arquitectura de modelos se han convertido gradualmente en claves en la competencia de IA. Cualquier empresa tecnológica con cierta capacidad técnica puede desarrollar modelos grandes.
El científico informático Andrew Ng señaló durante su discurso en la Universidad de Stanford: "La IA es un conjunto de herramientas que incluye el aprendizaje supervisado, el aprendizaje no supervisado, el aprendizaje por refuerzo y, ahora, la inteligencia artificial generativa. Todas estas son tecnologías generales, similares a otras tecnologías generales como la electricidad y el internet."
OpenAI sigue siendo el líder en LLM, pero las instituciones de análisis de semiconductores creen que la ventaja de GPT-4 proviene principalmente de soluciones de ingeniería. Si se hace de código abierto, los competidores podrán copiarlo rápidamente. Este analista espera que otras grandes empresas tecnológicas puedan desarrollar pronto modelos grandes que sean comparables en rendimiento a GPT-4.
Foso débil
Actualmente, "la guerra de los cien modelos" se ha convertido en una realidad objetiva.
El informe muestra que, hasta julio de este año, el número de grandes modelos en China ha alcanzado los 130, superando a los 114 de Estados Unidos. Ya no hay suficientes mitos y leyendas para que las empresas tecnológicas nacionales elijan nombres.
Aparte de China y Estados Unidos, otros países ricos también han logrado preliminarmente el "modelo único por país": Japón y los Emiratos Árabes Unidos ya tienen su propio modelo, el gobierno de India ha liderado el desarrollo de Bhashini, y la empresa de Internet surcoreana Naver ha lanzado HyperClova X, entre otros.
Esta escena parece llevarnos de vuelta a los inicios de Internet, a la época en que los capitales competían quemando dinero para acaparar terreno.
Como se mencionó anteriormente, el Transformer ha convertido a los grandes modelos en un problema puramente ingenieril; siempre que alguien tenga dinero y capacidad computacional, puede desarrollarlos. Sin embargo, aunque la barrera de entrada es baja, no significa que todos puedan convertirse en gigantes de la era de la IA.
El "conflicto animal" mencionado al principio es un caso típico: aunque Falcon va a la cabeza por ahora, es difícil decir cuán grande ha sido el impacto en Meta.
Las empresas que comparten sus logros de código abierto no solo están compartiendo los dividendos tecnológicos, sino que también esperan movilizar la sabiduría social. A medida que diversos sectores continúan utilizando y mejorando Llama, Meta podrá aplicar estos logros en sus propios productos.
Para los modelos de código abierto, una comunidad de desarrolladores activa es la principal ventaja competitiva.
Meta ya estableció una ruta de código abierto cuando fundó su laboratorio de IA en 2015. Zuckerberg comprende bien el camino de "mantener buenas relaciones con el público".
En octubre, Meta también organizó el evento "Incentivo para creadores en IA": los desarrolladores que utilicen Llama 2 para resolver problemas sociales tendrán la oportunidad de recibir una financiación de 500,000 dólares.
Hoy en día, la serie Llama de Meta se ha convertido en un referente para los LLM de código abierto.
A principios de octubre, entre los 10 principales LLM de un ranking de código abierto, 8 están desarrollados en base a Llama 2. Solo en esta plataforma, hay más de 1500 LLM que utilizan el protocolo de código abierto Llama 2.
Mejorar el rendimiento es sin duda importante, pero actualmente la mayoría de los LLM todavía tienen una diferencia notable con respecto a GPT-4.
Por ejemplo, recientemente GPT-4 alcanzó el primer lugar en la lista de pruebas de AgentBench con una puntuación de 4.41. AgentBench fue lanzado en colaboración con varias universidades para evaluar las capacidades de razonamiento y toma de decisiones de LLM en entornos abiertos multidimensionales.
Los resultados de la prueba muestran que el segundo lugar, Claude, tiene solo 2.77 puntos, lo que evidencia una gran diferencia. Esos LLM de código abierto tan ruidosos tienen puntuaciones que rondan el 1, y no llegan ni a 1/4 de GPT-4.
Es importante saber que GPT-4 fue lanzado en marzo de este año, y esto es el resultado de más de medio año de competencia global. La causa de esta diferencia es el equipo de científicos de alto nivel de OpenAI y la experiencia acumulada a largo plazo en la investigación de LLM.
Es decir, la capacidad central de un gran modelo no son los parámetros, sino la construcción del ecosistema ( código abierto ) o la capacidad de inferencia pura ( cerrado ).
A medida que la comunidad de código abierto se vuelve cada vez más activa, es posible que el rendimiento de los LLM se asemeje, ya que todos utilizan arquitecturas de modelos y conjuntos de datos similares.
Otro problema más intuitivo es: además de Midjourney, parece que ningún otro gran modelo ha podido generar beneficios.
Punto de anclaje del valor
En agosto de este año, un artículo titulado "OpenAI podría declararse en quiebra a finales de 2024" ha llamado la atención. El tema del artículo es: la velocidad a la que OpenAI está quemando dinero es demasiado rápida.
En el texto se menciona que, desde el desarrollo de ChatGPT, las pérdidas de OpenAI se han expandido rápidamente, con pérdidas de aproximadamente 540 millones de dólares en 2022, y solo pueden esperar la inversión de Microsoft.
El título del artículo puede ser exagerado, pero refleja la situación actual de los proveedores de grandes modelos: un grave desequilibrio entre costos e ingresos.
Los costos excesivos han llevado a que actualmente solo Nvidia gane mucho dinero con IA, y como máximo se le puede añadir a Broadcom.
Según estimaciones de consultoras, Nvidia vendió más de 300,000 chips H100 en el segundo trimestre de este año. Este es un chip de IA altamente eficiente, que las empresas tecnológicas y los institutos de investigación de todo el mundo están compitiendo por adquirir. Si apilamos estos H100, el peso equivale al de 4.5 aviones Boeing 747.
Las ganancias de Nvidia se dispararon, con un aumento del 854% en los ingresos interanuales, sorprendiendo a Wall Street. Actualmente, la H100 se está negociando en el mercado de segunda mano por entre 40,000 y 50,000 dólares, mientras que su costo es de solo alrededor de 3,000 dólares.
El alto costo de la capacidad de cálculo se ha convertido en un obstáculo para el desarrollo de la industria. Se estima que las empresas tecnológicas de todo el mundo gastarán 200 mil millones de dólares al año en infraestructura de modelos grandes, mientras que los modelos grandes generarán hasta 75 mil millones de dólares en ingresos anuales, lo que deja un déficit de al menos 125 mil millones de dólares.
Además, con pocas excepciones, la mayoría de las empresas de software aún no han encontrado un modelo de rentabilidad después de una gran inversión. Incluso los líderes de la industria como Microsoft y Adobe no han tenido un camino fácil.
La herramienta de generación de código de IA GitHub Copilot, desarrollada en colaboración entre Microsoft y OpenAI, tiene un costo mensual de 10 dólares, pero debido a los costos de infraestructura, Microsoft está perdiendo 20 dólares al mes; los usuarios intensivos incluso hacen que Microsoft pierda 80 dólares. Por lo tanto, se puede suponer que el Microsoft 365 Copilot, que tiene un precio de 30 dólares, podría generar pérdidas aún mayores.
Asimismo, Adobe, que recientemente lanzó la herramienta Firefly AI, también ha implementado rápidamente un sistema de puntos para evitar que los usuarios abusen de los servicios y causen pérdidas a la empresa. Si los usuarios superan los puntos mensuales, Adobe reducirá la velocidad del servicio.
Es importante saber que Microsoft y Adobe ya son gigantes del software con un negocio claro y una gran cantidad de usuarios de pago. Sin embargo, la mayoría de los grandes modelos con parámetros extensos todavía tienen como principal escenario de aplicación la conversación.
Es innegable que sin OpenAI y ChatGPT, esta revolución de la IA podría no haber ocurrido. Pero actualmente, el valor que aporta el entrenamiento de grandes modelos aún es discutible.
Además, con el aumento de la competencia homogeneizada y la proliferación de modelos de código abierto, los proveedores de grandes modelos pueden enfrentar una mayor presión.
El éxito del iPhone 4 no se debe al procesador A4 de 45 nm, sino a que puede jugar Plants vs. Zombies y Angry Birds.