Dos artículos de investigación, desde diferentes perspectivas, apuntan a la misma cuestión: ¿qué es un concepto?

Imagina que el lenguaje existe en un sistema de coordenadas bidimensional. El eje X es la dimensión temporal, donde el vocabulario se organiza en oraciones a medida que fluye el tiempo. El eje Y es la dimensión del significado, y la razón por la que elegimos una palabra en lugar de otra está impulsada por el significado.

Los resultados recientes de la serie SAE son muy interesantes, ya que revelan cómo funcionan los modelos de redes neuronales en el eje Y: el modelo aprende a extraer y expresar características conceptuales con un significado claro. En otras palabras, en el proceso de cálculo del modelo existen ciertos "nodos" que no corresponden a activaciones neuronales aleatorias, sino a expresiones de conceptos con un significado específico. Esto implica que el significado dentro de los modelos de aprendizaje profundo puede ser descompuesto y observado.