Две исследовательские статьи, с разных точек зрения, указывают на один и тот же вопрос — что такое concept?

Представим, что язык существует в двумерной системе координат. Ось X — временная ось, слова организованы во фразы по мере течения времени. Ось Y — ось значения, причина выбора одного слова вместо другого кроется в значении.

Недавние результаты серии исследований SAEs очень интересны: они показывают, как нейронные сетевые модели работают по оси Y — модель научилась извлекать и выражать концептуальные признаки с ясным смыслом. Другими словами, в процессе вычислений модели существуют определённые "узлы", которые соответствуют не случайной нейронной активации, а конкретному смысловому выражению концепции. Это означает, что значение внутри модели глубокого обучения можно разложить и наблюдать.