Два дослідження, з різних точок зору, спрямовані до однієї й тієї ж проблеми — що таке concept?

Уявімо, що мова існує у двовимірній системі координат. Вісь X — це часовий вимір, слова організовуються у речення, рухаючись у часі. Вісь Y — це смисловий вимір, і саме через нього ми обираємо одне слово замість іншого, керуючись значенням.

Останні результати серії досліджень SAEs дуже цікаві: вони розкривають, як працює нейронна мережа по осі Y — модель навчається витягувати та виражати концептуальні ознаки з чітким смислом. Іншими словами, у процесі обчислень у моделі існують певні "вузли", які не є випадковими нейронними активаціями, а мають конкретне значення — концептуальне вираження. Це означає, що значення у внутрішній структурі глибокої навчальної моделі можна розкладати і спостерігати.