Dua makalah penelitian, dari sudut pandang yang berbeda namun mengarah ke satu pertanyaan yang sama—apa itu konsep?

Bayangkan bahasa ada dalam sistem koordinat dua dimensi. Sumbu X adalah dimensi waktu, di mana kosakata diorganisasi menjadi kalimat seiring waktu mengalir. Sumbu Y adalah dimensi makna, di mana pilihan kita terhadap suatu kata dibandingkan dengan yang lain didorong oleh makna.

Baru-baru ini, hasil penelitian dari seri SAEs sangat menarik, karena mengungkapkan bagaimana model jaringan saraf bekerja di sumbu Y—model belajar mengekstrak dan mengekspresikan fitur konsep yang memiliki makna yang jelas. Dengan kata lain, dalam proses perhitungan model terdapat "simpul" tertentu, yang bukan sekadar aktivasi neural acak, melainkan ekspresi konsep yang memiliki makna tertentu. Ini berarti makna dalam model pembelajaran mendalam dapat dipecah dan diamati.