Hai bài nghiên cứu, từ các góc độ khác nhau nhưng đều chỉ đến một vấn đề chung — khái niệm là gì?

Hãy tưởng tượng ngôn ngữ tồn tại trong một hệ tọa độ hai chiều. Trục X là chiều thời gian, từ vựng theo dòng thời gian được tổ chức thành câu. Trục Y là chiều ý nghĩa, lý do chúng ta chọn một từ này thay vì từ khác là do ý nghĩa thúc đẩy.

Gần đây, kết quả nghiên cứu trong loạt bài SAEs rất thú vị, nó tiết lộ cách hoạt động của mô hình mạng neural trên trục Y — mô hình đã học cách trích xuất và biểu đạt các đặc trưng khái niệm mang ý nghĩa rõ ràng. Nói cách khác, trong quá trình tính toán của mô hình, tồn tại một số "nút", không phải là kích hoạt thần kinh ngẫu nhiên mà là biểu đạt khái niệm có ý nghĩa cụ thể. Điều này có nghĩa là ý nghĩa trong mô hình học sâu có thể bị phân tích, có thể quan sát được.