بحثان علميان، من زوايا مختلفة، يشيران إلى نفس السؤال — ما هو المفهوم؟

تخيل أن اللغة موجودة في نظام إحداثي ثنائي الأبعاد. المحور X هو بعد الزمن، حيث يتم تنظيم المفردات في جمل مع مرور الوقت. المحور Y هو بعد المعنى، ونحن نختار كلمة معينة بدلاً من أخرى بناءً على المعنى وراء ذلك.

مؤخرًا، نتائج أبحاث سلسلة SAEs كانت مثيرة للاهتمام، حيث كشفت كيف يعمل نموذج الشبكة العصبية على المحور Y — حيث تعلم النموذج استخراج والتعبير عن سمات المفهوم ذات المعنى الواضح. بعبارة أخرى، يوجد في عملية حساب النموذج بعض "العقد"، التي لا تمثل تنشيطًا عشوائيًا للأعصاب، بل تعبيرًا عن مفهوم ذو معنى محدد. هذا يعني أن المعنى يمكن تفكيكه وملاحظته داخل نماذج التعلم العميق.