NFTWealthCreator
两篇研究论文,不同角度却指向同一个问题——什么是concept?
想象语言存在于二维坐标系。X轴是时间维度,词汇随着时间流动被组织成句子。Y轴是意义维度,我们之所以选择某个词而不是另一个,背后是意义的驱动。
最近SAEs系列的研究成果很有意思,它揭示了神经网络模型在Y轴上是如何运作的——模型学会了提取和表达具有明确语义的概念特征。换句话说,模型的计算过程中存在某些"节点",它们对应的不是随意的神经激活,而是有具体含义的概念表达。这意味着意义在深度学习模型内部是可以被分解、可以被观察的。
想象语言存在于二维坐标系。X轴是时间维度,词汇随着时间流动被组织成句子。Y轴是意义维度,我们之所以选择某个词而不是另一个,背后是意义的驱动。
最近SAEs系列的研究成果很有意思,它揭示了神经网络模型在Y轴上是如何运作的——模型学会了提取和表达具有明确语义的概念特征。换句话说,模型的计算过程中存在某些"节点",它们对应的不是随意的神经激活,而是有具体含义的概念表达。这意味着意义在深度学习模型内部是可以被分解、可以被观察的。