“一个神经元既认猫脸又认车头”——这个困扰了 AI 十年的混乱，原来是我们看的方式错了
AI飞行客 “一个神经元既认猫脸又认车头”——这个困扰了 AI 十年的混乱，原来是我们看的方式错了
先说一件让我有点意外的事。
OpenAI 前研究员 Nick Cammarata 认错了。他说，自己过去近十年对神经网络”混乱、纠缠、无法理解”的判断，很可能是错的。
他带着 Goodfire 团队发了一篇长文，标题起得很有态度：《神经网络早已”干净”》。
在一个”AI 越来越强、我们越来越看不懂它”的叙事大行其道的当下，这个判断几乎是逆着潮流来的。而更让我在意的是——它可能真的对。
先看那个被当成”混乱铁证”了十年的例子
搞过神经网络可解释性的人都知道那个经典案例：一个神经元，既对猫脸产生反应，也对汽车前脸产生反应。
两种风马牛不相及的东西，为什么会挤在同一个神经元里？过去十年，这个现象被反复引用，作为”神经网络内部就是一团乱麻”的铁证。它的潜台词是：别费劲去解读了，看不懂是常态。
Cammarata 重新观察后，给出的解释简单得让人拍大腿：
猫脸和汽车前脸，都能呈现出 V 形。相关电路里的火焰、酒杯，也一样会出现 V 形。
所以问题出在哪？人类按物体名称分类——”猫”和”车”；而模型按形状分类——”那个 V 形的东西”。
看懂它抓住的共同点，原先的”混乱”瞬间就有了解释。不是你解不开，是你用错了坐标系。
第二个例子更精彩：狗神经元
识别汽车时，信号会经过一些被标为”狗神经元”的单元。按旧的逻辑，这就是混乱——车和狗有什么关系？
重新追踪才发现，许多这样的单元其实负责识别”朝向”。 狗的耳朵有朝向，汽车的车头也有朝向。同一份朝向信息，先被共享，再由后续电路分别用于识别狗和车。
团队管这个叫”递归泛化”：沿着相似性，把学到的模式不断扩展到相近情况。
还有一个让我印象深刻的例子：一个神经元同时响应英文、Base64 编码和孟加拉语。 看起来毫无章法。直到有人解开网址编码、把孟加拉语的发音写成拉丁字母——共同点浮出水面：它们都和 “pr” 有关。
这些例子串起来，指向同一个结论：我们以为的噪声，可能正是模型组织信息的方式。
硬核的部分：怎么证明”解释”不是编故事
光讲漂亮故事没用。可解释性研究最大的坑，就是很容易自圆其说——你给一个神经元的激活编一个解释，听起来很合理，但它到底是不是真的？
团队做了一件很关键的事：干预实验。
圣诞节早晨，饼干只剩碎屑，牛奶喝光了，烟囱下有煤灰，邻居夜里听见了雪橇铃声。模型几乎笃定：圣诞老人。团队关掉 20 个被标为”圣诞节”或”圣诞老人”的神经元——概率仍有 76%。
但换成另外 8 个关键神经元，概率骤降到 6%。
玄机在于：神经元的数值有正有负，两侧都能携带信息。 只看正值可能把它标成”首都城市”，而真正影响”圣诞老人”判断的功能在负值那一侧。这说明标签未必能概括神经元的作用，必须沿着计算找线索、再做干预，才能验证解释是否可靠。
更重要的验证是盲测。他们让一个 AI Agent 研究神经元、写下”功能说明书”，再让另一个 Agent 只拿说明书去造句子，看能不能触发比原始数据更强的响应——对比基准是从 100 亿个 token 的文本里找出的最强激活样本。
结果：Agent 只凭说明书写出的句子，竟能引发更强的响应。
另一场测试抽取 200 个神经元，让 Agent 各写 5 个应触发和 5 个不该触发的例子。183 个正向解释中，目标例子强激活比例 76%，干扰例子仅 11%；逐个比较，目标组 164 胜 15 平 4 负。
解释能预测模型对新输入的响应——这才叫解释，而不是事后编故事。
那个”反直觉”的结论：AI 越大，可能越好懂
这篇长文里，我认为最值钱的一个判断是关于规模的。
很多人直觉是：模型越大，越像一团乱麻。Nick 用了个比喻反驳：去小镇找金融区，和去纽约找金融区，哪个更容易？
小镇的银行、会计事务所可能散落各处。城市变大，分工反而更鲜明。
团队比较了三个视觉模型，最大与最小的参数量相差约 300 倍。大模型的耳朵识别分工更细：有的单元看颜色，有的看形状，再汇总到识别垂耳的单元。他们甚至让 Agent 为某个语言模型的 10,240 个专家模块梳理分工，有的细到桌游里的 Boss。
规模带来的不是混乱，是更细的分工。
我的判断
第一，这件事真正的价值，是它把”读懂 AI”从玄学变成了常规科学。
过去十年，”黑箱不可解”某种意义上成了可解释性研究者的心理防线——解释不了，就说它本来就没法解释。Cammarata 的”认错”最有分量的地方在于：问题可能不在模型，而在我们观察它的工具和分类方式。
论文里有一个细节特别能说明这点——早期工具会被激活图像的特殊纹理误导，让”狗神经元”看起来只认识狗毛。改进工具后，同一个旧模型、同一批神经元，显出了更清楚的规律。 同样的神经元，更好的”显微镜”。
这跟科学史上无数次的故事一样：不是研究对象突然变清楚了，是观测手段终于配得上它了。
第二，对普通人来说，”读懂 AI”这件事到底意味着什么？
答案很实在：安全。
在这篇长文之前，我们判断一个模型安不安全，几乎全靠”看它说什么”——它嘴上说不干坏事，我们就暂且信它。但一个模型完全可以在文字里骗过我们。
Cammarata 提出的关键论点是：即使存在隐藏的目标，要让电路配合行动，相关信息也必须被后续电路读取。危险的计算因此可能留下可追踪的线索。
也就是说，只要你能看懂内部，你就有机会发现”光看回答找不到的风险”。
这比我看到的任何”AI 一定会毁灭人类”的恐吓都更有建设性。它不承诺安全，但它给出了一条通往安全的、可验证的路径。
第三，保持清醒——这是一套”工作假说”，不是定论。
我必须说全：Nick 自己就承认，万亿参数模型尚未被完整读懂，有些机制仍未弄清，文中提出的是一套等待更多检验的工作假说。那些”90% 的神经元各有一个主要任务”，是团队对 320 亿参数模型的粗略估计，还有约 2% 到 4% 完全没理解。这离”我们彻底读懂了超级智能”还差得远。
但方向对了。 从一个具体答案怎么形成，能画出电路图；从一个错误怎么学来，能定位到内部的路径变化——这些方法本身，就是可以累积的。
最后说一句我自己的感想。
我们花了几年时间，把 AI 越造越强。现在这篇长文想说的是：我们可能也能学会读懂它。
而最有意思的是机制——AI 变强，反过来也在加速人类读懂 AI。团队已经让 Agent 审阅了 10 万张内部计算追踪图，设想的下一步是让它们持续运行一间自动科学实验室。Nick 预测，自动科学家或许能用几个月，在前沿语言模型上完成一轮探索，达到人类研究视觉模型多年才走到的程度。
这不是”人类对抗 AI”的故事，更像是”人类借助 AI 去理解 AI”，然后再用这份理解，去决定要把多少未来交出去。
在把更多未来交给 AI 之前，人类必须有能力看清它。
而那束照进黑箱的光——我觉得，可能比我们想的来得更早。