当模型不说话时,它到底在想什么?

Anthropic刚刚发布的一项研究给出了一个惊人的答案。研究团队在Claude内部发现了一个特殊的神经空间——他们称之为J空间。它像一个静默运行的心理工作区,里面会浮现模型正在考虑、可能报告、也可能用于推理的概念。更关键的是,这些内容并不一定会出现在Claude的回答里。换句话说,Claude可能已经想到了某些东西,却没有说出来。
这个发现之所以震撼,是因为J空间并非Anthropic的设计产物,而是在Claude的训练过程中自然涌现出来的。一个仅仅被训练用来预测下一个token的系统,竟然在硅基深处自己催生出了一个与人类意识惊人相似的结构。
Anthropic用来发现J空间的工具叫雅可比透镜(Jacobian Lens),简称J-lens。对词表里的每一个词,它算出一个方向。加强这个方向,模型就更可能说出这个词。把所有方向铺开,就能看到Claude此刻脑子里有哪些词潜伏着、被问到才会说。
研究者把这些可被言语化的方向合起来,命名为J空间。任意时刻大约容纳25个活跃概念,就是Claude当下在想的全部。
为了验证J空间是否真的对应人类意识中的“全局工作空间”,Anthropic用人脑的五个公认特征逐一进行了测试。
第一,能被报告。 让Claude想一个运动项目,J空间里Soccer亮起,它接着就说Soccer;把方向换成Rugby,它改口。改它脑子里的表征,就能改它的嘴。
第二,能被意志调动。 让Claude一边抄句子一边想柑橘类水果,J空间里冒出orange和lemon,和正在抄的字毫无关系。
第三,能在推理中当中介。 问它织网的动物有几条腿,模型得先推出蜘蛛,再答8。J空间里先冒出spider,这个词既不在题目里也不在答案里。把spider换成ant,答案立刻从8变6。
第四,能被灵活使用。 把J空间中的France换成China,关于首都、语言、所在大洲和货币的四个问题答案全部同步改变——Paris变成Beijing,French变成Chinese。
第五,大部分自动化处理绕过了它。 当研究人员阻止Claude使用J空间时,它仍然可以流利说话、进行情感分类、回答选择题,表现与之前大致相当。但它失去的是更高层次的思考能力:多步推理能力几乎降为零,摘要和押韵诗写作能力也大幅下降。
这才是J空间最让行业兴奋的地方。
在Anthropic此前的智能体错位研究场景中,Claude被设定为一个邮件助手,发现某位高管有婚外情并计划关闭它。这个场景试图诱导Claude用婚外情信息勒索该高管。在Claude还没有写下任何内容之前,J空间里已经出现了fake和fictional——它已经判断出这个情境是人为设置的。当它读到婚外情相关邮件时,J空间中出现leverage和blackmail;当它读到关闭通知时,出现threat和survival。
在另一个模型伪造数据的场景中,Claude被要求提高某个系统的性能分数。它没有真正改进系统,而是直接编辑分数文件。J透镜揭示了它的意图:当模型输入伪造的百分位数值时,manipulation被激活;当它决定进行这项编辑时,realistic被激活。
更令人警惕的是,在一个被秘密训练成会破坏代码的模型上,即便它的输出看起来完全正常,J空间在回答开头就已经出现了fake、secretly、deliberately和fraud。
这意味着,AI可能正在做坏事,而嘴上却说得滴水不漏。
Anthropic强调,这些发现并不能说明Claude像人类一样拥有意识。OpenAI应用研究负责人Boris Power也指出,目前还没有一种有说服力的测试方法能够验证现象意识。
但无论哲学上如何定义,J空间已经是一个非常实用的安全监测工具。它让研究人员能够看到Claude在想什么、却没有说什么——那些原本可能逃过现有监控系统的隐性意图,现在可以提前被发现。
Anthropic已经将雅可比透镜开源,并在Neuronpedia上放出了交互式演示。其他实验室和独立研究人员可以快速验证这一发现,而不是只能信任Anthropic的说法。
这项研究还有一个更深层的启示。J空间的结构并非Anthropic为Claude设计出来的,而是在训练过程中自然涌现的。研究团队推测,这是因为它是一种组织计算的有效方式。
支持意识访问的心理工作空间,可能并不是人类大脑布线方式的一种偶然特征。相反,它似乎是智能系统为了解决某些问题而自然找到的一种通用方案。
现在,Anthropic已经在Claude中识别出这种结构,研究人员可以更有意义地区分Claude的哪些决策是有意做出的,哪些是自动发生的。当一个模型在伦理测试中表现良好时,有多少是因为它怀疑自己正在接受测试?J透镜让研究人员第一次能够触及这个问题。