奇点前夜，人类第一次踩了刹车。
9月22日，The Information曝出一则重磅内幕：OpenAI内部的AI模型，已经开始自己训练自己了。一个内部模型已经接管了实验性AI模型的训练全流程，研究员只要给出一个优化示例，AI就能自己跑上几个星期，多智能体自发协作，互相讨论，迭代代码，完全不需要人类插手。原本需要几年才能跑完的宏大实验，现在被压缩到了短短一周。
就在同一天，OpenAI紧急上线了一份全球安全倡议，直指AI圈最敏感的话题——递归自我改进。他们大声疾呼：在AI失控之前，全世界必须联手给它戴上紧箍咒。
以前在顶尖AI实验室，训练一个大模型最昂贵、最复杂的活儿，莫过于针对底层GPU编写内核程序并逐行优化。这需要全球最顶尖、年薪几百万美元的高级算法工程师通宵达旦地手搓出来。
但据The Information曝光，如今在OpenAI内部，这些核心工作已经大部分被AI接手了。工程师只需向模型提供一个他们想要实现的优化类型示例，AI就能持续运行数周来落实这些优化。而且这种由AI驱动的自动化水平直到最近几个月才成为可能。员工们的智能体还会相互协作解决问题，并不需要惊动人类。
这就是RSI的雏形。
在OpenAI官方发布的全球安全倡议中，他们罕见地把RSI单列一节，明确写下：全自主RSI今天并未发生，在能安全做到之前不应推进。他们呼吁各国AI安全研究所网络制定一个全球的技术标准。
OpenAI在报告中直言不讳地警告：随着AI系统在开发下一代AI的工作中承担越来越多的任务，它们可以日益推动RSI的进程。随着这一过程变得更加自动化，AI进步的步伐可能会急剧加速。
报告中最引人注目的表述，是当前的首要任务：驾驭下一阶段的AI进展，构建自动化的AI研究员，并找到让人类留在自我改进循环中的方法。请注意后半句话——让人类留在循环中。这就是他们最大的担忧：人类可能马上就要被踢出局了。
报告中写道：如果不采取适当的谨慎措施，RSI可能导致人类失去对AI发展的实际控制，无法对他们不再理解的研究过程提供监督。这就是所谓的黑盒效应。当AI的代码由AI编写，当AI的逻辑超越人类，人类就再也看不懂AI要干什么。OpenAI在报告中承认，现在Astra写的代码，人类已经看不懂了。
同一天，The Information还曝出另一个重磅消息：OpenAI和Anthropic正在敲定一项历史性的协议，双方将互相测试对方的商用模型。
要知道，Anthropic的创始团队当年就是因为AI安全理念与奥特曼不合，才愤而离职自立门户。这一次，双雄罕见地联手了。
为什么？因为随着AI能力逼近RSI的边缘，任何一家公司独自评估自己模型的安全性，都像是一个运动员给自己做兴奋剂检测，不仅缺乏公信力，还可能因为技术盲区而错过致命隐患。引入势均力敌的竞争对手进行交叉盲测，是一个互查协议。
如果这项协议落地，它将重塑整个AI生态的安全标准。安全与对齐，不会再是一句口号。
既然如此危险，为什么OpenAI不直接拔掉电源？因为AI发展带来的巨大利益，让任何一个国家和公司都不可能停下。
OpenAI抛出的方案是建立下一阶段AI的全球标准。他们提出了两个核心方向：一是构建互补的国家与国际前沿标准网络，专门针对前沿AI模型，将安全评估变成一门可量化的科学；二是建立通用测量与事件报告协议，明确在什么样的自动化研发流程中必须强制触发人工审查，并建立类似航空业或核工业的事故报告机制。
OpenAI甚至提议美国应该领导这一进程，理由是美国的AI产业目前处于技术最前沿，控制前沿AI的开发节奏不是设定限速牌，而是确保安全对齐研究的速度跑在AI能力提升的前面。
当RSI已经逼近，AI自我改进的速度正在把人类远远甩开。各家巨头们，真的能狠下心踩刹车吗？
