近日,中国科学院自动化研究所李国齐研究员与徐波研究员团队联合攻关,成功发布全球首款大规模类脑脉冲大模型 ——SpikingBrain 1.0。该成果在长文本处理领域实现关键突破,处理 400 万 token 超长文本时,速度较当前主流 Transformer 模型提升 100 余倍,且训练数据需求量仅为传统模型的 2%,为人工智能高效化发展提供全新技术路径。
当前,以 GPT 系列为代表的主流大语言模型普遍基于 Transformer 架构。该架构依托自注意力机制实现复杂语义理解,但存在计算复杂度高的固有短板 —— 随着文本长度增加,其计算量呈平方级增长,导致在长篇小说分析、法律文书处理等长文本应用场景中,面临耗时久、能耗高的难题,极大限制了人工智能技术在相关领域的深度应用。
为破解这一行业痛点,研究团队以自然界高效智能系统 —— 人脑为研究蓝本。人脑由千亿级神经元构成,整体功耗却仅约 20 瓦,其高效的信息处理模式为模型研发提供重要启发。团队创新性提出 “基于内生复杂性” 的研发理念,核心在于通过优化模型内部单元结构与运行机制,提升智能处理效率,降低资源消耗。
SpikingBrain 模型通过创新架构设计模拟人脑神经元工作原理,目前已推出 SpikingBrain-7B(70 亿参数)与 SpikingBrain-76B(760 亿参数)两个版本,核心技术突破体现在三方面:
其一,摒弃传统 Transformer 架构的二次方复杂度自注意力机制,创新采用 “混合线性注意力架构”,将计算复杂度降至线性水平(O (n)),大幅提升长文本处理效率;
其二,引入 “自适应阈值脉冲神经元” 设计,神经元激活状态由接收信号强度动态决定,通过阈值自适应调整确保神经元始终处于高效能运行状态,其事件驱动机制使计算稀疏度达到 69.15%,显著降低能耗;
其三,研发高效模型转换技术,支持将现有 Transformer 模型直接转化为 SpikingBrain 架构,有效降低模型训练与应用成本。