近日,南洋理工大学、北京大学王选计算机技术研究所及上海人工智能实验室联合研发并开源了长记忆世界模型 “WORLDMEM”。该模型的推出,旨在解决当前虚拟环境中长期一致性难题,尤其在视角切换及时间推移场景下,可有效维持 3D 空间连贯性,为用户体验优化提供关键支撑。
WORLDMEM 的核心突破在于创新记忆机制。其构建的多单元记忆存储库,可精准存储特定时间节点的场景信息与状态数据。这一机制突破传统方法对短时间上下文窗口的限制,能从历史场景中高效提取信息,在视角或时间变化时实现场景精确重构,为环境细节的长期保留提供技术保障。
在技术实现上,该模型采用条件扩散变换器架构,可整合外部动作信号,支持虚拟世界第一人称视角生成,满足角色在虚拟环境中灵活移动与互动需求。同时,通过扩散强迫技术训练,模型具备时间维度长期模拟能力,结合动作信号嵌入空间投影及去噪时间步嵌入技术,显著提升对动作指令的响应精度。