一段实拍的演员表演视频,在AI的“魔法”下,主角的外貌、服装和背景场景被彻底改变,但演员每一个细微的表情、动作节奏和情感表达却被完美保留——这不是科幻电影中的场景,而是Luma AI最新发布的Ray3 Modify模型带来的现实。
近日,人工智能初创公司Luma AI正式发布了全新的Ray3 Modify视频编辑模型,这一技术突破允许创作者在保留原始演员表演精髓的前提下,对实拍视频进行高保真AI修改。
用户只需提供角色参考图和指定起止帧,即可实现“表演不变、表现可变”的精准编辑。
01 技术突破
传统的AI视频生成工具往往从文本提示开始,虽然能创造出令人惊叹的画面,但在保留人类表演的细微差别方面存在明显局限。
这些工具通常难以准确捕捉复杂的人类动作和情感表达,导致生成的视频中人物动作生硬、表情呆板。
Ray3 Modify采用了一种创新的混合工作流程,将实拍表演与AI生成能力相结合。该系统不是从零开始生成视频,而是以真实摄像机拍摄的演员表演为基础,然后应用AI技术进行外观和场景的转换。
这一方法解决了AI视频生成中长期存在的难题:如何在修改视频内容的同时,保持演员表演的真实性和连贯性。
02 核心功能
Ray3 Modify的核心能力体现在对表演细节的精确保留与对外观场景的灵活修改上。
模型能够完整保留演员原始的动作节奏、眼神方向和情感表达,即使在外观和场景完全改变的情况下,表演的核心要素也不会丢失。
在实际操作中,用户可以通过提供角色参考图像,将演员的外观转换为任何目标角色,无论是动漫人物、历史角色还是品牌虚拟代言人。
这一过程保持了原始表演中微妙的表情变化、肢体语言和情绪张力。
模型还支持起止帧控制功能,用户可以设定起始与结束帧,指导AI生成可控的过渡镜头,实现角色行走、转身、表情渐变等连贯动作,确保场景间叙事流畅。
03 工作原理
Ray3 Modify的技术核心在于其智能参考系统,这一系统确保了修改后的视频在变化中保持一致性。
当用户上传角色参考图时,系统会分析目标角色的视觉特征,然后将这些特征映射到原始演员的表演上。这种映射不是简单的覆盖,而是智能地适配演员的面部表情、身体动作和情感表达。
系统通过高级算法分析原始视频中的表演要素,包括微小的肌肉运动、眨眼频率、头部倾斜角度等细节。这些数据被提取并转化为数学表示,然后与目标外观的特征进行融合。
最终生成的视频在视觉上呈现出全新的角色形象,但在表演动力学上完全忠实于原始拍摄。
04 行业影响
这项技术突破对多个创意产业产生了深远影响。在影视制作领域,导演现在可以先拍摄演员表演,后期再决定角色的最终外观和场景设置,大大降低了制作成本和风险。
广告行业同样受益匪浅。品牌方可以与演员合作拍摄一次内容,然后使用Ray3 Modify技术针对不同市场或受众群体定制化修改视频中的产品、场景或代言人形象,实现高度个性化的营销内容。
对于独立创作者和小型工作室而言,这项技术降低了高质量视频制作的门槛。他们无需昂贵的场景搭建、服装制作或特效团队,就能创造出具有专业水准的视觉内容。
05 获取与使用
Ray3 Modify已经集成到Luma的Dream Machine平台中,面向专业创作者开放。目前,该功能正处于内测阶段,尚未对所有用户开放。
对于想要体验这项技术的用户,可以通过Luma官方渠道申请参与内测。
平台提供不同的订阅方案,满足各类用户需求。免费层级用户可以创建最多八个草稿模式的视频,供非商业用途使用。
对于需要更高输出质量的用户,提供4K输出的非商业订阅起价为每月9.99美元,而商业订阅的起价则为每月29.99美元。
06 市场背景
Luma AI此次发布Ray3 Modify,正值公司获得强劲资本支持之际。2024年11月,该公司刚刚完成了9亿美元的巨额融资,由沙特主权财富基金旗下的AI公司Humain领投。
现有投资者如a16z、Amplify Partners和Matrix Partners也参与了本轮融资。
据悉,Luma还计划与Humain在沙特合作建设一座2GW规模的AI算力集群,为未来高负载视频生成任务提供基础设施保障。
这一重大投资反映了市场对AI视频生成技术的高度期待,也显示了Luma在这一领域的雄心。
Luma AI联合创始人兼CEO Amit Jain表示:“生成式视频极具表现力,但往往难以控制。Ray3 Modify将真实世界与AI的创造力融合,赋予创作者完全掌控权。”
随着这项技术的成熟与普及,传统视频制作中那些耗时数周的场景搭建、服装更换和地点迁移,可能很快就会被几次点击所替代。
当影视公司、广告代理商和独立创作者开始广泛采用这种“表演保留、场景可变”的AI工具时,整个视觉内容产业的生产效率和创意可能性将被重新定义。