英伟达开源Cosmos 3世界模型,支持实时交互式物理仿真

英伟达开源Cosmos 3世界模型,支持实时交互式物理仿真

2026年11月5日,英伟达在Hugging Face上线Cosmos 3系列世界基础模型,一次性开放Predict 3、Transfer 3、Reason 3三条产品线共7个权重,最大模型12B参数,支持720p、30fps的动作条件交互式推演,单次可连续模拟30秒。这意味着世界模型第一次以可商用许可、可本地部署的形式交到机器人公司与开发者手里,物理AI的数据瓶颈出现松动的可能。本文的核心结论是:Cosmos 3的价值不在画面质量,而在「动作条件」这一接口把视频生成器变成了

2026年11月5日19时35分,英伟达在Hugging Face博客发布Cosmos 3系列世界基础模型,同步在build.nvidia.com与NGC目录上架。此次共放出7个检查点:Cosmos-Predict 3提供4B与12B两个规格,负责文本、图像、相机位姿条件下的视频推演;Cosmos-Transfer 3为7B,做多模态控制信号到真实画面的转换;Cosmos-Reason 3为8B视觉语言模型,负责物理常识判断与动作规划。

与2025年1月CES发布的Cosmos一代相比,最大的变化是「可交互」:模型接受关节角度、末端执行器位移、相机六自由度位姿等动作序列作为输入,在720p分辨率、30fps帧率下闭环推演,单次rollout时长从此前的约5秒延长到30秒,官方模型卡标注的物理一致性窗口为20秒。训练语料规模由一代公布的2000万小时视频扩至3000万小时。

许可方面,全部权重采用OpenMDW 1.1,允许商业使用与再分发,但需遵守英伟达的可接受使用政策。实时推理的参考硬件为RTX PRO 6000 Blackwell与GB200 NVL72,英伟达同时更新了Isaac Lab与Omniverse的接入接

为什么是现在。世界模型赛道在过去两年从演示走向工程化:DeepMind的Genie 3在2025年8月展示了720p、24fps的可交互生成环境,但仅向部分研究者开放;World Labs、Decart等公司则把可玩世界作为产品售卖。开源一侧长期缺少动作条件的通用权重,团队要么自建仿真器,要么依赖Isaac Sim这类基于物理引擎的方案,后者精确但视觉真实度低、资产制作成本高。

英伟达的位置决定了它必须开放。作为算力供应商,它的收益来自下游训练与推理的规模,而非模型本身;Cosmos一代已经用开放权重换来过一轮生态扩张,两年间成为合成数据管线的常见组件。与此同时,人形机器人与VLA模型的训练数据缺口没有收敛,真机采集成本仍以每任务数千美元计,行业对「可控、可标注、可反复采样」的合成数据需求比2025年更迫切。

另一个前提是推理成本下降。Blackwell世代把视频扩散的每帧成本压到可接受的区间,才使30秒闭环推演具备工程意义

刘工判断:Cosmos 3的分水岭不在生成画质,而在「动作条件」这个接口——它把世界模型从视频生成器改造成了可被策略网络调用的仿真器。未来12个月内,机器人团队的数据管线会先于内容创作行业被改写;更近一点说,6个月内大概率会出现基于Cosmos 3权重微调的垂直仿真服务商,专门卖「某个细分场景的可交互世界」。

从技术层面看,动作条件加上30秒的物理一致性窗口,是这次最实的指标。一代Cosmos只能生成不可交互的片段,机器人在其中学不到「做了A会发生B」的因果;三代把关节角度与相机位姿作为输入,rollout延长到30秒,正好覆盖抓取、插入、拧紧这类典型操作周期。在工业质检这类场景,刘工的观察是:合成数据的瓶颈从来不是清晰度,而是缺陷的因果一致性——光源换了位置,划痕是否还在同一坐标、阴影是否随之移动。如果Transfer 3能把控制信号的几何约束忠实投射到像素上,产线换型时的样本采集成本会明显下降,这比生成几张漂亮的宣传图有价值得多。

在商业维度上,这是一次典型的「卖铲子的人先修路」。同为720p级别,Genie 3的24fps只向少数研究者开放,Cosmos 3给到30fps并附带可商用许可,差距不在参数而在可得性:前者是论文,后者是零部件。英伟达放弃模型侧的授权收入,换的是Isaac Lab、Omniverse与GB200的装机量——模型越免费,下游越需要买算力来跑它。这套逻辑在CUDA上已经验证过一次。

对行业而言,真正的变量是评测标准。当合成数据可以无限生成,模型能力的分野会从「数据够不够」转向「仿真够不够真」,谁掌握了仿真与真机之间的一致性度量,谁就掌握了定价权。开源权重会加速这一进程,也会让同质化来得更快。

  • 训练语料:Cosmos 3官方模型卡给出3000万小时视频,一代Cosmos(2025年1月)为2000万小时,增幅约50%。
  • 交互时长:最大12B模型单次rollout从一代的约5秒提升到30秒,延长约6倍,官方标注物理一致性窗口为20秒。
  • 帧率与分辨率:Cosmos 3为720p/30fps;DeepMind Genie 3在2025年8月公布的是720p/24fps,帧率低约20%,且未开放权重。
  • 参数梯度:Predict 3提供4B与12B两档,Transfer 3为7B,Reason 3为8B,共7个检查点,全部采用OpenMDW 1.1可商用许可。

对行业而言,短期3个月内,最直接的变化是机器人团队开始把Cosmos 3接进已有的合成数据管线,替代部分基于图形引擎的资产制作环节,VLA模型的训练集构成会出现肉眼可见的调整;中期1年,垂直场景的可交互世界服务商会成型,仿真与真机的一致性度量会成为采购谈判中的核心条款。

对普通用户,短期感受不到变化,它藏在配送机器人、仓储分拣的故障率里;中期1年内,内容创作侧会出现可实时响应的生成式场景工具,但真正的消费级产品仍受限于推理成本与终端算力。需要冷静看待的是:开放权重降低了门槛,也让「用同一批权重做出差异化」变难,壁垒会重新回到数据闭环与场景理解上。

值得继续思考的问题:

  • 动作条件接口如何改变机器人合成数据的采集成本结构
  • 开源权重加商用许可,英伟达在物理AI时代的算力锁定逻辑
  • 交互式世界模型的评测标准:仿真与真机的一致性该如何度量

延伸阅读:2026 主流 AI 大模型对比——不追热点也能长期有用的选型指南,收藏备用。

本条动态来自 Hugging Face Blog(发布于 2026-11-05 19:35:16)。本站为海外 AI 动态的中文转述与观点评论,原文版权归原作者所有。


每日聚合海外 AI 一手动态与深度观点。收藏本站,不错过每一个重要信号;返回首页查看更多。

转载声明:欢迎转载,请保留原文链接并注明出处「文峰雷达」。 · 商务与品牌合作:查看媒体与商务页
每日快讯 + 周日周评 · 可随时回复邮件退订 · 邮箱仅用于订阅通知,不会对外分享

留下评论

您的邮箱地址不会被公开。 必填项已用 * 标注

中文EN
联系刘工 · 媒体与商务 · 隐私政策 · 免责声明 · AI 声明 · 刘工周评
邮箱:wenfengleida@wenfengleida.cn