DeepMind发布Gemini 3.8 Live实时多模态模型

新闻速览

DeepMind于2026年9月24日发布Gemini 3.8 Live,集成Live Avatar实时视觉交互功能,支持低延迟视频对话与动态表情同步。该模型将多模态理解延迟降至120毫秒,标志着AI助手从文本交互向类人实时视觉对话的关键跃迁。本文解析其技术架构、性能参数及对AI交互范式的深层影响。

事件详情

2026年9月24日,Google DeepMind正式发布Gemini 3.8 Live,这是Gemini系列首个面向实时交互场景的专用模型。核心创新在于Live Avatar模块,该模块将语音、视觉与面部动画生成整合至单一推理管线,实现端到端120毫秒的响应延迟,较上一代Gemini 3.5 Pro的视觉对话模式缩短约65%。模型支持动态表情同步,可根据用户语气与面部表情实时调整虚拟形象的反应,在视频通话场景中实现接近自然的非语言交流。技术层面,Gemini 3.8 Live采用稀疏混合专家架构,总参数量约1.2万亿,激活参数为1800亿,推理时通过动态路由仅调用视觉-语言-动作联合专家子集。模型原生支持30种语言的实时语音识别与生成,并针对移动端优化,在Pixel 10系列上可稳定运行于4W功耗以下。DeepMind同步开放了Live Avatar API,首批合作伙伴包括Zoom、Discord与医疗远程问诊平台Amwell,开发者可通过该API构建自定义虚拟形象。

背景

此次发布正值AI交互范式转型的关键节点。2025年OpenAI推出GPT-4o实时语音模式后,市场对多模态实时交互的需求激增,但视觉理解与语音生成仍分属不同模型管线,导致延迟普遍超过350毫秒。Google在2026年初的I/O大会上曾预告Gemini 3.8将强化实时能力,此次发布兑现了该承诺。技术前提方面,2025年底Google发布的VideoNet 2.0视频编码器将视觉token压缩率提升至8:1,为低延迟视觉推理奠定基础;同时,DeepMind自研的TPU v6e集群将训练效率较前代提升40%,使1.2万亿参数模型的端到端训练周期缩短至6周。行业层面,Meta在2026年6月发布的Llama 4 Omni虽支持多模态,但未针对实时场景优化,延迟仍达280毫秒;微软则于8月宣布Copilot Vision进入内测,但尚未公开性能数据。Gemini 3.8 Live的发布填补了低延迟实时多模态交互的空白,直接对标Open

深度解读

刘工认为,Gemini 3.8 Live的核心突破在于将视觉理解与面部动画生成统一至单一推理管线,而非简单的模块拼接。120毫秒的端到端延迟意味着模型可在单帧视频间隔内完成感知-决策-生成全流程,这依赖稀疏混合专家架构中视觉-语言-动作联合专家的动态路由设计。刘工注意到,其激活参数仅占总参数15%,却覆盖了30种语言的实时交互,说明DeepMind在专家路由策略上已实现接近最优的负载均衡。对比OpenAI GPT-4o的语音模式,后者虽在语音质量上领先,但缺乏视觉同步能力,Gemini 3.8 Live在交互维度上形成代际优势。刘工预测,Live Avatar API的开放将加速AI虚拟形象在客服、教育、医疗等垂直场景的落地。以Amwell为例,远程问诊中医生可通过虚拟形象实时观察患者面部微表情,辅助判断病情,这比传统文本问诊的效率提升约40%。但刘工也指出,120毫秒延迟在5G网络下仍有约30毫秒的抖动风险,且虚拟形象渲染对移动端GPU的占用可能影响续航,这将是商业化初期的主要障碍。刘工认为,Google选择与Zoom、Discord合作而非自建应用,意在复制Android生态的开放策略,通过API授权快速占领实时交互入口,这一路径与微软Copilot的封闭策略形成鲜明对比。刘工判断,Gemini 3.8 Live将迫使竞争对手加速整合视觉与语音管线。Meta的Llama 4 Omni若不能在2027年前将延迟降至150毫秒以内,将在实时交互市场失去先发优势。同时,该模型对视频编码器的依赖也提示,多模态模型的竞争正从算法层延伸至基础设施层,VideoNet 2.0的8:1压缩率或成为行业新基准。刘工预测,未来12个月内,实时多模态交互将取代文本对话成为AI助手的主流形态,而Gemini 3.8 Live已在这一赛道上确立约6个月的领先窗口。

数据与对比

  • 与上一代Gemini 3.5 Pro对比,视觉对话延迟从340毫秒降至120毫秒,降幅达65%;激活参数从2200亿降至1800亿,但总参数从8000亿增至1.2万亿,稀疏化效率提升明显。竞品方面,Meta Llama 4 Omni的实时视觉延迟为280毫秒,OpenAI GPT-4o语音模式无视觉同步功能,Gemini 3.8 Live在延迟上领先Llama 4 Omni约57%。市场份额层面,2026年第二季度Google AI助手在实时交互场景的渗透率为12%,发布后预计2026年第四季度可提升至25%。训练成本方面,TPU v6e集群使1.2万亿参数模型的训练周期从10周缩短至6周,训练成本降低约30%。

影响与展望

对行业而言,短期(3个月)内,实时多模态交互将成为AI助手产品的标配功能,Google的API开放策略将吸引大量开发者,预计2026年底前接入Live Avatar的应用将超过5000个。中期(1年)内,该模型将推动视频会议、远程医疗、在线教育等行业的交互范式重构,虚拟形象可能取代部分真人客服岗位,但也会催生新的虚拟形象设计与管理岗位。对普通用户而言,短期(3个月)内,Pixel 10用户可率先体验实时视频对话,但其他安卓机型需等待适配;中期(1年)内,实时多模态交互将渗透至智能家居、车载系统等场景,用户可通过虚拟形象与设备进行更自然的交互,但隐私问题(如面部数据采集)也将成为公众关注的焦点。

延伸思考

延伸思考

  • Gemini 3.8 Live的稀疏混合专家架构如何平衡性能与能耗,对移动端部署有何启示?
  • Live Avatar API的开放策略能否复制Android生态的成功,Google在实时交互领域的护城河何在?
  • 实时视觉交互的普及将如何改变远程医疗与在线教育的服务标准,监管层面需做哪些准备?

来源与原文

本条动态来自 DeepMind Blog(发布于 2026-09-24 16:20:39)。本站为海外 AI 动态的中文转述与观点评论,原文版权归原作者所有。


每日聚合海外 AI 一手动态与深度观点。收藏本站,不错过每一个重要信号;返回首页查看更多。

转载声明:欢迎转载,请保留原文链接并注明出处「文峰雷达」。 · 商务与品牌合作:查看媒体与商务页
每日快讯 + 周日周评 · 可随时回复邮件退订 · 邮箱仅用于订阅通知,不会对外分享
中文EN
联系刘工 · 媒体与商务 · 隐私政策 · 免责声明 · AI 声明 · 刘工周评
邮箱:wenfengleida@wenfengleida.cn