谷歌于2026年10月1日在 Gemini Live 中正式上线 Guided Vision 功能，兼容安卓设备的用户共享摄像头画面后，即可获得对镜头所指向物体与文本的实时语音描述。这是 Gemini Live 首次把连续视频流引入消费级语音助手，也是谷歌自 2024 年 I/O 演示 Project Astra 以来，首次把实时视觉理解从舞台演示推向大众设备。刘工认为，该功能真正的价值不在于「看得见」，而在于把视觉理解做成低延迟的连续会话，重新定义 AI 助手与物理世界的接
Guided Vision 于 2026 年 10 月 1 日在 Gemini Live 中面向兼容的安卓设备上线，用户无需单独安装应用，只要在 Gemini Live 会话中开启摄像头共享，Gemini 就会对镜头指向的内容持续输出语音描述。据 The Verge AI 报道，官方给出的典型场景有三类：读出药瓶说明书、合同条款等小字号文本，描述所处环境的空间布局，以及寻找或识别视野内的具体物品。
该功能的技术前提是 Gemini Live 的实时对话管线。Gemini Live 于 2024 年 8 月随 Pixel 9 系列发布，最初仅支持语音交互；摄像头共享功能随后加入，使用户可以把画面实时推送给模型。谷歌在 2024 年 I/O 开发者大会上用 Project Astra 演示过同类能力，当时系统能在不到一秒内识别镜头前的物体并回答提问。Guided Vision 可以视为 Project Astra 的产品化落地版本。
谷歌尚未公布完整的机型清单、分国家上线时间表，以及是否面向免费用户开放。已知约束包括：需要兼容的安卓设备、功能依附于 Gemini Live 会话、部分识别场景需要联网。官方也暂未披露分场景的准
为什么是现在？三个前提在 2026 年同时成熟。第一是多模态模型的成本曲线：把连续视频帧送进模型做推理，单位时间算力开销远高于语音对话，只有在推理成本大幅下降后才可能对消费级用户免费或低价开放。第二是终端算力：Pixel 的 Tensor 芯片与高通骁龙的 NPU 已经能在端侧承担部分视觉预处理，端云协同成为可行路径。第三是竞争节奏：苹果在 iPhone 16 系列上推出 Visual Intelligence，让镜头指向成为系统级入口；OpenAI 也在 ChatGPT 中强化了摄像头理解能力。谷歌需要一个同等量级、且安卓独占的视觉入口。
辅助视觉本身并非新赛道。谷歌 Lookout 早在 2018 年就上线，提供文本、物品、文档等约 5 种识别模式，但交互形态是「拍一张、等一次描述」。Be My Eyes 从 2015 年起用志愿者众包模式为视障用户描述画面，并在 2023 年接入大模型做 AI 描述。微软 Seeing
刘工认为，Guided Vision 最容易被低估的地方，是它把「识别」变成了「陪看」。从技术层面看，单帧图像识别与连续视频理解是两种不同量级的工程问题。前者只需一次推理，后者要求模型在光线变化、镜头晃动和网络抖动中维持上下文，并对同一物体持续追踪——谷歌在 2024 年 I/O 演示 Project Astra 时给出的目标是亚秒级响应，这一次能否在量产机型上守住该量级，决定了用户把它当工具还是当累赘。视频流持续上传会显著抬高功耗与流量，若把大量推理压到端侧，又要面对中低端机型算力不足的现实，端云分工因此成为隐形成本。
在商业维度上，这一步把 Gemini Live 从「会说话的搜索框」推向「随身的眼睛」。2024 年 8 月 Gemini Live 随 Pixel 9 上线时只支持语音，摄像头是后来才加入的；谷歌把视觉描述放进 Live 而不是单独立一个辅助应用，说明它希望用无障碍场景验证高频、刚性、低容错的交互形态，再把同一套能力复制到旅行翻译、设备维修、购物比价等付费意愿更强的场景。对比来看，苹果的 Point and Speak 与 Visual Intelligence 同样走端侧路线，但更依赖用户主动对准；谷歌选择连续会话，赌的是对话上下文的黏性。
对行业而言，冲击首先落在众包模式的辅助工具上。Be My Eyes 依靠数百万志愿者为视障用户描述画面，2023 年起接入大模型；当手机系统自带实时描述且边际成本趋近于零，志愿服务的定位会被压缩到需要人类判断的少数复杂场景。无障碍组织接下来需要一套新的评估标准：不是「能不能读出来」，而是错误率、误报后果与断网时的降级方案。刘工提醒，药品剂量、路牌方向这类信息一旦读错，代价远高于一次搜索答错，谷歌若要赢得信任，公布分场景准确率比发布会上的演示更有说服力。
- Gemini Live 于 2024 年 8 月随 Pixel 9 系列上线时仅支持纯语音对话；Guided Vision 是首个把连续摄像头视频流接入该会话的产品级功能，模态从 1 种扩展到语音加视频 2 种。
- 谷歌 2024 年 I/O 的 Project Astra 演示中，系统对镜头前物体的识别与回答延迟低于 1 秒；从该演示到 Guided Vision 消费级上线，间隔约 2 年 4 个月。
- 世界卫生组织估计全球约 22 亿人存在视力障碍，其中约 4300 万人失明，这是辅助视觉功能最直接的需求基数。
- 参照 Google Lookout（2018 年上线，约 5 种识别模式，需先拍摄再等待描述），Guided Vision 把交互从「单张照片对应一次反馈」改为「持续视频对应连续对话」，但谷歌未公布后者的平均延迟与准确率指标。
对行业而言，短期（3 个月）内最直接的变化是安卓旗舰的卖点重排。视觉描述能力会成为 Pixel、三星 Galaxy 等机型在无障碍与出行场景中的差异化宣传点，也会给第三方辅助应用带来压力——它们要么接入同一套系统能力，要么向更垂直、更高准确率的场景收缩。中期（1 年）看，若谷歌把 Guided Vision 逐步下放到中端机型并开放接口，实时视觉理解可能像当年的实时字幕一样，从少数人的辅助工具变成系统默认能力，届时评估标准会从「有没有」转向「错得多少」。
对普通用户而言，短期能感知的是三个具体场景：读小字、找东西、认环境。视障用户与老年人的收益最明显，但功能能否替代导盲杖或人工协助，取决于断网、弱光、复杂背景下的表现，谷歌目前尚未给出这些条件下的数据。中期看，更值得关注的是隐私边界：常开摄像头意味着拍摄内容可能被传至云端处理，用户需要清楚知道画面何时上传、保存多久、能否一键关闭。若谷歌不能在一年内给出足够透明的说明，这项功能很
值得继续思考的问题：
- 连续视频流理解与单帧识别的工程差距：延迟、功耗、端云分工如何决定体验上限
- 谷歌把视觉能力放进 Gemini Live 而非独立辅助应用，背后的入口与订阅商业逻辑
- 众包辅助模式（Be My Eyes 等）在系统级 AI 面前的角色重定义与新的准确率评估标准
本条动态来自 The Verge AI（发布于 2026-10-01 19:47:51）。本站为海外 AI 动态的中文转述与观点评论，原文版权归原作者所有。
每日聚合海外 AI 一手动态与深度观点。收藏本站，不错过每一个重要信号；返回首页查看更多。
