没网也能跟手机说话:Google 把离线语音装进 AI Edge Gallery,手机端 AI 从此能开口
Google 在 11 月 10 日把设备端语音识别与语音合成装进 AI Edge Gallery:手机自己听、自己说,全程离线,不用服务器、不用按量付费。10 倍实时转录、100 毫秒出声、APK 零增加,都是真的——但全部是 Google 自报,而且零增加只适用于 Android 路线。

没网也能跟手机说话
11 月 10 日,Google 在开发者博客上宣布了一件事:Google AI Edge Gallery 现在支持完全在设备上运行的语音识别(ASR)与语音合成(TTS),全程离线。没有网络、没有服务器、没有“正在上传音频”的提示,手机自己听、自己说。配合 Gemini Nano 和 Gemma 4 这样的小语言模型,一部手机就能跑起一整条本地语音 pipeline:你开口说话,它实时转成文字;模型想好回答,它当场用语音念出来。整件事听起来像个小功能,实际上是手机端 AI 的一次换挡——语音交互第一次不再依赖云。
为什么这件事值得单独写一篇?因为对做应用的人来说,“离线”三个字改写了三件事。第一是场景:地铁、飞机、地下车库、信号只有一格的村里,以前这些地方的语音功能是摆设,现在能用了。第二是成本:语音请求不再经过服务器,量越大省得越多,小团队不用为语音调用单独买单。第三是隐私:音频不离开设备,对那些处理敏感对话的应用——医疗记录、儿童学习、商务会议——这不是加分项,是准入门槛。Google 这次发布覆盖的正是这三件事:场景、成本与隐私,一次给齐。

两条路:Android 走 ML Kit,跨平台走 MediaPipe
这次发布给了开发者两条路,按目标平台选,不用二选一纠结。
第一条路是 Android,用 ML Kit。Google 最新的设备端语音模型直接集成在系统里:语音识别支持 100 多种语言,转录速度是实时音频的 10 倍;配套的语音合成是一个少步扩散模型,大约 100 毫秒就开始出声,生成 24kHz 的音频,速度最高达到实时的 50 倍。关键的一句是:这两个模型都集成在操作系统里,给 APK 增加 0MB 体积。模型由 AICore 和 Google 的设备端语音服务管理,开发者不用自己管模型下载,也不用担心包体积膨胀;应用还能自动获得 NPU 和 TPU 后端的硬件加速(如果设备有的话),以及无缝的后台模型更新。识别准确率方面,Google 给出的数据是:在 FLEURS 基准上,词错误率(WER)为 8.0% 至 9.0%,转录 3 秒的语音大约用 300 毫秒,端到端语音翻译的等待时间缩短了 35% 至 44%。语音合成方面:8 种富有表现力的声音、21 个语言区域,一段 27 秒的段落大约 500 毫秒就能合成完,主动设备功耗比传统自回归 TTS 模型降低 50% 以上,还内置了提示音(earcon)支持。
第二条路是跨平台,用 MediaPipe Tasks 和 LiteRT。把语音识别和语音合成集成到跨平台应用里,通常要自己处理底层音频分帧、语音活动检测(VAD)和复杂的解码 pipeline,MediaPipe Tasks 把这些都抽象成简单的高级接口,覆盖 iOS、macOS、Windows、Linux 和 Web。语音识别任务自动处理音频分帧、可配置的 VAD 和解码,支持实时流式、整句批量和混合转录三种模式(边说边出词,说完再修正整句),开箱即用的开放权重模型是 Parakeet-TDT 0.6B,浏览器里可以直接试用。语音合成任务提供一键合成接口、声音选择和低延迟流式音频输出,开箱模型包括多语言的 PocketTTS 100M 和 Kokoro-82M,以及超轻量的英文模型 Phonon 31M——它在大多数设备和平台上的首次发声时间(TTFA)不到 100 毫秒。
两条路的底层是同一个东西:LiteRT,Google 的高性能设备端 AI 推理基础设施。语音模型往往由多个子图和辅助资源组成——语音识别需要编码器/解码器子图和分词器,语音合成需要音素词典、声音嵌入和声码器——所有必需组件被打包进一个 .litertlm 文件,方便部署。应用自带可直接用的 .litertlm 模型:Parakeet-TDT-0.6B-v3(多语言语音识别)、PocketTTS 100M(多语言语音合成)、Phonon 31M(超轻量英文语音合成)和 Kokoro-82M(多语言语音合成)。除此之外,Hugging Face 上的 LiteRT 社区已经有超过 10,000 名关注者,提供越来越多开放权重模型,比如语音识别方向的 Whisper、Qwen3-ASR 和 Moonshine,语音合成方向的 Qwen3-TTS 和 Matcha。需要更细粒度控制或自定义模型架构的跨平台应用,也可以直接基于 LiteRT 自己搭建。
XR 语言教师:整个演示就是为了证明“真的离线”
发布里最有说服力的部分不是参数表,而是一个演示:XR Language Teacher(XR 语言教师)。学语言最需要语音的场景,恰恰是最没网的场景——在地铁站、在熙攘的市场、在国外漫游。Google 在 AI Edge Gallery 里做了一个展示:把摄像头对准一个不认识的物体或菜单,问一句“这是什么,用当地话怎么说?”,立刻就能听到用你自己的语言讲的解释,以及当地语言的真实发音。整个过程 100% 在手机本地完成,不需要任何网络连接。
这条 pipeline 是这样跑起来的:设备端语音识别实时把你的语音问题转成文字,同时摄像头画面一起交给 Gemini Nano(Android 设备)或 Gemma 4(其他平台),一次处理完成;模型用结构化输出 schema,把讲解用你自己的语言写出来,同时把外语短语单独标注出来,让 TTS pipeline 可以在句子中间无缝切换声音和口音——从母语切到目标语言——屏幕上还同步出现一张词汇卡。同一套体验还能延伸到智能眼镜上:推理在配对手机上本地运行,手机上能跑,眼镜上戴着也能用。Google 在 Android Dev Summit 上专门讲了怎么把 Language Teacher 适配到智能眼镜,演讲题目是《用 Gemini Nano 打造以音频为先的智能眼镜体验》。
这个演示值得细看,因为它同时证明了三件事。第一,语音、视觉和语言三个模型可以在一部手机上同时跑,而且不互相抢算力——Google 的原话是“在紧凑的内存占用里与设备端小语言模型并行运行,没有计算争用”。第二,结构化输出不只是“格式好看”,它是双语语音切换的关键:没有 schema 标注,外语短语就没法单独切声音。第三,离线不是降级版:演示里的体验没有“因为离线所以少点功能”的妥协,实时转录、视觉定位、双语朗读都在。这三件事合起来,才是“离线语音”真正的产品含义:不是“没网时的备胎”,而是“本来就该这么跑”。
AI Chat 也装上了声音:朗读要跟得上句子
除了 XR Language Teacher,Google 还把语音识别和语音合成直接装进了 AI Edge Gallery 的主功能 AI Chat 里,让 Gemini Nano 和 Gemma 4 这类设备端小语言模型在出门在外时也有了自然的离线语音界面。做法上有三个细节值得学。
第一是按句同步的朗读。打开“自动播放 TTS”,或者点任意一条回答旁边的扬声器按钮,就会浮出一个 TTS 悬浮条,逐句高亮正在朗读的句子,点任意一句就能跳到那句。这不是“整段念完拉倒”,而是“念到哪、亮到哪”,用户随时可以打断、跳转、重听。语音设置的集中管理也在同一个地方:模型管理里可以选择语音识别和语音合成 pipeline、预设声音和已下载的语言包。
第二是“参考实现里藏着的脏活”。Google 的开源代码演示了怎么处理朗读时最烦人的细节:去掉 Markdown 语法,跳过代码片段和表格这类不该念的块,按句子排布合成任务,避免在 LLM 生成 token 的同时争抢算力和内存。这些细节单独看都很小,合起来就是“朗读能不能听”的分水岭。很多团队给聊天加语音时只做到了“能出声”,没做到“出声的时候不卡、不念代码、不把表格一个字一个字念出来”。Google 把这套做法开源出来,等于把坑先踩了一遍。
第三是架构选择上的诚实。博客里写得很明白:Gemma 4 这类多模态模型可以直接处理音频输入,但 Google 还是提供了一个模块化方案——用独立的轻量语音模型级联语言模型,目的是优化延迟和灵活性。换句话说,不是一股脑把所有事都塞给一个大模型,而是让小模型各干各的活:语音模型管听和说,语言模型管想。这种“级联”思路对资源有限的设备尤其重要,也是 vibe 项目做语音功能时最值得抄的一点:不要等一个万能模型,要拼一条各司其职的 pipeline。
对 vibe 项目意味着什么:语音功能不再是大公司的专利
在今天之前,给应用加语音功能通常意味着三件事:接一家云厂商的语音 API、按量付费、把用户音频发到服务器。每一件都对小团队不友好:API 要钱,音频上云要过隐私合规,离线场景直接不可用。Google 这次发布的意义在于,它把这三件事一次性降到了零:ML Kit 的路是系统集成的,APK 不增加体积;MediaPipe 的路是开源模型加单文件部署;两条路都不需要服务器、不产生按量账单、音频不出设备。
具体能做什么?先看三类最直接的场景。第一类是“没网也得说话”的应用:旅行翻译、离线词典、野外记录、课堂助手——用户最需要语音的时候,往往正是最没网的时候。第二类是“音频敏感”的应用:儿童学习、医疗问诊记录、会议纪要、个人日记——音频不出设备,合规和用户信任都好谈得多。第三类是“语音是主交互”的应用:开车、做饭、运动、戴着手套干活——手腾不出来的时候,语音就是界面。这三类场景里,语音不是锦上添花,是产品成立的前提。
但也要冷静看待这次发布的边界。第一,所有数字都是 Google 自己报告的:8.0% 至 9.0% 的词错误率、10 倍实时转录、50 倍实时合成、功耗降低 50% 以上——博客里没有第三方独立测量,实际表现会因设备、口音和环境噪声而变化。第二,“APK 增加 0MB”只适用于 Android 的 ML Kit 路线,跨平台路线仍然需要下载 .litertlm 模型包,首次使用要先下载。第三,设备端小模型的“想”的能力仍然有限:Gemini Nano 和 Gemma 4 能做的对话和推理,比云端大模型窄得多。语音 pipeline 解决的是“听和说”,不是“想得多深”。一个离线语音助手可以流畅地转录和朗读,但它回答复杂问题的能力,仍然受限于设备端模型本身。
还有一个判断值得记下来:离线语音的真正对手不是云端语音,而是“没有语音”。很多小应用至今没有语音功能,不是因为不想做,而是因为接云 API 的成本、合规和离线短板三道门槛加起来太高。Google 这次把三道门槛一起拆了,语音功能从“大公司的标配”变成了“小团队也能加的默认功能”。接下来要看的是,有多少 vibe 项目真的把它用起来——不是在演示里,而是在地铁、厨房和操场上。
五、和云端语音比,离线语音到底差在哪
写到这里,必须正面回答一个问题:离线语音和云端语音比,到底差在哪?答案分三层。第一层是识别的“硬环境”:安静房间里、标准口音、短句子,设备端模型的表现已经很接近云端;但到了嘈杂的街头、带口音的长句、几个人同时说话的会议室,设备端模型的错误率会明显上升——博客里 8.0% 至 9.0% 的词错误率是在 FLEURS 基准上测的,真实环境的数字只会更高,不会更低。第二层是理解的“深浅”:语音识别只解决“听到了什么”,真正难的是“听懂了什么”——用户说一句含糊的话,云端大模型能结合上下文猜出意思,设备端小模型能调用的上下文要窄得多。第三层是声音的“表现力”:8 种声音、21 个语言区域听起来不少,但和云端语音那种可以模仿语气、停顿和情绪的合成比起来,设备端语音仍然更像“标准播音腔”,适合朗读和提示,不适合讲故事和演对话。
这三层差距决定了离线语音的适用边界:它最适合的是“听得清、想得浅、说得短”的场景——语音输入、朗读、简单的语音指令、离线翻译的发音示范。不适合的是“听不清、想得深、说得长”的场景——多人会议转写、方言口音识别、长篇情感朗读。这些场景今天仍然要靠云,或者等设备端模型再强一代。判断自己的应用属于哪一边,办法很简单:拿目标用户最常说的三句话,在真实环境里试一遍——地铁里、菜市场、开着风扇的房间——识别对了,再谈下一步;识别错了,先别急着上线。
还有一个容易被忽略的成本:首次下载。跨平台路线用的 .litertlm 模型包,第一次使用要先下载——Parakeet-TDT 0.6B、PocketTTS 100M 这些模型都不算大,但对存储空间紧张的低端机用户来说,多一个几百 MB 的下载就是一道门槛。产品上要处理好这件事:只在用户第一次点语音功能时再下载,不要在安装时一股脑全装上;下载时说清楚要下多大、要下多久、能不能用 Wi-Fi 再下;下载完了告诉用户一声“语音功能已就绪,之后不用联网也能用”。下载体验做得好,用户会觉得“等一下是值得的”;做得不好,用户在下载进度条面前就把应用卸了。
上手路径:今天就能试的三件事
博客给出的上手路径很具体,分三步。第一步是体验:在 Android 和 iOS 上下载最新版 Google AI Edge Gallery 应用,亲自试试 XR Language Teacher 和带语音的 AI Chat,看看离线语音在自己手机上的真实表现——包括识别准不准、朗读自然不自然、延迟能不能接受。第二步是改代码:去 GitHub 上的 Google AI Edge Gallery 开源仓库看参考实现,或者直接把仓库指给自己喜欢的编码智能体(比如 Google Antigravity),让它帮你把流式语音识别、双语 TTS 切换和按句同步朗读这条 pipeline 适配到自己的应用里。第三步是按平台选接口:Android 集成看 ML Kit 的语音识别与语音合成文档,跨平台看 MediaPipe Tasks,或者跟着 LiteRT 开发者指南、从 Hugging Face LiteRT 社区下载现成的 .litertlm 包;想在更多真机上测语音 pipeline 的表现,可以用 Google Cloud 的开发者设备平台,在 200 多台真实物理设备上跑基准测试。
对独立开发者来说,第一步是最值得先做的:不要先读文档,先在自己的手机上试。离线语音这件事,参数表上的数字(10 倍实时、100 毫秒出声、8.0% 词错误率)都不如亲自试一次来得实在——在地铁里说一句话,看它能不能实时转出来;在嘈杂的街头让它念一段回答,听听能不能听清。试完了,再决定自己的应用要不要加语音、加哪种语音。Google 这次发布的好处是,试的成本很低:应用是免费的,模型是现成的,代码是开源的。剩下的只是你的时间。
评论 (0)
原始来源
相关文章
2026 年 11 月 20 日,Thinking Machines Lab 发布 Inkling 2 Mini:26.4B 参数的循环 Transformer,中间 12 层每 token 跑三遍,整机只有约 20GB,能在笔记本上离线跑。DeepSWE 48.2%、SWE-bench Verified 79.2%,在同体量开源模型里领跑——但知识短板和监控问题也写在官方博客里。
2026 年 11 月 17 日,微软发布 MAI Code 2 和 Code 2 Flash:大模型 770 亿激活参数、100 万上下文,四项基准平均通过率 63.2%,与 GPT-6.1 Sol、Claude Opus 5.5 咬得很紧,但每任务成本只有 0.309 美元。先看清三处“但是”:价格是推广价、分数是三者最低、长周期任务不在舒适区。
2026 年 11 月 11 日,AWS 开源 UAEF:先把 LangGraph、LangChain、Strands、Bedrock AgentCore 等框架的运行记录翻成统一格式,再用 36 个指标、7 个维度打分,回归超过 5% 就亮灯。评审模型本身也被防了一手:打分要引原文作证,分数不能用来决定安全放行。