谷歌偷偷扔出一个王炸:20亿次下载后,它终于把“看懂世界”的能力塞进了你的手机

一条语音备忘录,怎么在1小时的视频里精准定位到你想找的那个画面?
一段文字描述,怎么从上千张照片里拽出“去年夏天海边那张自拍”?

谷歌DeepMind刚刚开源的EmbeddingGemma 2,把答案直接怼在了你手机里。

740M参数,Apache 2.0开源协议,天然支持文本、图片、音频、视频的跨模态理解。

这意味着什么?

你的手机,第一次拥有了一双“通感”的眼睛。


从冷启动到20亿次下载,这小东西到底干了什么?

去年,谷歌第一次拿出EmbeddingGemma的时候,说实话,没多少人当回事。

一个轻量级文本嵌入模型,主打在用户设备上直接处理信息组织、搜索和连接任务。听起来挺工具人,没什么戏剧性。

但开发者社区的反馈,直接把谷歌团队干懵了。

超过2000万次下载。

这个数字意味着什么?意味着有成千上万的开发者,正在用它搭建更聪明的端侧搜索工具,和隐私优先的RAG(检索增强生成)流程。

隐私优先,你品品这四个字。

在云端AI越卷越凶、各家大模型恨不得住进你手机的今天,有一拨人反着来。他们不想把数据送到云端,不想让每一次搜索都变成别人训练模型的燃料。他们就要在本地,在设备上,把活干了。

EmbeddingGemma就是给他们准备的。

而现在,第二代来了。


不再是“看懂文字”,是“听懂声音、看见画面、理解视频”

老实讲,EmbeddingGemma 2最大的变化,不是参数从多少涨到多少。

是它从单模态,变成了原生多模态。

文本、代码、图像、视频、音频,全部映射进同一个嵌入空间。用官方的话说,这叫“统一的嵌入空间”。

听不懂?换个说法。

你有一段音频录音,里面有人提到了某个项目名字。现在你可以直接输入这段文本,去视频库里搜出对应的那个片段。全程在设备本地完成。

你有一堆图片,想找“穿着红色裙子的那张”。不需要人工打标签,不需要OCR,不需要图片命名规范。直接描述,直接搜。

一个单一的、原生的多模态模型,把所有这些事全包了。

这不是几个独立模型拼在一起。这是从架构层面,让模型天生理解跨模态的语义关联。


参数拆分是个技术活,谷歌这刀法有点东西

740M总参数,听起来在动辄百亿千亿的大模型时代不算什么。

但谷歌这波玩的不是参数竞赛,是“按需组装”。

  • 纯文本任务:只需要270M参数
  • 需要视觉理解:加170M视觉编码器
  • 需要音频理解:加300M音频编码器

什么意思?

你做一个纯文本搜索应用,不需要把视觉和音频的参数全加载进来。按需加载,按需使用。

这种模块化设计,配合量化技术,实际效果相当恐怖:

在Google Pixel 11 Pro上,纯文本权重只需约191MB活跃内存。完整多模态模型,约567MB。

你手里那台手机,装个大型游戏都不止这个内存占用。

更离谱的是存储效率。EmbeddingGemma 2用了Matryoshka Representation Learning(MRL,套娃表征学习技术),开发者可以把输出向量的维度从768动态裁剪到512、256甚至128。

本地向量数据库的存储需求,最高能降6倍。

存储、内存、算力,三个维度全部压到极限。这就是冲着端侧来的。


代码能力暴涨9.92分,这才是真正的杀手锏

文本和视觉的提升,多少还能预料到。毕竟上一代已经打下了底子。

但代码这块,确实有点出乎意料。

MTEB Code基准测试,从68.76直接跳到78.68,暴涨9.92分。

这数字换到别的模型身上,可能够吹一年。在EmbeddingGemma 2这里,只是顺便提了一嘴。

本地代码库索引、语义代码搜索、编码代理的检索能力。在代码理解这个维度上,它甚至超过了一些体量两倍于它的专用模型。

想想这个场景:你本地有几十万行代码,想去搜“那个处理用户登录超时的函数”。传统搜索靠正则匹配,靠文件名猜测。现在直接语义搜索,描述意思就能定位。

开发者社区的效率工具,又要洗一次牌了。


8K上下文窗口,够不够用你自己感受

EmbeddingGemma 2的上下文窗口是8K token,是上一代的4倍。

换算成实际使用场景:

  • 5.5分钟的音频
  • 29张图片
  • 58帧视频
  • 或者,以上任意组合混合

全部可以直接在本地硬件上处理。

注意,是组合。不是单一的“要么处理音频、要么处理图片”。是那种“一段视频+一段音频+几张截图”交织在一起的数据,直接吃进去,直接产出嵌入向量。

Gemma 4架构打底,和Gemini Embedding模型同源技术。再加8K上下文,让端侧AI的想象力边界又往外推了一大截。

当它和Gemma 4生成模型搭配的时候,可以搭建完全离线运行的多模态RAG管道。因为共享文本tokenizer和音频编码器,两个模型在统一流水线里运行,组合后的总内存占用反而更低。

这就是架构同源的红利。


Apache 2.0,为什么这条对开发者这么重要?

评论区有一条高赞,说出了这个模型真正的分量。

“对于嵌入模型来说,使用封闭的、专有的、只能托管运行的服务,毫无意义。嵌入模型的大多数应用场景,是要计算成千上万甚至数百万个向量,然后存储起来供后续比较。如果模型是专有的,厂商总有一天会决定停止提供那个模型。”

这话说得太实在了。

你用闭源API做嵌入,等于把公司数据资产架在别人的服务器上。哪天他停服了,或者价格涨了,或者干脆换个更好的模型把你抛下,你的向量数据库直接变成一堆没有解析器的乱码。

EmbeddingGemma 2用Apache 2.0,把这个问题直接解决了。

模型权重就在那里,Hugging Face、Kaggle都能下载。你甚至可以微调它。想部署在什么平台上都行。

还有一条评论说得更直白:

“谷歌居然愿意开源一个他们本可以塞进安卓手机里的模型。”

这句话背后是什么?是谷歌在赌更大的局。与其把Embedding能力锁死在安卓系统里做卖点,不如把它撒向全世界,让整个开发者社区帮它铺开。


端侧AI的转折点,就是现在

过去一年,大模型圈的叙事是这样的:模型越来越大,算力需求越来越高,云端推理成本越来越低。

但有一件事他们没说:数据隐私的代价,被用户默默承担了。

EmbeddingGemma 2代表的是一种完全不同的路径。模型不用最大,但必须够强。数据不用上传,全部本地处理。隐私不是卖点,而是默认配置。

270M参数就能跑文本嵌入,767MB内存就能跑完整多模态。这意味着什么?

意味着你手机里的相册搜索,不需要再经历“拍照-上传-云端识别-返回结果”这个流程。意味着语音备忘录可以变成可检索的知识库。意味着离线状态下的AI能力,可能比联网状态差的没那么多了。

当然,MaFormers的缺席是个遗憾。评论区有人指出,和上一代不同,EmbeddingGemma 2用的是MRL而不是MatFormers。这意味着你没法在降维嵌入向量的同时,把模型权重也一起压缩。关于多模态场景下怎么做MatFormers,目前确实还没有好的研究方案。

另外,它在文本基准上的表现,和第一代几乎完全一致。没有显著提升,但也不是倒退。主要增量在代码、视觉和音频上。

还有人在等Voyage AI的对比测试,想看看文本嵌入这块到底谁更牛。这问题,只能交给时间去回答。

但方向已经很清楚了。

端侧AI的转折点,不是某手机厂商发布会上的Demo,不是某个云端API的降价通知。

是这种可以自由下载、自由微调、自由部署的开源模型。

二十年前,Linux让服务器拥有了选择权。今天,EmbeddingGemma 2也许正在做同一件事:让端侧AI拥有选择权。

你可以不认同谷歌的云端战略,你可以继续用闭源API训练私有数据。

但有一件事你没法否认:

当用户不必须把自己的数据交出去才能获得AI能力的时候,这个市场的规则,已经变了。

【锐评】:谷歌这波开源操作,相当于把自家芯片图纸公开了。端侧AI的成本被打到脚踝,闭源嵌入API的苦日子,快来了。

参考链接:
https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/