2023年3月10日,一个普通的周五晚上。

Georgi Gerganov 敲下最后一行代码,他在 GitHub 上提交了一个名为 llama.cpp 的项目。

他在 README 里写了一句极其随意的话:“主要目标是在 MacBook 上用 4-bit 量化运行模型……这只是一晚上的胡乱折腾,我也不知道能不能跑通。”

maybe,他当时可能真的只是想试试。

但他没料到,这“一晚上的胡乱折腾”,直接引爆了整个本地 AI 的革命。

从那天起,原本只能在昂贵服务器里傲娇运行的大模型,被硬生生塞进了普通人的笔记本电脑里。

就在刚才,这把燎原的火,找到了它的官方靠山。

image

一场蓄谋已久的联姻

ggml.ai,也就是 llama.cpp 的创始团队,正式宣布加入 Hugging Face。

这消息一出,科技圈的反应不是惊讶,而是——“怎么才发生?”

说实话,大家觉得他俩早就该领证了。

根据官方披露的信息,过去几年里,Hugging Face 的工程师早就不是旁观者了,他们几乎是天天在 ggml 的代码库里“打卡上班”。

你看看他们都干了些什么:

给 ggml 和 llama.cpp 贡献核心功能;
搞出了一个带 polished UI 的推理服务器;
硬是把多模态支持塞进了 llama.cpp;
把 GGUF 文件格式和 Hugging Face 平台磨得严丝合缝。

这哪里是两家公司,分明就是在一个战壕里摸爬滚打出来的战友。

Georgi 和他的团队目标很明确:为了确保未来的 AI 真正保持开放。

开源英雄的生存难题

我们要承认一个残酷的现实:用爱发电,是有保质期的。

ggml.ai 自从 2023 年成立以来,一直是个小团队。过去三年,这帮人几乎是拿命在拼,硬是把 ggml 打成了高效本地 AI 推理的“事实标准”。

但这很累。

正如评论里有人说的那样:“我不知道 Hugging Face 怎么赚钱的,但我希望他们的商业模式能撑住,否则这生态系统会烂掉。”

image

开源项目要想活得久,光靠热情是不够的,得有“长期饭票”。

这次加入 Hugging Face,Georgi 和团队并不是要卖身养老,而是为了获取长期可持续的资源

Hugging Face 提供的不仅是钱,更是能让这个项目在未来几年里继续“ exponential progress”(指数级进步)的底气。

我个人觉得,这事儿没毛病。不能让英雄饿着肚子写代码,要让他们吃饱了继续改变世界。

不仅要活着,还要“一键起飞”

有人可能会担心,加入大厂后,项目会不会变得臃肿、难用?

官方给出的承诺是:Not much(没啥大变化)。

Georgi 和团队还是会 100% 投入在维护 ggml 和 llama.cpp 上,社区依然拥有完全的自主权,技术决策还是大家说了算。

但不一样的地方在于,以后你用起来会更爽。接下来的重点很明确:

第一,搞定“一键集成”。
Transformers 框架现在是 AI 模型定义的“圣经”。ggml 和 transformers 的生态如果能无缝打通,以后模型支持的速度和质量,绝对是起飞级别的。

第二,让小白也能玩转本地推理。
现在本地推理虽然火,但对普通用户还是有点门槛。他们的目标是让 llama.cpp 像 Chrome 浏览器一样,无处不在,随手可用。

社区在狂欢,也有人在担忧

消息公布后,GitHub 的评论区热闹得像过年。

有人说:“Hugging Face 才是真正的 Open AI(OpenAI),它是和国内开源力量并列的沉默英雄。”

也有人说:“Georgi Gerganov 和 llama.cpp 的影响力怎么强调都不为过,他在 2023 年 3 月发起的那场革命,让 LLaMA 跑上了消费级笔记本。”

更有意思的是,一位从 2023 年就开始赞助 Georgi 的老铁直接留言:“我很开心,但我打算取消我的 GitHub 赞助了,毕竟你和代码终于找到家了!”

当然,质疑声也不是没有。

有理性的声音指出:“我希望这是真的,但商业利益最终总会占上风。llama.cpp 现在是本地推理的事实标准,如果以后变了怎么办?”

这种担心不无道理。但我更愿意相信,Hugging Face 这么多年攒下的口碑,不是拿来随便挥霍的。

image

毕竟,他们的共同愿景可是——在未来的几年里,把开源的超级智能送到我们每个人的设备上。

咱们拭目以待。

参考链接:
https://github.com/ggml-org/llama.cpp/discussions/19759