2023年3月10日,一个普通的周五晚上。
Georgi Gerganov 敲下最后一行代码,他在 GitHub 上提交了一个名为 llama.cpp 的项目。
他在 README 里写了一句极其随意的话:“主要目标是在 MacBook 上用 4-bit 量化运行模型……这只是一晚上的胡乱折腾,我也不知道能不能跑通。”
maybe,他当时可能真的只是想试试。
但他没料到,这“一晚上的胡乱折腾”,直接引爆了整个本地 AI 的革命。
从那天起,原本只能在昂贵服务器里傲娇运行的大模型,被硬生生塞进了普通人的笔记本电脑里。
就在刚才,这把燎原的火,找到了它的官方靠山。
一场蓄谋已久的联姻
ggml.ai,也就是 llama.cpp 的创始团队,正式宣布加入 Hugging Face。
这消息一出,科技圈的反应不是惊讶,而是——“怎么才发生?”
说实话,大家觉得他俩早就该领证了。
根据官方披露的信息,过去几年里,Hugging Face 的工程师早就不是旁观者了,他们几乎是天天在 ggml 的代码库里“打卡上班”。
你看看他们都干了些什么:
给 ggml 和 llama.cpp 贡献核心功能;
搞出了一个带 polished UI 的推理服务器;
硬是把多模态支持塞进了 llama.cpp;
把 GGUF 文件格式和 Hugging Face 平台磨得严丝合缝。
这哪里是两家公司,分明就是在一个战壕里摸爬滚打出来的战友。
Georgi 和他的团队目标很明确:为了确保未来的 AI 真正保持开放。
开源英雄的生存难题
我们要承认一个残酷的现实:用爱发电,是有保质期的。
ggml.ai 自从 2023 年成立以来,一直是个小团队。过去三年,这帮人几乎是拿命在拼,硬是把 ggml 打成了高效本地 AI 推理的“事实标准”。
但这很累。
正如评论里有人说的那样:“我不知道 Hugging Face 怎么赚钱的,但我希望他们的商业模式能撑住,否则这生态系统会烂掉。”
开源项目要想活得久,光靠热情是不够的,得有“长期饭票”。
这次加入 Hugging Face,Georgi 和团队并不是要卖身养老,而是为了获取长期可持续的资源。
Hugging Face 提供的不仅是钱,更是能让这个项目在未来几年里继续“ exponential progress”(指数级进步)的底气。
我个人觉得,这事儿没毛病。不能让英雄饿着肚子写代码,要让他们吃饱了继续改变世界。
不仅要活着,还要“一键起飞”
有人可能会担心,加入大厂后,项目会不会变得臃肿、难用?
官方给出的承诺是:Not much(没啥大变化)。
Georgi 和团队还是会 100% 投入在维护 ggml 和 llama.cpp 上,社区依然拥有完全的自主权,技术决策还是大家说了算。
但不一样的地方在于,以后你用起来会更爽。接下来的重点很明确:
第一,搞定“一键集成”。
Transformers 框架现在是 AI 模型定义的“圣经”。ggml 和 transformers 的生态如果能无缝打通,以后模型支持的速度和质量,绝对是起飞级别的。
第二,让小白也能玩转本地推理。
现在本地推理虽然火,但对普通用户还是有点门槛。他们的目标是让 llama.cpp 像 Chrome 浏览器一样,无处不在,随手可用。
社区在狂欢,也有人在担忧
消息公布后,GitHub 的评论区热闹得像过年。
有人说:“Hugging Face 才是真正的 Open AI(OpenAI),它是和国内开源力量并列的沉默英雄。”
也有人说:“Georgi Gerganov 和 llama.cpp 的影响力怎么强调都不为过,他在 2023 年 3 月发起的那场革命,让 LLaMA 跑上了消费级笔记本。”
更有意思的是,一位从 2023 年就开始赞助 Georgi 的老铁直接留言:“我很开心,但我打算取消我的 GitHub 赞助了,毕竟你和代码终于找到家了!”
当然,质疑声也不是没有。
有理性的声音指出:“我希望这是真的,但商业利益最终总会占上风。llama.cpp 现在是本地推理的事实标准,如果以后变了怎么办?”
这种担心不无道理。但我更愿意相信,Hugging Face 这么多年攒下的口碑,不是拿来随便挥霍的。
毕竟,他们的共同愿景可是——在未来的几年里,把开源的超级智能送到我们每个人的设备上。
咱们拭目以待。
参考链接:
https://github.com/ggml-org/llama.cpp/discussions/19759