两个月前，Prism ML 往平静的湖面扔了颗石子。今天，他们直接把整片水面掀了。
Ternary Bonsai 2 27B 正式发布，参数规模纹丝不动，体积却直接砍到原版的九分之一。更反直觉的是，它保留了全精度模型 98.2% 的综合能力。说实话，这组数据放在两年前，技术负责人大概会以为测试脚本被人动了手脚。
这次的主角基于 Qwen3.8 27B 底座，官方给的定位很直白：更强的推理、代码、视觉与 Agentic 能力，同时死死守住本地部署的底线——极低的显存占用、极高的吞吐率、更省电。Apache 2.0 协议全量开源，上下文窗口拉满 262K。一场关于“AI到底该长多大”的行业焦虑，被一组硬核数据强行按下了暂停键。
压缩不是做减法，是拆掉算力的高墙
传统量化这条路，早就走成了苦役。为了塞进消费级显卡，开发者们习惯了拿着精度当筹码。Q2 量化已经站在“明显变差”的边缘，再往下压就是“直接废掉”。
Bonsai 2 这次走了条偏门：三元权重 {-1, 0, +1} 配合 FP16 分组缩放。结果？每个权重只剩下 1.76 个有效比特，总模型体积被暴力压到 5.9GB。
个人觉得，这招最狠的地方不在于“省空间”，而在于“不丢活”。对比全精度基座，它在编码、工具调用、多模态工作流这些对误差极度敏感的领域，居然只掉了不到 2% 的分。很多低比特方案为了跑得动，干脆把代码生成和视觉理解直接阉割。Bonsai 2 却硬生生把“勉强能用”推到了“真正好用”。
“If I recall correctly, a recent post has shown that Q2 quants (with like 2.6 bpw) of the same base Qwen model sit at the edge between 'noticeably worse' and Q1's 'useless'.”
社区里早有质疑，为什么 Bonsai 不跟常规量化比？答案就藏在那 1.76 bits 的底层逻辑里。这不是挤牙膏，这是换了发动机。
同参数量级下，它的 Intelligence Density 属于绝对 outlier。当别人还在为降比特而痛苦妥协时，Bonsai 已经把“高效部署”和“高智商”焊死在了一起。
跑分之外，本地部署的“隐形战场”
纸面数据再漂亮，跑不通就是电子垃圾。
在 NVIDIA GeForce RTX 5090 上，它最高能飙到 143 tokens/秒；换上 Apple M5 Max，也有 46.8 tokens/秒。如果用的是上一代 RTX 4090，每生成一个 token 只要 0.714 mWh 电量，比全精度的 8B 模型还省电 40%。
这意味着什么？意味着写代码的 edit-debug 循环能快一圈，多模态 Agent 处理截图和文档不再卡成 PPT，隐私敏感数据可以彻底留在本地后台轮转，不用半夜偷偷往云端传。
社区实测反馈很真实：Mac Mini M2 上跑出 7-8 tok/s 的速度，虽然离旗舰有差距，但完全够日常折腾。不过翻车提示也很直白：显存低于 6GB 的设备基本只能看个寂寞，而且目前必须拉取 Prism 自研的 llama.cpp fork 才能跑通 GGUF 文件。老实讲，生态适配还得补课，但方向已经指得很明白了。
当低比特成为常态，谁在重新定义AI架构？
很多人还在迷信“参数越大越好”，但 Bonsai 2 抛出了一个更现实的问题：在固定的内存、算力和功耗预算里，到底能交付多少有用的智能？
低比特化绝不是为了让笔记本能跑个大模型那么简单。它正在悄悄改写整个 AI 系统的经济账和架构逻辑。更大的模型塞进同样的显存信封里，单机并发用户数翻倍，单次推理能耗暴跌。未来的系统不再是“本地弱鸡+云端巨无霸”的二元对立，而是动态路由的混合架构：高频、敏感任务本地消化，复杂推理按需上云。
有意思的是，社区里有人期待企业级的“Big Bonsai”去硬刚 DSV4 Flash，也有人直言这东西现阶段更适合纯代码场景。争议很正常，但趋势不会骗人。当部署成本不再是门槛，AI 的边界就不再受限于数据中心的风扇声，而是蔓延到每一台闲置的笔记本、每一部口袋里的手机。
我们真的准备好迎接一个“算力平权”的时代了吗？还是说，当所有智能都触手可及时，那些曾经靠算力壁垒筑起护城河的公司，该焦虑的才刚刚开始？
【锐评】：用 1.76 比特撬动 98% 的智商，Bonsai 2 证明真正的工程突破从来不是堆参数，而是敢在算力高墙上凿洞。
参考链接：
https://prismml.com/news/bonsai-2-27b