AI开始自己造自己了:10万颗国产芯片撑起GLM的"自我进化"实验
"我们被自己的模型弄得不舒服了。"
说这话的是智谱团队。GLM是他们一手带大的模型,但最近这个模型展现出的能力,让他们"惊讶,甚至不安"。
因为从2025年10月起,事情开始不对劲了。先是被拿去搞网络安全,不到一年,安全合作伙伴用它挖出了真实代码库里数千个漏洞。然后更离谱的事发生了——模型开始帮忙造AI自己。
一个以前需要资深基础设施团队干好几周的活儿,GLM自己上手,没几天就给干完了。
用智谱自己的话说:我们的继任者,就是正在被我们自己创造的AI系统。
你可能觉得这是科幻片看多了。
但人家有数据。
两周,10万颗,3倍
中国制造的AI加速器,10万颗以上,堆成一个集群。
没人这么干过。
GLM-5.3-Flash的生产级推理服务,全部跑在这个系统上。从零搭建,从模型适配到生产就绪,花了不到两周时间。
坦率讲,智谱自己都没想到能这么快。之前的GLM版本给团队内部用,更多像是"自家孩子总要支持一下"的义务劳动。到了GLM-5.3,情况变了,每天不跟它一起写代码反而浑身不对劲。
更不能忽略的是这组数字:上线6天,处理了62万亿token。在OpenCode和OpenRouter上以匿名模型名Ox-Alpha测试,一周内直接成了两个平台上使用量最多的模型。
要知道,以匿名身份打败一堆正式挂名的模型,这操作属实有点"扮猪吃老虎"。
图1:GLM-5.3-Flash从首次运行到生产发布端到端吞吐量提升轨迹
性能端到端提升3倍。硬件利用率和单token成本,跟主流NVIDIA GPU的部署水平打平。
但这里面最关键的变量,不是芯片,不是架构,是干活的方式。
用"密集反馈"喂AI工程师
这个项目的核心角色,叫Infra Agent。由GLM-5.3驱动,替工程师干基础设施优化的活儿。
传统优化流程是:跑个端到端测试,发现"吞吐量掉了20%"或"TTFT增加了30%",然后经验丰富的工程师拿这些模糊指标去猜,问题到底出在内核实现、并行策略、通信行为、内存管理还是服务编排。
人猜得准,靠的是经验积累。
但AI不会凭"直觉"干活。给它一句"准确率下降了",它根本分不清是该查kernel还是该查调度器。
智谱的做法,是把反馈拆碎。他们把正确性测试、运行时日志、执行轨迹、微基准、端到端指标,全部塞进agent的迭代工作流里。
这套东西有一个名字:密集反馈(dense feedback)。
三个特征约束它:
第一,反馈要足够局部。别告诉agent"模型精度下降了",告诉它具体哪个请求在哪种分区路径下输出不对。
第二,反馈要便宜、及时。验证一个kernel假设,不该每次都重新部署整个服务和端到端压测。
第三,必须支持客观验证。参考实现、测试结果、对照组实验一样都不能少,相关性不能当因果用。
一句话总结这套思路:让每步实验都能回答一个具体问题,让每次"猜"都有验证的出口。
图2:基于密集反馈的Infra Agent优化循环
三个典型事故现场
听起来挺玄乎,看两个具体的bug更有感觉。
第一个,数值精度翻车。KDA内核的上下文并行(CP)路径,做状态合并时用了TF32计算。TF32快是快,但精度低,长上下文下误差不断累积,模型就"算错"了。
Agent通过对比不同并行路径的数值输出,把问题定位到了tl.dot的默认精度设置上。修复方式是把input_precision改成tf32x3,用三次TF32操作换接近FP32的精度,同时保留张量核心的性能优势。
第二个,GIL卡脖子。KV传输性能比预期差了20%以上,Agent检查时间线发现:Python侧的KV传输从来没跟DeepEP的dispatch/combine调用重叠过。
查了源码发现,DeepEP v1.2.1版本里的intranode_dispatch和intranode_combine都没有释放Python的GIL。同一进程里做传输的线程根本抢不到锁,调度直接被卡住。
有意思的是,同一版本里的internode_dispatch已经主动释放了GIL,注释里还写着"避免阻塞其他线程的KV传输"。这说明模型翻源码翻得挺细,连版本间的差异都对上了。
修复后,性能差距从20%+降到了1%以内。
图3:KV传输并发瓶颈的发现与修复
还有一个case很能说明问题。KDA Decode内核优化过程中,Agent从SGLang、Flash Linear Attention、DeepGEMM这些开源项目的手写内核里提取优化技巧,总结成"优化骨架",存进自己的知识库。然后拿这些骨架来优化自己的推理内核。
原本按V维度做tiling的实现,把FP32归一化和门控计算重复做了四次。Agent把它合并成单个线程块,中间结果放在寄存器里,用一次warp级归约替代掉冗余计算,直接获得了1.71倍加速。
这就是闭环。
模型优化系统,系统运行模型。
图4:KDA Decode内核从基线到生产版本的性能演进
这波操作,到底谁赢了?
看完文章第一反应:这个进度是不是有点快?
回头看评论区,有个声音很刺耳。有用户在Z.ai的实际体验是"慢得像蜗牛,用量限制还特别严格,经常一个晚上都跑不完"。文章里渲染的3倍性能提升,为什么用户端感受不到?
这个问题没有直接回答,但技术文章和用户体验之间出现这种落差,值得留意。
参考链接:
https://z.ai/blog/glm-built-its-inference-infrastructure