当你的公司每天消耗 80亿个 Token，你会得到一个惊人的技术成果，以及一张同样惊人的账单。
这就是美国电话电报公司（AT&T）面临的现实。
作为首席数据官，Andy Markus 没有沉浸在“全公司AI化”的虚荣指标里，反而看到了一个巨大的无底洞：
如果不管什么任务都扔给大模型（LLM），成本根本扛不住，延迟也让人抓狂。
于是，他们做了一次教科书级的“反向操作”。这次重构不仅让系统跑得更快，还顺便砍掉了 90% 的成本。
80亿Token的账单，谁看谁迷糊
80亿Token是个什么概念？大概就是全公司几万人每天对着ChatGPT疯狂输出，把服务器跑冒烟的程度。
AT&T 内部有个叫 “Ask AT&T” 的个人助手，原本的逻辑很简单：有问题，找大模型。但这帮聪明人很快发现，并不是所有问题都需要爱因斯坦来回答。
“简单任务用大模型，就像杀鸡用牛刀，既贵又慢。”Markus 决定重构编排层。
他们基于 LangChain 搭建了一个多智能体堆栈。逻辑变了：大模型不再事必躬亲，而是退居二线当“超级代理”，负责指挥下面的“工人代理”去干活。
这些“工人代理”是谁？它们是更小、更垂直的小语言模型（SLM）。
Markus 对此有一句很狠的评论：“我相信智能体AI的未来，是无数个小语言模型。”他的测试数据显示，在特定领域，小模型的准确率甚至能跟大模型掰手腕，但成本却是骨折价。
大模型动嘴，小模型跑腿
既然大模型那么贵，那就让它只做最核心的事——决策。
在新的架构里，大模型变成了“包工头”。它负责理解你的复杂需求，然后把任务拆解，派发给下面专门干脏活累活的小模型。
比如处理文档、把自然语言转成SQL、分析图片，这些都由专门的工具搞定。
“Ask AT&T Workflows” 就是这个逻辑的产物。
这是一个图形化的拖拽式智能体构建器，员工可以自己搭工作流。系统跑起来的时候，驱动决策的是AT&T自己的私有数据，而不是网上的废话。
当然，AT&T 也没敢完全撒手不管。
毕竟这是在大公司，安全红线不能碰。所有的智能体行动都会被记录，数据全程隔离，角色权限卡得很死。
Markus 把这叫做“人在回路”：事情可以自主发生，但人类必须全程盯着，提供制衡。
别为了AI而AI，那是自找麻烦
现在科技圈有个坏毛病，什么都要沾点AI，好像不加个智能体这软件就没法用了。
Markus 对这种风气似乎不太感冒。他有个观点我很认同：不要为了融合而融合。
有时候，一个简单的单轮生成解决方案就能解决问题，非要搞个复杂的智能体架构，那是过度设计。
“有时候我们把事情搞复杂了，”Markus 说，“我见过过度工程的解决方案。”
他的建议很直接：在动手前先问自己，这玩意儿真的需要智能体吗？能不能拆成更小的块？每一块能不能做得更准？
准确性、成本、响应速度，这三点才是核心原则。哪怕方案再复杂，这三点也是定海神针。
黑客马拉松上的意外反转
这套系统推给了10万多名员工，结果有点出人意料。
超过一半的人说他们每天都在用，活跃用户的生产力提升了 90%。
这数据看着有点吓人，但AT&T看重的其实是“粘性”——大家愿不愿意反复用。
更有意思的是员工的使用习惯。
系统提供了两种模式：一种是给程序员的“专业代码模式”，可以写Python；另一种是“无代码模式”，拖拖拽拽就能用。
按理说，黑客马拉松里的技术大牛们肯定喜欢写代码吧？结果恰恰相反。
在一群技术高手的聚会里，超过一半的人选择了低代码模式。
Markus 自己都惊了：“这让我们很意外，因为这些人编程能力都很强。”
这说明什么？说明人类本质上是“懒”的，或者说，大家更愿意把精力花在业务逻辑上，而不是敲代码。
比如网络工程师，他们现在用这套系统建一堆智能体：一个查故障，一个修故障，一个写报告。
工程师干嘛呢？坐在旁边喝茶监督就行了。
20分钟干完6周的活，这谁顶得住
最后这点，可能会让不少程序员感到兴奋。
Markus 提到了一个概念叫“AI助力的编码”。
这跟现在流行的“氛围编码”不一样。“氛围编码”是你跟AI聊聊天，改改代码，有时候还得来回扯皮。
而AT&T的玩法是，把代码生成当成RAG（检索增强生成）来做。
开发者用敏捷方法配合特定的构建原型，生成的代码非常接近生产级，甚至可能一次性搞定。
这带来的效率提升是指数级的。Markus 举了个例子：他们有个内部数据产品，以前做这玩意儿要 6周。现在呢？20分钟。
“我们用它开发软件、修改软件、做数据科学、数据分析、数据工程，”Markus 说，“这简直是个颠覆者。”
说实话，AT&T 这波操作给全行业上了一课：AI 的未来不在于模型有多大，而在于编排有多细。
当所有人都在追逐参数量的时候，懂得“大管小、小干活”的公司，可能才是最后的赢家。
你准备好把你的大模型“降级”了吗？
参考链接：
https://venturebeat.com/orchestration/8-billion-tokens-a-day-forced-at-and-t-to-rethink-ai-orchestration-and-cut