自1986年反向传播（Backprop）被提出以来，整个深度学习的地基就刻着这三个字母。架构设计、优化器迭代、甚至GPU硬件的演进，全是为它量身定制的。但今天，有人直接掀了桌子。
新算法叫 Dust。核心思路简单粗暴：不推导公式，不链式求导，直接在激活层加高斯噪声，让序列里的每个 token 变成一次独立的“虚拟实验”。一次前向传播，就能并行评估成千上万个样本。损失函数降低多少，就给对应的噪声发多少奖励。平均下来，就是梯度。
“We aim to replace backprop with a learning algorithm based much more on brute-force computation and much less on analytic structure.”
说实话，这听起来像回到了进化论的原始阶段。靠随机扰动和自然选择来逼近最优解，而不是死磕微积分。但有意思的是，Dust 硬是把这套“暴力搜索”跑进了 Transformer 预训练的赛道。
算力堆出来的降维打击
传统观点一直认为，零阶优化法根本带不动大网络。维度一高，方差爆炸，参数稍微动一下，梯度估计就直接飘了。Dust 偏不信邪。
数据很能打。在 100万到 2000万 token 的训练预算下，Dust 的表现已经能和反向传播掰手腕。当计算资源继续往上堆，它的损失曲线不仅没崩，反而稳扎稳打地逼近甚至反超了 Backprop。对比更刺激：同样规模的权重空间进化策略（EGGROLL），需要多出一万倍的计算量才能摸到 Dust 的门槛。
个人觉得，这背后的关键不是算法多精妙，而是算力终于到了可以“挥霍”的阶段。Sutton 当年的“苦涩教训”早就点透了规律：当算力足够充裕时，通用搜索往往能碾压精心设计的启发式规则。Dust 只是把这条定律平移到了语言模型里。
反常识：模型越大，越不怕“乱试”
这里有个极具颠覆性的发现。学界一直迷信“小模型适合零阶优化，大模型容易翻车”。Dust 的实验结果直接打了脸。
参数量从 700万飙升到 2.43亿（跨度近 120 倍），大模型反而更“抗造”。在每一个测试的种群规模下，损失值都是随参数量增加而下降的。大模型不是更容易崩溃，而是更懂得利用噪声。
为什么？因为过参数化不是单纯的冗余，它拓宽了搜索空间的几何结构。模型越大，容错率越高，哪怕每次扰动都带着随机性，庞大的参数池也能迅速吸收干扰，并筛选出真正有效的方向。小模型早就饱和躺平了，大模型还在随着 Population 规模扩大持续掉点。
这说明什么？未来的大模型训练，可能不再需要追求数学上的绝对精确。只要搜索空间够大、算力够猛，“粗调”反而能避开糟糕的全局极小值，摸到更平坦的损失盆地。
暗流涌动：当梯度开始“长得像”反向传播
最让人细思极恐的不是 Dust 赢了，而是它赢的方式。随着虚拟种群规模增大，Dust 估算出的梯度方向，竟然越来越接近反向传播的真实梯度。余弦相似度随种群规模稳步上升，甚至在百亿 token 级别依然保持稳定。
但这恰恰是最有趣的地方。它没有内置链式法则，纯靠前向扰动和奖励分配，却“长”出了一条和 Backprop 高度相似的轨道。而且，它并不完全重合。这种微妙的偏差，反而带来了不同的优化轨迹。在部分设置下，这条轨迹比传统反向传播走得更远。
老实讲，这暗示了一个可能被忽视的事实：反向传播或许只是高维空间里的一条“捷径”，而不是唯一的路。当算力突破临界值，基于搜索的学习算法完全可能走出自己的康庄大道。
尾声：地基还没换，但裂缝已现
Dust 目前还不是日常训练的首选。它的计算开销依然巨大，距离全面替代 Backprop 还有好几个数量级的效率鸿沟要填。论文作者也明确说了，现阶段的目标不是替换，而是奠基。
但它成功证明了第一性原理：在充足的算力面前，可微性不再是硬约束。非连续的网络、循环计算模块、甚至外部程序嵌入的结构，曾经被反向传播挡在门外的大门，现在正被暴力计算推开。
如果未来每一块芯片都能轻松处理万亿次前向扰动，我们是否还需要那个沿链条一路报错的“反向传播”？当 AI 学会用暴力搜索代替微积分，下一次范式转移，会不会就在明天？
【锐评】：算力通胀时代，数学捷径正在被暴力搜索稀释；Dust 不是来抢饭碗的，是来提醒我们该换引擎的了。
参考链接：
https://qlabs.sh/research/dust