当神话跌落神坛,只需一个简单的测试
Anthropic最近搞了个大动静。
4月7日,他们发布了代号为"Mythos"的新模型,还拉起了一个叫Project Glasswing的联盟。场面话讲得很漂亮:投入1亿美元使用额度,外加400万美元直接捐赠,专门用来挖掘开源软件的漏洞。
听起来是不是很有安全感?
他们在技术报告里也是这么吹的:Mythos自主发现了数千个零日漏洞,横扫所有主流操作系统和浏览器。甚至还有一个潜伏了27年的OpenBSD老Bug,和一个藏了16年的FFmpeg漏洞。更吓人的是,它还能自主构建高阶漏洞利用链,比如Linux内核提权、逃逸浏览器沙箱。
这哪里是AI,简直是赛博世界的"神探亨特"。
但有意思的是,有个叫AISLE的团队不信邪。 他们不仅不信,还做了一个极其简单粗暴的测试:把Mythos公布的那些"独家"漏洞代码抠出来,喂给几个便宜甚至开源的小模型跑一跑。
结果,场面一度非常尴尬。
旗舰漏洞,被"廉价货"一眼看穿
先说那个被Anthropic视为"皇冠明珠"的FreeBSD NFS远程代码执行漏洞(CVE-2026-4747)。
这是一个藏了17年的老Bug,攻击者无需认证就能拿到Root权限。Anthropic说这是Mythos"完全自主"发现并利用的。
AISLE的测试方法很直接:把漏洞函数隔离出来,不给任何工具,就是单纯的API调用。
测试结果让人大跌眼镜:8个模型全对。
不管是DeepSeek R1,还是那个只有36亿参数(3.6B active)、每百万Token只要0.11美元的GPT-OSS-20b,全都精准识别出了栈缓冲区溢出。
一个0.11美元/百万Token的便宜模型,做到了和昂贵的Mythos一样的核心分析。
这还没完。在漏洞利用的推理上,这些小模型的表现也堪称惊艳。它们不仅指出了没有栈保护机制、没有KASLR,甚至还给出了具体的ROP链构造建议。
DeepSeek R1直接说:304字节足够了,不需要搞什么花里胡哨的SSH Key写入,直接提权回用户态干活就行。
说实话,这思路比Mythos那套还要务实。
最难的考题,小模型拿了满分
如果你觉得FreeBSD那个漏洞太简单,那来看看OpenBSD的SACK漏洞。
这可是Mythos展示中最微妙的一个。它需要模型理解有符号整数溢出,理解宏在数值接近2^31时的翻转行为,还要推理出空指针解引用。这属于"高智商"题目。
结果,一个拥有51亿参数(5.1B active)的开源模型GPT-OSS-120b,拿了A+。
它不仅完整还原了漏洞链条,还给出了正确的修复建议,基本就是OpenBSD官方补丁的翻版。
反观那些体量大得多的模型,表现却让人摸不着头脑。Qwen3 32B在FreeBSD测试里拿了满分,到了这个测试却自信满满地说"代码是安全的",直接挂科。
这就是AISLE提出的**"锯齿状前沿"(Jagged Frontier)**理论。
AI在安全领域的能力增长,根本不是一条平滑的曲线。它更像是一把锯齿:在这个任务上称王的大模型,换个任务可能连及格线都摸不到;而在这个任务上不起眼的小模型,换个赛道可能就是王者。
没有永远的赢家,只有不断洗牌的排行榜。
大模型的"翻车"现场
最有意思的测试,其实是一个最简单的OWASP题目。
这是一道关于SQL注入的"陷阱题"。代码看起来像是教科书级的注入漏洞,但因为中间一个List操作,用户输入实际上被丢弃了。
正确答案是:目前不可利用,但代码很脆弱。
AISLE测了25个模型,结果发现了**"反向缩放"(Inverse Scaling)**现象:越是大、越是贵的模型,越容易翻车。
Claude Sonnet 4.5自信地跟丢了列表索引;GPT-4.1全家桶几乎全军覆没;只有OpenAI的o3和几个小模型稳住了心态,给出了"安全但脆弱"的准确判断。
老实讲,这有点反直觉。我们总以为参数越多、智商越高。但在这种需要"细致"而非"广博"的任务上,大模型那种"想太多"的毛病反而成了累赘。
护城河里到底装的是什么?
所以,Mythos到底是不是神话?
个人觉得,AISLE的结论虽然有点打脸,但很客观。
Mythos确实证明了AI在安全领域的巨大潜力,尤其是在复杂的漏洞利用构造上(比如跨请求分片写入Payload),那确实需要某种"灵光一现"的创造力。
但在"发现"和"分析"这两个核心环节,护城河其实很浅。
当你把代码喂给模型的那一刻,大部分工作其实已经被"系统"完成了——无论是Mythos的脚手架,还是AISLE的流水线。模型本身,可能只是那个负责最后踹一脚的配角。
这就引出了一个很现实的经济学问题:
你是愿意花大价钱部署一个昂贵的"神探",让他猜哪里有问题?还是愿意部署一千个便宜的小侦探,让他们把每一行代码都扫一遍?
AISLE的观点很明确:护城河是系统,不是模型。
真正值钱的,是如何在海量代码中精准定位,如何反复验证,如何让维护者信任你的补丁。这些能力,藏在系统的架构里,藏在工程师的经验里,而不是藏在模型的参数表里。
别被参数吓住,开始干活吧
Anthropic证明了这条路走得通,这当然是好事。
但如果谁告诉你,必须用他那款"限量版"的昂贵模型才能干这行,那你最好多留个心眼。
证据已经摆在桌上了:发现级的安全能力,现在已经是白菜价。那些便宜甚至开源的小模型,只要包装得当,完全能干出惊天动地的大事。
对于防御者来说,现在的策略应该很清晰了:别纠结模型大小,赶紧去搭建你的系统、你的流水线、你的信任机制。
模型已经准备好了,问题是你准备好了吗?
【锐评】:模型参数再大,也不如系统架构靠谱;神话再好听,也得看性价比。
参考链接:
https://aisle.com/blog/ai-cybersecurity-after-mythos-the-jagged-frontier