一张确诊黑色素瘤的照片，摆在两个顶级大模型面前。
它们给出的判断是脂溢性角化，认为患者可以放行。
一个10年前的老模型，却根据皮肤镜图像认出了黑色素瘤。
这份测试只有200个病例，却把一个争论摆上台面：通用大模型真的能替代专用医疗AI吗？
结果很扎眼：老CNN正确率62%，两个前沿LLM只有42%左右。
顶级大模型，把黑色素瘤看成了无害疣状增生
测试第一幕就很刺眼。
作者把一张临床照片和一张皮肤镜图像交给 GPT-6 Astra 和 Claude Fable 5.1。素材称，它们是2026年10月可用的最强AI模型。
两张图指向同一个病灶：黑色素瘤。
两个模型都判断为脂溢性角化，一种无害疣状增生，并认为患者可以放行。
随后，同样的图像被交给一个微调版 Inception v3。
这是Google在2015年发布的CNN。它靠皮肤镜图像给出了正确答案。
说实话，这一幕比任何跑分都刺眼。
皮肤癌筛查最怕的，是把危险信号误判成安全信号。
老模型没有神秘科技，只做了20分钟微调
赢下大模型的模型，并不新潮。
它是 Inception v3，先在普通照片上预训练，再在68,011张皮肤镜和临床图像上微调。
训练设备是一块H100 GPU。
微调时间大约20分钟。
测试数据来自 MILK10k，一个2025年通过国际皮肤影像协作组织发布的公开数据集。每个病变都有两张图：临床近照和皮肤镜图像。
作者随机抽取200个经组织病理学确认的病变。
其中100个不能轻易放行：30个黑色素瘤、25个基底细胞癌、25个鳞状细胞癌（含Bowen病）、20个日光性角化。
另外100个可以安全放行：50个良性痣、50个脂溢性角化。
这里有个细节很关键：所有病变都做过活检。
连良性样本也是医生曾经担心到要切下来的病例。
所以，这批题并不轻松。
62%对42%，专用网络赢得并不玄学
最终成绩很干脆。
在200个病例中，CNN给出正确诊断125个，正确率62%。
GPT-6 Astra正确84个，Claude Fable 5.1正确85个，都是42%。
如果把第二选择也算进去，CNN拿到173/200。
两个大模型分别是134/200和138/200。
在最要命的黑色素瘤上，CNN识别出30个中的13个。
GPT-6 Astra识别出8个，Claude Fable 5.1识别出11个。
有意思的是，CNN对良性病灶的识别优势更大。
50个良性痣，它认出37个；GPT-6 Astra认出16个，Claude Fable 5.1认出33个。
50个脂溢性角化，它认出26个；GPT-6 Astra认出13个，Claude Fable 5.1只认出6个。
当然，CNN也没有全赢。
它在基底细胞癌上比 GPT-6 Astra 少一个，在日光性角化上落后于两个LLM。
但总体趋势很清楚：在狭窄任务上，专用模型更稳。
大模型的问题，不只是看不懂，还会偏科
两个前沿LLM的错误模式也很有看头。
GPT-6 Astra偏爱基底细胞癌。
它把75个病变判成基底细胞癌，而真实数量只有25个。
其中，30个黑色素瘤里有14个被它判成基底细胞癌。
Claude Fable 5.1偏爱日光性角化。
它把53个病变判成日光性角化，而真实数量只有20个。
CNN的错误方向不同。
17个被它误判的黑色素瘤里，8个被看成痣，6个被看成脂溢性角化。
这说明它也不是神。
但至少，它的错误分布更接近一个专门训练过的分类器，也少了一点通用模型那种自信跑偏的味道。
评论区有句话很扎心：
And a calculator outperforms LLMs at multiplication and division...
翻译过来就是：计算器在乘除法上赢大模型，也不奇怪。
还有个更狠的说法：
This is just benchmaxxing.
意思是，这个老CNN被专门对准了这个任务。一个针对基准强化过的模型，当然更容易赢没有专门优化过的通用模型。
这点我部分认同。
但医疗场景要的从来都是任务可靠。
反转也来了：这不是大模型全面落败的判决书
如果把文章读成大模型完了，那就太早下结论。
作者自己也给了几条限制。
第一，样本不大。
200个病例足够看出趋势，但不足以给接近的分数排座次。30个黑色素瘤样本，也会让最关键数字带有较大不确定性。
每个LLM病例只跑了一次，答案还可能波动。
第二，病例很难。
所有病变都被活检过。作者提到，如果换成档案里的普通图像，CNN区分该不该放行的能力更强，ROC曲线下面积可达0.96；在这批测试里是0.86。
第三，LLM可能见过题库。
MILK10k从2025年就公开了。大模型有可能在训练里见过它。
如果有影响，反而是帮它们，不是害它们。
CNN则确定没见过这些测试图。
第四，Inception v3也不是最强。
作者明确说，这个模型故意选得不先进。真正前沿的皮肤癌诊断AI，会使用更多数据、图像transformer集成，受监管产品表现更好。
评论区也有人提到 SkinGPT-4。
有评论称，在Nature论文里，150个病例中，SkinGPT-4有80.63%的诊断被皮肤科医生评为正确或相关。
这条线索提醒我们：专用模型和LLM之间，还有更细的分层。
还有评论提到，LLM的真正潜力可能不在单张图片诊断。
如果加上病历、期刊笔记、追问患者、处理纹身等异常图像，局面可能会变。
老实讲，这个方向更有想象空间。
但这次测试说明了一件事：别把前沿大模型直接当专科筛查工具。
真正值得记住的，是工具要长在任务上
这次测试的结论很直白：
A small, old, specialised network using an outdated architecture recognises skin lesions far better than two frontier LLMs.
一个小型、老旧、专用、架构过时的网络，在皮肤病变识别上明显胜过两个前沿LLM。
但它真正戳中的，是当下AI行业的一个误区。
我们太容易被全能、前沿、最大参数吸引。
可一旦落到具体任务，比如看一颗该不该切的痣，答案可能很朴素：谁被认真训练过，谁更可靠。
评论区还有人说，LLM的价值也许是把制造专用模型的成本打下来。这个说法挺实在。大模型未必亲自上场看病，但它可以帮忙造出会看病的工具。
有意思的是，作者还把这个CNN放到了手机浏览器里，靠WebGPU本地运行，不上传图片。
这说明专用模型不一定笨重。
它甚至可以很轻。
那么问题来了：
未来医疗AI真正需要的，是一个什么都能回答的超级大脑，还是一群足够可靠、足够便宜、能塞进手机里的专科工具？
【锐评】：皮肤癌诊断这局，专用小模型给通用大模型上了一课：别拿聊天天赋硬闯专科门诊。
参考链接：
https://lynchlab.net/llm-skin-cancer