当整个AI圈都在为“多步推理”和“万亿参数”烧钱时，有人反其道而行。不写长文，不玩复杂逻辑，只做一个动作：快速拍板。

一个仅0.8B参数的模型，在自家MacBook上跑一次决策只需28毫秒。没有云端延迟，没有订阅费，甚至不需要你提供历史数据。它不负责思考，只负责选择。

“You describe a situation and list the options in plain words; Jeff returns a calibrated probability for each option from a single forward pass.”

这套被命名为Jeff的开源项目，直接把大模型从“聊天助手”拽回了“工具属性”。它兼容Jev的请求格式，但完全独立开发。训练在本地完成，权重Apache 2.0开源。说实话，这种“去魅”式的工程实践，比那些喊口号的AGI路线图实在得多。

零样本分类的“平替”？描述场景，直接要概率

Jeff的核心玩法极其克制。它是个分类器，不是规划器。

你把业务场景用自然语言写出来，列出选项，它会在单次前向传播后，返回每个选项的校准概率。支持队列分配、用户意图识别、内容审核标签、语音指令，甚至游戏走位。类别不需要出现在训练集里，你描述，它匹配。

有意思的是它的部署姿态。个人觉得，很多团队把LLM当成通用大脑，结果发现连个简单的工单路由都跑不稳。Jeff的解法很粗暴：剥离生成环节，只保留决策输出。

curl -s localhost:8765/v1/systemone -H 'content-type: application/json' -d '{
"model": "jeff-latest",
"state": "Refund request: the customer says the parcel arrived crushed and wants their money back.",
"questions": {
"route": {"type": "choice", ...},
"angry": {"type": "noul", ...}
}}'

三个问题类型：choice（多选一）、noul（是非题转概率）、score（自定义评分）。一次请求塞入多个独立问题，批量出结果。对追求低延迟的工程党来说，这简直是刚需。

跑分能打，实战却会“翻车”？游戏测试暴露真实底线

零样本听起来很美，但落地往往骨感。作者没搞虚的，直接让Jeff去玩Doom、Frogger和Pacman。

这不是为了炫技，而是测System 1模型的直觉反应。每回合代码用文字描述局势和合法走法，模型直接挑一个。结果很有意思：

  • Jeff-0.8B在M4 Max上每步决策耗时29–49毫秒。
  • 措辞决定生死。 给Frogger的目标选项和其他前进选项用了相同的词根，导致通关数直接从15次掉到23次（注：原文意为提升/下降，此处按素材直译逻辑：一致性描述直接拉升了表现）。
  • 短键名+描述性文本永远优于长ID。省Token，还降延迟。

老实讲，游戏测试确实暴露了小模型的短板。它不会预测未来：“a car arrives in 2 turns”这种需要推演的指令，它猜得跟抛硬币一样准。小参数就是吃经验，不吃想象。

但如果零样本表现不够用怎么办？作者给出了标准答案：微调。拿约1.1万个App专属示例，在一块GPU上调半小时，保留集准确率从31.7%暴力拉升到95.8%。代价？每次决策变成约40毫秒。这笔账，算得很清楚。

榜单上的赢家，未必是手里的“真神”

这里有个值得警惕的反转。

Jeff-2B在基准测试里的分数更高，但在游戏里打得比0.8B差。原因很简单：未调优的2B天生更保守，训练反而放大了这种风险厌恶。而未经训练的Gemma 4 E2B跑分碾压Qwen系列，实战却最拉胯。训练修好了Pacman的吃豆数（3.2 → 53.2），却没治好Doom和Frogger。

“Benchmark scores don't predict game play.”

跑分和实战往往是两套逻辑。 我在这点上不太认同某些“唯榜单论”的声音。公开基准侧重分类和 grounding，Jeff在这些维度确实逼近甚至反超了更大模型。但在BBH、JudgeBench这类重度推理集上，0.8B–2B体量的模型本来就该落在后面。

社区反馈也印证了这一点。有开发者实测发现，在某些实际业务场景下准确率只有70%，远低于预期；也有玩家指出竞品Von 1.2在Doom得分更高。这说明什么？说明Jeff不是银弹，它是特定工况下的利器。你要的是快和省，它给你；你要的是泛化天花板，它给不了。

不靠云GPU的“野路子”，反而更懂开发者痛点

整件事最硬核的地方，在于它的“本土化”基因。

没有租用云算力，没有闭源模型偷跑数据。训练全靠一台RTX PRO 6000工作站（0.8B约2小时，2B约3.5小时），合成数据由本地开放的Qwen3.8-Flash-Next在两块DGX Sparks上生成。闭源模型只用来抽检质量。Apple Silicon侧直接用MLX加速，跑得飞快。

AutoJev的原始配方保留了MIT许可，Jeff在此基础上做了蒸馏：学生模型换成0.8B和2B，加了漏滤机制，配了领域微调的Prompt模板，还上了可视化训练看板。

个人觉得，这种“自己造轮子”的路径正在成为趋势。大模型厂商忙着卖API，边缘开发者却在用本地硬件榨干最后一滴算力。Jeff把门槛压到了极致：开箱即用，不行就微调，再不行就换赛道。

小模型不擅长推理，但擅长做选择题。 当你的业务需要每秒处理成千上万次路由、审核或指令分发时，与其等云端返回一段冗长的分析，不如让本地那个28毫秒的“决策脑”直接拍板。

我们真的还需要把所有东西都塞进同一个巨型黑盒里吗？还是说，未来的AI架构，早就该学会“分工合作”了？

【锐评】：去伪存真，把推理交给云端，把决策留在本地，这才是AI落地的务实姿势。

参考链接：
https://github.com/firelex/jeff