# 一个特斯拉前AI总监的忠告:博士期间最重要的事,90%的人都搞错了 --- ## 读博之前,先问自己一个问题 Andrej Karpathy 在斯坦福读博的最后一年,写下了这篇被称为"博士圣经"的文章。 他是谁? 李飞飞的学生,特斯拉前AI总监,OpenAI创始成员,ImageNet分类模型作者之一。 简单说,这个人在AI领域干过所有你想干的事。 但在这篇文章里,他没讲什么宏大叙事,而是老老实实回顾了自己踩过的坑。 读不读博?这是他给出的第一个思考框架—— **自由度、所有权、排他性、个人成长、选择权最大化。** 他说,博士能给你最大的自由,你想研究什么课题,自己说了算。没有老板天天催你打卡交日报。你的名字会永远和你的研究成果绑在一起,而不是混在某个大公司的"团队贡献"里。 还有一点很现实:博士毕业后再去公司很容易,但公司干几年再回来读博,几乎不可能。 所以他建议——**年轻时,多给自己增加方差。** 你未来有50年要打工,急什么? --- ## 选导师:比选老婆还重要 ![Image 3](https://karpathy.github.io/assets/phd/adviser.gif) Karpathy 用了"婚姻"来比喻导师关系。 "你和导师的关系,本质上是共生关系。你有你的目标,他们也有他们的目标。他们的晋升、经费、tenure,都影响着你的处境。" 听起来很功利? 但他紧接着说——这种关系往往也会发展成持久的友谊,不只是职业上的互相利用。 关于导师,他提了几个很实用的观察: ** tenure前后,差别巨大。** tenure 前的年轻教授,通常更 hands-on,会和你一起推公式、改代码、盯细节。他们需要论文冲 tenure,会 push 你干活。 tenure 后的老教授,实验室大、杂事多,只能给你 high-level 的建议。 **轴线很多。** 有的导师天天和你开会,有的几个月不见人。有的支持你出去实习,有的觉得实习是浪费时间。有的会资助你去没论文的会议,有的连差旅费都不给。 怎么选? Karpathy 的建议是:去和他们的学生聊天。不是正式的那种,而是去派对、闲聊,问具体问题——"你们多久见一次?""他们 hands-on 程度如何?" 学生不会直接说导师坏话,但具体问题他们会说真话。 还有一点被很多人忽略:你会天天和导师的学生一起吃饭、干活,他们才是你真正的朋友圈。找导师,其实也是在找未来的 research partner。 --- ## 研究选题:90%的人死在这一步 ![Image 4](https://karpathy.github.io/assets/phd/arxiv-papers.png) 这是整篇文章最硬核的部分。 Karpathy 说,博士的核心工作不是解决问题,而是**找到值得解决的问题**。 这就是所谓的"outer loop"。 大多数人以为读博就是埋头苦干、写代码、做实验。不,真正的挑战是——**选方向**。 选对了方向,你可能是"做这件事的人"。选错了方向,你可能吭哧吭哧发了几篇论文,没一个人在乎。 关于怎么选方向,他给了几个判断标准: **1. 肥沃的土地。** 你选的方向得有足够的扩展空间,能发一系列论文,最后串成一篇 thesis。 **2. 和导师的利益绑定。** 他有个很妙的洞察:每个教授都有一个"御用PPT",里面是他们 ongoing 的研究。如果你能在里面加几个新 slide,他们会对你的研究极度上心,帮你在各种 talks 里推广。 **3. 10倍思维。** 人们有个心理bug——觉得10倍重要的东西,难度也应该是10倍。Karpathy 说这是个错觉。10倍重要的问题,往往只需要2-3倍的努力就能解决,而且解决方式会完全不同。因为你会被逼着跳出盒子,从第一性原理重新思考。 **4. 你得能讲清楚。** 好的研究方向,应该能用一句话让别人记住——"她是做那个XXX的"。 他还讲了自己的故事: 前两年他一直在"游荡",做3D、视频相关的东西。直到第三年某天凌晨2点,他偶然在办公室和 Richard Socher 聊了聊,突然意识到图像+语言这个交叉领域有大机会。 当时 Deep Learning 刚开始 work,数据集刚出来,李飞飞也对这个方向感兴趣。 他觉得这是"一系列对勾"同时满足的时刻。 **"我有一种强烈的预感,一场海啸正在来临。"** --- ## 论文写作:别把论文写成流水账 ![Image 5](https://karpathy.github.io/assets/phd/latex.png) Karpathy 说他每次回头看自己博士早期的论文草稿,都会想死。 "太烂了。" 关于写论文,他有几个反直觉的建议: **不要只看好的论文。** 你得大量阅读**差的**论文,才能建立"什么会让论文被拒"的直觉。最好的办法是什么?去当审稿人。25%接受率意味着你审的大多数都是烂论文。读完你就会发现——变量不定义清楚、intro 写得空洞、technical details 塞得太快——这些都是致命伤。 **找到核心贡献。** 一篇论文只能讲清楚**一件事**。他承认自己早期犯过一个错误:在同一篇论文里塞进两个"贡献",结果两个都被稀释了,审稿人和读者都不 care。 **语言有讲究。** 在机器学习领域,你永远不要"study"或"investigate"——这些词无聊、被动。你应该"develop"或"propose"。没有什么"system"或"pipeline",那是"model"。没有什么"features",那是"representations"。永远不要"combine"或"modify"——这些增量词汇会让你的论文被拒。 **内部死线。** 李飞飞实验室有个规矩:正式截止日期前2周,必须提交至少5页草稿,所有实验都得有初步结果。然后进行内部审稿,流程和外面一模一样。 Karpathy 说这个做法"极其有用"。 因为把整篇论文 laid out 出来,往往会暴露致命漏洞——你的论证链条缺了哪一环,读者会困惑。 --- ## 代码发布:别懒 ![Image 6](https://karpathy.github.io/assets/phd/code.jpg) 他承认一个"令人惊讶的事实":不发代码,你也能发论文。 但他强烈建议发。 理由很现实: **你会被迫写得更好。** 知道代码要公开,谁都会更认真对待。这叫"public shaming as a service"。 **后续引用会更多。** 别人 follow 你的工作更容易。 **为未来的自己留后路。** 你六个月后回来改代码,一定会忘记自己当时是怎么写的。好的 documentation 不是为别人,是为那个健忘的自己。 --- ## 会议:真正的价值在走廊里 ![Image 8](https://karpathy.github.io/assets/phd/posters.jpg) Karpathy 说了一个段子: > 博士有三个阶段。第一阶段,你看到一篇论文的参考文献,里面大部分你没读过。第二阶段,你认识那些论文。第三阶段,你和所有第一作者喝过酒。 关于会议,他的观察很实在: **去。** 哪怕自己没论文,哪怕导师不给钱,自己掏$2000也要去。因为学术是个高度社交的圈子。很多 knowledge 不在论文里,而是在"这个领域接下来什么值得关注"的 gossip 里。 **走廊才是主战场。** 现在 ML 领域论文更新速度比会议周期快得多,所以大多数 talk 其实是旧闻。真正重要的是 Poster 环节、 hallway 闲聊、认识同行。 **Speaker 比 topic 更重要。** 有些人就是讲得好,哪怕 topic 和你不太相关,也值得去听。 --- ## 最后一句话 Karpathy 借用 Sam Altman 的话收尾: > 创业没有捷径,你没法靠刷花招赢。学术界也一样。 > 做好的工作,好好沟通,人们会注意到。好事情会发生。享受这段旅程。 --- 【MiniMax-M2.1锐评】:这篇指南之所以被传阅至今,不是因为它教你怎么发论文,而是它诚实地告诉你——博士是一场关于选择、品味和耐心的修行,聪明人很多,但能想清楚的人很少。