读博之前,先问自己一个问题

Andrej Karpathy 读博之前,以为博士生活是《 Half-Life 》里 Gordon Freeman 那样——拿着博士学位,拯救世界。

读完才发现,真实的博士生活是:周六下午独自坐在实验室,窗外阳光明媚,你刷着 Facebook,看朋友们在马尔代夫度假——他们的工资是你的 5 到 10 倍。

在斯坦福读博的最后一年,Karpathy写下了这篇被称为"博士圣经"的文章。

作为李飞飞的学生,特斯拉前AI总监,OpenAI创始成员,ImageNet分类模型作者之一。

在这篇文章里,他并没讲什么宏大叙事,而是老老实实回顾了自己踩过的坑。

AI配图

读不读博?这是他给出的第一个思考框架——

自由度、所有权、排他性、个人成长、选择权最大化。

自由。 在公司,你可能被安排做一颗螺丝钉。但在博士阶段,你是自己的老板。研究什么、怎么研究、学什么,几乎你说了算。

所有权。 你做的东西,打上你的名字。你的论文、你的发现、你的影响力。相比之下,在大公司里,"blend in" 是常态。

排他性。 顶尖 PhD 项目每年只收几百人。加入这个圈子,意味着和全世界最聪明的一批人混在一起。

未来的选择权。 Karpathy 说了句大实话:你可以从 PhD 走向任何地方,但很难反过来——先工作几年再回来读博,概率上不占优势。

还有一点很现实:在机器学习领域,PhD 毕业生甚至 PhD 辍学者,都比本科生更受欢迎。很多公司愿意给更高的起点薪资。

所以他建议——年轻时,多给自己增加方差。

你未来有50年要打工,急什么?

image

但 Karpathy 紧接着泼了一盆冷水。

那些没人告诉你的黑暗面

"你应该相当确信自己能在一个没有结构的环境里蓬勃发展。如果你不确定,默认选择应该是 NO。"

这段话值得读三遍。

他列举了博士期间的常态:

你会在论文截止日期前拼命工作,连续几周不知道今天是星期几,晚饭只能吃实验室小厨房里剩下的冷饭。

你会在周六下午独自坐在实验室,刷着 Facebook ,看着朋友们在海边度假——他们的工资是你的 5 到 10 倍。

你可能会面对这样的时刻:三个月的成果被导师一句话否定,然后全部推倒重来。

你会经历身份危机,开始怀疑人生:我在干什么?这可是我人生最好的几年啊。

更残酷的是比较:你花几个月写的论文可能只有几次引用,而你的朋友创业、上了 TechCrunch 、产品覆盖了数百万人。

Karpathy 说得很直接:博士是一种非常特殊的体验,不是每个人都适合。如果你只是想"镀金"或者"缓冲几年",大概率会痛苦收场。

他建议在决定之前,先去实验室体验一下——哪怕只是一个暑假的科研项目。

怎么申请:推荐信是王,其他都是背景板

好,你铁了心要读博。

那怎么进一个好项目?

Karpathy 的答案很直接:推荐信,推荐信,推荐信。

最理想的推荐信是这样的:"这是我教过的 top 5 学生。她有主动性,能提出自己的想法,并且能把它们做出来。"

最没用的推荐信是这样的:"她上了我的课,成绩不错。"

image

他还透露了一个自己当年的教训:本科时花了大量时间刷 GPA ,后来才发现——成绩只要不太差就行,真正重要的是 尽早、尽可能多地做科研。最好在多个导师手下做,这样你能凑齐三封以上的强推。

至于怎么选学校?

Karpathy 开了个玩笑:"简单,去斯坦福。"然后认真补充:好学校的价值在于"反馈循环"——好学校吸引好学生,好学生之间互相激励,你的圈子决定了你的天花板。

还有一点被低估了:生活环境。你要在那儿待五年多,别委屈自己。

选导师:比选老婆还重要

"学生和导师的关系,有时候被称为一种婚姻。"

image

Karpathy 这个类比太精准了。

选导师比选学校更重要,因为导师直接影响你未来五年的生活质量、心理健康和职业轨迹。

他提到了一个关键维度:tenure 前后

pre-tenure 的年轻导师通常更 hands-on ,会和你一起推公式、改代码、盯细节。他们需要成果来评 tenure ,所以会push你。但这种高强度 supervision 既是祝福也是诅咒。

post-tenure 的资深导师可能更放手,但他们的时间被各种委员会、讲座、出差占满。低层次的指导你可能得不到,得靠组里的博士后或高年级博士生。

还有很多其他维度:有的导师管得细,有的放得宽;有的支持你去实习,有的觉得实习是浪费时间;有的fund你满世界开会,有的连买台好点的电脑都抠门。

Karpathy 的建议是:和导师的学生聊聊。别在正式场合问,找个轻松的局,問具体问题:"你们多久见一次?""他有多hands-on?"学生们通常会说真话。

还有一点容易被忽略:整个组的氛围。你可能一周见导师一次,但每天都会和组里的同学打交道。他们会成为你最亲近的朋友,也可能是你最重要的合作者。

研究选题:90%的人死在这一步

进入 PhD 后,最让人崩溃的部分来了:选题

Karpathy 用了"外循环"和"内循环"来描述这种状态。

image

内循环是"解决问题",这相对简单——给你一个明确的问题,你想办法解决它。

外循环是"决定什么问题值得解决",这是博士期间最折磨人的部分。你每天都在问自己:这个方向对吗?五年后我会后悔吗?有意义吗?

他把这个过程叫做"培养品味"。

什么是品味?

就是当你在导师面前 pitch 一个选题时,你能从他们的表情里读出一切——是眼睛发亮,还是兴趣缺缺。这背后是对问题重要性、可行性、"sexy程度"的瞬间判断。

Karpathy 很诚实:"我刚读博时品味很差。"他早期兴奋的那些问题,回头看都是不可行或者没价值的。

他总结了几个选题原则:

选肥沃的土壤。 你的论文会一篇接一篇叠起来,形成一个 body of work 。选题时要考虑后续空间。

契合导师利益。 导师有自己的"御用 slides "——他们到处讲的talk。如果你能往那个 deck 里加新东西,他们会更有动力帮你推广。

做 10x 的问题,而非 10%。 人的心理有个 bug :觉得 10 倍重要的问题会 10 倍难。实际上,10 倍难的问题往往更容易成功,因为它逼你跳出盒子,从第一性原理重新思考。

避免"incremental work"。 这种论文在现有基础上加 2% 的改进,审稿人找不到理由拒,但也没人会引用。Karpathy 叫它们"蟑螂论文"——很难死,但也活不好。

他自己的 thesis 就是一个案例:前两年他一直在 3D 视频方向徘徊,直到第三年某个周六凌晨两点,他偶然和 Richard Socher 聊了几句,才找到了真正的方向——图文结合。

那个瞬间,他形容自己脑子里"所有的钩子都搭上了"。

论文写作:别把论文写成流水账

"论文是一种很奇怪的东西。它有特定的形状、特定的流动方式、特定的结构和语言。"

Karpathy 说写论文像"原始人学生火"——是生存技能。

image

他分享了几个血泪经验:

找到唯一的核心贡献。 一篇论文不是随机的实验报告,它只卖一个东西。多了就散了,读者记不住。

他自己犯过这个错:在视频分类的论文里塞了两个贡献——模型架构和多分辨率改进。结果第二个贡献太弱,稀释了整篇论文。事后看,应该拆成两篇。

结构是默认的。 Introduction, Related Work, Model, Experiments, Conclusion。按这个框架来,别老想创新格式。

避免"洗衣清单"式写作。 "首先我们做X,然后做Y,然后做Z"——这是最无聊的写法。每一个点都要有动机、有比较、有论证。不是描述你做了什么,而是说服别人为什么这么做。

用词要精准。 在 ML 领域,不要"研究"或"调查",要"提出"或"开发"。不要"系统"或"管道",要"模型"。不要"特征",要"表示"。这些词之间的微妙差异,决定了论文是加分还是减分。

设置内部截止日期。 Karpathy 说李飞飞坚持内部 deadline 比正式截止早两周,要求提交完整草稿进行内部 review。这逼着他把整篇论文跑通——通常会发现还缺几个关键实验。

演讲:不是让你念论文

你的论文被选为 oral 了,要去大会上演讲。

等等,Karpathy 说:演讲的目的不是告诉听众你做了什么。

这是最常见的误解。

image

演讲的真正目的是:

  1. 让听众真正理解并兴奋于你解决的问题(他们不在乎你的方案,如果他们不 care 这个问题的话)
  2. 教会他们一些东西
  3. 娱乐他们(否则他们会刷 Facebook)

一个好的演讲应该让观众心里想:"卧槽,我做错方向了""这论文我必须读""这人太懂了"。

技巧呢?

多用图。 人们喜欢看图。视频要谨慎用,因为容易分散注意力。

不要堆文字。 很多演讲者把整段文字贴到 slides 上,然后照着念。观众自己会看,不需要你念给他们听。

live demo 是大杀器。 能做就做,记忆点极强。

讲个故事。 人喜欢故事。

多引用。 这不花多少空间,但能讨好同事,也显得你谦逊,知道自己的工作是建立在别人肩膀上的。

练习! 先对自己练,再对实验室的人练。你会发现很多逻辑漏洞。

Karpathy 还点名批评了"outline slide"——"这部电影讲的是一枚魔戒。第一章我们看到霍比特人拿到魔戒,第二章他前往魔多,第三章他把魔戒扔进末日火山。我现在从第一章开始"——求求了,别这样。

会议:真正的价值在走廊里

关于学术会议,Karpathy 说了句大实话:

"创新的速度现在比会议周期快得多,你在会上看到的大多数论文其实已经是旧闻了。"

所以会议主要是社交活动

image

他有个选 talk 的技巧:与其看 topic ,不如看 speaker 。有些人就是讲得好,哪怕 topic 和你没关系,去听也值。

但他说,真正的魔法发生在走廊里

poster session 里藏着很多没发表的宝贝。 hallway conversations 里流动着论文里不会写的"内部消息"——什么方向要火了,什么方法其实效果不行,谁和谁在合作。

有句话他引用得很妙:

" PhD 有三个阶段。第一阶段,你看到一篇论文的引用列表,里面大部分你没读过。第二阶段,你认识那些论文。第三阶段,你和那些论文的第一作者都喝过酒。"

这就是学术圈的人脉。

最后:没有捷径

Karpathy 用 Sam Altman 的一句话收尾:

"创业没有捷径。你不能靠钻空子或者装样子在长期获胜。学术界也是一样。"

你可以 self-cite 很多,可以把同一个想法改头换面发几次,可以提交被拒的论文不改一个字就重投——这些 eventually 都会被发现,学术界其实很小。

AI配图

"所以说到底很简单。做好工作,好好沟通,人们会注意到,好事会发生。好好玩。"

这篇文章是 Karpathy 在 2016 年写的。七年后的今天,他早已离开特斯拉、OpenAI ,成了 AI 领域最有影响力的人之一。

但回头看这篇指南,最动人的不是他的成就,而是他的诚实。

他没有把博士生活描绘成什么"学术理想主义"的高光时刻,而是老实承认:这是一场漫长的、孤独的、充满自我怀疑的旅程

但如果你真的热爱探索未知,愿意用五年的时间在某个极细的领域成为世界级专家——这条路依然值得。

只是,先想清楚。

【MiniMax-M2.1锐评】:Karpathy 把 PhD 的真相掰开揉碎讲给你听,没有鸡汤,只有过来人的血泪经验。读博不是逃避职场的避风港,而是另一种形式的极限挑战——不是谁都能活下来。

参考链接:
https://karpathy.github.io/2016/09/07/phd/