如何擅长研究

实际上没有人真正教过你如何做研究。你得到一张办公桌、一个别人选定的问题，以及一个模糊的指示：要做出新颖的东西。因此，大多数人通过他们能看到的东西——论文、讨论串和公告——来反向推导这份工作，最终学到的只是如何看起来像一名研究者，而非如何成为研究者。真正的技能是一系列更小的技能堆叠而成，几乎每一项都可以通过刻意训练获得。

选择你自己的问题

理查德·汉明在贝尔实验室有一个习惯，让他在午餐时不受欢迎。他会问坐在附近的人，他们领域的重要问题是什么，然后问为什么他们不去研究这些问题。人们会换桌子。这个问题刺痛人心，因为我们大多数人都没有好的答案。我们不选择问题，而是吸收问题——来自导师、来自某个大实验室上个季度宣布的内容、来自本周每个人都在引用转发的论文。

吸收来的问题麻烦在于，你只持有结论而缺乏推理过程。你知道某个著名实验室关心某个方向，但不知道原因，不知道他们期望发现什么，也不知道什么会让他们放弃。当他们转向时，你一年后才发现。而对于一个已经流行的问题，你正在与一千个起步更早、计算资源比你更多的人赛跑。

约翰·舒尔曼的机器学习研究指南将研究工作分为两种模式。一种是你阅读文献并寻找可以改进的地方；另一种是你选择一个你真心希望实现的结果，然后反向推理到实验设计。他主张第二种模式，其深层原因是它能制造原创性。一个你真正关心的目标会把你拖入任何综述论文都未曾覆盖的领域。

与此同时，品味常被当作天赋来讨论。它更像一块肌肉。在运行每个实验前预测其结果。遮住论文的结果部分，仅凭方法猜测数据。标记出本月发布的成果中哪些在两年后仍将重要，之后检查你的命中率。预测加上修正，重复数百次，这就是每个好模型（包括你头脑中的那个）被训练出来的方式。

升级你的输入

共享的阅读清单产生共享的想法。如果你的信息食谱是arXiv的趋势页面加上群聊过滤器筛选后的内容，你将可靠地在同一时间得出与其他人相同的结论，这使得这些结论几乎毫无价值。

旧材料被严重低估。这个领域延迟地重演着自己的过去：专家混合模型可追溯到1991年，LSTM到1997年，反向传播在1986年成为主流。里奇·萨顿在2019年用了大约一千字写下《苦涩的教训》，它比篇幅长十倍的综述更能预测该领域的形态。克劳德·香农在1952年做了一场关于创造性思维的演讲，他的开场策略是将问题缩小到近乎琐碎，解决小版本，然后逐一重新引入困难。这一招比任何现代生产力建议都能帮你突破更多障碍。

广度与深度同样重要。可解释性毫不掩饰地借鉴神经科学。评估设计是披着实验服的机制设计。对GPU如何实际移动内存的实际了解，能让你在基准测试之前就知道哪些架构论文注定失败。而诚实的统计学可能是机器学习中最稀缺的技能，许多已发表的严谨性只是带有误差棒的感觉。

还有一点。阅读论文本身，而不是总结它的讨论串。附录是埋藏问题的地方，而局限性部分通常是文档中最诚实的段落。

写下一切

保罗·格雷厄姆指出，一个想法在你试图用语言表达之前，可能感觉已经完全成型。纸面会找出你头脑中掩盖的漏洞：你从未验证的假设、实际上并不成立的步骤、以及暗中相互矛盾的两个主张。

费曼的规则是，你必须避免欺骗的第一个人是你自己，因为你最容易成为目标。写作是有史以来最廉价的防御。达尔文更进一步，使其程序化。任何与他的理论相悖的事实都会被当场记下，因为他发现自己的记忆删除不利证据的速度比删除有利证据更快。你的记忆对你的失败实验也会做同样的事。保持日志：假设、设置、预期、结果、更新后的信念。重读上个月的记录，其带来的谦逊感是任何审稿人都无法比拟的。

然后将其中一部分公开。奥拉和卡特的《研究债务》一文论证了领域会因未消化的想法而窒息，清晰的解释是真正的贡献，而非服务性工作。今天许多从事可解释性工作的人是通过可读性强的文章，而非会议论文，找到这个领域的。公开写作的集合也同时是你所能持有的最强凭证，因为它展示了你的思维方式，这是无法伪造的样本。

收紧循环

关于亚历克·拉德福德的故事很少涉及单一的灵光一现。它们涉及数量。每天更多的运行，每周丢弃更多错误的想法，一个比任何人都更新更快的现实模型。这才是真正的游戏。研究速度主要取决于你发现自己错误的速度。

这使得工具构建成为一流的研究活动。启动一次运行应该只需一条命令。绘制图表应该只需再加一条。每个实验都应能根据其配置复现，比较两次运行应该只需几秒钟，而不是一下午的考古挖掘。卡帕西的训练神经网络配方中有一个步骤能带来百倍回报：在大规模训练之前，先对单个批次进行过拟合。三十秒，一半的bug，消失了。将所有事情缩小到廉价的程度，把它做对，然后再投入计算资源。

并摒弃工程是初级伙伴的想法。在前沿，这两项工作已经融合。能够构建测试框架、评估和数据流水线的研究者，才是其假设真正得到检验的人。其他人都在排队等待。

凝视输出

下降的损失曲线不是分析，而是安慰。你的实验产生的信息远比你消费的多：转录本、失败案例、分布的奇怪尾部。其中大部分在日志文件夹中未被阅读就消亡了。

卡帕西的配方在任何训练代码编写之前就开始了，需要手工花费数小时处理原始数据。大多数机器学习bug存在于数据中，并且它们无声地失败。没有东西崩溃。你只是得到一个平庸的模型和一个关于原因的错误理论。

吴恩达十多年来一直教授这个不起眼的技巧，因为没有什么能胜过它。抽取一百个失败案例，全部阅读，将它们分类，攻击最大的那一类。它对模型有效，对评估也有效，对于一个你从未阅读过其转录本的基准测试，你实际上并不理解它。一份真正奇怪行为的转录本教给你的东西，比下一个精度小数点所能提供的要多得多。

有目的地漫游

你的第一个子领域是时间上的偶然，所以就这样对待它。在可解释性、评估、强化学习、系统等领域投入真正的时间，然后再决定你的立足之地。在这个领域的某个角落，你特定的怪癖会成为一种不公平的优势，而找到它的唯一方法是在几个地方付出学费。没有人能免除学费。

首先运行每个想法的可丢弃版本，让大多数想法夭折。调整你的基线直到痛苦为止，因为机器学习的墓地充满了在适当调整的基线面前蒸发掉的收益，而审稿人是了解这一点的最糟糕人选。进行消融实验，直到你知道哪个组件承载了结果。通常只有一个，而且通常不是标题中的那个。

广度也是保险。子领域会饱和，所有都是，通常就在它们在推特上达到顶峰之后。那些在这些转变中持续产出的人，是那些已经熟悉邻近领域的人。

找到你的伙伴

汉明注意到谁最终做出了重要工作的模式。关着办公室门的同事在任何一年里完成的工作更多，而开着门的同事则完成了重要的工作，因为那些干扰带来了关于世界实际需要什么的信息。你的“敞开的门”可能是一个收件箱。保持这样。

在研究领域，慷慨的回报是无可比拟的。复现一个结果并公布你的发现。发布你为自己构建的工具。用平实的语言解释困难的东西。回报会以间接的方式到来，几个月后，以合作、引用或你无法申请到的职位的形式出现。也公开分享你未成形的想法，因为在时间线上出错远比在出版物上出错代价小。而那个在你投入三个月之前就告诉你一个想法不好的合作者，比计算资源更有价值。那种关系无法购买，只能赢得。

长远游戏

巴斯德说运气青睐有准备的头脑，汉明在此基础上构建了整个职业哲学：知识和生产力像利息一样复利增长。每天的微小优势单独看微不足道。你读什么、记录什么、你的循环运行多快、你和谁争论。给它们几年时间，它们会造就从外部看起来像运气的职业生涯。比感觉必要的更早开始复利。未来的你已经知道，这是最廉价的部分。