按
Daniel Povey 博士是语音识别领域的先驱，Kaldi 开源项目的创始人之一。曾在微软研究院、约翰霍普金斯大学等机构工作，目前在小米公司担任语音首席科学家，专注于语音识别和文字转语音（TTS）技术的研究。 我看了他的观点深有感触，跟我一直以来的想法都吻合，因而用注释形式品读，供大家参考。我们必须意识到，从症状阅读法出发，凡是超出了提问的回答，就是一个人真正想要表达的观点。
2025 年机器之心的采访
机器之心：Povey 博士，感谢您接受我们的采访。我从 Kaldi 时起就关注您的工作，欢迎做客机器之心的《智者访谈》。
Dan：谢谢。不过说到 Kaldi，可能只是我运气好，碰巧在对的时间做了对的事情。但我会继续尝试做其他重要的事情。
为而不恃。《精英的傲慢》中提到精英的暴政就在于忽视他们的运气而将一切归功于其个人努力。Povey 显然能意识到这一点并与之拉开距离。
机器之心：您太谦虚了。在当前的 AI 热潮中，很多人追逐热点、扩大规模，您似乎选择了一条不同的道路，那就是关注小模型，致力于开发高效而实用的解决方案。今天我们将深入探讨促使您做出这些选择的技术洞见，以及您是如何在快速发展的浪潮中保持独立思考的。 首先，作为语音技术的先驱，您目前关注的重点是什么？
Dan：语音技术正处于一个低谷期。如果你去参加语音会议，会发现人们对新的语音技术并不那么兴奋。这种情况以前也出现过，但这次可能是永久性的，因为语音识别确实已经做得很好了。现在大家对文字转语音（TTS）更感兴趣，最近几年兴起的流匹配（flow matching）方法简单易懂，而且效果特别好，也很稳定，我很喜欢研究它们。 我在小米的团队正在转向 TTS（文字转语音）。一般来说，TTS 的速度要比语音识别慢，特别是在手机上运行的时候。我们希望开发一个既能在手机上快速运行，又能保持完美音质的 TTS 系统。
真正的民主化人工智能（Demoratic AI）是 Scaling-down。
机器之心：您如何看待您当前的工作与主流 AI 研究的关系？
Dan：现在语音已经成为 AI 的一个子领域，跟 AI 紧密相连。以前语音是一个独立的领域，我们有自己的会议，而且地位跟神经网络一样甚至更高，因为那时候神经网络还不怎么管用。如今神经网络成了主流，我们不得不用他们的术语来描述我们以前就有的东西，比如我擅长的「判别式训练」现在成了「序列训练」。
机器之心：这让您有什么感受？
Dan：其实我不是特别在意。我觉得挺有趣的。几年前我去过一次 NeurIPS 会议（那时候还叫 NIPS）。我并不是很喜欢，因为那里的人太紧张了，他们看起来特别兴奋，像「打了肾上腺素」，但似乎并没有真正享受其中。
其实是浮躁。现在的 AI 顶会已经不再纯粹，而是沦为简历的装饰，用以兑换高薪工作。每个人都试图兜售他们的惊天发现，只见吆喝，不见成效。如果把研究比作销售的话，它们只注重售前打广告，缺乏售后服务。学术从长期主义转向快消品。你能在任何一座大都市里看到这种伪装的兴奋。
多模态发展：Transformer 大一统对研究并不太好
机器之心：您如何看待语音模态的发展，以及与多模态的融合？
Dan：当然，在一些应用场景中语音会被整合，但我认为独立的语音识别系统仍然会继续存在。我希望通过我们的研究，能找到对 AI 普遍有用的方法。我认为大多数 AI 进步都来自于解决某个特定领域的问题，可能是视觉，也可能是语言或语音，正因为要解决某个领域的具体问题，人们才想出了某种解决方案，而这种解决方案最终也可能适用于解决其他领域的问题。
机器之心：Transformer 恰好就是如此，现在似乎有一种趋势，语言、视觉乃至视频都被整合进基于 Transformer 的模型当中。您如何看待这种发展趋势？
Dan：我认为对于研究而言，所有人都使用同一种模型并不健康，因为如果大家都用同样的模型，就会遇到相同的问题，然后尝试相同的解决方案。这样就会产生大量重复的研究。在语音识别领域，也曾经出现过所有人都用同一种方法的情况，这实际上并不太好，因为研究整体的进展会变得很慢。我认为在不同任务中使用不同的模型会更有利于研究的发展，这样可能会让工具和方法发展得更快。
话说回来，Transformer 确实效果很好，而且效率也不错，特别是有了各种加速器的支持。但另一方面，我不喜欢过度依赖这些加速器，因为它们实际上会冻结研究进展。一旦你开始使用为了特定模型（比如某个注意力模块）开发的特定加速器，你就失去了改变它的自由。这相当于把整个领域的进展都固定在那个点上了。
机器之心：那您认为语音会完全融入机器学习领域，还是说仍然会独立发展？
Dan：我们确实还有自己的会议，但事实是大多数时候，我们都在使用与 AI 领域相同的方法和工具，比如 PyTorch，还有 Transformer。我觉得让各个领域保持自己的特色和方法是件好事，也许有一天我们会发现比其他领域更好的解决方案呢？
如果我们做的事情仅仅只对语音有用，那并不会让人感到太兴奋，我们肯定是希望能够提出对机器学习其他领域也有帮助的想法，我们一直都在尝试具有这种更通用的潜力的新方案。但是，在这个领域要做出新发现有时候需要很长时间，因为有这么多聪明人都在试图改进 AI，那些容易被发现的方法早就已经被人发现了。
在现在的多模态融合趋势下，Dan 的观点看起来相当保守。但这正与他下面关于 AI 的演化论演讲中谈到的，如果把 AI 比作生物演化的话，这种归于同一种范式的做法是违背生态性的，物种结构单一的生态环境是相当脆弱的。
机器之心：如今要想做出有影响力的研究工作越来越难了，您如何应对这种情况呢？
Dan：对我来说这不算什么，因为我已经过了需要向人证明自己的阶段。但对于学生或年轻人来说这确实是个问题。我的优势可能在于愿意去做别人没有在做的事情，或者选择并不热门的领域。我不知道我能否在当前的 AI 领域产生重大影响，因为每个人都涌入这个赛道。我可能需要找一些不那么热门但更有潜力的方向，但首先我们要在 TTS 领域做出有影响力的工作。
人很难不被热门吸引，有能力不被其裹挟的人未必有觉悟不被其裹挟。也就是说，即便他们实现了财富自由，他们的精神仍满足于同一种享乐模式，他们大部分人并不懂得凭借自己丰衣足食的境遇去超越符号系统。在解决了个人温饱问题之后，去挑战符号系统的不可能性。
大模型与小模型的权衡
机器之心：有不少从事小模型的研究人员表示，尽管他们的模型性能也很好，但由于无法部署到与 Transformer 同等的规模，他们很难证明小模型的优势，您如何看待模型大小、可扩展性和性能之间的权衡？
Dan：所有的大模型最开始也都是小模型，Transformer 刚被提出的时候也没有跑在 1000 个 GPU 上。不过，规模和效果之间确实是有关联的，比如 Transformer 在数据量很小的情况下效果并不是特别好，当然，这也取决于损失函数。
现在我们一般都用中等规模的模型，就是规模大到可以看出它在更大规模上是否可行，但又足够小，方便做实验。因为超大规模实验的问题在于，实际上每个实验都只能做一次，因为成本太高了。
我不喜欢超大规模实验的另一个原因是，人们会开发一个系统，然后给它起个名字，比如「语音转某某」或「XX 转 XX」的命名模板，然后用他们独有的 100 万小时的数据去训练，这个模型就成了世界上最好的模型。但是，由于没有人能在相同条件下复现，你不知道他们的方法是否有什么特别，是不是真的更好。所以，从某种意义上说，这对领域的进步贡献并不大。
再来，媒体喜欢报道这类东西，它们在媒体上被大量讨论，然后做决策的人看到媒体报道，也变得很关注这些。结果就是人们只关心超大规模。当然，这也会反馈到研究人员身上，因为他们需要申请资助等等，但就连有的研究人员也会受此影响……
无比正确。这何尝不是一种“规模化的暴政”呢？科研不应该成为流水线，仅仅用规模和效率来衡量。科研理应为试错而生，而现在的风气鼓励一味的正确并永远正确，由此科研变得怯懦而停滞不前。
机器之心：您认为怎样的研究风格是值得提倡的呢？
Dan：机器学习领域盛行过许多的研究风格和潮流。多年来，学界一直痴迷于数学证明，尤其是凸优化相关的证明。据说在这股潮流的巅峰时期，一位领军研究者对另一位说：「如果不是凸的，那就别说是在做机器学习。」这种痴迷的痕迹至今仍可见于传统 NIPS 论文中必有的定理 1（Theorem 1）；这些定理大多是琐碎的，与论文主旨关系不大。
我有个同事的导师就是这种风格，她自诩为 NIPS 会议的发起人，对数学性特别执拗。怎么说呢，学术风气的转变需要时间，通常是等这批老登挂了才行。
我个人不喜欢这种风格的一个原因是，人们往往喜欢展示非常技术性的证明，却不给出任何直觉解释或背景说明，于是这就成了一种「我比你聪明」的展示，而不是向那些尚未掌握知识的人传授知识。
犹记得高斯的风格就是这样，他的证明总是尽可能的简单，不露出一点直觉的痕迹。但是对于科研而言，过程的直觉与结果的正确同样重要，因为它教会我们如何举一反三。对应到 AI 领域，就是开放权重与开源全流程的区别。
如今机器学习领域的成功往往被简单归结为「这个方法管用」。当某个方法不管用时，人们似乎对其失效的原因缺乏深入研究的兴趣。这与土木和结构工程很不同，在那些领域，失效分析受到高度重视。 在我自己团队的工具当中，我们有大量用于诊断的额外代码，比如当某种方法收敛不好时，我们可以准确找出原因，而不是简单地降低学习率。很多情况下，问题都与某个特定的子模块有关，比如激活值或梯度爆炸。我可能应该想办法推广这类工具。
还是前面所说的浮躁。因为科研不再是长期主义，而是发表导向。因此只要方法管用就满足了发表的门槛，研究什么不管用甚至为什么管用都成为一种累赘，因为它拖慢了发表下一篇文章的进度。但是各种生活经验告诉我们，知道什么不管用往往能有更大的收获，因为错误能够排除错误的原理，而成功很可能仅仅依赖巧合。用哲学的话来说就是：存在只有在其失败之时才反衬出必然性。用数学的话来说就是，成功是零测集，而失败是稠密的，只有知道失败才能了解整个空间的性质。
另外，我认为机器学习与信息论之间的潜在联系也应该得到更多关注。举个例子，现在很多人在使用涉及激活值码本量化的方法时，他们像对待空操作一样传递这个（VQ + 重建）操作的梯度，这是很粗糙的做法。实际上，我们可以用香农-哈特利定理来分析这个问题，假设激活值是高斯分布的，该定理告诉我们需要多少比特才能将它们重建到特定的保真度（用相关性来衡量）。因此，在训练时，你可以将这个操作视为将激活值与一定量的高斯噪声混合。这就为传递梯度提供了理论依据，尽管理论上你应该用一个标量来缩小它们（对于大多数拓扑结构，这不会影响最终结果）。
这只是应用信息论的一个例子。目前我还对双射函数的神经网络层或模块很感兴趣，这种函数不会将两个输入映射到同一个输出，因为每当我们将两个输入映射到同一个输出时，我们就会损失一些信息。
机器之心：说到研究风格，现在学术界也出现了一些新的趋势，比如在社交媒体上宣传自己的研究工作。对此，一些会议已经开始采取措施，比如规定具体的宣传时间窗口。您怎么看待这种现象？
Dan：我觉得这另一回事，现在美国学术界有一种态度，那就是不想要任何的「不公平」。其想法是如果你来自一个知名团队，或者你已经很出名了，这跟是否接收你的论文应该没有关系。但我觉得这是出于他们对公平的理解，与研究风格无关。
机器之心：如果您来主办一个会议或期刊，您会给投稿设立什么标准？
Dan：我会允许人们发布预印本，因为我觉得如今会议这种形式对传播研究成果来说已经不那么重要了，没有人能看完会议上的所有论文。人们总是转发 arXiv 上的论文，很多甚至都还没发表。而且会议实际上会减缓研究进展，假设某人想出了一个新的方法，投稿到 NeurIPS，这样就必须在规定时间前对论文内容保密，对吧？所以会议可能会将事情延后半年到一年。
我认为在互联网时代，传统的同行评议模式已经没有必要了。我喜欢 ICLR 的做法，应该是 Yan LeCun 在试图推广，ICLR 的评审是完全公开的，即便不是评审人也可以发表评论，而且所有评论都是公开的，我想要类似这样的方式，甚至没有正式的接受或拒稿的决定，每个人都可以上传他们的论文。当然，还是需要通过一些方法来筛选出好的论文，但我们可以开发某种社交算法，比如给不同的人的投票设定不同的权重。既然可以给 YouTube 解决这个问题，为什么论文就不行呢？
比如说你和我登录 B 站，我们看到的推荐内容肯定不一样，对吧？这没什么问题，你能看到和你类似、与你观点相近的人喜欢的内容，然后你可以根据自己的喜好来决定信任谁。当然，这可能会导致有些人最终相信错误的内容，因为他们关注了一些持有错误观点的人。但这也没关系，人们本来就会相信一些错误的东西。更重要的是，那些想要追求真相的人，他们能不能找到真相？
非常超前的想法。但和任何社交平台一样，我们需要启动用户，特别是学术大牛或技术大牛的加入。然而你怎么指望那些仍然热衷于用传统邮件往来的人迁移到社交平台上呢？AlphaXiv 似乎就是这样一种尝试。
机器之心：那您觉得 AI 评审如何，就是用 AI 来评判论文？
Dan：这种方法可以，但问题在于 AI 总是会稍微落后一步，因为 AI 判断一篇论文好与坏的标准，是基于这篇论文和以往那些被大量引用的论文有多相似。我认为 AI 不太可能识别出下一个重大突破，因为新的突破往往和过去的突破看起来不太一样。
Transformer 在被 GPT 带火之前，也一直无人问津，彼时还是 RNN 的天下。
关于 AI 的一些深度思考
机器之心：Rich Sutton 教授在《The Bitter Lesson》一文中提出，纵观 AI 历史，往往是那些简单且可扩展的方法效果更好。您对此是怎么看的？
Dan：首先，AI 的历史并不算长。「可扩展」也有不同的形式。有些方法在计算层面上很容易扩展，但实际上并不好用。我不认为 AI 的解决方案一定是简单的。其次，什么叫「简单」？有时候你可以用很少的代码写出一个神经网络程序，但神经网络本身是非常复杂的，真正在做识别的是这个很复杂的神经网络，仅仅因为可以用几行代码实现，就说这种方法很简单，这样说真的准确吗？
即便某种方法的定义很复杂，只要我们能够处理好它的复杂性，那就没有问题。我们的大脑就没有简单的定义，而且每个人的大脑都略有不同。这是好事，因为不同的人在不同方面各有天赋。
对于神经网络来说，如果有某种元参数或元描述，让每个网络都有点不同，然后通过选择或其他方式进化，这可能是个不错的方法。但我们需要找到合适的描述语言，让进化能够很容易发生。
机器之心：那您如何定义技术进步呢？
Dan：当我们看到真正的进步时，我们是能够分辨出来的，过于严格定义反而会限制我们的想象力。
至于复杂性，我认为一个方法在最初被发明时往往很简单，随着时间推移，人们会开发出更复杂（也更高效）的版本，类似人们最初发现了铁，然后是碳钢，现在已经有上千种不同类型的钢。当然，有时我们也会发现简化的方法。我认为不应该仅仅因为已经有一个运作良好且简单的方法就停止改进。
举例来说，很多人都在为标准 Transformer 架构做硬件加速，我觉得这对进步来说是危险的，因为一旦你对标准架构做任何改变，速度就会大幅下降，这阻碍了探索。我对使用预训练模型和微调的趋势也持谨慎态度，因为这将把你限制在预训练时使用的架构上。这确实有用，也许这就是未来的方向，但它会减缓进步的步伐。就像美国的建筑规范，短期内可能确实让建筑更安全更好，但同时也让建筑风格和方法固化，从而阻碍了进步。
我认为《The Bitter Lesson》一文主要是针对早期的 AI 从业者，那时的 AI 都是关于形式化「苏格拉底是人，人都会死，所以苏格拉底会死」这类推理。确实，通用方法正在占据 AI 的大部分领域，但我们使用它们的原因不应该仅仅因为它们是通用的，而是因为它们更好。例如，在 wav2vec 中，他们移除了使用 FFT 系数对数能量的人工设计前端。这种传统方法虽然看起来像是「人工雕花」，但移除它并没有提升性能，反而让系统变得更慢。这与其说是技术进步，不如说是一种噱头，好让他们可以宣称自己的系统是「端到端」的，因此很「现代」。如果保留 FFT，系统实际上会更实用。
端到端的原意是抛弃复杂的人工启发式方法，转而用纯粹的数据驱动学习获得更好效果，以免受领域特定知识的局限。然而如果是为了端到端牺牲了性能，就是舍本逐末。
还有一点，如果所有事情都可以由一个简单的 AI 架构完成，我们会生活在一个什么样的世界？人们会做什么？我最近看到一个观点，说衡量一个国家价值的更好指标不是 GDP，而是其人民执行复杂任务的能力。即使人们不需要去编程、制造复杂机器、写书或创作艺术品，人为创造这种需求也是有意义的，因为这可以发展人们的技能和能力，给他们有意义的事情做。难道让他们待在家里看直播、吃零食会更好吗？
人的全面发展。
人生来就想要竞争，做很酷的事情，也自然想拥有某种自主权。所以从长远看，以一种让小公司能够蓬勃发展，让人们能够一起创造的方式来组织经济是有意义的，即使从短期经济角度来看，这并不是最有效率的。
这里可以参考 V 社的运营方式，很神奇。
我甚至认为，禁止某些领域使用通用 AI 是有道理的，因为它会剥夺人们生存的意义。想象一下，如果有人发明了一个人工儿童，比真实的人类儿童更好、更便宜、更高效，你会用这个产品替换你自己的孩子吗？现在想象他们发明了一个比真实员工更好的人工员工，你会接受他们替代你或你孩子的工作吗？我想答案是否定的。
前者确实违反人性。但是后者你别说你还真别说，多少中国资本家跃跃欲试。
机器之心：随着机器智能的发展，您如何看人类的创造力和直觉在推动技术创新中的作用？
Dan：一直以来，创新都是关于人类的独创性。我想我们之所以会问这个问题，是因为现在有了能发明东西的机器。我们会被这些机器取代吗？这很难说。我认为人类的直觉仍然扮演着机器无法替代的重要角色。而且人类可以基于机器的成果来简化直觉，因为机器往往会提出过于复杂的解决方案。
比如说你让机器设计一个马达，它可能会设计出一个形状奇怪、看起来有点像生物的马达，人类很难理解它为什么能工作。所以要真正从中学到东西，我们需要有人来解释为什么这个东西有用，可能要描述它利用了哪些效应等等。
机器之心：您会担心 AI 的不可解释性吗？
Dan：这我倒不担心，关键是也没有人能很好地解释我们的大脑是如何工作的。最终有的决策就是无法被解释的。甚至可能即便有了解释，你也并不喜欢那个解释。
机器之心：关于 Scaling Law，这是目前 AI 领域讨论最多的话题。这也跟我们之前的讨论有关，大模型很难做实验，因为它们太大了。所以有人研究 Scaling Law，先用小模型做实验，再迁移到大模型。您怎么看 AI 界提出的这个 Scaling Law，您在工作中有用到它吗？
Dan：这确实是个很有用的新工具。我觉得在 AI 从业者的脑子里，一直都有某种规模效应的概念。只是我们不一定会去做系统性的实验证明它。我们有一些直觉，然后根据实验来更新这些直觉。现在有人尝试把它系统化，创建图表来帮助了解如何更好地扩展，这是好事。
机器之心：有观点认为 Scaling Law 已经到头了，主要是因为数据不够了，我们只有一个互联网，公共数据就这么多，尽管计算能力还在不断增长。
Dan：我不这么认为。我们可能接近文本数据的极限了，但在视频数据方面还远远没有达到天花板。实际上，这是我们团队可能会从事的另一个方向，那就是研究如何把视频压缩得更小、更适用于机器学习，因为现在还无法在互联网规模的数据上训练视频大模型。
机器之心：说到压缩，有观点认为智能就是一种数据压缩。
Dan：这个话题很有趣。压缩对智能而言可能很重要，也许我们可以用压缩的概念来改进 AI。但如果说智能就是压缩，这可能有点过了。
机器之心：聊了这么多，这些年领域的发展和变化，种种因素，对您的研究方法有什么影响？
Dan：以前我会想出很多点子，主要是自己去试。现在不同了，我有团队成员可以帮我去尝试这些想法。但难点始终在于如何决定在不同的问题上投入多少精力，对此我还没有找到理想的解决方案，主要还是基于直觉和一些其他因素。
关于职业发展：人生不应该只有搞钱和出圈
机器之心：您认为未来 AI 领域哪些问题最有前景？
Dan：我觉得机器人领域还有很多未被开发的潜力。人们已经制造出可以走路的机器人，而且训练过程中不需要太多人工干预。但目前机器人似乎还没被用于什么特别有用的事情，当然在酒店送餐确实有用。但我觉得将来在采矿、农业和建筑领域，可能会出现更通用的机器人。有些地方在建造摩天大楼时已经用上了，但还可以用于其他更基础的建筑任务。
我觉得在解决软件不兼容问题上也有机会，如今程序员做的很多工作都是在各种不兼容的软件版本中摸索，这真的很麻烦。一定有办法解决这些兼容性问题，不过这可能需要从零开始重建。
此外，还可以开发某种简化的计算系统，类似一种可以在任何硬件上运行的通用语言，去解决可重复性的问题。对于 AI 计算来说，这是一项特殊的挑战，因为 AI 模型通常需要在特定版本的 ONNX 上运行，而且计算量都很大。试想，如果你能得到某种 git hash，让你能够一键复现特定的函数调用或计算，那肯定会非常有用。
机器学习确实已经有一些交换格式，但还有很多工具开发的空间。比如说，我们特别需要一个支持不同精度整数运算的工具。现有的框架如 PyTorch 就缺少一些基础功能，比如将 int8 乘以 int8 矩阵，在 int32 中累加，乘以指定标量，然后限制在 int8 范围内这样的操作。要实现这类功能，可能需要即时编译（JIT）来处理众多可能的情况，同时还要考虑内核融合。更进一步，如果能在这样的工具包基础上添加自动微分功能，让用户能够自由扩展或配置（因为需要处理各种近似计算并适当调整梯度），那就更好了。简单来说，我们需要的是一个「支持整数的 NumPy」，再加上即时编译和可配置的自动求导工具。我相信这样的工具会有很大的市场需求。
机器之心：在当今竞争激烈的环境下，您对 AI 从业者的职业发展有什么建议？
Dan：我从来都不是特别在意职业发展。比如说，我从微软研究院离职去约翰霍普金斯大学当研究科学家，按传统标准看这可能是职业上的倒退，但我当时只是想集中精力做 Kaldi 开源项目，后者对我来说更重要。
我认为过分关注「职业发展」并不是什么好主意，因为这可能导致你做出让生活变糟糕的决定。仅仅因为某件事在金钱和地位上是一种进步，并不意味着它会让你幸福快乐，或者实现你其他的人生目标。我记得有人问过乔布斯这个问题，乔布斯说「这不是职业，而是生活」，我觉得他说得很有道理。
机器之心：对于那些想在这个领域做出真正贡献的年轻人，您有什么建议？
Dan：首先，我认为你得诚实面对自己真正想要的是什么。有时候当人们说想要为领域做贡献时，他们真正想要的是赚钱出名，这两者并不一定能同时实现。
我记得有段时间，如果你是学 AI 的，很容易就能成为百万富翁——之前我在微软研究院有个实习生叫 Oriol Vinyals，我经常在新闻上看到他，我不知道他是不是在 OpenAI，他就很有钱——在那个特定的时期，有天赋的人确实有机会变得非常富有，但关键是，除非你真的才华横溢，这种机会可能很难再次出现了。
Oriol Vinyals 后来去 Deepmind 当首席科学家了。
也许未来的关键领域会来自我们意想不到的地方，比如化学，谁知道呢？
机器之心：在我们结束前，您还有什么想和观众分享的吗？
Dan：我觉得世界各地都存在这样一个问题，那就是人们过于关注名利。父母会让孩子参加各种课外班，学钢琴或其他才艺，即便孩子本人并不感兴趣，这样做只是为了进名校而已。他们最终可能会被名校录取，毕业后找到一份高薪工作，然后用工作得来的钱去买名牌产品，一切都是在追名逐利。
这是一种无脑的循环。大部分人因为物质原因被迫困在其中，少部分人有物质条件的人的精神被困在其中。想起很早以前央视一个著名的 “放羊-挣钱-娶媳妇-生娃-放羊”的 公益广告，不过当时这条广告是为了提倡教育以跳出这种无知循环，谁成想当前哪怕受到更好教育，资本主义下的人不过是沦落到另一种放羊循环中。
但这不一定能让人幸福。也许回乡下种田，结婚生子会更幸福。
反而是田园闲居可能更令人幸福——总之要追求自己真正热爱的生活，而非某种无脑循环的享乐工具。
如果你选择了某条路，要认真考虑这条路会把你带往何方。在西方国家有个「博士后陷阱」，也许在中国情况有所不同，但我觉得有很多工作都有这样的倾向：你职业生涯的最终目标，要么很难实现，要么实现了也没有想象中那么美好。
不要美化那条你未曾涉足的道路。
量子位 MEET2026 智能未来大会上的报告
像生物进化一样快速试错
大家好，今天我想和大家分享一些关于“进化”和“AI”的思考，以及我们如何从生物演化中汲取关于 AI 未来的启示。我将主要从科研和模型本身的角度解读这个问题。
人们设计 AI“配方”的过程，本质上主要还是一个不断试错的过程。当人们有了新的理解，就会发表许多富含公式的论文，但其中 99%的内容都没什么真正可操作的价值，最后能落地的通常只是“配方”本身。所以设计 AI“配方”的基本流程就是尝试不同变体，然后筛选出有效的进行发布，别人再照着做。
这其实和生物进化非常相似。在生物进化中，进化过程也会和外部环境相互影响，例如地球上的进化会受到太阳辐射变化、大气成分变化的影响，而生命本身也会反过来影响这些环境因素，比如改变大气成分。
AI 的进化也是如此，可能会受到硬件、数据等资源的限制；同时，AI 也会通过商业效应、群体行为效应反作用于这些外部条件。在历史上，生物进化甚至曾经多次“破坏”自身的生存环境，例如“大氧化事件”（Great Oxygenation Event），不过最终生命又从中恢复了过来。
注：大氧化事件是指约 26 亿年前，大气中的游离氧含量突然增加的事件，其具体原因不明。该事件使地球上矿物的成分发生了变化，也使得日后动物的出现成为了可能。
生物学中“世代间隔”（Generation time）类比到 AI，就是复制一个新想法所需的时间，通常这个时间会持续数个月。因为当你有了新的发现，往往要先写论文，而且一般是写完才对外公开，有些期刊甚至规定发表前不能先上传 arXiv 之类的预印本。过去这样的周期可能需要大概两年，但现在可能缩短到了六个月。现在，有了 PyTorch 这样的工具，人们可以近乎完美地复现他人发布的“配方”。
当然，有时人们可能只给出了描述（而没有代码），这会使得复现过程稍慢一些，但整体上，代际周期的长短决定了进化的快慢。就像世代间隔漫长的大型生物，往往进化缓慢；而那些能够快速繁衍的小型生物，进化速度则要快得多。
去不同领域寻找 AI 突破口
在自然界的进化中，往往存在一种“停停走走”的节奏，很长一段时间里几乎没有什么动静，随后突然发生剧变。对于自然界的物种来说，这种变化通常是由迁移到新环境所导致的；但偶尔，它也源于生命“解锁”了某种新事物，比如光合作用演化出来时，整个进化的节奏便迅速发生了改变。
我从事 AI 领域大概有 30 年了，特别是在语音领域，也经历过长时间没有太大进展的阶段，当时我们甚至以为“这就是终点”。当年我们做高斯混合模型、判别式训练时，以为语音识别的最终形态就是那样了，没人能想象未来的改变。所以也许十年后，也会出现今天谁都无法想象的全新模型。
AI 的发展中，不同任务之间的相互作用非常重要，比如视觉领域的新方法，后来可能会用于语音、语言等任务。最近一个典型例子就是 Transformers，它最初是专门为语言模型设计的，后来却在各种任务中大放异彩。
在进化中也是如此，海豚绝无可能仅在海洋里就进化成型，因为它那些呼吸空气的机能，原本是为了适应陆地生活才演化出来的。但当它重返海洋后，却成了最成功的顶级捕食者。这说明，有时候你确实需要暂时去做一些截然不同的事情，最终才能在原本的目标上取得成功。
如果不开源，AI 得慢上一千倍
当然，拿生物进化做类比也有局限性。毕竟我们可以主动去理解事物，可以利用数学推导，或者改进可视化和调试工具，从而加速技术的发展。此外，提速也非常关键。实验跑得越快，进化的迭代就越快，这对研究价值巨大。而在这一点上，开源起到了至关重要的作用。如果每家公司都得自己从头重复造轮子，研究速度恐怕要慢上一千倍。我们可以设想一个平行世界，如果大公司决定不开源 PyTorch，我也没有开源 Kaldi 项目，那 AI 研发的局面会很不相同。
不过，不开源在某些行业确实是常态，尤其是涉及实体工程的领域，因为开发一款工具往往极其昂贵，可能要砸出数百万美元，所以没人会把他们的模型开源出来。其实，2012 年我之所以离开工业界，就是因为这个问题。当时的大公司普遍对开源都不怎么感冒，所以我转去学术界待了一段时间。但如今很多公司都开始拥抱开源了，像小米就非常支持我的工作，也支持开源，所以我又回到了工业界。 寻找 Transformer 之后的下一个颠覆者
回到关于进化的比喻，我刚才吐槽过论文中的那些数学理论往往不够具体，没法落地。那么，我们到底能从中能学到什么实实在在的东西呢？有一点很关键，那就是我们需要在各种不同的任务上不断探索新思路。因为在进化这件事上，很难预判哪种生物最终会胜出。就像啮齿类动物，起初可能只是为了吃竹子种子这种极具体的目的而进化的。但结果谁曾想，这反而让它们演化出了一种极强的“通才”式生存能力，最终遍布全球、无所不能。可在当时，谁能想到吃竹子种子这事儿能带来这么大的突破呢？这种事真的太难预测了。所以说，关键就在于要多尝试不同的任务，因为我们为了突破某个任务特有限制研发出的解决方案，可能最后会被证明具有极高的通用价值。
我们需要关注进化过程中“通才”与“专才”之间的权衡，我并非要分出孰优孰劣，但是从长远来看，不同的进化策略能够适应不同的环境——如果环境长期稳定，自然界往往会涌现出大量像熊猫这样的“专才”，它们虽然只吃一种食物，却能做到极致适应；可一旦环境变得动荡多变，像老鼠这种适应力极强的“通才”往往更具生存优势。所以，这两种生存策略很可能是缺一不可的。
对于 AI 而言，我们应该让模型在多个不同的生态位里同时演进，这就像自然界在不同环境中进行的进化一样。毕竟，每个物种通常都有其最适应的特定生存空间。如果我们能同时保留多种不同的技术路线，说不定其中某一条在经过进一步打磨后，就能带来巨大的回报。但这事儿很难提前预判，没人知道眼下哪个模型会在未来称王。出于同样的理由，我们也应该维持模型架构的多样性。这就像大自然保留了丰富多样的物种一样，因为我们根本无法确定，到底哪一种架构会孕育出下一轮的重大突破。
在我看来，大多数大型机构采取两头并重的策略是比较明智的——既要沿用像 Transformer 等当前最顶尖的成熟模型，同时也得投入一些资源去做探索性研究，去寻找下一个技术突破口。Transformer 这种技术领域的竞争现状，就像是“抢椅子”——只要音乐还在响，你就得跟着一直跳。毕竟在 Transformer 和 LLM 依然称霸的当下，任何一家公司都绝无可能把身家性命都押在别的路线上。但大家心里也都清楚，音乐迟早有停下来的那一天。
所以，小米在 LLM 上的研究主线很明确，那就是利用 SOTA 级别的 AI 和大模型技术，去全方位赋能我们的“人车家全生态”。我个人其实并没有深度参与这些工作，因为我和团队主要负责的是探索性研究。我们尝试了大量不同的方向，就是希望能找到能产生巨大影响的成果，但这事的成功率向来极低。回首我的整个研究生涯，尝试过的点子恐怕得有上万个。现在回头看，其中有一两个如果当时我能推广得再好一点，说不定真能成为颠覆性的技术。比如，早在大家连 BatchNorm 都还没开始用的时候，我们组其实就已经设计出了一种类似于 LayerNorm 的归一化模块。但我也不想像 Jürgen Schmidhuber 那样说“我在所有人之前发明了一切”。因为作为一名研究人员，有责任去判断哪些是有价值的想法，并对其进行妥善推广。如果你没做到，那就得承认是自己的失误。
注：Jurgen Schmidhuber 是著名计算机科学家、LSTM 之父，喜欢在 AI 领域出现新成果时发表文章或评论，列举自己上世纪的论文，表示“这个东西我几十年前就发明过了”。
言归正传，我的团队目前正在研发一种针对语音的新模型架构，叫 Zapformer，是一个通用声音基座。相较于我们去年推出的 Zipformer 而言，Zapformer 实现了三大跨越：从“人声”到“万声”的跨越：从专注于人声建模，到成为能同时理解人声、环境音等多元信息的通用声音基座；从优化结构到创新理论的跨越：通过引入梯度流（Gradient Flow）理论指导模型设计，在已属业界标杆的 Zipformer 基础上，将语音识别精度再次显著提升 10%-15%；从专用优化到通用健壮的跨越：为适应海量数据训练移除了 Dropout 层，增强了大数据拟合能力，同时将优化器升级为 TransformAdam，在保持极速收敛的同时，大幅提升了训练的通用性与稳定性。
我不想把话说太满，说它就是“下一个大热门”，但它确实包含了不少有意思的想法。当然，我们希望能押中下一个“大杀器”，但这事儿谁也没法打包票。所有这些成果全都是开源的，因为我是开源的坚定信徒。除了我的项目，小米还有很多其他的开源项目。
被 JHU 放逐
按
2003 年从剑桥博士毕业后，Dan 先后供职于微软和 JHU。直到 2019 年 5 月，JHU 的一伙极左翼学生封锁了教学大楼，期间 Dan 为了保护服务器上的资料试图进入大楼，与抗议学生发生冲突。最终校方认定 Dan 在冲突中有歧视和暴力行为，被永久驱逐出 JHU 校园。几经辗转 Dan 加盟小米。以下是当时 Dan 在个人主页上的长信，目前在其主页上已不可见。
I am leaving to take a private-sector job in Seattle, starting August 19th. I will still be working with my students and collaborators here remotely. As you'll see from this letter, I have been fired from Hopkins effective the 31st of August. I had arranged a backup plan beforehand, so will be leaving a bit earlier. Please don't blame the Whiting School or Andrew Douglas for this; this comes from higher up. You'll see from the letter that I am not supposed to communicate with (almost) anyone at Hopkins... technically I am just putting this on the web; and if you find it, you find it.
I don't expect all this will come as a surprise to most of you, given that three months ago I organized a counter-protest against the student occupation of Garland hall, and a number of people were extremely triggered about that; but I thought you might like a little background.
What was never in dispute is that, being frustrated as the prospect of a long siege at Garland where our computer servers live, I organized a group of what I called “counter-protesters” to try to regain control of the building from the students. This was on the evening of May 8th; there was a scuffle and I was carried out of the building by the protesters. They then made allegations to the Office of Institutional Equity (OIE), saying that I had attacked them. The OIE seems not to have been able to substantiate the allegations that I attacked the protesters, but university leadership still decided that I still needed to be fired. (The attached letter claims that they are still investigating... I think most likely the true story is either they found the protesters were lying or realize that they'll never know what happened).
What the administration seems to be saying is that I put the students in danger by bringing outsiders into what could have been a dangerous situation. You'll see that the letter states that I believed the group I brought with me “could become violent"... the actual conversation with their lawyer went like this: after I stated that everyone was under strict instructions to not retaliate if attacked, I was asked whether I was confident that they would be able to follow those instructions no matter what happened; and I shrugged.
So essentially I am being fired for what might have happened, while the students are getting off scot free for things that actually did happen. They actually made false allegations against me, both in public (on Twitter) and to the university authorities. They actually attacked me and hurt me; many of you saw the big scratches on my back. They also threw a lot of punches at the people with me, who showed admirable restraint, although I understand one punch was thrown by a person in my group. They actually shut down Garland and inconvenienced thousands of people, requiring the fire department to cut open the doors to get them out. But they suffer no consequences. Am I sensing just a liiiitle bit of a double standard? I mean, obviously faculty will be held to higher standards than students, but that's nowhere near enough to account for the difference in treatment.
Where could this double standard come from? Well, obviously there's the fact that they were protesting for a left-wing cause, and I was opposing them. I'm not convinced that that's enough to explain it, though. My feeling is that this mostly has to do with underrepresented minorities, specifically black people (and trans people). There seems to be nothing that Americans, or American institutions, fear more than being accused of racism (or similar ism's), which leads to ridiculous spectacles like what we're seeing here, where such a huge organization can be paralyzed by a handful of deluded kids.
Now if I had known in advance that everyone inside the building was black (that was what I saw; although from media coverage it seems that there may have been a white trans person in the core group)— I wouldn't have gone ahead with the counterprotest. I'm not an idiot; I know that as a person who demographically ticks all the 'oppressor boxes', I would have to be severely punished for opposing such a group. I miscalculated by trusting the coverage in JHNewsletter, which seems to have given a false impression of the demographics of the protest; their photos showed mostly white people. Now many of the people sitting outside the building were white, but that seems to have been window-dressing; they were just bystanders and didn't do anything except take a bunch of cellphone video. All the people that I saw fighting and screaming were black. If it were simply a matter of difference of opinion I expected that Hopkins would at least pretend to be even-handed; but once race and transgender status enter the picture I don't think that's possible any more.
I'm aware that it's a huge violation of social norms for me to say publicly that I think whites, or males, are being discriminated against1. As far as I can tell there are three specific circumstances in which it's acceptable for a white male in left-of-center America to allude publicly to these types of double standards:
To justify them
To advocate for their adoption
To deny that they exist at all
Clearly what I am doing here doesn't fall into any of those three categories. But the truth is, I left the bounds of left-wing respectability quite some time ago. 1. Some people seem to be taking this statement out of context. This is not a blanket statement that white males are discriminated against in general, just in the context of campus politics.
White males in this environment seem to be expected to constantly atone for their existence by telegraphing their exclusive concern for every demographic group but their own, like a neutered puppy-dog or some Justin Trudeau man-child. It's pathetic, in my opinion; and I don't accept it at all. I am not prepared to apologize for being who I am. I don't think that empathy should preclude critical thinking or basic self-respect. I don't accept that a person should have carte blanche to disrupt everyone's lives just because of their minority status; and I don't feel it's right that I should be fired just for opposing a group whose victimhood makes them politically unassailable. This might sound very controversial to some people here, but to me it seems like common sense.
After writing the words above, I can hear in my head a chorus of marginalized voices crying: “But.. but.. but.. we're triggered!” “Hate!” “White supremacy!” “Transphobia!” and demanding special protection. I expect that some people will characterize my plea for equal treatment as an incitement to genocide. Let them. Unlike some people here, I have the mental strength to not be manipulated by these kinds of histrionics. I don't need the approval of victim groups to bolster my self-esteem; and I'm capable of weathering a little outrage. (The fact that I have career options helps, obviously). There's a difference between tolerance and cowardice; there's a difference between broad-mindedness and self-hatred; and no-one should claim they are bravely defending ‘oppressed classes’ when in reality they are just too timid, self-conscious or mentally feeble to stop themselves from being manipulated by their advocates. Males educated here in America seem to be uniquely supine in this regard. Is it something they put in the cafeteria food?
Perceptive readers may see the above as an appeal to masculinity. Yes, that's essentially what it is. The obvious response, for a progressive, would be to put the adjective “toxic” in front of that word “masculinity” and throw it back at me. OK. I'm aware that in the progressive world male is bad and female is good, just as in Orwell's “Animal Farm” it was “four legs good, two legs bad”. To round it out you can add: “non-white good, white bad”; “diversity good, uniformity bad”; “majority bad, minority good”; “powerful bad, powerless good”, and so on; and you have a nice little moral system, one that may be perfectly self-consistent. Now, I view moral systems as arbitrary and subjective: it's just a particular assignment of people, actions, thoughts, events, artifacts and so on, to the categories “good” and “bad”— typically reinforced by myths or cherry-picked facts, and held together by some more general principles or concepts. So from a certain abstract point of view, the progressive moral system as on the same footing as any other.
What I do find very odd, though, is that any straight white male would buy into it. It's the same as if a gay Jew were to join the Nazi party and begin endlessly apologizing for his ancestors having lent money to Aryans at too-high rates of interest; and agreeing that he needs to recognize his “problematic Jewishness” and “toxic homosexuality”, stop talking, and make space for Aryan voices to be heard. He might even take pride in having acknowledged the uniquely cancerous and exploitative nature of the Jewish people, despite being one himself. So is this person virtuous, or is he just too-easily manipulated? You decide. I know we're approaching cerebral-haemorrhage territory here, for left-of-center readers, but it's true: there are many things said by American progressives where if you replace “white patriarchy” and “women of color” with “Jewish capital” and “Aryan youth”, and add a picture of a blond boy and a swastika or two, you'd have a very serviceable Nazi propaganda poster. Think about it.
Of course, there are differences. Genocide of one gender by the other, or of a more-powerful majority by a less-powerful minority, is perhaps not historically common. The point is, the language used to describe the more-successful demographic (Jews in Nazi Germany; white males here) is similar; and the psychological states of the people involved are no doubt similar as well. This isn't about moral equivalence; it's about that hypothetical gay Jew's reaction to being told that his demographic characteristics are “problematic” and “toxic”. Do we see him as virtuous and strong, or as weak? Suppose we say that he's weak. What is it about a white male social justice warrior today who's constantly “checking his privilege” and “making space for minority voices” that might make us admire him? Yes, white males now are overrepresented in some respects; but so were Jews in early-20th-century Germany— much more, in fact. See “World on Fire” by Amy Chua, which says, IIRC, that they had a 10-times-larger-than-average income; and according to this they seem to have been 25-fold overrepresented at the top tier of business. (Hitler might have been a little bit triggered by that). So what exactly is different? Our guy might have been in more physical danger; but doesn't that give him more of an excuse to act the way he did? I've heard the objection that unlike the situation today, the Jews were not oppressing the non-Jewish Germans. My response is that oppression is something that's in the eye of the beholder. No-one today would suggest that they were— not in polite society, at least— but at the time, many Germans felt that they were being oppressed. If you apply the logic of today's progressives, where differences in outcomes are automatically assumed to be the result of some kind of bias, I find it difficult to see how you'd argue that there was no oppression of any kind. Today, even a 10% salary difference can lead to cries of discrimination; a factor of 10 is much harder to ignore.
You might also say that the Nazis were wrong about the Jews being bad (or at least, worse than non-Jewish Germans), whereas it's actually true that white males are bad; and that history proves it. But that's a subjective judgement, because facts alone can never tell you what's good or bad unless interpreted within a moral framework. And if you use a moral framework that was constructed with the specific goal of proving that women and non-whites are good and white men are bad (because it originated in women's-studies and black-studies departments at universities), then that's the conclusion you will reach.
By singling out these academic disciplines I certainly don't mean to tarnish all women or black people. In fact, I feel that in the long term those academic communities are doing a disservice to the people they represent, by taking extreme positions that inevitably cause a backlash. Black people seem to be generally more sensitive to this concern than whites, as you can see from their greater support for moderate candidates in the current Democratic primary. Whether that's because they perceive it more clearly or because they actually have skin in the game, I don't know.
I also want to be clear that I'm not in favor of any political or cultural movements that are animated by resentment. The choice isn't, and shouldn't be, between demonizing one demographic group or demonizing the other. But to join a movement that's specifically against one's own group? That's retarded. Man up, America! You're better than that. Leave that ideology to the man-haters and racial agitators that generated it, stop apologizing, and start living your lives!
Anywho: as for me, I may not have my job, but at least I still have my dignity and my independence of thought. I'll leave you with some words of Bob Dylan:
I ain't sorry for nothing I've done I'm glad I fought, I only wish we'd won Please send my regards to the OIE, and say that, thanks to them, my career prospects have greatly improved. Sayonara!
PS I am aware that some people are trying to “cancel” me and get me fired from my next job. See if I care! I have lots of other career options. When this whole thing started I told my friends, if the worst comes to the worst I can always go to China or Russia. I'll tell you this, though: whatever happens, I will never apologize and I will never back down. I know the normal script is that I am supposed to get down on my knees and beg, “Please accept me back into your midst, liberal America! I accept that I was wrong.” I will never ever do that.
PPS They have now posted some video of the incident. Misleadingly captioned, but if you look at the video itself, and bear in mind it's what they felt was most advantageous to release from the much larger amount of video they collected, it doesn't really bolster their story that I attacked them. For me the funniest part is where they ominously zoom in on— da da da dah! — a Guns'N'Roses t-shirt. Like it proves we're white supremacists or something. Dudes! Guns'N'Roses isn't even metal; it's just mainstream hard rock. Plus I'm pretty sure that Axl Rose is Jewish. Did you guys even realize that it was the name of a band? (shakes head). Also: when they say I am pulling on one of their people, I believed I was pulling on the arm of the guy with me in the blue shirt. When I freeze-frame the video, it does actually look like the hand of a black person; I might have been confused.
PPPS As you can see from how this document starts, it was intended to be read by some of my colleagues at Hopkins, as an attempted workaround for a ban on communicating with them (we'll see whether Hopkins will decide to advance the date of my termination as a result of that). I did not provide any public link to it, and didn't really intend for it to go viral. But now that it has gone viral I don't plan to remove it, because I would see that as backing down in the face of pressure from ideologues; and that's not something I would do.
Afterword written August 12th: Some people seem to be interpreting this statement as motivated by anger against Hopkins, or against specific demographic groups. While I'm certainly not happy about my treatment, that is not the primary intent; in a sense they were doing me a favor by firing me. I don't even have that much interest in the legality or rightness of my firing, or the details of the events themselves, or the specific groups involved. This is about a broader cultural issue in the Western world, and the United States in particular. White people, and particularly white males, seem to be presented with a choice of either hating themselves, or hating others; and the left is then surprised and outraged when they choose the latter. I am saying: that's a false choice. Respect for others doesn't have to be at the expense of respect for oneself, and demonizing the majority is just as dangerous as demonizing minorities.
更多周边评价在 知乎回答。