算力成本下降的推动作用 ChatGPT科学家揭示AI研究的引擎

引言

AI 研究蓬勃发展的动力是什么？在最近的一次演讲中，openai 研究科学家 HyungWon Chung 给出了自己的答案。

斯坦福大学《CS25:TransformersUnitedV4》课程迎来了这位技术大牛。Chung 是 OpenAI chatgpt 团队的研究科学家，麻省理工学院博士毕业，曾在谷歌从事了三年多的研究工作，参与了 PaLM、Flan-T5 和 BLOOM 等多个重要项目。

在这次演讲中，他阐述了 AI 研究的主要推动力，并尝试通过 Transformer 的发展（尤其是编码器-解码器 Transformer 和仅解码器 Transformer 的比较）来理解这个主要推动力。因此，这不是一次关注技术细节的演讲，而是侧重于分享观点。

历史的重要性

演讲开篇，Chung 鼓励在座的学生：“这间教室中的一些人将会塑造 AI 的未来。”要展望未来，我们必须了解历史。这引出了这次演讲的核心：Transformer 的早期历史和一些 Transformer 架构。

众所周知，AI 领域发展迅速，让人难以追赶，即使经验丰富的研究者也不可能了解所有最新进展。与此同时，人们对过去的关注却不够，因为它们看起来似乎已经过时无用了。但 Chung 认为回首过去很重要，他指的并不是研究过去的技术，而是研究“变化”本身，也就是通过了解过去来理解现在，从而展望从过去到现在的发展之路，然后基于此展望未来。

为了研究“变化”，我们可以按以下三步进行：

1. 找到这一变化背后的主要推动力。当然，变化的推动力往往很多，这里关注的是主要推动力。
2. 理解这些主要推动力。
3. 基于这些理解来预测未来的发展方向。

为了佐证自己的观点，Chung 在现场做了一个小实验：丢笔。找到导致笔落下的主要推动力：重力。这里忽略摩擦力等其他因素。接下来理解重力：牛顿力学能提供一个很好的模型。之后，基于该模型，我们就能预测这支笔的未来运动轨迹。

当然，这个示例非常简单。在日常生活和工作中，一般意义上的预测未来却非常困难，因为其涉及大量复杂驱动力的互相交织，以至于我们几乎无法办到。如下图所示，预测难度会随主要推动力的数量增长而大幅提升。

AI 研究的主要推动力

这与 AI 领域有什么关系呢？如今的 AI 领域堪称百花齐放，几乎每天都有新技术、新模型、新智能体、新基准、新产品等等出现，人们已经无力紧跟每一项最新进展了，那么我们该如何预测 AI 研究的未来呢？

类似地，我们首先需要找到 AI 研究的主要推动力。Chung 认为确实存在着一个推动大量甚至全部 AI 研究的主要推动力，而且这个推动力可能比我们之前预想的更简单一些——也就是更靠近以上图表的左侧。

那么这个主要推动力是什么呢？首先来看 Rich Sutton 做的一张图。

其中，y 轴是 1 美元所能买到的算力（请注意这是对数刻度），x 轴是时间。可以看到，其变化趋势几乎就是指数级的——每隔 5 年，算力成本就会降低 10 倍。这是一个非常强大且已经持续了 100 多年的趋势。这种趋势是无可抗拒的；我们需要思考该如何去利用这样的趋势。

事实上，这正是 AI 研究的主要推动力，是 AI 实现 scaling（规模扩展）的基础。

算力成本指数级下降如何推动了 AI 研究呢？明的。随着算力成本的持续下降和训练数据的增加，深度学习模型将变得更加强大和通用。这些模型将在广泛的领域产生革命性的影响，包括医疗、交通和金融。

马上收录导航

---

---

相关标签： 大模型、 序列、 算法、 ai研究、 编码器、 解码器、 翻译、 推动力、

上一篇：A股超级赛道掀起涨停狂潮101亿元疯狂扫货

下一篇：金钱诱惑与俱乐部规划分歧拉莫斯离队原因揭