WIRED英伟达黄仁勋谈人工智能

科技界似乎对这家公司的技术产品趋之若鹜。其盈利能力令人瞩目。《WIRED》深入探讨了 Nvidia 的首席执行官，黄仁勋的独到见解。Nvidia CEO 黄仁勋正在推动 AI 革命

与黄仁勋的一场对话，仿佛需要预先打上警示标签。这位 Nvidia CEO 对 AI 的未来满怀激情，经过将近一个半小时的深入交流，我被深深地说服，相信未来定将是一片神经网络构建的乐土。我仿佛已经看到了一切：机器人的新时代、医学上的重大突破、自动驾驶汽车、能够记住对话的聊天机器人。而位于圣克拉拉的 Nvidia 公司园区的建筑，每一处我目光所及之地，都是三角形嵌套着三角形，这一设计帮助 Nvidia 打下了财富的基础。难怪我会如此沉迷，完全被黄仁勋的视角所吸引。

黄仁勋无疑是当下乃至未来一段时间内的关键人物。各大科技公司对 Nvidia 提供的超级计算 GPU 购之不竭。今天的 Nvidia 已非昔日之影，它曾是为 X 世代的视频游戏显卡供货商，通过高效渲染海量三角形，让图像生动起来。而今，Nvidia 的硬件引领我们走进了一个新时代，在这个时代中，我们与计算机对话，它们回应我们，而且，根据你谈话的技术人士所言，最终可能还会超越我们。

在我们的见面中，现年 61 岁的黄仁勋身穿他标志性的皮夹克，脚蹬一双极简风格的黑色运动鞋。他告诉我，他讨厌周一的早晨，因为他周日要工作一整天，到了正式工作周的开始就已经累了。但你绝对看不出他的疲惫。两天后，我参加了一个健康护理投资研讨会，场内聚满了生物技术的极客和西装革履的人士，但黄仁勋在台上依旧活力四射。

“这并非我惯常交流的圈子。生物学家和科学家们，他们总显得那么严肃，”黄仁勋手持麦克风，引得台下一片笑声。“我们谈论创造、改善和加速，而你们讲的是靶向和抑制。”他渐渐过渡到他的建议：“如果你打算在硅片上进行药物设计和发现，你很可能需要处理大量数据。如果你在人工智能计算上遇到困难，嘿，不妨给我们发封邮件。”

黄的策略始终是让 Nvidia 站在每一次重大科技浪潮的前线。2012 年，一群研究人员发布了名为 AlexNet 的革命性图像识别系统，该系统采用 GPU（而非传统的 CPU）来执行其代码，从而开启了深度学习的新纪元。面对这一趋势，黄迅速指示公司全力进军 AI 领域。2017 年，谷歌推出了一种名为 Transformer（即 ChatGPT 中的“T”）的创新神经网络架构，激发了当前的 AI 热潮，Nvidia 也因此得以向渴望此技术的公司提供专注 AI 的 GPU，占据了市场的有利位置。

目前，Nvidia 已占据超过 70% 的 AI 芯片市场销售份额，估值逼近 2 万亿美元。2023 年最后一个季度，其收入达到了 220 亿美元，同比增长了 265%。而且，过去一年其股价上涨了 231%。黄不仅凭借他的聪明才智，在他所做的每一件事上都取得了非凡成就，而且还拥有难以置信的好运——每个人都在探寻他的成功秘诀。

然而，没有人能够永远处于巅峰。黄现在正处于美中科技战的风口浪尖，同时也面临监管机构的严格审查。在 AI 芯片领域与黄竞争的不乏谷歌、亚马逊、Meta 和微软等行业巨头，它们拥有科技界最深厚的资金。去年 12 月底，半导体公司 AMD 推出了一款大型 AI 计算处理器，意在与 Nvidia 展开竞争。同时，众多初创公司也纷纷加入战局。根据 Pitchbook 研究公司的数据，仅去年第三季度，风险资本就向 AI 芯片领域投资了超过 8 亿美元。

因此，黄从未停歇。甚至在接受采访时，我惊讶地发现，他开始反问我，询问我的来历以及我是如何来到湾区的。

黄仁勋： 你和我都是斯坦福大学的校友。

Lauren Goode: 是的，我读的是新闻专业，而你则没有。

我其实很希望我也读过新闻专业。

那是为什么呢？

因为我非常钦佩 Adobe 的 CEO Shantanu Narayen，作为一个领导者和人，他说他一直梦想成为一名记者，因为他热爱讲故事。

看来能有效讲述企业故事是构建企业的重要部分。

没错，制定策略就是讲故事，建设企业文化也是讲故事。

你多次提到，并不是通过一份投资推介来介绍 Nvidia 的。

确实如此，关键在于讲好我们的故事。

因此，我想首先分享一位科技界同行向我提起的一个观点。他提到，尽管 Nvidia 比亚马逊只大一岁，但从很多方面来看，Nvidia 保持的初心和探索精神却似乎比亚马逊更加浓厚。你是怎样做到始终保持这种新鲜感和进取心的呢？

说实话，这确实是个非常棒的表达。我每天醒来都抱着首日上任的心态，因为我们总是在尝试前所未有的挑战。这条路上既充满希望也伴随着风险。就像刚才，我参加了一个会议，我们讨论的项目对公司来说是全新的尝试，而我们还在探索如何将它做到最好。

那么，这个新尝试是什么呢？

我们正着手构建一种全新模式的数据中心，我们将其命名为“AI 工厂”。按照现有的模式，数据中心里往往需要许多人共用一套计算机系统，将他们的数据存储于同一个庞大的设施中。而“AI 工厂”的构想则更接近于发电站的工作原理，这种设计思路十分独特。过去几年我们一直在致力于这个项目，现在则到了将其商品化的阶段。

你们准备给它取什么名字？

目前我们还没有确定最终的命名。但可以肯定的是，它将广泛出现在各个领域。无论是云服务提供商，还是我们自己，都将参与到它的建设中。从生物技术公司到零售、物流行业，乃至未来的汽车制造，每个行业都将拥有自己的“AI 工厂”，既有生产实体商品的工厂，也有致力于为汽车等产品赋能的 AI 创新工场。事实上，伊隆·马斯克就在我们讲话时已经在这方面取得了领先。他对未来工业企业的构想远超出了大众的想象。

你之前提到，你管理着一个扁平化的组织结构，直接向你汇报的高管有 30 到 40 人，这样做是为了更好地融入信息流。那么，最近有什么新兴的领域或技术让你觉得，“这可能是 Nvidia 未来的赌注”？

在今天这个时代，信息的传递已不再像古老时代那样从上而下一层层传递，当时我们还没有电子邮件、短信等即时通讯工具。如今，信息可以迅速自由流动。因此，采用传统的层级式信息流动模式已变得不再必要。一个平级的组织结构能让我们更快地适应变化，这一点至关重要，因为我们所处的技术领域正以前所未有的速度快速进步。

观察 Nvidia 技术的演进路径，你会发现，过去 10 年间，我们在 AI 领域取得的进步已经达到了惊人的百万倍速度增长，这远远超出了摩尔定律的预测。在这样一个指数级增长的世界里，我们期望信息能够横向快速传播，而非层层向下递交。

但我想问你，对你来说，什么是你的“罗马帝国”呢？换言之，现在有什么相当于变革性的 Transformer 论文的东西？你认为现在正在发生哪些事情，将会彻底改变未来呢？

我们正在关注几个领域。其中一个领域尚未有明确的定义，但它涉及到我们在基础机器人学方面的探索。如果机器可以创作文本和图像，那么它是否也能够创造动作呢？答案很有可能是肯定的。如果机器能够实现这一点，它就能理解意图并创造出一种广义的动作表达。因此，仿人机器人的发展似乎已经指日可待。

我认为，围绕状态空间模型（State-Space Models，SSM）的研究，能够让机器学习到长序列的模式而不会导致计算成本呈平方增长，这或许将是继 Transformer 之后的下一个重大突破。

这将如何改变我们的生活？能给出一个具体的例子吗？

想象一下，你能与计算机进行长时间的对话，而对话的上下文永远不会丢失。即使中途改变话题，稍后再回到之前的讨论，之前的上下文也能完整保留。这意味着，机器能够理解像人类基因组这样长链条的序列，并通过分析遗传代码来理解其含义。

距离这一天我们还有多远？

从过去到现在，从 AlexNet 到超越人类水平的 AlexNet，我们只用了约五年时间。机器人的基础模型可能就在不久的将来——我预计是明年的某个时刻。从那时起，未来五年内，我们将目睹一些令人震撼的成就。

哪个行业将最受益于广泛训练的机器人行为模型？

实际上，重工业是全球规模最大的行业之一。电子的移动相对简单，但原子的移动则要困难得多。无论是运输、物流，还是将重型物品从一个地方转移到另一个地方，发现新药——所有这些过程都涉及到对原子、分子、蛋白质的深入理解。这些都是 AI 尚未深入影响的巨大而重要的行业。

提及到摩尔定律，它现在还重要吗？

摩尔定律如今已经转变为更多关于系统集成的问题，而不仅仅是芯片的问题。它关乎多个芯片如何高效地相互连接。大约十到十五年前，我们开始尝试将计算机的组件解耦，以便能夠将多个芯片连接起来使用。

这正是你们在 2019 年收购以色列公司 Mellanox 的原因。Nvidia 当时表示，现代计算对数据中心提出了巨大需求，而 Mellanox 的网络技术能让加速计算变得更加高效。

确切无误。我们之所以收购 Mellanox，目的是通过扩展我们的芯片技术，让整个数据中心转变为一个超级计算器，从而推动现代 AI 超级计算机的发展。这反映了我们对摩尔定律终结的认识，并且意识到如果我们想继续推进计算能力的发展，就必须在数据中心的层面上进行扩展。我们重新审视了摩尔定律的提出背景，并得出结论：摩尔定律不应成为我们发展计算能力的桎梏。我们必须超越摩尔定律，寻找新的扩展途径。

Mellanox 的收购如今被认为是 Nvidia 极为明智的举措。最近，你们试图收购 Arm，这是世界上最重要的芯片知识产权公司之一，但最终因为监管机构的阻挠而未能成功。

那本来会是一件美好的事情！

虽然我不确定美国政府是否认同这一点，但不妨先不讨论这个。目前，你们在考虑收购时，有哪些具体的方向或领域？

这些大型系统的操作系统极其复杂。你们如何构建一个计算体系中的操作系统，来管理我们 GPU 内部数千万、数亿乃至十亿级别的微小处理器呢？这是一个巨大的挑战。如果外部有团队能够处理这一问题，我们可以选择与他们合作，或者采取更进一步的行动。

这么说来，对 Nvidia 而言，拥有一个操作系统并将其打造成一个更加完善的平台显得至关重要。

我们是一个以平台为核心的公司。

随着你们越来越多地将自己定位为一个平台，所面临的问题也随之增加。对于平台产出的各种问题，比如自动驾驶汽车的行为模式、医疗设备的误差范围，或是 AI 系统的偏差问题，你们是如何应对的？

虽然我们不专注于应用程序开发，但我们在为特定行业服务时，会尽可能地做到极致，同时又力求精简。例如，在医疗领域，我们不专长于药物研发，我们的强项在于计算。在汽车行业，我们的专长不在于制造汽车，而是开发擅长 AI 的汽车计算系统。对一家公司来说，要在所有这些领域都做到最好是非常困难的，但我们可以在 AI 计算领域达到卓越。

去年有报告称，一些客户等待了好几个月才能获得你们的 AI GPU。现在情况怎样了？

嗯，我看今年我们赶不上生产供应了，今年不行，明年恐怕也难。

目前要等多久？

我不清楚现在的等候期是多久。但今年对我们而言，也标志着新一代产品的起点。

你是说你们传说中的新 GPU，Blackwell 吗？

正是。我们即将推出的新一代 GPU，Blackwell 的性能表现非常惊人。这将是一次令人兴奋的飞跃。

这是否意味着客户将需要更少的 GPU？

这正是我们的目标。我们旨在极大降低训练模型的成本，从而使人们能够放心地扩展他们想要训练的模型规模。

Nvidia 对许多 AI 初创企业进行了投资。据去年报道，你们投资了超过 30 家。这些初创公司是否能在等待硬件的队列中获得优先权？

他们和所有人一样面临供应短缺的挑战，因为他们中的大多数使用的是公共云服务，所以他们必须自己与公共云服务供应商进行协商。他们能获得的优势是进入我们的 AI 技术平台，这意味着他们能够利用我们的工程技术和优化 AI 模型的特殊方法。我们为他们提高了效率。如果你的处理能力提高了五倍，那么实际上你就得到了五倍于原有的 GPU 性能。这就是我们能为他们提供的。

在这方面，你认为自己是行业的风向标吗？

不，我们之所以投资这些公司，是因为它们在各自的领域表现出色。能够投资于它们，对我们来说是一种荣幸，并非反过来。这些公司背后是一些世界上最为杰出的思想。他们不依赖于我们来肯定他们的价值。

随着机器学习越来越偏向于推断而非训练——也就是说，如果 AI 的工作变得不那么依赖于高强度计算，会发生什么情况？这会减少对你们 GPU 的需求吗？

我们对推断充满热情。实际上，我认为 Nvidia 目前的业务中，大概 40% 是推断，60% 是训练。这是一个积极的信号，因为它意味着 AI 正在逐渐实现其应用价值。如果我们的业务 90% 依赖于训练，只有 10% 是推断，那么可以认为 AI 还处在研究阶段。这是七八年前的情况。但如今，每当你向云端输入一个命令，它生成的东西——无论是视频、图像、2D 还是 3D 内容、文本或是图表——背后很可能是由 Nvidia GPU 加以支持的。

你认为对 Nvidia GPU 的需求会有减少的时刻吗，特别是在 AI 领域？

我认为我们现在正处于生成式 AI 革命的黎明期。目前，全球的计算工作大多仍依赖于检索机制。简单来说，当你在手机上操作时，它会向云端发出请求，以获取所需信息。系统可能会整合多个信息源，通过 Java 技术，在你精美的屏幕上向你展示结果。未来，计算技术将更依赖于 RAG（检索增强生成）。这意味着，系统在提供个性化内容时，将更多地依赖于生成技术，而不是简单的信息检索。

这种生成过程将由位于某处的 GPU 负责。因此，我相信我们正在步入以检索增强和生成技术为核心的计算革命新时代，生成式 AI 将成为几乎所有领域不可或缺的一部分。

近期的消息是，你们与美国政府合作，共同研发了符合出口管制要求、可以向中国出口的芯片。据我所知，这些芯片并非最尖端。你们与政府合作的程度如何，以确保能够继续在中国市场经营？

首先要明确的是，这涉及的是出口管制而非制裁。美国政府认为 Nvidia 的技术及其 AI 计算基础设施对国家安全至关重要，因此施加了出口管制。我们在首次实施时就已遵守这些规定——

那是在 2022 年 8 月。

没错。随后在 2023 年，美国政府对出口管制条款进行了扩充，这迫使我们再次对产品进行设计。我们已经完成了这一过程，并正在开发一系列符合当前出口管制规定的新产品。我们与政府部门保持着密切的合作，以确保我们的解决方案能够符合他们的预期。

对于这些限制可能促使中国发展出竞争性 AI 芯片的担忧程度如何？

中国已经拥有了可以竞争的技术和产品。

确实如此。虽然不是数据中心级别的，但华为去年推出的 Mate 60 智能手机搭载的自研 7 纳米芯片引起了市场的关注。

华为是一家卓越的公司。尽管他们受到所能获取的半导体加工技术的限制，但通过集成多个这样的芯片，他们依然能够构建出大型系统。

那么，你对中国在生成式 AI 领域追赶美国的整体担忧程度如何？

这一规定将削弱中国接触到尖端科技的能力，意味着西方国家——那些不受出口控制影响的国家，将能够使用更先进的技术。这些技术正以迅猛的速度发展。因此，这种限制显著增加了中国面临的成本。理论上，可以通过集成更多的芯片制造系统来解决问题，但这会提高每个芯片的成本。这或许是最简单的理解方式。

为了继续在中国销售而生产符合规定的芯片，这对你们与 TSMC——台湾半导体业的骄傲，有没有影响？

没有。规定是明确的，就像速度限制一样。

你说过多次，你的超级计算机里有 35,000 个部件，其中只有 8 个来自 TSMC。听到这，我以为这个比例很小。你是否在轻描淡写你对 TSMC 的依赖？

不，一点也不。

那你想通过这个强调什么？

我只是想强调，建造一个 AI 超级计算机，需要大量的其他组件。实际上，在我们的 AI 超级计算机项目中，几乎整个半导体产业都是我们的合作伙伴。我们已经与三星、SK 海力士、英特尔、AMD、博通、Marvell 等紧密合作。在我们的 AI 超级计算机项目中，我们的成功同时也是一大批公司成功的原因，我们对此感到非常欣慰。

你多久联系一次 TSMC 的 Morris Chang 或 Mark Liu？

经常。持续不断。

你们讨论什么内容？

最近我们讨论的是先进封装技术、未来几年的产能规划以及高级计算能力的需求。CoWoS[TSMC 的专利技术，能将芯片和内存模块集成到一个封装中]需要新的工厂、生产线和设备。因此，他们的支持至关重要。

我最近和一位专注于生成式 AI 的 CEO 谈话。我问 Nvidia 未来可能的竞争对手是谁，对方提到了谷歌的 TPU，还有人提到了 AMD。我想对你来说这并不简单就是一个非此即彼的问题，但你认为你最大的竞争对手是谁？谁让你夜不能寐？

劳伦，确实如此。TPU 团队表现卓越，实际上，他们做得非常好。AWS Trainium 和 AWS Inferentia 团队也都是出类拔萃的精英团队，表现优异。微软正在进行名为 Maia 的内部 ASIC 开发。中国的每家云服务提供商都在自主开发芯片，此外还有众多初创企业和现有半导体公司也在竞相开发高性能芯片。简而言之，大家都在研制芯片。

这本不应让我夜难以入眠。我得确保自己工作到极度疲惫，夜里任何事都不会干扰我的休息。这是我唯一能把握的。

但真正让我激动地起床的是我们持续的承诺：在全球，我们是唯一能与所有人合作，在数据中心级别和全栈领域建造 AI 超级计算机的公司。

我有一些私人问题想向你提问。

[ 黄对公关代表说：] 她做足了功课。而且，我确实很享受我们的谈话。

我也很高兴。我也是这么想的。我其实还想——

顺便说一下，当 Morris 或是我认识多年的朋友请我主持访谈时，目的并不是让我坐下来提问题。我们之间是在进行一场对话。我们需要考虑观众可能感兴趣的内容，用心去感受。

因此，我向 ChatGPT 提了个关于你的问题。我想知道你是否有纹身，因为我正打算建议我们下次见面时给你纹一个。

如果你纹，我就跟着纹。

我已经有一个了，但我还想再加一个。

我也有一个纹身。

是的。这是我从 ChatGPT 那儿了解到的。据说当公司股价达到 100 美元时，你纹了一个公司标志的纹身。但后来你表示，因为疼痛超出预期，可能不会再纹了。它还说你当时哭了，是这样吗？

确实有那么一点。我建议纹身前可以喝点威士忌，或者吃些 Advil 来缓解疼痛。而且，我觉得女性对疼痛的忍受能力更强，比如我的女儿就有一个相当大的纹身。

长篇深阅

深入探讨和前沿特稿，让你在每个周日都能变得更加聪慧和锐利。

想来个纹身？我觉得三角形不错，毕竟，谁会不喜欢三角形呢？它们是几何学中的完美象征。

或者，不如试试 Nvidia 大楼的剪影吧！它完全由三角形构成。

这可是份真挚的承诺。我想知道，你个人多久使用一次 ChatGPT、Bard 或类似工具？

我常用 Perplexity，ChatGPT 也很不错。几乎每天我都会用到它们。

都用来做些什么？

研究。比如说，在计算机辅助的药物发现领域。你可能对计算机辅助药物发现的最新进展感兴趣。因此，你需要设定一个大的研究框架，然后在这个框架下，逐渐深入提问。这正是我喜欢大语言模型的地方。

听说你过去常举重，现在还练吗？

已经不了。我现在力争每天完成 40 个俯卧撑，这不会花费我太多时间。说到锻炼，我可是个懒人。刷牙时顺便做些深蹲。

最近你在 Acquired 播客上的一条评论火了。主持人问，如果你现在三十岁，考虑创业，你会选择什么项目？而你的回答是，你根本不会考虑创业。对这个答案，你有补充的想法吗？

这个问题可以有两种解读，我选择了这样回答：如果我当时知道现在我所知道的一切，我可能会因为害怕而不敢迈出那一步。知道太多，就会让人畏缩不前。

创业，似乎需要一点儿“妄想”。

这正是无知给予的优势。你不知道前路有多艰难，也不会预见到等待你的痛苦与挑战。现在的我，遇到充满信心、满口轻松应对的创业者时，我会给予他们支持，但心里清楚，事情往往不会像他们想象的那么简单。

在管理 Nvidia 的过程中，你认为自己做出的最大牺牲是什么？

那就是和其他创业者一样的牺牲。你得付出异常艰苦的努力。很长一段时间内，几乎没人看好你。唯有自己坚信未来的胜利。面对不安、脆弱甚至有时的羞辱，这些都是真实的挑战。虽然人们不常提及，但每一位 CEO 和创业者，在遭遇公开失败时，都会感到尴尬，他们也和我们每一个人一样，有着共同的人性。

当有人问我，用你今天所拥有的一切去回看，你还会选择创立 Nvidia 吗？我的回答是：“绝对不是。”但如果早知道 Nvidia 会成长为现在的模样，我还会创立这家公司吗？别开玩笑了，为此我愿意付出一切。

更新于 2024 年 2 月 26 日，下午 5:05 ET：本文已根据 Nvidia 提供的最新信息进行了更新。黄仁勋此前指出，Nvidia 的 AI 计算业务由 70% 的推断和 30% 的训练构成。实际正确的比例是 40% 的推断和 60% 的训练。