一文看懂：芯片架构与算力革命

引子：一块“显卡”如何变成 AI 时代的工业设备

今天谈 NVIDIA，人们想到的是大模型训练、万卡集群和数据中心，而不是电脑屏幕上的一辆赛车。可这家公司最初解决的，恰恰是怎样让赛车、爆炸和光影在个人电脑上实时出现。

图 1｜从图形芯片、计算卡到机架级 AI 基础设施

两类任务表面不同，数学结构却相似。渲染一帧画面，需要对成千上万个顶点和像素执行相近运算；训练神经网络，需要对海量参数和样本反复做矩阵乘加。两者都依靠大量计算单元同时处理许多相似的小任务。

NVIDIA 的发展可以看成计算单位不断扩大的过程：

早期竞争围绕一块芯片每秒能画多少三角形；CUDA 以后，竞争转向开发者能否方便地调用并行算力；深度学习兴起后，矩阵精度、显存容量和多卡通信成为关键；到了 Blackwell 和 Rubin，供电、液冷、交换网络、编译器和推理软件已和 GPU 本身一样重要。

因此，理解 NVIDIA 计算卡，光记“某代多少核、多少 FLOPS”远远不够。更有用的问题是：每一代架构把哪个瓶颈向后推了一步，又暴露了什么新瓶颈。

一、NVIDIA 如何起家：先赢下游戏，再重新定义计算

图 2｜NVIDIA 早期产品，从 NV1 的路线试错到 RIVA 128 与 GeForce 256。图片来源：Wikimedia Commons——NV1（FritzchensFritz，CC0）、RIVA 128（Hyins，公有领域）、GeForce 256（Hyins，公有领域）

1. 三位工程师和一个尚不存在的大市场

1993 年 4 月 5 日，黄仁勋、Chris Malachowsky 和 Curtis Priem 创立 NVIDIA。公司官方回顾称，三位创始人相信个人电脑将成为游戏和多媒体消费设备，希望为实时 3D 图形提供专用处理能力。当时图形芯片公司已有二十多家，几年后竞争者一度增加到约七十家。[1]

这个选择在当时并不显然。20 世纪 90 年代初，CPU 仍被视为个人电脑的计算中心，3D 游戏市场很小，图形加速标准也没有稳定下来。创业团队押注的其实是一个底层判断：随着屏幕中的世界越来越复杂，通用 CPU 不会把大量晶体管都花在重复的图形流水线上，专用并行处理器会有独立价值。

后来回看，这一选择很像“提前看见未来”；放在创业现场，却是一连串高风险试错。NVIDIA 没有晶圆厂，从一开始就采用无晶圆厂模式：自己负责架构、芯片设计、驱动和市场，把制造交给代工伙伴。资金得以集中到设计迭代上，但一次流片错误也可能耗尽现金。

2. NV1 的挫折与 RIVA 128 的翻身

1995 年推出的 NV1 是 NVIDIA 第一款产品。它把 2D、3D、音频和游戏手柄接口放到一张多媒体卡上，并采用二次曲面而不是后来成为主流的三角形图元。问题在于，微软 Direct3D 和行业生态正走向三角形管线。技术上有特色，不等于与市场方向一致。

创始人后来回忆，NV1 的路线选择让公司遭遇严重挫折；RIVA 128 的开发过程同样惊险，早期芯片大部分功能一度不能正常工作，公司几乎失去继续经营的空间。[2] 1997 年推出的 RIVA 128 转向主流三角形渲染和 Direct3D 生态，上市四个月销量超过一百万颗。早期监管文件也显示，NVIDIA 的收入在 1995—1996 年主要来自 NV1，到 1997 年已几乎全部转向 RIVA 128。[3]

这段经历留下了两条后来反复出现的经营原则。其一，标准比孤立的“先进”更重要：芯片必须进入操作系统、图形 API、游戏引擎和整机厂商共同组成的生态。其二，迭代速度本身就是产品能力：图形芯片的更新周期远快于传统 CPU，硬件、驱动和开发者支持必须同步推进，才可能把一次胜利变成连续产品线。

3. GeForce 256：GPU 这个名字为何重要

1999 年，NVIDIA 推出 GeForce 256，并把它称为 GPU，即 Graphics Processing Unit。公司当时的定义强调：在单芯片上集成几何变换、光照、三角形设置与裁剪、渲染等功能。[1]

“第一款 GPU”带有企业定义和营销色彩，此前市场上已经有多种图形加速器。GeForce 256 的象征意义仍然很清楚：越来越多原本由 CPU 完成的图形工作，被移入一个独立、并行、可以持续演进的处理器，GPU 开始控制更完整的图形流水线。

2001 年的 GeForce 3 又把可编程着色器带入主流产品。开发者不再只能选择固定的光照与材质效果，而能编写小程序处理顶点和像素。GPU 由固定功能机器逐渐变成可编程并行机器。这一步并不是 CUDA，但它为 CUDA 准备了硬件、编译器和开发者经验。

4. 游戏业务留下的遗产

图 3｜游戏业务积累如何迁移为计算平台能力

游戏市场除了提供现金流，还为 NVIDIA 留下四项长期资产。

大规模并行硬件：每一帧画面都包含大量结构相似、彼此相对独立的任务；

高带宽存储体系：纹理和像素要在计算单元与显存之间高速移动；

软硬件协同习惯：新 GPU 如果没有稳定驱动、图形 API 和开发工具，参数再高也无法转化为体验；

快速产品节奏：玩家对帧率和画质的需求持续增长，迫使公司频繁重构架构。

由此看，NVIDIA 进入科学计算和 AI 并非从游戏“突然转行”。它先把图形市场训练出来的并行能力换成新的编程入口和数值格式，再逐步扩展到数据中心。

二、GPU 为什么能做计算

1. CPU 与 GPU：低延迟和高吞吐的两种选择

图 4｜CPU 与 GPU 的设计取向对比

可以把 CPU 想成一支人数不多的专家队伍，每个人都擅长处理复杂任务。它拥有强大的分支预测、乱序执行和大型缓存，适合操作系统、数据库事务、串行逻辑以及需要快速响应的控制任务。

GPU 则像一座有大量工位的工厂。单个计算单元没有 CPU 核心那么复杂，但同一时刻可以安排大量线程。当一些线程等待显存数据时，调度器迅速切换到另一些已就绪线程，用并发隐藏延迟。它首先追求一段时间内完成更多同类工作，而非某个任务的最低单次延迟。

两者并非替代关系。典型异构程序仍由 CPU 负责控制流、任务准备和输入输出，由 GPU 执行适合并行的核心函数：

如果任务包含大量相互依赖的判断、数据规模很小，或频繁在 CPU 与 GPU 之间搬运数据，GPU 未必更快。只有当工作可以拆成足够多的并行单元，且计算收益高于搬运与调度成本时，吞吐优势才会出现。CUDA 官方文档也把 GPU 的起点描述为面向实时 3D 图形的专用处理器，随后随着可编程性提高，才逐渐扩展到通用工作负载。[4]

2. 从线程到线程束：SIMT 怎样工作

图 5｜从 Grid、Block 到 SM 与 warp 的 SIMT 执行过程

CUDA 把一次 GPU 函数调用称为 kernel。程序员为一份数据写出一个线程的逻辑，运行时再组织出大量线程：

线程块被分配到流式多处理器 SM。一个 SM 内有计算管线、寄存器、共享内存和线程束调度器。硬件把线程按 32 个一组组成 warp（线程束），以 SIMT，即“单指令、多线程”的方式推进。[5]

SIMT 不等于所有线程永远做完全相同的事。每个线程有自己的寄存器状态，也可以遇到不同分支；但如果同一 warp 中一部分线程执行 if，另一部分执行 else，硬件通常需要分批走完不同路径，未执行路径的线程暂时被屏蔽。这就是分支发散。GPU 喜欢整齐的数据并行，不喜欢同一组线程各做各的复杂判断。

访存也有类似规律。相邻线程访问连续地址时，请求可以合并；访问分散时，同样的数据量可能产生更多内存事务。程序性能因此取决于三个层次：

有没有足够多的并行任务；

线程是否沿着相近的控制路径；

数据是否以适合 GPU 的方式排列和复用。

“CUDA Core 数量”只描述硬件资源的一部分，不代表这些资源在真实程序里一直满负荷工作。

4. Tensor Core：把常见矩阵运算做成专用通道

图 6｜从神经网络层、GEMM 到 Tensor Core 矩阵融合乘加

普通 CUDA Core 可以执行标量和向量指令，灵活性高。Tensor Core 则面向小块矩阵的融合乘加：

硬件一次处理一个矩阵 tile，并允许输入使用较低精度、累加使用较高精度。与其让通用计算单元重复解释大量乘加指令，不如为深度学习和线性代数中最常见的模式准备专用数据通路。

Tensor Core 的价值不仅是“每秒运算次数更多”。矩阵乘加被更紧密地组织后，指令调度、寄存器访问和数据搬运也能减少。但模型维度、数据布局和批量大小需要适配硬件 tile；如果矩阵很小、形状不规则，或程序根本没有调用支持 Tensor Core 的库，理论峰值就难以兑现。

5. 从 FP64 到 FP4：精度为什么越来越低

图 7｜数值格式不是简单的“越低越好”，而是精度、范围、吞吐和能耗之间的取舍

浮点数通常包含符号位、指数位和尾数位。位数越多，表示范围和精细程度通常越高，但存储、带宽和计算电路的成本也越高。

位数下降意味着每次从显存取回更多数据、同一面积布置更多运算通道，也降低能耗。但“低精度”不是把所有数字简单截短。训练中常把主权重、梯度累加或敏感算子保留在较高精度，把大规模矩阵乘法放到低精度；推理中则通过量化尺度、分组和校准控制误差。Hopper 的 FP8 甚至包含侧重精度的 E4M3 与侧重范围的 E5M2 两种格式。

因此，精度演进不是一味降低位数，而是把有限位宽分配给最需要的环节。科学模拟仍会需要 FP64，训练常用混合精度，推理则更积极采用 8 位和 4 位。比较计算卡时，如果一张卡报 FP64、另一张报带稀疏的 FP4，两个数字没有直接可比性。

6. 算力不等于性能：显存、通信与利用率

图 8｜从峰值算力到业务有效性能的多重效率折损

一张计算卡能否完成任务，首先受显存容量限制。模型权重、优化器状态、激活值和 KV Cache 都要占空间。显存不够时，需要做模型并行、CPU 卸载或频繁交换数据，性能可能骤降。

显存够用以后，还要看带宽。批量较小的推理经常是“读一遍权重，只生成少量结果”，每个字节承担的计算不多，容易受带宽限制。多卡训练则要同步梯度或交换激活；当卡内计算加快，卡间通信占比反而会上升。PCIe、NVLink、NVSwitch、InfiniBand 和以太网分别解决主机到设备、机内 GPU、机架内规模扩展和机架间规模扩展问题。

最后还要看利用率。数据准备不足、kernel 太碎、负载不均、网络拥塞、故障恢复和排队都会让 GPU 空转。实际有效算力更接近：

任一效率项很低，昂贵的峰值算力都会被浪费。

参数口径FLOPS/TOPS 必须同时注明数据精度、是否采用结构化稀疏、频率条件和产品形态。PCIe 卡、SXM 模组、Superchip 与整机系统不能只看一个峰值数字直接比较。厂商公布的“几倍性能”通常针对特定模型、批量、软件版本和基线，不能无条件推广。

三、CUDA：把图形处理器变成可编程计算平台

图 9｜CUDA 的平台层次与生态正反馈

1. CUDA 之前，GPGPU 为什么难用

在 CUDA 之前，研究者已经尝试用 GPU 做非图形计算，这类做法称为 GPGPU。问题是程序常常必须伪装成图形任务：把数据装成纹理，把计算写成着色器，再把结果当作像素取回。开发者不仅要懂目标算法，还要绕过图形 API 的数据结构和限制。

这种方法证明 GPU 有通用计算潜力，却很难形成广泛工程生态。不同显卡的能力差异大，调试工具有限，双精度、内存寻址和线程同步也不适合严肃科学计算。

2. CUDA 提供了什么

2006 年 NVIDIA 公布 CUDA 架构，随后提供面向 C/C++ 的工具链。CUDA 从一开始就是一组相互配合的层次：

用线程、线程块和网格表达并行任务；

用编译器把主机代码和设备 kernel 分开处理；

用运行时管理显存、数据传输、事件和多 GPU；

用 cuBLAS、cuFFT、cuDNN、NCCL 等库封装矩阵、傅里叶变换、神经网络和集合通信；

用调试器、Profiler 和系统监控工具寻找瓶颈；

用 Compute Capability 描述不同硬件世代支持的指令与功能。

CUDA 文档把 Toolkit 定义为包含编译器、运行时、GPU 加速库、调试与优化工具的完整开发环境。[8] 这让开发者可以先调用成熟库获得加速，再逐步编写自定义 kernel，而不是从显卡底层开始。

CUDA 也没有“发明”并行计算或 GPGPU。OpenCL、OpenACC、标准 C++ 并行模型以及后来出现的其他 GPU 软件栈都在解决可移植计算问题。NVIDIA 的关键做法，是在硬件持续迭代的同时，长期维护一条相对稳定的软件路径。

3. 护城河落在生态里

平台优势会形成正反馈：

一家公司即使设计出峰值更高的芯片，也仍需补齐编译器、算子库、分布式通信、框架适配、容器、监控和工程人才。用户的迁移工作远多于改一个 API 名字，还包括重新验证数值正确性、性能、稳定性和运维流程。

NVIDIA 在 2026 财年 10-K 中称，全球使用 CUDA 及其他软件工具的开发者超过 750 万，支持约 6000 个应用；公司把 CUDA、CUDA-X、模型、SDK、API 和行业框架一起定义为全栈平台。这个数字来自公司自述，不能等同于活跃开发者统计，但足以说明竞争已经从芯片扩展到生态。[37]

生态也可能成为约束。旧架构会退出新 Toolkit 和驱动支持，用户必须处理版本兼容；专有工具链使跨平台迁移更贵；当云厂商和竞争者推出自研加速器时，它们往往不只比较芯片，而会努力兼容主流框架、提供编译器和软件迁移工具。CUDA 的护城河因此既是技术积累，也是组织和时间积累。

四、第一轮演进：通用并行计算成形

图 10｜NVIDIA 核心计算架构总览——每一代都把一个主要瓶颈向后推移

1. Tesla 架构（2006）：统一着色器成为 CUDA 的硬件起点

图 11｜Tesla C1060，早期独立计算加速卡的代表。来源：NVIDIA Tesla C1060 官方产品资料（PDF），? NVIDIA；本文仅作资料性裁切、缩放与排版

这里先澄清一个命名陷阱：Tesla 既是 2006 年前后的 GPU 微架构名，也曾是 NVIDIA 数据中心计算产品品牌。后来的 Tesla K80 属于 Kepler 架构，Tesla V100 属于 Volta 架构，不能因为卡名里有 Tesla 就归入 Tesla 架构。

Tesla 架构的代表芯片 G80 首先用于 GeForce 8800 系列。它把过去分开的顶点与像素着色单元改为统一的可编程处理器池：画面中哪类任务多，资源就更多地分配给哪类任务。这种统一着色器设计也让同一批计算单元更适合承载 CUDA 线程。

第一款 Tesla 产品线 CUDA 计算设备 C870 使用早期 G80；后续 GT200 架构的 C1060 已有 240 个处理核心、4GB GDDR3 和约 102GB/s 显存带宽，并支持单、双精度浮点。[9][10] 与今天的卡相比，它算力和显存都很小，双精度能力也有限，但它第一次把 GPU 包装成没有显示输出需求的计算加速器，面向工作站和服务器销售。

这一代解决的是“GPU 能不能脱离图形 API 做计算”。它留下的新问题则是：科学计算不仅要快，还要缓存、纠错、双精度和更成熟的编程语义。

2. Fermi（2010）：GPU 开始像一台可靠的计算机

图 12｜Fermi 时代的 Tesla M2050/M2070，型号差异主要体现在显存容量。来源：NVIDIA M2050/M2070 官方产品资料（PDF），? NVIDIA；本文仅作资料性裁切、缩放与排版

Fermi 试图回答上述问题。它引入更完整的 L1/L2 缓存层级、ECC 内存保护、更好的双精度能力、更灵活的并发 kernel 和统一地址空间设计。Fermi 白皮书把目标明确指向高性能计算和通用编程，而不再只是图形管线的延伸。[11]

代表产品 Tesla M2050 和 M2070 分别配备 3GB 与 6GB GDDR5，峰值双精度约 515 GFLOPS、单精度约 1.03 TFLOPS，带宽 148GB/s，TDP 225W。两者差别主要在显存容量，面向服务器密集部署。[12] 相比 C1060，Fermi 在速度之外补上了长时间科学计算所需的可靠性与可预测性。

Fermi 还赶上了一场硬件设计时并未专门瞄准的突破。2012 年 AlexNet 使用 GPU 高效实现卷积，在 ImageNet 竞赛中显著降低图像分类错误率。论文中的网络约 6000 万参数，训练依赖大规模数据、ReLU、Dropout 和 GPU 实现共同作用。[13] 这说明 GPU 的可编程并行能力已经成熟到可以改变算法研究节奏：过去几周甚至几个月的实验，开始缩短到研究者能够快速迭代的时间范围。

但 Fermi 功耗高，复杂控制和缓存也占用大量晶体管。下一代必须在提升吞吐的同时改善每瓦性能。

3. Kepler（2012）：把性能问题转化为能效与调度问题

图 13｜Kepler 时代的 Tesla K80；24GB 是双 GPU 板卡合计容量，并非单一共享显存池。来源：NVIDIA Tesla K80 官方产品资料（PDF），? NVIDIA；本文仅作资料性裁切、缩放与排版

Kepler 用新的 SMX 组织方式增加并行吞吐，并通过更简单的时钟和控制设计改善能效。两个具有代表性的功能是：

Dynamic Parallelism：GPU kernel 可以发起新的 kernel，减少复杂并行算法频繁返回 CPU；

Hyper-Q：允许多个 CPU 线程或 MPI 进程更有效地向同一 GPU 提交工作，降低虚假依赖和空闲。[14]

K20/K20X 面向 HPC，K40 增大显存并引入可控 GPU Boost；K80 则在一块板卡上放置两颗 Kepler GPU，合计 4992 个 CUDA Core、24GB GDDR5，但每颗 GPU 实际只能直接使用自己的 12GB，板卡聚合带宽约 480GB/s。它强调双 GPU 吞吐和科学计算，而不是单一大显存池。[15]

这个规格今天仍容易引起误解：一块“双 GPU 24GB”卡，并不表示任意单个模型都能使用连续的 24GB 显存。软件必须显式划分任务和通信。K80 的设计体现了当时的数据中心思路——在标准 PCIe 板卡功耗范围内，通过双芯片提高总吞吐。

4. Maxwell（2014）：高能效与深度学习训练相遇

图 14｜Maxwell 时代的 Tesla M40，以高 FP32 吞吐和能效服务早期深度学习训练。来源：NVIDIA Tesla M40 官方产品资料（PDF），? NVIDIA；本文仅作资料性裁切、缩放与排版

Maxwell 重新划分 SM 内部资源，让调度和数据通路更贴近实际负载，重点提升每瓦性能。它并不是面向双精度 HPC 的主力架构，数据中心代表卡 M40 峰值 FP32 约 7 TFLOPS，而 FP64 只有约 0.2 TFLOPS；12GB GDDR5、288GB/s 和 250W 的组合，明显偏向单精度深度学习训练。[16]

同代 M4 则只有 4GB 显存，功耗可在 50—75W 之间，低矮 PCIe 形态适合视频转码、图像处理和机器学习推理。M40 与 M4 的差别揭示了计算卡产品线第一次明显分化：训练需要更多算力和显存，在线推理更看重低功耗、服务器密度和多媒体引擎。

Maxwell 没有 Tensor Core，神经网络仍由通用 CUDA Core 执行。不过，深度学习需求已经开始反向塑造数据中心产品。此后的设计重点逐渐转向神经网络最常用的精度、存储和通信。

五、第二轮演进：GPU 开始为深度学习重新设计

1. Pascal（2016）：HBM2、NVLink 与 FP16

图 15｜Pascal 时代的 Tesla P100，引入 HBM2、NVLink 与面向训练的 FP16。来源：NVIDIA Tesla P100 产品页，? NVIDIA；资料性引用

Pascal 的 GP100 把五项关键变化放在一起：16nm FinFET、HBM2、第一代 NVLink、更强的统一内存与页迁移，以及更高的 FP16 吞吐。[17]

代表卡 P100 有 PCIe 和 SXM/NVLink 两种主要形态。PCIe 版峰值 FP64/FP32/FP16 约为 4.7/9.3/18.7 TFLOPS；NVLink 版约为 5.3/10.6/21.2 TFLOPS。它配备 12GB 或 16GB HBM2，带宽最高约 732GB/s。[18] HBM2 把堆叠显存放在与 GPU 相同的封装附近，大幅拓宽数据通道；NVLink 则让 GPU 间通信不再完全受 PCIe 限制。

Pascal 同代的 P40 与 P4 走另一条路线。P40 使用 24GB GDDR5、最高约 47 INT8 TOPS 和 250W，面向吞吐型推理；P4 只有 8GB、约 50—75W，更适合规模化低功耗推理和视频服务器。[19][43]

这一代已经明确区分两类需求：

P100 兼顾 HPC、训练与多卡扩展，重视 FP64、HBM2 和 NVLink；

P40/P4 追求 INT8 推理、容量和每瓦吞吐。

2016 年发布的 DGX-1 将八张 P100、NVLink 和预装深度学习软件组合成一台系统。NVIDIA 开始把“装几张卡”升级为“交付一套可直接训练模型的机器”。

2. Volta（2017）：Tensor Core 改变计算卡的设计中心

图 16｜Volta 时代的 Tesla V100，首代 Tensor Core 使矩阵计算成为架构中心。来源：NVIDIA Tesla V100 官方产品资料（PDF），? NVIDIA；本文仅作资料性裁切、缩放与排版

Volta 最关键的变化是首次加入 Tensor Core，而非继续堆叠 CUDA Core 数量。GV100 中每个 Tensor Core 对小矩阵执行混合精度乘加，V100 共配置 640 个 Tensor Core。输入可以使用 FP16，累加使用 FP32，从而提高训练吞吐并尽量保持数值稳定。[20]

V100 有 PCIe 和 SXM/NVLink 形态，显存从 16GB 扩展到 32GB HBM2，带宽约 900GB/s；SXM 版本的 NVLink 双向带宽最高约 300GB/s。[21] 它仍保留强大的 FP64 能力，因此既能服务 AI，也能进入传统超级计算。

2018 年，使用 4356 个节点、每节点六张 V100 的 Summit 登上 TOP500 第一。[22] 这说明同一架构既能用 Tensor Core 加速低精度 AI，也能用 FP64 运行气候、材料、能源和物理模拟，AI 与 HPC 可以在同一套计算平台上汇合。

Volta 还引入独立线程调度，改善复杂线程分支和同步的灵活性。它留下的新瓶颈是，训练完成后的模型需要在海量线上请求中经济地运行；全尺寸 V100 对许多推理任务过于昂贵和耗电。

3. Turing（2018）：训练之外，推理成为独立市场

图 17｜Turing 时代的 Tesla T4，单槽、低功耗并强化量化推理与视频处理。来源：NVIDIA Tesla T4 产品页，? NVIDIA；资料性引用

Turing 延续 Tensor Core，并加入 INT8、INT4 等面向量化推理的模式；同时加入 RT Core，用于实时光线追踪。[23] 数据中心市场中，T4 是这一代最具代表性的产品。

T4 配备 16GB GDDR6，采用单槽、约 70W 的 PCIe 设计，具有 Tensor Core、视频编解码和多精度能力。[24] 它适合推荐、语音、翻译、图像识别、视频分析和云端图形等规模化服务。

T4 的单卡绝对性能并不占优，优势在部署条件：它不需要 SXM 底板和液冷，可装入大量通用服务器；较低功耗也便于把推理放到更靠近用户的位置。由此，计算卡市场的评价指标从“训练一个模型要多久”扩展为“在给定延迟、功耗和成本下，每秒服务多少请求”。

4. Ampere（2020）：一张卡服务多种精度和多类租户

图 18｜Ampere 时代的 A100，以 TF32、结构化稀疏、MIG 和第三代 NVLink 服务训练、推理与 HPC。来源：NVIDIA A100 产品页，? NVIDIA；资料性引用

A100 把训练、推理与 HPC 更紧密地合在一起。第三代 Tensor Core 支持 TF32、BF16、FP16、INT8/INT4 和 FP64 Tensor 运算；2:4 结构化稀疏允许硬件跳过规则分布的零值；MIG 可以把一张 GPU 划分为最多七个相互隔离的实例。[25]

TF32 很关键。它让许多原本使用 FP32 的深度学习代码，在框架支持下调用 Tensor Core，而不必由开发者全面改写为 FP16。它保留 FP32 的指数范围，缩短尾数，在速度与易用性之间做折中。

A100 从 40GB HBM2 发展到 80GB HBM2e。80GB 版本中，PCIe 与 SXM 都有约 9.7 TFLOPS FP64 和 19.5 TFLOPS FP32；SXM 形态可提供约 600GB/s NVLink 和 400W 标准 TDP，PCIe 版约 300W。[26] 同名卡因为形态不同，在功耗、互联和系统扩展能力上并不相同。

Ampere 的产品分层也更清晰：

A100：旗舰训练、HPC 与大规模推理，HBM 和 NVLink 完整；

A30：24GB HBM2、933GB/s、165W，保留 FP64 Tensor Core、NVLink 和 MIG，面向主流企业计算；[27]

A10：24GB GDDR6、600GB/s、150W，加入 RT Core 和媒体能力，兼顾虚拟工作站、图形、视频与推理。[28]

MIG 对应着一种很实际的商业需求：昂贵 GPU 不能总被一个大任务独占。云平台可以把 A100/A30 切分给多个租户，提高利用率并提供隔离。但切分并不能凭空创造带宽；小实例仍要在真实资源约束下运行。

Ampere 见证了大模型训练从研究项目走向产业基础设施。此时，单卡性能已不是唯一焦点。模型并行需要在成百上千张卡之间同步，网络和集合通信决定扩展效率。NVIDIA 于 2020 年完成对 Mellanox 的收购，把 InfiniBand、网卡和后来的 DPU 纳入平台，为下一阶段的机架级系统铺路。[37]

六、第三轮演进：从单卡走向 AI 工厂

1. Hopper（2022）：为 Transformer 建一条高速公路

图 19｜Hopper H100 与 H200；H200 延续 Hopper 架构，重点增加 HBM3e 容量与带宽。来源：NVIDIA H100 产品页与H200 产品页，? NVIDIA；本文仅作资料性拼接与排版

Hopper 的 H100 面向 Transformer 负载引入 Transformer Engine。第四代 Tensor Core 支持 FP8，软件根据张量统计和不同网络层需要，在 FP8 与较高精度之间切换、缩放和重铸数据。这并非把 FP16 简单截短一半，而是由硬件和软件共同选择精度。[29]

H100 SXM 配备 HBM3，显存带宽超过 3TB/s；第四代 NVLink 为每 GPU 提供约 900GB/s 双向带宽。NVLink Switch System 进一步把高速域扩展到服务器之外。Hopper 还强化异步内存搬运、Tensor Memory Accelerator、动态规划 DPX 指令与机密计算。

H200 沿用 Hopper 架构，把显存升级到 141GB HBM3e、4.8TB/s，SXM 最高约 700W，PCIe 形态可配置到约 600W。[30] 它与 H100 的主要差别在容量和带宽，并非计算核心换代。对长上下文、大批量推理和需要更大 KV Cache 的任务，显存升级可能比增加算术单元更直接。

Hopper 时代也改变了推理经济学。大语言模型一次请求包含预填充和逐 token 解码：前者更像大矩阵计算，后者更容易受带宽、延迟和通信限制。采购方开始同时关注首 token 延迟、每秒输出 token、并发量、能耗和成本，而不是只看训练 FLOPS。

2. Blackwell（2024）：芯片、互联和液冷机架共同成为“产品”

图 20｜Blackwell GB200 NVL72，GPU、CPU、NVSwitch、供电与液冷共同构成机架级产品。来源：NVIDIA GB200 NVL72 产品页，? NVIDIA；资料性引用

Blackwell 用两颗接近光刻掩模极限的大芯粒组成一个逻辑 GPU，通过 10TB/s 片间接口保持一致性，对 CUDA 程序表现为统一设备。完整封装拥有约 2080 亿晶体管。第二代 Transformer Engine 引入 FP4/微缩放格式，第五代 NVLink 把单 GPU 双向互联提高到约 1.8TB/s。[31]

产品名在这一代尤其容易混淆：

B100/B200 是 Blackwell 数据中心 GPU 产品。B100 在发布初期作为云和服务器选项出现，B200 成为主力高端 SXM 产品；

HGX B200 是八张 B200 加 NVSwitch 的服务器底板；

GB200 Superchip 把一颗 Grace CPU 与两张 Blackwell GPU 通过 NVLink-C2C 连接；

GB200 NVL72 再把 36 颗 Grace CPU、72 张 Blackwell GPU、NVLink 交换、供电和液冷组织成一整架系统。

B200 典型配置为 180GB HBM3e、最高约 8TB/s 显存带宽，功耗可配置到约 1kW。GB200 NVL72 构成一个 72 GPU NVLink 域，系统总 GPU 显存约 13.4TB，NVLink 聚合带宽约 130TB/s。[32]

为什么从八卡服务器继续扩大到 72 卡机架？因为 MoE 和万亿参数模型需要频繁交换权重、激活和专家路由数据。如果高速互联只存在于服务器内部，跨节点网络会成为断层。机架级 NVLink 让更多 GPU 以低延迟全互联，代价是供电、铜缆长度、结构强度和散热都必须从一开始共同设计。GB200 NVL72 的官方用户指南给出的机架功率约 120kW，并采用直接液冷。[42]

2025 年推出的 Blackwell Ultra/GB300 仍属 Blackwell 家族。B300 把单 GPU HBM3e 提升到最高 288GB；GB300 NVL72 的 GPU HBM 总量约 20TB，定位更偏向长上下文和推理时扩展。官方页面在本文截止日已标注“Available Now”。[33]

Blackwell 把一个趋势摆到了台面上：算力产品的最小采购与运行单元正在从卡、节点升级为机架。即使芯片效率提高，每个交付单元的绝对功率、冷却和并网要求仍在同步上升。

3. Rubin（2026）：计算单位继续从 GPU 扩大到整座数据中心

图 21｜Rubin 平台继续把产品边界扩展到 CPU、GPU、网络、存储与整座 AI 工厂。来源：NVIDIA Rubin 平台页，? NVIDIA；资料性引用

Rubin 的事实边界本节资料截止到 2026 年 9 月 6 日。NVIDIA 官方平台页已称 Vera Rubin 正进入全面量产爬坡并由供应链出货；部分产品规格页仍标注 preliminary、可能调整。下文据此区分产品状态与参数状态。

Rubin 不再以一张 GPU 为唯一主角。Vera Rubin 平台把 Vera CPU、Rubin GPU、NVLink 6 Switch、ConnectX-9、BlueField-4 和 Spectrum-6 一起设计，目标是让智能体和长时间推理工作负载在大规模系统中持续运行。[34]

官方技术资料称，单颗 Rubin GPU 由约 3360 亿晶体管组成，含 224 个 SM、896 个第五代 Tensor Core，配备最高 288GB HBM4 和约 22TB/s 带宽；NVLink 6 单 GPU 规模扩展带宽约 3.6TB/s。[35] Vera Rubin NVL72 由 72 张 Rubin GPU 和 36 颗 Vera CPU 组成，总 HBM4 约 20.7TB；规格页给出 NVFP4、FP8 和 FP64 等多种口径，但同时明确部分数值为初步信息。[36]

相较 Blackwell，Rubin 继续沿四条线推进：

HBM4 继续提高容量和带宽，缓解权重、KV Cache 和中间状态搬运；

NVLink 6 扩大机架内交换能力，让通信追上计算；

CPU、GPU、DPU、网卡与存储更紧密地分工，减少数据生命周期中的等待；

评价指标进一步转向每瓦 token、每美元 token、长任务可靠性和整座 AI 工厂产出。

Rubin 已进入量产爬坡，因而不能再把它只当作路线图；但“平台已量产”也不代表所有地区、所有整机形态都已普遍部署。本文不把 NVIDIA 给出的相对 Blackwell 倍数当作所有模型的保证，实际性能仍取决于模型结构、量化方式、并行策略、网络、软件版本和运行规模。

从 Tesla 到 Rubin，架构演进可压缩成一条瓶颈迁移链：

数学公式

每次突破并没有消灭旧问题。更快的 Tensor Core 让显存显得更慢；更大的 HBM 让多卡同步更突出；更强的机架让供电和散热成为交付周期的一部分。

七、同一代为什么有许多型号：计算卡不是按“大小”简单排队

1. 代表计算卡速览

下面的表格只列代表型号，目的是说明定位，不是建立一张跨时代跑分榜。显存和功耗取常见配置；同一型号可能因 PCIe、SXM、生产批次和系统设计而变化。

从表中可以看到，型号差异很少只是“价格更高、核心更多”，它往往来自不同资源约束的组合：

科学计算需要 FP64、ECC、稳定运行和高速集合通信；

训练需要高矩阵吞吐、大显存与多卡互联；

在线推理需要低延迟、低功耗、量化能力和媒体引擎；

企业混合负载需要虚拟化、MIG、图形和较容易安装的 PCIe 形态；

超大模型需要从 GPU 扩展到整机架的统一通信域。

2. 训练卡、推理卡、HPC 卡与通用卡

图 22｜计算卡定位取决于精度、显存、互联、功耗和媒体能力的组合

训练卡通常需要高 FP16/BF16/FP8 吞吐、大容量 HBM 和强多卡互联。训练会保存激活、梯度和优化器状态，显存压力远大于只存权重；数据并行还要频繁做 All-Reduce。

推理卡的目标更分散。批量吞吐场景喜欢 INT8、FP8、FP4 和高并发；实时交互更看重首 token 延迟、显存带宽和调度；视频分析还需要编解码器。T4、P4、A10 之所以长期有市场，是因为很多业务不需要旗舰训练卡的 FP64 和高功耗。

HPC 卡重视 FP64、ECC、数值一致性和成熟科学库。P100、V100、A100、H100 以及 Rubin 的部分形态保留强双精度能力，原因是气候、流体、材料和量子化学不能无条件把误差交给量化。

通用数据中心卡试图同时服务多种任务，例如 A30 保留 HBM、FP64、MIG 和推理精度。它的绝对性能低于 A100，却更容易放入主流服务器，也更容易切分给多个租户。

这些类别不是固定标签。同一张 A100 可以做训练、推理或 HPC；分类只是说明其资源组合更适合哪些任务，并不限制它运行其他任务。

3. PCIe、SXM、Superchip、NVL 和 DGX 分别是什么

图 23｜从插卡到整机架，不同产品名指向不同的系统边界

PCIe 卡最接近传统“插卡”。兼容服务器范围广，部署和更换相对容易，但供电、散热与 GPU 间互联受标准形态限制。

SXM 模组把 GPU 放在专用底板上，可以提供更高功耗、更宽 NVLink 和更密集的机内互联。它不是普通 PCIe 扩展卡，需要 HGX/DGX 等专用系统设计。

HGX通常是面向整机厂商的 GPU 底板和参考平台，例如 HGX B200 把八张 B200 与 NVSwitch 连接，再由 OEM/ODM 集成 CPU、网卡、存储和机箱。

Superchip把不同处理器通过芯片到芯片互联组合，例如 GB200 用 Grace CPU 连接两张 Blackwell GPU。它描述的是计算模组，不等于完整服务器。

NVL通常表示多个 GPU 通过 NVLink 组成的系统规模，例如 H100 NVL 是面向 LLM 的双卡方案，GB200 NVL72 是 72 GPU 机架。数字描述 NVLink 域中的 GPU 数量，不一定等于一台传统服务器里的卡数。

DGX是 NVIDIA 自有品牌的完整系统或参考交付形态，包含 GPU、CPU、网络、软件与支持。购买 DGX/NVL72 与单买芯片的商业关系不同，基础设施准备也不同。

4. 采购时应该看什么

图 24｜计算卡和 AI 系统的采购决策顺序

采购计算卡时，与其先看峰值 FLOPS，不如按下面的顺序判断：

模型或问题能否装入显存：权重、激活、优化器和 KV Cache 分别多大；

主要算子是什么：FP64 仿真、矩阵训练、低批量解码还是视频处理；

瓶颈在计算、显存还是通信：用算术强度和性能分析工具验证；

需要怎样扩展：单卡、双卡、八卡节点，还是跨机架训练；

软件是否成熟：框架、库、驱动、容器和业务算子能否稳定运行；

总拥有成本：卡价只是起点，还包括服务器、交换机、机柜、电力、冷却、运维与软件许可；

可获得性和生命周期：交付周期、出口限制、驱动支持年限和备件；

用真实业务压测：记录吞吐、P95/P99 延迟、利用率、功率与错误率。

MLPerf 的价值正在于用明确模型、质量阈值和场景比较训练与推理系统，而不是把所有设备压缩成一个理论峰值。MLCommons 统计称，自 2018 年以来，其基准追踪到大语言模型等任务的推理每瓦性能和训练速度出现数量级提升；但即使是标准基准，结果也必须连同软件、批量、服务器配置和提交规则一起阅读。[38]

八、NVIDIA 计算平台改变了什么

图 25｜GPU 平台扩张同时改变科研方法、社会应用和基础设施产业链

1. 科技：把超级计算从少数中心扩展到更多学科

GPU 计算首先降低了大规模并行计算的使用门槛。过去只有国家级超级计算中心能够提供的吞吐，后来可以通过工作站、多卡服务器或云实例获得。研究者不必自己设计专用芯片，就能调用 cuBLAS、cuFFT、cuDNN、NCCL，以及分子动力学、工程仿真和气象软件中的 GPU 路径。

这种变化缩短了“提出假设—运行实验—观察结果—再次修改”的循环。AlexNet 除了提高图像分类成绩，还展示了大数据、深层网络和 GPU 可以共同扩展。Volta 的 Tensor Core 又把这种计算模式固化进硬件。2018 年 Summit 使用 V100 同时服务传统 HPC 与 AI，说明两条原本相对独立的计算路线开始合流。

影响也不止人工智能。分子动力学、流体仿真、地震处理、基因组分析、电子设计自动化、天气预报和能源勘探都可以从并行加速受益。加速的意义不一定是减少服务器数量，也可能是在同样时间内提高空间分辨率、增加参数组合或做更多不确定性分析。

不过，“GPU 让科研民主化”只说对了一半。单机算力更容易获得，前沿模型所需集群却越来越昂贵。普通研究者能运行更多实验，同时与头部机构在最大模型上的资源差距也可能扩大。

2. 社会：AI 能力普及，也带来新的集中与治理问题

当训练和推理成本下降，语音识别、翻译、推荐、生成内容、辅助编程和科学模型进入更多产品。个人通过云服务就能调用过去属于研究机构的能力，企业也能在客服、设计、制造、医疗影像和机器人中加入 AI。

社会收益与风险来自同一套扩展机制。生成成本下降，使教育、无障碍工具和知识服务更普及，也使虚假内容、自动化攻击和大规模监控更便宜；推理效率提高，让本地和边缘 AI 更可行，也让模型影响更深地进入工作流程。

就业影响同样不能简化成“机器替代人”。更常见的变化是任务重组：重复生成、检索和初步分析被自动化，验证、责任判断、数据治理和领域整合变得更重要。哪些岗位减少、哪些岗位增加，取决于行业需求、组织设计、监管和劳动者能否获得工具，而不是由一代 GPU 单独决定。

计算基础设施的集中则更明确。先进 GPU、HBM、封装、网络、电力和大规模数据中心需要巨额资本，头部云厂商和模型公司更容易组织这些资源。开源模型降低软件门槛，却不能完全消除训练和大规模推理的硬件门槛。

3. 经济：从卖芯片转向经营平台和供应链

NVIDIA 的收入结构说明了这场转型。2026 财年公司总营收约 2159.38 亿美元，其中 Compute & Networking 约 1934.79 亿美元，远高于 Graphics 的 224.59 亿美元；数据中心计算收入增长主要由 Blackwell 需求推动，网络收入则受 NVLink、Ethernet 和 InfiniBand 拉动。[37]

从收入和产品结构看，NVIDIA 的商品边界已经扩展：

平台模式提高了客户价值，也提高了转换成本。开发者使用 CUDA 和库，模型依赖特定算子，运维团队熟悉 DGX/HGX，云厂商围绕这些系统建设网络和镜像。硬件升级可以带动整条软件和系统链再次采购。

与此同时，价值并非由 NVIDIA 独占。公司采用 fabless 模式，晶圆依赖 TSMC、Samsung，HBM 来自 SK hynix、Micron、Samsung，CoWoS 等先进封装、基板、组装测试、服务器制造和网络设备共同决定交付。10-K 明确列出这些供应伙伴及地域集中风险。[37]

AI 计算扩张因此把资本开支传导到半导体设备、先进封装、HBM、光模块、铜缆、交换机、服务器、液冷、变压器和发电资产。经济增长点从“芯片销售”向整个基础设施链扩散，也带来库存、重复建设和技术路线变化风险。

出口管制又增加了一层外部约束。高端计算卡同时具有商业和战略属性，性能密度、互联和显存带宽可能成为监管指标。企业必须为不同市场设计产品，客户也要考虑供应连续性、合规和替代生态。地缘政治已经不再是销售部门的背景条件，而会反过来影响芯片配置和产品节奏。

4. 能源：数据中心正在变成新的连续工业负荷

图 26｜AI 负荷需要从 GPU、机架、园区和电网四个尺度观察

GPU 每瓦性能持续提高，却不必然降低总用电。更便宜的计算会诱发更多训练、更长推理、更高并发和更复杂的应用，这类似“效率提高后总需求反而扩大”的反弹效应。

IEA 在 2026 年更新中估计，全球数据中心用电从 2025 年约 485TWh 上升到 2030 年约 950TWh，AI 专用数据中心用电增速更快。它同时强调，短期增长会受到芯片、电力设备、规划审批和并网瓶颈约束。[39] 这些是全球情景估计，不等于所有国家按同一速度增长。

美国的集中影响更突出。LBNL 2025 更新报告估计，到 2030 年美国数据中心可能占全国用电量的 9.5%—15.3%，中值约 11.8%；结果对 AI 芯片装机、利用率、寿命和冷却假设高度敏感。[40]

单个项目的负荷形态也在变化。传统企业机房可能只有几兆瓦，AI 园区可以提出数百兆瓦甚至更高的接入需求；GB200 NVL72 单机架约 120kW，还没有计入部分外部冷却、网络和供配电损耗。[42] 十个机架约为兆瓦级 IT 负荷，数百到数千个机架就会接近大型工业用户。

5. 电力行业应当怎样观察 AI 负荷

对电网和能源企业而言，至少需要观察六个尺度。

负荷规模：单卡从 300W 上升到 700W、1000W 只是起点，接入容量最终由 GPU 数量、CPU/网络功耗和 PUE 共同决定。

负荷率：训练集群可能长时间高利用率运行，形成较平稳基荷；推理负荷会随用户请求波动，大规模调度和缓存又会平滑一部分变化。GPU TDP 不能直接当作园区最大需量，也不能假设所有设备始终满载。

爬坡与扰动：大量服务器同时启动、任务切换、故障恢复或参与电价响应，都可能形成快速负荷变化。NERC 已把数据中心和大负荷增长纳入长期可靠性评估，提示规划部门更早掌握项目规模、时序和运行特征。[41]

供电质量和可靠性：昂贵训练任务对短时中断敏感，需要双路电源、UPS、备用发电、故障穿越和检查点机制；备用资源配得过多，又会增加成本和排放。

冷却与水：高密度机架推动直接液冷，减少风冷空间和风机负担，同时增加冷却水温度、流量、换热器、管路可靠性和余热利用等新问题。

选址和电源结构：数据中心除电价外，还要看并网周期、清洁能源可获得性、光纤、土地、水、设备交付和政策。可再生能源 PPA 可以改善长期电量匹配，但风光出力与 24 小时计算负荷并不天然一致，仍需电网、储能、可调电源或负荷灵活性配合。

AI 也可以反向服务能源系统，例如负荷与新能源预测、设备巡检、材料发现、调度辅助和数字孪生。可这些应用只有在数据质量、物理约束、安全审查和责任边界明确时才有价值。不能因为训练模型消耗电力，就忽略 AI 的节能潜力；也不能用潜在节能抵消未经核算的现实用电。

九、成功并不等于没有边界

图 27｜NVIDIA 平台的优势、边界与本文核心判断

1. CUDA 优势也是迁移成本

CUDA 让跨代 NVIDIA GPU 获得相对稳定的软件接口。成熟库把复杂优化交给平台，开发者能较快得到高性能。这种兼容性越成功，用户越难离开。

但锁定并非纯粹商业手段。高性能库必须针对内存层级、指令和拓扑深度优化，任何平台都会产生一定专用性。组织更该弄清楚自己的依赖落在哪里：源代码能否使用其他后端，模型是否依赖专有算子，数据格式是否开放，性能测试是否只在单一平台完成。

合理的策略是在保留当前效率的同时，为关键业务准备可移植层、标准模型格式、替代供应商验证和清晰的退出成本，而非为了“去 CUDA”本身付出代价。

2. 峰值性能、成本与实际利用率之间仍有距离

一张新卡的峰值提高四倍，不代表业务成本自动下降四倍。模型不一定支持新精度，显存可能不够，集群网络可能拥塞，软件升级可能引入稳定性问题，机房也可能没有足够供电和冷却。

从芯片到有效 token 的路径很长：

每一层都有损耗。产品评估必须把正确率、延迟、可靠性和人力成本放回指标体系。低精度若造成质量下降，重新生成和人工复核会吃掉节省；追求最高利用率若导致排队过长，又会伤害实时体验。

3. 供应链、出口管制与能源约束成为架构问题

先进 GPU 依赖少数先进制程、HBM 和封装产能。NVIDIA 2026 财年 10-K 还披露，两个直接客户分别占总收入 22% 和 14%，制造采购承诺达到很高水平。供应与客户两端集中，使公司能够快速放量，也放大产品切换、需求预测和政策变化风险。[37]

能源约束同样会进入产品设计。单卡功耗提高促使液冷和高压直流配电发展；并网等待会促使计算负荷寻找可调度策略或靠近电源；每瓦 token 成为新的竞争指标。未来最强的加速器，不一定是峰值最高的芯片，而可能是最容易在既有电网、机房和软件条件下转化为稳定产出的系统。

竞争也不会停止。AMD GPU、各类云厂商 ASIC、其他 AI 加速器和开放软件栈会争夺训练或推理的特定环节。NVIDIA 的优势在通用平台和成熟生态，专用芯片的优势可能在特定模型、成本或能效。市场包可能长期并存，而不是由一种处理器完成所有计算。

结语：NVIDIA 押中的不是一次浪潮，而是一种计算方法

如果只用“押中 AI”概括 NVIDIA 的成功，会漏掉大部分历史。

1990 年代，它押注实时 3D 图形会扩大，用游戏市场训练并行芯片与驱动能力；

2006 年，它把统一着色器背后的吞吐开放给 CUDA；

2010 年代前半段，它为科学计算补足缓存、ECC、FP64 与调度；

深度学习爆发后，它用 Tensor Core、低精度、HBM 和 NVLink 重新设计计算卡；

大模型时代，它又把竞争范围扩展到 CPU、DPU、网络、液冷机架和数据中心软件。

贯穿这些变化的主线是：

找到通用 CPU 不愿为之大量牺牲面积和功耗、却又能被海量并行重复的工作，再用软硬件平台把这种专用加速变成可编程能力。

这条路线影响了科技研究和产业投资，也把算力与电力更紧密地连接起来。对 AI 从业者，下一代竞争不仅是模型参数，而是计算、存储、通信和软件能否协同；对电力能源从业者，数据中心也不再只是普通商业负荷，而是具有高密度、高资本投入、高可靠性要求的新型工业用户。

从 C870 到 Vera Rubin NVL72，芯片越来越大、计算精度越来越低、互联越来越快；采购对象也由单卡扩展为一整套工业系统，用来把电能、数据和算法转化为智能产出。