在高性能计算HPC和人工智能大模型领域DGX 节点DGX Node是指由 NVIDIA 设计并推出的“开箱即用”超级 AI 计算服务器单机。它不是一块简单的显卡而是一个在软件和硬件层面都经过极致优化的高密度算力紧耦合整体。一个 DGX 节点通常整合了 8 枚顶级 Tensor Core GPU如 A100、H100、H200 或最新的 B200 并配合了最顶级的 CPU、海量系统内存、超高速 NVMe 存储以及多路 InfiniBand/RoCE 互联网卡。1. 经典 DGX 节点的内部核心架构以行业内主流的DGX H100/H200和最新一代的DGX B200为例一个标准的 DGX 节点是一个典型的8U/10U 机架式服务器其内部主要分为两大核心板组① GPU 拓扑板SXM 架构基板这是整个节点最值钱的部分。8x SXM GPU节点内插有 8 块 SXM 封装形式的顶级 GPU例如 8 块 H100 80GB或 8 块 B200 180GB。板载 NVSwitch 交换芯片板载 2 到 4 颗 NVSwitch 芯片通过内置的第五代 NVLink将这 8 块 GPU 互相连通节点内部的 GPU 双向通信带宽可达14.4 TB/sBlackwell 世代。这意味着在节点内部跑张量并行Tensor Parallel时通信几乎没有任何延迟。② 主机/CPU 运算板负责驱动操作系统、调度任务以及管理数据 I/O。双路顶级 CPU通常配备 2 颗顶级服务器 CPU如 AMD EPYC 或双路 Intel Xeon Platinum 系列共计 112 个核心。海量系统内存RAM通常标配2 TB 到 4 TB的 DDR5 系统内存用于高并发的数据缓存。高吞吐 NVMe 存储内置大约 30 TB 的超高速 NVMe U.2/U.3 固态硬盘用于高速读取训练集。2. 主流 DGX 节点核心规格横向对比随着算力密度的飙升近几代 DGX 节点的演进非常激进指标 / 规格DGX A100 节点DGX H100 / H200 节点DGX B200 节点 (Blackwell)GPU 芯片8x A100 (40GB / 80GB)8x H100 (80GB) / H200 (141GB)8x Blackwell B200 (180GB)单节点显存总量320 GB / 640 GB HBM2e640 GB HBM3 / 1,128 GB HBM3e1,440 GB HBM3e节点算力 (FP8 / FP4)暂无原生低精度 / 约 5 PFLOPS FP1632 PFLOPS (FP8)144 PFLOPS (FP4)/ 72 PFLOPS (FP8)内部 NVLink 带宽600 GB/s (单卡)900 GB/s (单卡)1.8 TB/s (单卡)机箱整机功耗~6.5 kW~10.2 kW~14.3 kW机箱高度 (机架空间)6U8U10U3. DGX 节点的网络接口为了 “Scale-Out” 扩容而设计单台 DGX 节点虽然强大但要训练千亿、万亿参数的大模型通常需要将几十甚至几百台 DGX 节点连接成一个集群NVIDIA 称之为DGX SuperPOD。为了让节点之间能够无损、低延迟地通信一个 DGX 节点的背面塞满了顶级网卡计算网络Cluster Network通常标配4 到 8 个 OSFP 端口支持单端口400Gbps的InfiniBandQuantum-2或高性能以太网RoCEv2 架构。每个 GPU 几乎能独享一路高速网络接口去对接外部的 IB 交换机。存储与管理网络配备独立的高速网卡如 NVIDIA BlueField-3 DPU 或 ConnectX-7 双口网卡专门用于拉取远端 Ceph/Lustre 并行文件系统中的数据集确保数据读取不占用 GPU 之间的计算通信带宽。4. DGX 节点 vs 普通 GPU 服务器如公有云的定制 8 卡机很多企业和云厂商也会自己采购 GPU 芯片使用超微Supermicro、浪潮、华硕等底盘组装 8 卡服务器。DGX 节点相比它们的优势主要在NVLink 拓扑的完整性NVIDIA 在自家的 DGX 节点中会给满最强规格的 NVSwitch 芯片而某些第三方服务器为了省成本或由于供电限制可能会削减 NVSwitch 数量导致部分 GPU 间通信降速走 PCIe 转发。黄金级软硬件协同DGX 节点出厂自带DGX OS基于 Ubuntu 的定制系统和全套固件底座。它对NCCLNVIDIA 集合通信库、CUDA、驱动以及 InfiniBand 的流控做到了开箱即用的最完美调优。在跑大规模分布式训练时DGX 节点能将硬件的理论算力压榨到极限且报NCCL Timeout等死锁通信错误的概率相对更低。强大的集群扩展验证每个 DGX 节点都符合 NVIDIA 的 SuperPOD 参考架构Reference Architecture在数据中心批量落地部署和网络组网时故障率和排查成本大幅度降低。