GPU 多了,训练就会更快吗?读懂单节点、多节点与 RDMA
同样的模型、同样的 16 张 GPU,一步训练从约 393 秒缩短到 197 秒。变化发生在两台机器之间:补齐通信依赖后,跨节点的数据传输从 TCP Socket 切换到了 RDMA。
最有意思的是,并非每个阶段都快了一倍。生成回答从 86.4 秒变成 81.9 秒,变化不大;参数更新却从 212.5 秒缩短到了 69.8 秒。
为什么会这样?要读懂这组数字,可以先把训练想成一群人合作做题:人手决定能同时算多少,协作方式决定要等多久。
本文从“节点是什么”开始,逐步解释多卡训练为什么需要通信,再回到这次实测。这里的测速比较始终是两节点 16 卡的 Socket 与 RDMA;单节点部分用于讲原理,没有对应的单节点速度对照。
1. 一张 GPU、一台机器和一个任务,分别是什么
1.1 GPU 是计算者,节点是它所在的机器
GPU 很擅长同时进行大量相似的数值计算。训练大模型时,许多矩阵运算交给它完成。
一台服务器可以安装多张 GPU。在本文的训练场景里,把这样一台服务器称为一个节点。GPU 自己的存储空间叫显存,模型参数和计算中的临时数据会占用它。
可以把一个节点想成一间办公室,一张 GPU 想成一位计算者。于是:
| 说法 | 实际意思 | 办公室类比 |
|---|---|---|
| 单节点单卡 | 一台机器,用一张 GPU | 一间办公室,一人做题 |
| 单节点多卡 | 一台机器,多张 GPU 合作 | 一间办公室,多人合作 |
| 多节点多卡 | 多台机器中的 GPU 合作 | 多间办公室,一起完成同一份任务 |
单节点不等于单卡。 一台装了 8 张 GPU 的机器,仍然是单节点。
1.2 两台机器都在跑,也可能是两个独立实验
有两台各装 8 张 GPU 的机器,可以让它们一起训练一个模型,也可以各自跑一个实验。
图中每组只画两张卡,表示“多卡”,不表示本次实验的实际卡数。
如果机器 A 试学习率甲,机器 B 试学习率乙,它们无需为这两个独立训练任务相互同步梯度。这样可能更早得到两个实验结果,却没有让其中任何一个实验自动获得 16 卡的协作能力。
只有两台机器加入同一个分布式训练任务,共同完成计算和必要的同步,才是这里讨论的多节点联合训练。
2. GPU 之间,到底在传什么
2.1 模型训练需要把各自的计算结果汇总
模型可以粗略理解为一套带着许多可调数字的计算规则。这些数字叫参数。训练就是根据样本的表现,逐步修改参数。
以一种常见的方式——数据并行——为例:各张 GPU 拿着同一版模型,分别处理不同样本,算出“参数应该往哪个方向调整”。这个调整信号叫梯度。
接下来,它们要把梯度汇总,才能让各份模型按一致的结果更新。如果每张卡只按自己的样本一直改下去,模型就会逐渐分叉。
1 | GPU A:处理一部分样本 → 算出梯度 ─┐ |
常见的汇总操作叫 AllReduce:大家贡献数据,进行求和等运算,再让参与者都拿到汇总结果。框架还会按训练配置做归一化。在 PyTorch 的 DDP 数据并行实现中,梯度通信可以和一部分反向计算重叠进行。PyTorch DDP 原理
2.2 模型拆开存,还会产生其他通信
模型大了,完整的参数、梯度和优化器状态可能很占显存。优化器状态可以理解为训练时记下的辅助信息,用来决定下一次怎样调整参数。
有些训练方法会把这些内容拆到不同 GPU 上存放。比如 FSDP,也就是“全分片数据并行”:需要某部分参数时收集它们,算完后再按规则分散保存;梯度也需要汇总和分发。它减少单卡的存储压力,同时引入相应的数据交换。PyTorch FSDP 说明
所以,多卡训练中的通信可能发生在计算前、计算中和计算后。实际传多少、什么时候传,取决于并行方式,不能把所有训练都理解成“最后同步一次”。
在 NVIDIA GPU 训练中,常会见到 NCCL。它是一套负责 GPU 间通信的库,提供 AllReduce、AllGather 等操作,并支持单机与跨机器的多种连接方式。你通常不必自己写网络收发代码,训练框架会调用它。NCCL 概览
3. 从一台机器到两台机器,多出来的时间在哪里
3.1 同机有内部连接,跨机要经过网络
同一个节点内,GPU 之间可能通过 PCIe、NVLink 等内部连接交换数据。跨节点后,数据还要经过网卡以及节点间的网络。同机连接的实际速度也取决于硬件拓扑,不能只凭“在同一台机器里”就认定通信很快。NCCL 支持的互连方式
回到办公室的类比:大家坐在一起时可以在办公室内部传材料;分到两间办公室后,还需要安排两边的传递。
GPU 多了,每张卡分到的计算可能减少,但需要交换的信息不一定按同样比例减少。有时某些卡已经算完,还得等数据或等其他卡。
3.2 带宽和延迟,是两个不同问题
带宽表示每秒能传多少数据,像道路一次能容纳多少货物;延迟表示一次通信启动并送达需要多久,像一趟配送的起步时间。
大块数据传输更容易受带宽影响,大量频繁的小通信更容易受延迟影响。训练还会受到负载不均衡、数据准备和保存等因素影响。
理解一步训练的耗时,可以先用这个简化式子:
这里的三项分别是计算、没能被计算掩盖的通信等待,以及其他开销。因为通信和计算可能重叠,不能把日志里所有通信时长直接加到计算时长上。
举个纯教学例子:某一步原先计算要 100 秒。增加 GPU 后,计算降到 50 秒,如果额外等待只有 10 秒,总共约 60 秒;如果额外等待达到 80 秒,总共就成了 130 秒。这组数字只是解释原理,不是本文的单节点实测。
因此,“GPU 数量翻倍”并不自动等于“耗时减半”。能分出去多少计算,以及分出去以后要多等多久,都需要测量。
4. TCP Socket 与 RDMA:数据怎么到另一台机器
4.1 TCP Socket 是常见的网络传输路径
TCP 是一种提供可靠、有序字节传输的网络协议;Socket 是程序使用网络的一类接口。在本文中,TCP Socket指 NCCL 的 Socket 网络后端。TCP 协议规范
它通常通过操作系统的 TCP/IP 网络栈收发数据。网络栈可以理解为操作系统中负责处理网络通信的一套软件。CPU 要参与协议处理;在常见的 GPU Socket 传输路径中,还会通过主机内存中转 GPU 数据。
TCP Socket 的可用性很好,很多普通网络环境就能跑起来。但面对频繁、大量的 GPU 数据交换,协议处理、内存中转及网络本身都可能成为成本。这不意味着所有 TCP 网络都慢,具体结果还受网卡、CPU、网络配置和负载影响。
4.2 RDMA 让网卡承担更多数据搬运
RDMA 全称是 Remote Direct Memory Access,中文叫“远程直接内存访问”。
通信双方先准备好允许访问的内存区域,之后由支持 RDMA 的网卡完成更多数据搬运工作,减少常规内核网络栈和 CPU 在数据传输路径上的处理。它仍然需要软件建立连接、注册内存和管理任务,不能理解成“CPU 从此完全不参与”。NVIDIA 的 RDMA 功能说明
普通 RDMA 与 GPU 显存直传还要分开看。 GPUDirect RDMA 在兼容的硬件和驱动条件下,为 GPU 与网卡提供直接交换数据的路径,从而减少经主机内存中转的需要。日志中常把它缩写为 GDRDMA。GPUDirect RDMA 官方说明
图只展示数据传输的关键环节,省略了实际拓扑、缓冲区和协议细节;它不是对所有机器实现的逐层描述。
用办公室的比喻说,RDMA 让材料传递有了更直接的通道,减少中间处理。计算题目本身的工作量依然存在。
4.3 RDMA、InfiniBand、RoCE 和 NCCL,不是同一层的名词
| 名称 | 可以怎样理解 |
|---|---|
| NCCL | 训练框架调用的 GPU 通信库,负责组织数据交换 |
| TCP Socket | 本文对照中使用的常规 TCP/IP 传输路径 |
| RDMA | 让网卡直接访问已准备好的远端内存区域的通信能力 |
| InfiniBand | 可承载 RDMA 的网络技术 |
| RoCE | 在以太网上实现 RDMA 的技术,英文为 RDMA over Converged Ethernet |
| GPUDirect RDMA | GPU 与网卡直接交换数据的能力 |
RDMA 可以运行在 InfiniBand 或 RoCE 等网络上。NCCL 内置的 IB 后端使用通用的 IB Verbs 接口,也用于 RoCE。因此,日志里出现 Using network IB,不能仅凭这个名字认定物理网络就是 InfiniBand。NVIDIA RDMA 网络说明 · NCCL 网络后端与 IB/RoCE 设置
5. 这次实测:同样 16 张卡,时间省在哪里
5.1 先把比较条件说清楚
这次使用两台各有 8 张 H20 的节点,共 16 张 GPU,运行 Qwen3-8B 的一次 GRPO 训练步骤。
GRPO 可以先理解为一种“让模型对同一道题生成多个回答,根据表现调整模型”的训练方法。一次训练步骤会包含生成、计算训练所需的概率、更新参数,以及让生成引擎拿到新参数等阶段。
Checkpoint 是训练存档。这里两次都从同一个存档恢复模型、优化器等状态,处理同一批 126 道题,每题生成 8 个回答,总计 1008 条回答。126 是全局题数,1008 是全局回答数,不会再乘以 16 张卡。
| 对照条件 | 本次做法 |
|---|---|
| 硬件与模型 | 相同的两节点 16 张 H20,Qwen3-8B |
| 起点 | 同一个 16 卡训练 checkpoint,恢复后执行第 2 步 |
| 输入 | 同一批 126 题;输入与标准答案的多重集合校验一致 |
| 采样数量 | 每题 8 答,两次各 1008 条 |
| 软件变化 | 保留原 NCCL 2.27.5,补齐隔离目录中的 RDMA 用户态依赖,切换通信路径 |
| 整步计时 | 两边都扣除 checkpoint 保存时间 |
“多重集合一致”表示题目及其出现次数一致,允许记录顺序不同。训练会按回答长度重新分配样本,因此只比较文件中同一行,可能误以为输入变了。
下面的数字来自 2026-11-16 的单步对照。公开的测量摘要 JSON保留原始计时数值、样本口径与限制,去除了内部机器地址和文件路径。
5.2 各阶段耗时
| 阶段 | 在做什么 | TCP Socket | RDMA | 速度比 |
|---|---|---|---|---|
| 生成回答 | 让模型完成这一批回答 | 86.4 秒 | 81.9 秒 | 1.05× |
| 计算旧策略概率 | 计算更新所需的原模型概率 | 82.4 秒 | 41.0 秒 | 2.01× |
| 参数更新 | 根据这一批回答的训练信号更新模型 | 212.5 秒 | 69.8 秒 | 3.04× |
| 同步生成权重 | 让生成引擎拿到更新后的参数 | 10.2 秒 | 2.6 秒 | 3.88× |
| 整步,不含保存 | 这一完整训练步骤 | 392.8 秒 | 196.5 秒 | 2.00× |
速度比用 Socket 耗时除以 RDMA 耗时,按未四舍五入的记录计算。表中列出了主要阶段,整步还包含少量其他工作,因此不要求前四行恰好相加等于总计。
柱子越短表示耗时越少;“整步”是总计,不是要与其他行相加的第五个阶段。图表没有重复试验的误差条,因为目前每种配置只有这一次对照观测。
整体速度约为原来的 2 倍,等价于耗时减少约 50%。参数更新的速度约为原来的 3.04 倍,等价于耗时减少约 67%。用这两种说法,能避开“快了几倍”的歧义。
5.3 为什么生成只快一点,参数更新却快很多
从记录看,最大的绝对节省来自参数更新:少用了约 143 秒。生成阶段只少了约 4.5 秒。
这与“通信开销较大的阶段更容易从 RDMA 获益”的预期一致。参数更新阶段除了计算,还会按并行策略交换梯度或参数;同步生成权重本身也涉及参数传递。
这是结合耗时变化与通信机制做出的解释。 当前记录没有把每一秒都归因到具体通信操作,不能据此声称已经精确测出了通信占比。
生成阶段在这套配置下变化小,也不意味着“生成完全不通信”。如果把一次推理的模型计算拆到多个节点,生成也可能非常依赖网络。瓶颈取决于具体的模型与部署方式。
6. 这次为什么没有一开始就用上 RDMA
6.1 有网卡、开了开关,还差中间的软件
这次环境能够看到 RDMA 设备,也设置了 NCCL_IB_DISABLE=0,训练可以正常运行。但容器里缺少 libibverbs.so.1 和 mlx5 的用户态 provider。
可以把 libibverbs 理解为程序使用 RDMA 设备的一层接口库,把 provider 理解为连接这层接口与具体网卡实现的适配组件。硬件在场,软件链路仍然可能没有接通。
补齐这些依赖后,我们保留原版 NCCL,把新增库放在独立目录,只对相关任务设置加载路径。随后先做跨节点通信检查,再从真实 checkpoint 恢复并完成一步训练。
这说明,“任务能跑”与“正在使用期望的高速通信路径”是两个都需要确认的事实。
6.2 看实际传输记录,并区分初始化与训练数据
NCCL 的几个名字容易让人误判:
| 看到的信息 | 可以说明什么 |
|---|---|
NCCL_IB_DISABLE=0 |
没有通过这个开关禁用 IB/RoCE,不保证实际选中了它 |
NCCL_NET=IB |
要求使用名为 IB 的网络后端;本次用它避免静默退回 Socket |
Using network IB |
该通信组选择了 IB 后端,还要结合实际连接记录 |
NET/IB/.../GDRDMA |
在本次版本的连接日志中,表明相应连接使用 GPUDirect RDMA |
设置的含义以对应版本的 NCCL 环境变量说明为准。NCCL_NET=IB 不会补齐缺失依赖,也不自动保证 GPU 显存直传;在不支持的环境中,强制选择它可能直接报错。
还有一个细节:RDMA 任务仍可能用 TCP 交换初始化连接信息。 因此,不能在日志中搜索到一次 Socket 或 TCP,就断定训练数据走了 Socket;应区分 bootstrap 等初始化记录与实际数据传输连接。NCCL 关于 TCP 连接信息交换的说明
本次真实模型步骤的 16 个 rank 都有 IB/GDRDMA 连接证据,并且没有 NCCL 警告。Rank 就是分布式任务中一个参与进程的编号;本次每张 GPU 对应一个 rank,共编号 0 到 15。
如果手边已有打开详细日志后保存的 NCCL 文件,可以先筛选这些关键词,再按进程与连接上下文检查:
1 | rg 'Using network|NET/IB|GDRDMA|NET/Socket|NCCL WARN' nccl-*.log |
这条命令只是帮助阅读已有日志,不替代通信测试,也不负责开启 RDMA。
7. 速度变快以后,还要确认什么
7.1 一次对照,回答了一个有限的问题
两次虽然使用同一 checkpoint、同一批题,生成的回答并不完全相同。平均回答长度从 1662.54 降到 1637.20 tokens,相差约 1.52%。Token 是模型处理文本的基本单位,可能对应一个字、一个词或词的一部分。
回答长度会影响计算量。这次长度差异较小,而参数更新的耗时差异很大,但当前证据仍不足以把每一部分收益完全归因到网络。
目前可以确认的是:在这组硬件、软件和负载下,RDMA 配置完成了真实模型恢复与一步训练,并显著缩短了该步耗时。
还不能据此给出长期平均速度、波动范围或最终训练总时长。继续测速时,应在预热后记录多个稳定步骤,并分别报告生成、更新、保存和评测;若要更严格地比较更新性能,还可以固定已经生成好的回答,减少采样差异。
7.2 更短的数据路径,仍需要完整的软硬件配合
RDMA 依赖网卡、驱动、用户态库、设备访问权限和网络配置。它们不匹配时,可能出现初始化失败、超时或卡住;拓扑与拥塞也会影响表现。NCCL 排错文档
本次做法是保留原配置与原 NCCL,隔离新增依赖,检查所有 rank 的实际通信,再验证真实模型恢复。需要回退时,从完整存档重新启动使用原配置的任务,不在正在运行的训练里替换通信库。
这些检查已经通过。截至这次记录,正式的长期 GRPO 训练尚未启动,一次成功也不能替代后续稳定性观察。
8. 自己做实验时,怎样选择
先明确自己想缩短的是“一个实验的等待时间”,还是“完成一批实验的总时间”。两种目标可能对应不同安排。
| 当前需求 | 可以从哪里开始验证 |
|---|---|
| 单节点已经装得下模型、速度也够用 | 先建立单节点耗时基线,再判断增加节点的收益 |
| 同时想试几个互不依赖的配置 | 比较每台机器独立跑实验与联合训练的总体产出 |
| 单节点显存不够,或一个实验确实需要更多算力 | 选择合适的分片或并行方式,再检查跨节点通信 |
| 多节点能跑,但参数更新一直很慢 | 拆开看阶段耗时,并核对实际网络后端与连接记录 |
| RDMA 已跑通,准备长时间训练 | 记录多步速度、失败与恢复表现,以及保存和评测开销 |
比较单节点与多节点时,还应区分两个口径:固定全局工作量,看同样的活多久完成;或者增加全局工作量,看每秒能处理多少。若增加 GPU 的同时也增加了 batch,就不能只用“每步几秒”直接判断收益。
也可以把时间换成 GPU 小时:GPU 数量乘以运行小时数。假设 8 张卡跑 1 小时,共 8 GPU 小时;16 张卡跑 40 分钟,约为 10.7 GPU 小时。后者更早完成,但占用的总 GPU 时间更多。这只是同类资源的计算示例,不是本次测速,也不等同于实际账单。
这次对照中,GPU 数量保持 16 不变。按这一训练步骤计算,耗时约减半,相应的 GPU 时间也约减半;把它推广到完整实验,还需要计入其他阶段。
下次看到“用了多少张 GPU”,可以再往前追两步:它们是在各跑各的实验,还是一起训练同一个模型?如果一起训练,数据通过什么路径交换,时间又主要花在哪个阶段?这几个问题,往往比卡数本身更能解释实际速度。
