A800 与 H20 上的模型部署:CUDA 兼容性与故障归因
在 A800 上,进程已经找到了 CUDA 驱动库,却在第一次调用时收到错误码 803。在 H20 上,小矩阵乘法已经通过,构建模型算子时,链接器却报告找不到 CUDA 驱动库。两条日志都指向 libcuda。如果只按库名检索解决方案,很容易在一个原本能正常计算的环境里动错驱动。
我在维护 A800 训练环境、将 vLLM 裁判服务迁移到 H20 时,遇到的不止这两种错误。本文讨论一个具体问题:换卡后出现的故障,哪些由 GPU 指令架构决定,哪些取决于容器、框架或任务配置? 两组记录涉及不同驱动、镜像和软件版本。能够归因到架构的结论,来自对编译目标的直接检查;其余结论,则取决于有没有做过足以区分两种解释的对照。
驱动初始化:同一个环境变量为何产生两种结果
nvidia-smi 能读出 A800 的设备信息,应用仍可能在 cuInit 处失败。前者查询设备状态,后者要通过应用进程实际加载的驱动库初始化 CUDA。NVIDIA 将返回码 803 定义为驱动版本不匹配。在两套使用 525 系列宿主驱动的 A800 容器上,我比较了库搜索配置、进程实际加载的版本和初始化结果。NVIDIA CUDA 兼容说明
| 加载条件 | 容器 A:实际库 / 初始化结果 | 容器 B:实际库 / 初始化结果 |
|---|---|---|
| 镜像默认配置 | 575 / 803 | 570 / 803 |
取消 LD_LIBRARY_PATH 设置 |
525 / 成功 | 570 / 803 |
| 在应用入口显式选择匹配的宿主库 | 前一项已通过 | 525 / 成功,FP32 和 BF16 计算通过 |
容器 B 提供了最有判别力的一组对照。取消变量改变了启动配置,却没有改变进程加载的文件,错误码也原样保留。直到加载版本从 570 变为 525,初始化结果才改变。因此,在这套环境中可验证的修复条件是应用进程选中了兼容的库。“取消一个环境变量”只是容器 A 中实现这一条件的手段。
H20 上也做了基础计算检查。该环境使用自身的 CUDA 兼容库,通过了 FP32 和 BF16 的前向、反向计算。这给迁移划出了一条实际边界:旧 A800 上验证过的库选择,不能直接当作 H20 的环境要求。
原生扩展:软件版本相同,能执行的 GPU 代码可能不同
A800 的失效发生在原生库初始化阶段。 单卡矩阵乘法已经通过,第一次执行 all_reduce 却收到 SIGSEGV。这个小测试只要求每张卡贡献一个数,再让所有卡得到总和。原生调用栈停在 ncclInitKernelsForDevice → cudaFuncGetAttributes,说明进程当时正在查询 NCCL 设备内核的属性。改变通信传输方式后,故障仍落在同一条栈上。
随后我保留 NCCL 2.27.5 的上游源码和版本,用 CUDA 12.4 构建面向 A800 的库,静态链接 CUDA 运行时。应用改用该产物后,集合运算和后续训练均通过。H20 则使用环境原有的 NCCL 2.27.5 通过了集合运算。这个对照解释了为什么排查时要记录构建工具链和实际加载文件。A800 上的一次重构建同时改变了编译与链接条件,无法据此把底层缺陷精确归给驱动中的某个函数。
H20 迁移涉及另一项可以直接检查的属性:二进制里有哪些架构目标。 这批 A800 的计算能力为 8.0,H20 为 9.0,对应常见编译标记 sm_80 与 sm_90。模型权重是数值,可以继续使用;执行这些数值运算的原生扩展,还要有目标 GPU 可以执行的代码。NVIDIA Hopper 兼容指南
| 从旧环境取出的产物 | 实际检查结果 | 迁移判断 |
|---|---|---|
| 裁判环境中的 vLLM 构建 | GPU 编译产物仅覆盖 sm_80 |
为 H20 选用覆盖其架构的构建 |
| FlashAttention 2.8.3 安装包 | 用 cuobjdump 检查扩展,发现同时含有 sm_80 与 sm_90 机器码 |
可作为复用候选。静态检查仍留下两个问题:扩展能否与目标 PyTorch 正确链接,模型能否实际调用它 |
这两个包来自同一套旧环境,却需要不同处理。安装包的来源和版本号,都不能代替对包内容的检查。
H20 上的即时编译:头文件、目标文件与动态库
H20 上的 Qwen3.5-35B-A3B 裁判使用 vLLM 0.17.0 和 Torch 2.10.0+cu129。模型处理输入时需要 Gated DeltaNet 算子,对应的 FlashInfer 实现要在目标环境编译。此前的矩阵乘法直接执行已有内核,没有覆盖开发工具链。这里出现了两种症状相近、修复位置不同的缺失。
| 失败位置 | 可观测证据 | 干预与验证 |
|---|---|---|
| 编译源码 | 编译器报告 cuda_runtime.h: No such file or directory |
补齐 CUDA 12.9 开发头文件和 CCCL 后,成功生成面向 sm_90a 的 34 个目标文件 |
| 链接动态库 | 目标文件齐全,链接器仍报告 cannot find -lcuda |
在项目开发库目录提供指向已验证兼容库的 libcuda.so;复用原来的 34 个目标文件,链接、加载均通过 |
第二个错误尤其容易误判。运行时可以加载带版本号的驱动库,而链接器收到 -lcuda 后,还需要在它的搜索目录中按约定名称找到库。因此,同一进程环境可以具备运行 CUDA 的条件,同时缺少构建新算子的条件。最终验证使用两张 H20、BF16 和双卡张量并行加载真实模型。四条顺序请求和八条并发请求都走完了判分流程;该检查覆盖模型加载、生成和结果解析。
换卡故障的归因边界
还有三项 A800 侧的观察,容易在迁移记录里被笼统地写成“显卡不兼容”。把故障触发条件写全,才知道哪些处理值得带到 H20 环境。
| 观察 | 判别依据 | 结论的适用范围 |
|---|---|---|
vLLM 0.11.0 在解析设备时抛出 ValueError |
该版本的映射代码对 UUID 字符串调用 int()。在引擎入口改用数字编号,并核验同一设备的 UUID 后,初始化越过原失败点 |
属于该框架入口对设备标识格式的限制。换 GPU 时应按新环境重新核对映射 |
| 引擎在仍有 26,805 MiB 空闲显存时中止 | 新增进程占用 2,250 MiB,触发了测试设定的 2,048 MiB 上限。调整预算后,小模型在空闲卡上完成生成,进程新增显存峰值为 3,404 MiB | 退出由任务预算触发。这次观测不能用于推算另一型号的显存需求 |
| 训练中断,同卡留下 Xid 61、45 和推理超时记录 | 内核事件与推理实例可按设备身份对应,超时行缺少独立时间戳 | 能定位到设备及其驱动路径,板卡、固件与驱动的具体责任仍待区分。NVIDIA Xid 说明 |
这次迁移中,我沿用了模型权重,为 H20 更换了仅覆盖 A800 的 vLLM 构建;含有两种架构机器码的扩展则保留为待验证的复用候选。两端各自通过的驱动初始化和设备内核测试,决定了旧环境的哪些修补可以省去。后来再遇到“模型起不来”,我会先作一个有区分度的检查:程序究竟停在驱动初始化、设备内核加载、源码编译,还是动态链接?确认这一点,才知道换卡真正改变了哪个条件。
