08｜128 节点 / 1,024 GPU 设计实例

查看原始笔记 · 仓库最近更新：2026-10-03。具体核验日期以正文为准。

本文用于 AI 小白学习和容量规划。128 台 B300 ≠ 128 张 GPU。参考资料核对日期：2026-10-03（UTC）。

当前项目基线：128 台 NVIDIA B300 服务器节点，每台 8 GPU，合计 1,024 GPU。具体 OEM 配置、网络设备数量和机房容量需要以最终 NVIDIA/OEM 设计文件确认。

项目	Baseline
Server nodes	128 台 B300 节点
GPUs/node	8 GPU（需以最终 B300 OEM 配置确认）
Total GPUs	1,024 GPU
Expansion target	预留扩展能力（例如 144/256+ 节点，具体待确认）
Compute fabric	XDR InfiniBand / Spectrum-X Ethernet（二选一，待项目确认）
Storage	Parallel Storage（容量与性能待 workload 确认）
Scheduler	Slurm / Kubernetes / Hybrid（待确认）

重要口径说明

历史资料中可能出现不同 SU（Scalable Unit）划分方式：

• 不同 NVIDIA 产品线、网络架构和文档版本可能采用不同 SU 定义。
• DGX B300 SuperPOD + XDR InfiniBand（AC 供电参考架构）：每个 SU 为 72 台 DGX B300 系统。NVIDIA 官方 RA：Abstract
• DGX B300 SuperPOD + Spectrum-X Ethernet（DC Busbar 参考架构）：每组 64 台 DGX B300 系统构成对应 SU 的 rail-aligned 单元。NVIDIA 官方 RA：Network Fabrics
• HGX B300 Enterprise AI Factory 2-8-9-800 参考配置：SU 是 4 台 8-GPU 服务器，按 4 节点增量扩展；当前文档覆盖 4–128 节点（1–32 SU）。这里的 32 SU × 4 节点，与旧文中的 4 SU × 32 节点不是同一个划分。NVIDIA 官方 Enterprise RA：HGX 配置与扩展
• 上述 72/64 节点定义属于特定 DGX SuperPOD 设计，不能直接套用于所有 HGX/OEM B300 服务器。先确定系统产品线、网络及供电架构，再选对应 RA。
• 本项目不把 128 台服务器自动转换为 128 GPU，也不固定采用旧的 4×32 节点模型。

最终 SU 划分、Leaf/Spine 数量、800G 链路数量必须以选定 NVIDIA Reference Architecture 和网络 BOM 为准。

推荐规划思路

flowchart LR
 N128[128 台 B300 Server\n1024 GPU]
 FAB[AI Compute Fabric\nXDR IB 或 Spectrum-X]
 ST[Parallel Storage]
 MG[Management / OOB]
 EXP[Expansion Reserved\nPower Fiber Ports Cooling]

 N128 <--> FAB
 FAB <--> ST
 MG --> N128
 EXP --> FAB
 EXP --> MG

Day-1 扩容预留

机房和网络设计阶段提前考虑：

• 高密度机柜空间、机柜行（rack rows）及后续扩展位置
• 电力容量和配电路径
• 制冷能力（风冷/液冷方案待确认），以及所选方案需要的 CDU/水系统容量和扩展接口
• 800G 光纤路径、主干光纤（fiber trunks）和备用芯数
• Compute Fabric 的 spine/core radix、端口（ports）和扩展空间，按最终选定拓扑确认
• Storage 扩容空间
• Management/OOB 地址规划及相关 IP/ASN 资源预留
• 控制平面（control-plane）容量、可用性及扩展预留
• 监控与日志保留（monitoring retention）的容量和期限
• 备件（spares）及备用端口/光模块规划
• 固件和软件基线管理

待确认项

以下内容不能在没有正式设计文件时直接固定：

• B300 最终服务器 OEM 形态
• 每柜服务器数量
• 精确机柜数量
• CDU/RDHx/液冷设施型号
• Leaf/Spine 具体型号和数量
• Storage 容量、带宽和协议
• 256/512 节点扩展路径