新的 MLPerf 推理网络部分展现 NVIDIA InfiniBand 网络和 GPUDirect RDMA 的强大能力

在网络评测中，有两类节点：前端节点生成查询，这些查询通过业界标准的网络（如以太网或 InfiniBand 网络）发送到加速节点，由加速器节点进行处理和执行推理。

图 1：单节点封闭测试环境与多节点网络测试环境

图 1 显示了在单个节点上运行的封闭测试环境，以及在网络测试环境中通过前端节点生成查询，然后传输到加速器节点上进行推理的工作流程。

在网络测试场景中，加速器节点包含了推理加速器以及所有网络组件，包括网卡（NIC）、网络交换机和完整的网络体系。因此，网络评测旨在测试加速器节点和网络的性能，因为前端节点在基准测试中的作用有限，可以排除它们对测试的影响。

在 MLPerf 推理 v3.0 中，NVIDIA 提交了在 ResNet-50 和 BERT 两种场景下的网络性能结果，从 NVIDIA 提交的性能结果来看，凭借 NVIDIA ConnectX-6 InfiniBand 智能网卡和 GPUDirect RDMA 技术提供的超高网络带宽和极低延迟，ResNet-50 在网络环境中达到了 100% 的单节点性能。

表 1：ResNet-50 和 BERT 上网络评测性能和单机封闭测试性能的比较，有限带宽实现了理想性能

NVIDIA 平台在 BERT 工作负载方面也表现出了出色的性能，和单机封闭测试结果性能仅有轻微的差异，这主要是由于主机端的一些开销而导致。