技术咨询   |   售前咨询   |   咨询热线:400-700-5889 400-700-5889
行业资讯
最新服务器与储存产品服务行业新闻资讯。
首页 > 新闻资讯 > 行业资讯 > GPU 至 GPU 通信加速的新水平
GPU 至 GPU 通信加速的新水平
说明:Tesla V100 中以 NVLink 连接的 GPU 至 GPU 和 GPU 至 CPU 通信


 




说明:在 DGX-1V 服务器中,混合立体网络拓扑使用 NVLink 连接 8 个 Tesla V100 加速器
 
 

新的性能水平

NVIDIA NVLink 将采用相同配置的服务器性能提高 31%。此产品可极大提高带宽并减少延迟,即使更大型的深度学习工作负载不断增加,也能实现性能扩展.




 

NVSWITCH:完全连接的 NVLINK

由于 PCIe 带宽日益成为多 GPU 系统级别的瓶颈,深度学习工作负载的快速增长使得对更快速、更可扩展的互连的需求逐渐增加。

NVLink 实现了很大的进步,可以在单个服务器中支持八个 GPU,并且可提升性能,使之超越 PCIe。但是,要将深度学习性能提升到一个更高水平,将需要使用 GPU 架构,该架构在一台服务器上支持更多的 GPU 以及 GPU 之间的全带宽连接。

NVIDIA NVSwitch 是首款节点交换架构,可支持单个服务器节点中 16 个全互联的 GPU,并可使全部 8 个 GPU 对分别以 300 GB/s 的惊人速度进行同时通信。这 16 个全互联的 GPU 还可作为单个大型加速器,拥有 0.5 TB 统一显存空间和 2 PetaFLOPS 计算性能。



* ECWMF 的 IFS:综合预报系统 (IFS) 是由位于英国雷丁的欧洲中期天气预报中心 (ECMWF) 开发的全球数值天气预报模型。ECMWF 是一个由欧洲大多数国家/地区支持的独立政府间组织,它经营着欧洲最大的超级计算机中心之一,可频繁更新全球天气预报。IFS 迷你应用程序基准测试的重点是球面谐波转换,该转换代表着整个模型的重要计算负载。由于基准测试放大了算法的转换阶段(按设计),因此此处显示的基准测试加速效果要比整个 IFS 模型的加速效果更好。但是,此基准测试表明,ECMWF 采用非常有效且经过验证的方法来提供世界领先的预报,这种方法在搭载 NVSwitch 的服务器(例如 NVIDIA 的 DGX-2)上仍然有效,因为它们很适合用来解决问题。

* 混合专家 (MoE): 根据 Google 在 Tensor2Tensor github 上发布的网络,将 Transformer 模型与 MoE 层搭配使用。每个 MoE 层由 128 位专家组成,每个专家都是一个较小的前馈深度神经网络 (DNN)。每个专家都专注于不同领域的知识,并且这些专家将分配给不同的 GPU,从而依托 Transformer 网络层和 MoE 层之间的通信,创建重要的全互换流量。据 Google 称,所用的训练数据集是“十亿词汇语言建模基准”。训练操作使用 Volta Tensor Core 并运行 45,000 个步骤以达到等于 34 的困惑度。此工作负载针对每个 GPU 使用的批量大小为 8,192。