英伟达性能怪兽DGX-2:NVSwitch将16个GPU连在一起!
英伟达(Nvidia)首席执行官黄仁勋(Jensen Huang)在2018年GTC大会上将DGX-2服务器介绍为“全球最大的GPU”。这个系统实际上将16个强大的Tesla V100 GPU互连在一起，作为一个具有统一内存空间的大型GPU呈现在主机系统面前。
DGX-2配备了令人难以置信的规格以及更加令人难以置信的40万美元的价格。与前沿数据中心和人工智能研究人员使用的竞争性解决方案相比，这个定价实际上具有很强的竞争力。人工智能技术的发展正处于快速变化的状态，新的进展几乎每周都会出现。许多新的深度学习模型比以前的版本大得多，需要更多的内存容量和更强劲的计算能力。
英伟达的解决方案是将16个GPU与通用内存接口以及512GB的HBM2内存连接在一起。DGX-2拥有81,920个CUDA核心和12,240个张量核心芯片，用于人工智能工作负载。这些结实的结构需要惊人的10千瓦电力。
Tesla V100是一个可怕的性能怪兽：拥有210亿个晶体管。更新后的安装包运行功率为350W(比旧版本增加了50W)，配备有32GB的HBM2。英伟达证实，额外的50W功率是用于提高GPU时钟频率，但该公司没有公开具体频率数是多少。
 DGX-2具有两种截然不同的通信拓扑结构，因此可以避开GPU到GPU通信的PCIe接口限制。每个V100 GPU通过两个夹层连接器与主板接口：一个将PCIe通信传输到服务器前端的被动背板，而另一个将NVLink通信传输到后背板。这些底板便于顶部和底部系统板之间的通信，每个系统板容纳8个V100 GPU。PCIe拓扑拥有4个交换机，它们将CPU、兼容RDMA的网络以及高达30TB的NVMe SSD和GPU连接在一起。
英伟达的DGX-2设计需要NVLink流量的高性能交换机，但现成的设计无法实现公司的带宽和延迟目标。在看不到解决方案的情况下，该公司开始着手设计，并设计了自己的新开关。
 NVSwitch是基于TSMCs 12FFN的。该芯片拥有180亿个晶体管，具有18个Nvlink和一个用于设备管理的PCIe链接。NVLinks使用英伟达的专有协议为每个端口提供25GB/s带宽，因此总计有450GB/s的吞吐量。总之，这18个交换机将GPU之间的双向带宽推高到2.4TB/s。
与一个完全成熟的网络交换机相比，NVSwitch结构芯片相对简单，主要是因为DGX-2不需要进行前向纠错。相反，英伟达使用标准CRC进行内部一致性检查。开关有内部SRAM缓冲器，但外部通道没有缓冲。DGX-2也没有NVLink路径的中继器或重启动器。
NVSwitch以双横杆布局，因此从顶部的GPU访问到底部的对应的GPU确实会带来稍高的延迟。然而，人工智能模型适用于极大的带宽，并且能够容忍延迟的微小变化。
整个底盘的拉力为10kW，但是DGX-2使用48V的功率分配子系统来减少驱动系统所需的电流，铜母线把电流从电源输送到两个系统板。冷却整个系统需要每分钟1,000英尺的线性气流，而从GPU散热器中出来的预热空气会降低底盘后部的冷却效果。NVSwitch位于箱体后部，需要大型全高度散热器。英伟达没有透露NVSwitch的具体动力来源，但声称它消耗的电量比标准的网络交换机还少。
 Nvidia共享了基准测试的结果，该结果突出了不同系统板上远程GPU之间的近似线性带宽缩放，明显是想要突出NVSwitch的效率。其他基准测试，如all-reduce和cuFFT，强调了DGX-2的拓扑结构与前一代DGX-1网格相比的优势。
在Hot Chips大会上英伟达回答了围绕NVSwitch的许多挥之不去的问题。一个悬而未决的问题是英伟达何时会更新到基于图灵架构的DGX-3。英伟达坚称，Volta是其目前的人工智能系统平台，没有透露下一代系统发布时间。
（商业转载请联系[email protected],非商业转载请注明转自FuninUSA。）
微信公众号搜索" SKEMART "加关注，每日滚动更新全球 计算机、人工智能、生物科技最新讯息。推荐关注！【微信扫描下图可直接关注】
【返利网站】返利额度最高的海外购物返利网站TopCashBack：平均返利7~10%，注册就送$10，点我注册。 【新浪微博官方账号】很省钱 : 每日滚动更新美国市场投资资讯，微商进货首选资讯渠道。 |
关于我们|Archiver|手机版|小黑屋|美国采购网DealABC_工业品给世界动力,艺术品给世界温暖
GMT+8, 2024-5-20 06:47 , Processed in 0.119362 second(s), 9 queries , Gzip On, Apc On.
Powered by Discuz! X3.1
© 2014-2016 Sky-Express Inc.
