工高联城 |OCP如何应对下一代数据中心的散热设计挑战？
2022-02-23 16:51
随着高数据量需求的应用不断增长，超大规模数据中心的工作负载亦十分繁重。数据中心内的网络流量大幅增加，促使数据中心架构师开始寻找新方法以实现更高的数据速率和输送量。
目前，最先进的网络适配器（NIC）的每个接口具备200 G的运行速度。如今，为了满足数据中心日益增长的需求，业界正朝向使用400 G NIC 的方向发展，但前提是相关的支持技术需要同步取得一系列进展，而这绝非易事。
在去年的开源计算项目（OCP）全球峰会上，我们发表的演讲深入探讨了伴随这项转变而来的散热挑战，以及我们合作的工作小组在解决这些挑战上所采取的独特方法。
400G运作的散热挑战
下一代数据中心会过渡至400G网络适配器，因而面临各种散热方面的挑战。
我们面临的第一项挑战，是更高的数据速率会消耗更多功率。通过广泛的研究、实验和模拟，我们发现数据速率和热量产生之间是线性关系，其中数据速率提高一倍将使系统发热量增加两倍以上。结论是什么？那就是网络适配器从200G转变成400G后，将使系统热量大幅增加 。
第二项挑战在于可支持400G NIC的基础设施。400G NIC与使用被动式直接连接电缆（DAC）的200G NIC不同，它有时候可能需要使用到高功率主动式光缆 线（AOC）来支持数据速率。这些高功率AOC的功耗可高达8W，会将自身的热量导入系统，在以高数据速率纯粹分析数据后，所增加的温度之上再增温。
对基础设施的质疑
这些迫在眉睫的散热挑战，使我们对目前的NIC环境基础架构中某些零组件的可行性产生质疑。我们与NIVIDIA和Meta两家公司合作，开始更加深入地探究这项挑战。
我们所探究的一个主要重点在于外型尺寸。具体而言，我们研究了OCP NIC 3.0业界标准的小尺寸SFF（ small form factor）的可行性，看看它与建议高度较高的TSFF （tall SFF）相比如何。众所周知，TSFF可以提供更多空间，因此能实现更优异的输入及输出（I/O ）散热解决方案，但在理想情况下，系统架构师可以在可能的情况下继续采用SFF。真正的问题在于，SFF尺寸是否能为400G NIC提供可行的解决方案？或者是我们需要转而将TSFF尺寸视为业界标准？
这个问题很难给予直接的答复，因为有几个变数可能会对结论有所影响。出于这个原因，我们的研究考虑了许多可能显著影响散热性能的因素，包括：
模拟试验的设置与假设
每一度摄氏温度的变化，对结论都有影响，因为它涉及到可行性，因此有必要确保我们的模拟试验足以代表一个现实且合理的情况。
对此，我们的模拟试验使用了TSFF和SFF两种外型尺寸的OCP NIC 3.0网路接口卡来建立模型。NVIDIA慷慨地为我们的研究提供了可进行模拟试验的ASIC原型设计散热模型ConnectX-6 DX。为了对ASIC原型设计进行模拟试验，我们假设功率上限为23W，并根据配备标准铝制散热器的装置建立了模型。
对于QSFP-DD类型模块，我们使用了常态功耗为10.2W的多通道散热模型。就像ASIC原型设计一样，我们选择为QSFP-DD模型配备了标准的铝制散热器，使覆盖的受热表面积最大化， 但不采用任何先进的冷却技术或材料，目的是要了解前面所强调的变数之间的相对影响。
对于模拟试验的环境，我们同时测试了热通道和冷通道两种环境。热通道的环境温度为55°C，气流速度范围为200至1000 LFM（ 每分钟线性英尺，气流方向从后至前。所有这些都符合OCP 3.0的技术规范。另外一个不同的环境是冷通道，模型环境温度为35°C，气流速度范围为200到 600 LFM，气流方向从前至后。
如图1所示，我们的模拟使用了符合OCP NIC 3.0规范的NVIDIA测试设备，包括安装在测试室内的两张相同的网络适配器。
图1 我们在模拟中所使用的测试装置和模型设置
研究结果：外形尺寸的影响
这个模拟试验结果让我们了解到，数个边界条件和变数是如何对散热性能产生了非零 影响（也就是说，不只是摄氏几度）。
在我们研究中，第一个值得注意的结果是，外型尺寸对QSFP-DD模型的散热性能造成的重要影响。如图2所示，我们发现TSFF的散热性能明显优于SFF， 尤其是在气流速度较低的时候。在这种情况下，散热性能提高了高达6°C。尽管这个结果并不令人惊讶，但6°C的改进幅度的确是很显著。
同样地，我们的研究结果显示，在热通道应用中使用TSFF尺寸时，ASIC原型设计的 散热性能提高了10°C之多。另外，关于NIC ASIC原型设计的功率限制（采用被动式 DAC的应用），对于QSFP-DD Type 1模块与QSFP-DD Type 2A模块，我们的研究 结果显示，与在热通道条件下的SFF相比，采用TSFF的模块功率增加了约 2.5W。
研究结果：还须考虑其他变数
除了造型，我们的研究还深入了解模块类型和监测位置点对散热结果的影响。在经过与业界标准的卓越性能进行比较之后，我们发现Type 2A的热性能提高了大约4°C。这项改进主要是因为Type 2A的QSFP-DD在模型本身前端 有一个外部整合的散热器，同样地，这并不令人惊讶，但仍然十分重要。
最后，我们发现不同的监测位置点（也就是模组上接受探测的点）之间存在 温度偏差。例如，我们的模拟试验显示，监测散热器底座的温度比监测前端的结果低5 °C。如图3所示，在量化NIC模组的热性能时，监测位置点显然是一个不可忽视的考虑因素。
图3 所使用的监测位置点对散热结果有重大影响
研究结论
我们的研究深入了解了几个特定变数和边界条件对散热性能的影响，但研究结果并不是主要的结论。比起关于哪些设置能「合理呈现真实环境」的发现来得更加重要的是，这项研究告诉我们，业界需要就这些变数和边界条件达成共识。
以模块类型和监测位置点等变数为例子，我们的结果显示，模块类型对散热性能会造成重大的影响，
