在本号去年的提供160个PCIe Gen4可用通道的Dell PowerEdge R7525 AMD服务器一文中,对于Dell EMC这款使用双路AMD处理器的旗舰级机架服务器已经做过初步介绍。但之前的文章中将关注焦点集中在了Dell如何在系统设计上充分利用AMD EPYC处理器丰富的PCIe通道特性上,并没有详细介绍PowerEdge R7525这款服务器的整机设计。因此在这篇文章中,我们就来从外到里地仔细看一看PowerEdge R7525这款服务器的整机特点。
PowerEdge R7525是一款标准的2U机架式服务器,在其前面板的防护罩后面,放置的是24个2.5英寸硬盘。Dell EMC PowerEdge系列服务器前部的防护罩具有很高的辨识度,不论是AMD平台还是Intel平台的服务器,都采用了相同的防护罩结构。前部的24个硬盘槽位既支持SAS/SATA硬盘,也支持NVMe硬盘。这一方面丰富了R7525服务器的配置种类,另一方面也为用户提供了全闪存的机型类别。
Dell EMC PowerEdge R7525服务器前部
在硬盘后部的硬盘小背板上,基于AMD CPU的R7525服务器与基于Intel CPU的同级别服务器的差异很直观地体现了出来。由于AMD CPU具有远多于Intel第二代Xeon-SP CPU的PCIe通道数,因此硬盘小背板可以经由电缆直接与主板上的CPU进行信号联接,不再需要使用PCIe Switch芯片。当满配24个NVMe SSD硬盘时,将会用到96个PCIe通道,这是双路Intel第二代Xeon-SP CPU所能提供的PCIe通道数总和了。由于R7525服务器的两路AMD EPYC CPU在标准情况下可以提供128个PCIe通道,即使支持了满配的NVMe SSD硬盘,仍然可以有多余PCIe通道用于服务器后部的IO扩展。
Dell EMC PowerEdge R7525服务器硬盘小背板
Dell在R7525服务器上使用的硬盘小背板是一整块PCB,而很多同类型的产品则将其分解为3块小的硬盘小背板、每块硬盘小背板支持8块硬盘,最终实现对24块前置硬盘的支持。这两种设计方法各有优势,关键还是看厂家在设计初期对服务器配置规格的定义。
PowerEdge R7525服务器的后部是较为常规的配置。后部的上半部分全部是全高的PCIe扩展插槽,总共可以提供6个槽位。下半部分的左右两侧各放置了一个一次电源模块,中间部分则包含了2个low profile的PCIe扩展插槽、1个OCP NIC 3.0插槽、2个GE网口、2个USB 3.0网口、1个iDRAC控制网口和1个VGA端口。与常规服务器不同,除OCP NIC 3.0网卡之外的其它端口并不是直接从主板上引出的,这一点将在介绍机箱内部的主板时进一步探讨。
Dell EMC PowerEdge R7525服务器后部
R7525服务器上使用的一次电源模块是1400W 80Plus铂金等级,总共可以提供2800W的功率。由于使用了AMD EPYC处理器,R7525服务器内部的PCIe通道全部是Gen4速率的。基于功率容量,用户在这款服务器上不仅可以使用AMD最高等级的EPYC 7H12 280W TDP CPU,还可以使用NVIDIA最新一代的A100 GPU卡。
Dell EMC PowerEdge R7525服务器上的一次电源模块
在R7525服务器机箱的后部,Dell还配置了一个金属把手,这算是机箱设计上的一个小亮点了。这个金属把手可以用来进行外部连接电缆的管理,类似于交换机设备上的理线架。如果用户使用了机箱后部中间的low-profile插槽,这个金属把手也可以拆掉,避免影响low-profile插槽上的端口出线。
Dell EMC PowerEdge R7525服务器后部的把手
打开R7525服务器的上盖,这款服务器内部的结构就一览无余地展示在我们面前。总的来看,R7525服务器机箱内部的布局与标准机架服务器相差无几。但设计的好坏往往隐藏在细节之中,因此接下来我们就从左往右地仔细看看每一部分的设计细节。
Dell EMC PowerEdge R7525服务器内部一览
在硬盘小背板之后就是服务器内部的散热风扇。Dell在R7525服务器内部使用了6个热插拔风扇,单个风扇模块和整个风扇框都可以独立地进行拆卸。
Dell EMC PowerEdge R7525服务器内部的散热风扇
拿开风扇框,硬盘小背板上的蓝色电缆与主板之间的接头就显露了出来。每一组电缆提供8个PCIe Gen4通道,可以与2个PCIe x4 NVMe SSD硬盘相连。Dell在这里通过大量使用高速电缆的方式增加了配置的灵活性。如果配置了支持SAS/SATA硬盘的小背板,与小背板相连的PCIe通道数量就可以相应地减少。多出来的PCIe通道可以通过电缆引到服务器后部,用于增加服务器的IO扩展能力。
PowerEdge R7525服务器硬盘小背板与主板相连的电缆
在风扇框的后部,移除主板上方的导风罩之后,就可以看到R7525服务器主板上的CPU和内存条。
移除导风罩后的R7525服务器内部
当前在售的R7525服务器上使用的是AMD EPYC 7002系列处理器(代号Rome)。由于AMD即将在Q1正式发布代号为Milan的EPYC 7003系列处理器,Milan与Rome处理器在Socket上是完全兼容的,而且PCIe信号速率和DDR通道数都没有发生变化。因此用户可以通过直接更换CPU的方式,来实现R7525服务器的性能升级。
R7525服务器主板上的CPU和内存
AMD CPU的PCIe通道和CPU Socket之间互连的Infinity Fabric通道在本质上都是XGMI通道,通过电缆将这些通道全部引出,可以方便CPU IO端口的配置。通常情况下,两个CPU Socket之间使用4组Infinity Fabric通道,并总共对外提供128个PCIe Gen4通道。但用户也可以将两个CPU Socket之间的Infinity Fabric通道减少为3组,这将使得用于IO扩展的PCIe Gen4通道数达到160个。通过电缆连接,这样的配置调整可以很容易实现。在提供160个PCIe Gen4可用通道的Dell PowerEdge R7525 AMD服务器一文中,对这种配置调整的原理做过详细介绍,感兴趣的同学可以去读一读。
R7525服务器主板上的XGMI信号电缆
得益于每个AMD EPYC Rome处理器可以支持8个DDR4-3200通道,因此R7525服务器上总共会有32个DIMM插槽。当使用128GB或256GB LRDIMM内存条时,R7525服务器就可以提供4TB或最高8TB的内存容量。对于使用Intel第二代Xeon-SP处理器的服务器,每个CPU首先只能支持6个DDR4通道,使得双路服务器总共只有24个DIMM插槽;其次,如果想获得较大的内存容量,就必须在SKU列表中选择带有M或L字母后缀的CPU规格。相比于AMD EPYC CPU全系列对最高8TB内存容量规格的支持,现阶段的Intel Xeon-SP处理器存在不小的竞争劣势。
R7525服务器主板上全部的内存槽位
在CPU和内存条的后部,就是服务器主板上的IO扩展区域。即使在前置了24块NVMe SSD硬盘后,R7525服务器上仍然可以放置支持全高和low-profile扩展卡的PCIe Riser卡。AMD EPYC处理器拥有大量PCIe通道的特性在这里再一次展示了出来。
R7525服务器主板上的PCIe Riser卡
Dell在R7525服务器上使用的PCIe Riser卡的接口部分并不是标准的金手指形式,而是使用高速、高密连接器与主板相连。通过使用高速连接器,PCIe Riser卡的长度可以有效地缩减,对应的主板长度也不需要太长。在PCIe Gen4和即将到来的PCIe Gen5时代,为了传输16Gbps和32Gbps的PCIe信号,需要使用更好的PCB材料。缩短主板或PCIe Riser卡的长度,节省了高等级PCB材料的用量,相应地就降低了服务器整机的成本。
PCIe Riser卡与主板间的联接接口
拔掉PCIe Riser卡,主板后部就完全展露了出来。在这部分区域的两侧,可以看到与PCIe电缆相连的连接器。靠里一点,则是主板上与PCIe Riser卡相连的高速连接器。再往里面,还能看到服务器主板上都会用到的电池和BMC芯片。
PowerEdge R7525服务器主板后部
R7525服务器上的主板并没有延伸到机箱后部,正因为此,在本文最开始的时候曾提到机箱后部的IO端口不是直接从主板上引出的。通过小插卡的方式,Dell为机箱后部提供了各种需要的IO端口。在主板后部的左侧,是一块使用了Broadcom PHY芯片的插卡板,引出的是2个1GbE网口。
R7525服务器后部的GE网口扩展卡
在主板后部的中间,是OCP NIC 3.0网卡的接口。在很多最新的服务器上,我们都看到了为OCP NIC 3.0网卡预留的槽位,这表明这种标准网卡已经在业界流行起来。下图上所展示的是一块提供2个10GbE网口的OCP NIC 3.0网卡。考虑到OCP NIC卡与主板间x16的通道和PCIe Gen4的信号速率,在这个槽位上甚至可以使用具有2个100GbE网口或1个200GbE网口的OCP NIC 3.0网卡。
R7525服务器后部的OCP NIC 3.0网口扩展卡
在主板后部的右侧,是另一块Dell自行开发的插卡,用于提供USB、VGA、iDRAC、指示灯等服务器标准外部接口。
R7525服务器后部的常规IO扩展卡
采用这种灵活插卡的设计方式,最直观的好处是可以根据用户需要进行端口配置,但另一个更大的好处则是前面提到的可以降低服务器整机的成本。除了OCP NIC 3.0网卡上需要有PCIe Gen4这种高速信号外,其它的两个小插卡上都是低速信号,使用普通的PCB板材就可以确保信号的正常传输。如果这些低速IO端口直接从主板上引出,为了保证主板上PCIe Gen4信号的信号质量,就需要用价格更贵的高速PCB材料制作一块大主板。因此,限制主板尺寸、将低速IO端口用插卡的方式独立出来,不失为一种降低成本的好办法。
总 结
在服务器设计日益标准化的今天,要想做出大的技术创新是比较难的。但在每个设计细节上的优化,累计起来也是不小的进步。作为一款2U机架式服务器,通过使用AMD EPYC处理器,为用户提供顶级的CPU核数、最高规格的内存容量、充足的PCIe Gen4通道、足够的系统功率,所有的这些都使得PowerEdge R7525是现阶段堪称旗舰级的AMD服务器。
从第一代AMD EPYC处理器推出开始,Dell的AMD服务器就在不断地升级进步。相信随着第三代AMD EPYC处理器的到来,我们还会看到更为先进的服务器产品。
举报/反馈