摘要：目前,336V直流供电技术已在数据中心规模推广应用。实践证明,336V直流供电技术具有UPS系统不可比拟的优势,无论在系统可靠性、可维护性、初期投入、长期运行投入以及节能环保等各方面均具有优势。 文中结合近几年来中国移动在336V直流供电技术方面的研究和应用情况,就336V直流供电技术在数据中心应用中,大家普遍关心的一些热点问题做了论述,供读者认识336V直流供电技术及工程应用提供参考。

　　目前,336V直流供电技术已在数据中心规模推广应用。实践证明,336V直流供电技术具有UPS系统不可比拟的优势,无论在系统可靠性、可维护性、初期投入、长期运行投入以及节能环保等各方面均具有优势。 文中结合近几年来中国移动在336V直流供电技术方面的研究和应用情况,就336V直流供电技术在数据中心应用中,大家普遍关心的一些热点问题做了论述,供读者认识336V直流供电技术及工程应用提供参考。

　　高压直流供电技术(HVDC)是近几年正在研究的一种集中了UPS交流供电技术和-48V直流供电技术优点为一体的新型供电技术。高压直流供电技术克服了传统UPS供电系统效率低、可扩展性差、可靠性低、成本高等弊病,具有电路简单、变换少、可靠性高、效率高、体积小、成本低等优点。

　　在工程建设及维护方面,336V直流供电技术具有交流UPS系统不可比拟的优势,无论在系统可靠性、可维护性、初期投入、长期运行投入以及节能等各方面均具有优势,因此,对于建设高可靠性、高维护性、高效节能的绿色数据中心,选择336V直流供电技术具有重要意义。

　　1 高压直流供电技术应用研究情况

　　(1)国外高压直流供电技术应用研究情况

　　目前国外高压直流技术应用研究还处于试验阶段,有少数商用解决方案,美国、日本等国家都有一些试验性应用研究。

　　Intel EC最早就对数据中心新型供电技术进行了研究与应用,法国电信和阿尔卡持公司1999年起相继提出《供电给新的电信网络和服务用的供电系统》,《电信和数据通信融合的整流型AC供电技术的新研究》,《新电信网络和服务的最佳新型供电》。欧美绝大部分通信运营商采用300～400V直流电压方案;法国电信公司、日本NTT电信公司试用380V高压直流供电系统;美国Intel、Microsoft、Facebook等公司试用400V直流供电系统;瑞士在建第一个完全采用336V直流供电的MW级数据中心,为商用数据中心。

　　(2) 国内高压直流供电技术应用研究情况

　　国内高压直流技术应用已进入规模应用阶段,中国电信主导的240V直流供电技术、中国移动主导的336V直流供电技术正逐步扩大使用规模。

　　240V直流供电技术是中国电信于2008年面向现网交流服务器提出的高压直流供电技术,在现网已应用了上百套,取得了一定成果。

　　336V直流供电技术是中国移动于2009年面向未来提出的全新的供电技术,这与国际上发布的《ETSIEN300132-3-1(2012.4)》和《ITU-TL.1200(2012.5)》等标准定义的380V运行电压是一致的,具有国际先进水平。

　　336V直流供电技术于2009年在广东移动进行试点应用及测试,2012年在中国移动新型数据中心哈尔滨试点工程中进行首次落地应用,2013年广东移动在三水数据中心进行规模应用,2014年开始在中国移动呼、哈等数据中心规模推广应用。

　　(3) 336V直流供电技术标准制定情况

　　① 国际标准

　　•《400VDC供电系统接口规范》(ITU-TL.1200);

　　•《高达400VDC供电系统的架构》(ITU-TL.1201);

　　•《400VDC供电系统性能及其环境影响评测方法》(ITU-TL.1202);

　　•《ICT系统高达400VDC配电的颜色和标记标识》(ITU-TL.1203)。

　　②中国国家标准

　　《通信高压直流电源系统工程设计规范》(报批稿)。

　　③ 中国通信行业标准

　　•《通信用336V整流器》(YD/T3088-2016);

　　•《通信用336V直流供电系统》(YD/T3089-2016);

　　•《通信用240V/336V直流供电系统运行后评估要求与方法》(YD/T3091-2016);

　　•《基于240V/336V直流供电的通信设备电源输入接口技术要求与试验方法》(YD/T2656-2013);

　　•《通信用240V/336V输入直流-直流电源模块》(报批稿)。

　　④ 中国移动企业标准

　　•《336V开关型整流器》(QB-H-007-2012);

　　•《336V直流电源系统》(QB-H-008-2012);

　　•《336V供电服务器电源模块技术规范》(QB-H-010-2012);

　　•《通信用336V直流供电系统工程设计规范》(QB-J-015-2012)。

　　2 电压等级的确定

　　336V直流供电电压等级主要从系统效率、元器件耐压、配电设备电压等级、配电线路的金属消耗和与蓄电池匹配等几方面考虑确定的。

　　(1) 系统效率

　　直流母线的供电电压越高,系统效率越高,节能效果越明显。

　　目前,ICT设备的电源模块(PSU)普遍配置PFC,如图1所示。PFC一般需要将电压提升到400V左右,如ICT设备采用接近400VDC的电压输入,PFC可以不需要升压电路或者升压电路不需要长时间工作,可以提升系统的可靠性和效率。

　　(2) 元器件的耐压

　　大部份电子元器件(Caps,MOSFET等)耐压为450～500VDC,此耐压范围的元器件产品成熟且价格低廉。考虑故障排除和启动时的电压脉冲峰值,高压直流供电系统工作电压不宜超过400V。

　　(3) 配电设备的电压等级

　　① 现有断路器产品在直流回路中的额定工作电压一般为500V。

　　② 电力电缆的绝缘电压为690V/1000V,电缆对地绝缘电压为690V,电缆之间绝缘电压1000V。

　　从断路器和电力电缆耐压情况看,高压直流供电系统工作电压不超过500V时,配电设备均可以支持。

　　(4) 配电线路的金属消耗

　　提高工作电压可以降低系统的工作电流,减少线路的损耗,减少配电线路的金属损耗。

　　高压直流供电系统工作电压400V与240V相比,电流降低66%,可以减少有色金属消耗约60%,同时可以降低配电开关容量和配电设备容量。从配电线路的金属消耗来考虑,直流供电系统工作电压越高越好。

　　(5) 与蓄电池的匹配

　　目前,普遍应用的蓄电池为铅酸蓄电池,单只电压为2V、6V或12V。蓄电池作为后备电源,在高压直流供电系统故障、维护或停电时,为系统提供不间断电源。因而,高压直流供电系统的电压应与蓄电池组电压相匹配,高压直流供电系统的标称电压应为2V、6V或12V的整数倍。

　　通过上述几方面的分析,高压直流供电系统的电压设置越高越有利,但是工作电压不宜超过400V。因此中国移动于2009年选择336V电压等级的直流供电技术进行试点应用,336V直流供电系统的电压设置应为:

　　标称电压:336V;

　　浮充电压:374.64～381.36V(2.23～2.27V/cell);

　　最高均充电压：386.40～394.80V(2.30～2.35V/cell);

　　蓄电池只数:2V电池168只串联或12V电池28只串联。

　　2012年国际电信联盟发布的《400V直流供电系统接口规范》(ITU-TL.1200)中明确了ICT设备高压直流供电电压范围为260～400V,与中国移动选择的336V直流供电系统的运行电压完全匹配。

　　3 336V直流供电技术的特点

　　336V直流供电系统克服了传统UPS交流供电系统的效率低、可扩展性差、可靠性低、成本高等弊病,具有电路结构简单、变换少、可靠性高、效率高、体积小、成本低等优点,其与传统UPS供电系统结构对比如图2所示。

　　336V直流供电技术的特点:

　　①电路结构简单:336V直流系统相比于传统UPS系统,减少了DC/AC变换环节,同时由于直接输出直流电,服务器PSU减少了AC/DC环节,取消两级变换简化了电路结构。

　　②可靠性高:简单的电路结构提高了系统可靠性,系统可用度高达10个9,与2N双总线UPS交流供电系统相比,系统可用度提高了3个9,而且由于电池直接连接在输出母线上,提高了电池供电时的可靠性。

　　③运行效率高:与48V直流电源相比,基础电压提高了7倍,减少了线路损耗;与240V直流电源相比,系统效率提高约6%(包含ICT设备内部PSU效率);与传统UPS交流电源相比,系统效率提高约10%～15%。

　　④扩容便捷:由于采用了模块化热插拔结构,扩容简单方便,降低后期维护成本。

　　4 ICT设备支持336V直流供电

　　(1) ICT设备336V直流供电原理

　　目前ICT设备主要以交流供电为主,交流电源模块(PSU)主要有两种,即ATX标准电源和SSI标准电源,其简化的电路拓扑结构见图3。

　　交流220V输入先经过EMI、整流、PFC电路,变换成380V左右的直流,然后再将380V直流经过DC/DC电路变换成12V直流,12V直流通过分压电路获得0.8V、3.3V、5.0V等直流电压提供给ICT设备负载使用。

　　对于采用220V交流电源模块供电的ICT设备,可以将其交流电源模块替换为336V直流电源模块,完成直流供电升级,336V直流电源模块的电路拓扑结构见图4。

　　

　　相比交流PSU,直流PSU省去了AC/DC整流电路,直接将336V直流经过稳压、DC/DC电路变换成12V直流,12V直流通过分压电路获得0.8V、3.3V、5.0V等直流电压提供给ICT设备负载使用。因变换环节减少和电路简化,336V直流PSU比交流PSU的可靠性、效率更高、成本更低。

　　对ICT设备负载来说,220V交流PSU和336V直流PSU输出12V直流电源要求相同,在不改变ICT设备结构的情况下,将220V交流PSU更换为336V直流PSU后,ICT设备完全支持336V直流供电。

　　(2)现有ICT设备336V直流供电支持情况数据中心ICT设备主要有路由器、交换机(盒式交换机、框式交换机)、服务器(机架式服务器、刀片式服务器)、存储磁阵、防火墙设备等。大多数ICT设备是采用交流PSU供电,而PSU模块部分是可插拔的独立模块,部分是固定安装在设备内部的独立模块。大多数ICT设备都可以通过将交流PSU更换为直流PSU的方式支持336V直流供电应用,如图5所示。

　　但目前的路由器、交换机等网络设备一般没有内置交流电源模块,主板一般直接采用48V直流供电,不能通过更换电源模块的方式支持336V直流。设备内部的业务单板、控制单板等部件,也不能支持336V直流直接供电。因此,路由器、交换机等网络设备需要通过外置336V/48V直流电源框的方式来实现336V直流供电,如图6所示。

　

　　未来,随着路由器、交换机等网络设备供电架构的演进,也会出现内置336V直流电源模块的供电架构,直接支持336V直流供电。

　　5 ICT设备336V直流供电方案

　　根据服务器输入电压类型的不同,ICT设备采用336V直流供电方案主要有以下两种:

　　方案一:选用输入电压为12V的直流ICT设备,通过在ICT设备机架内配置336V/12V嵌入式电源,集中为12V直流ICT设备供电。其供电结构图如图7所示。

　　

　　12V直流服务器应用已非常成熟,目前中国移动、阿里巴巴、谷歌、FACEBOOK等数据中心均有12V直流服务器的应用案例。

　　方案二:选用输入电压为336V的直流服务器,直接采用336V直流电源供电,其供电结构图如图8所示。

　　

　　采用方案二时,部分网络设备(如路由器、防火墙等)需选择48V直流供电设备,通过在机架内配置336V/48V直流电源的方式来实现336V直流供电。目前中国移动呼、哈数据基地和广东移动三水数据中心ICT设备供电选择了此方案。

　　6 ICT设备电源输入接口装置的选择

　　336V直流供电与普通交流供电接口装置的耐压等级、灭弧等技术要求不同,因此不能直接将交流供电接口装置用于336V直流供电系统中。

　　336V直流供电的ICT设备电源输入接口装置可采用接线端子或400V直流专用插头/插座两种方式,如图9所示。

　　

　　采用接线端子方式时,端子上应当有标记标明极性,标记不得标在螺钉上或在接线时可能要拆除的其他零部件上。

　　采用400V直流专用插头/插座方式时,插头/插座应具备以下功能:

　　①插头上应当有标记标明极性,插头/插座的设计应能防止反极性插入;

　　②插头/插座应具有灭弧功能,避免热插拔时电弧外泄产生危害;

　　③插头/插座之间应具有锁定装置,防止松动脱落和带电插拔。

　　ICT设备电源输入接口装置具体技术参数应满足《基于240V/336V直流供电的通信设备电源输入接口技术要求与试验方法》(YD/T2656-2013)相关要求。

　　ICT设备机架内配电单元(PDU)选择断路器类型,在机架后面两侧分别安装1条PDU,每台ICT设备输入(A、B路)分别对应1路断路器开关,输入电缆与断路器直接固定连接。图10为ICT设备机架内PDU示意图

　　

　　7 336V直流电源与市电如何实现混供?

　　为了进一步提高数据中心供电系统效率,降低数据中心PUE值,中国移动设计院2013年在《中国移动通信电源发展规划研究》中首次提出了数据中心基于336V直流供电的交直流混合供电技术方案;2014年与相关电源厂家共同完成了技术论证、产品研发测试。混合供电系统可以通过设置交、直流模块输出功率比例来提升系统效率,系统效率比全直流供电提高2%～4%。

　　根据现有电源技术发展,结合技术研究情况,市电直供技术可以分为两种方案实施:336V直流ICT设备交直流混供方案和12V直流ICT设备交直流混供方案。

　　(1) 336V直流ICT设备交直流混供方案ICT设备内置电源模块(PSU)按“1+1”配置,其中1个配置220VAC/12VDC模块,采用220V交流市电电源供电。另外1个配置336V DC/12VDC模块,采用336V直流电源供电。两个模块互为主备,在12V直流输出端并联给ICT设备供电,供电架构示意图如图11所示:

　　

　　ICT设备通过对两个PSU的管理,可以实现市电直供回路100%供电,336V直流供电回路备份使用,市电侧供电效率达98%,直流侧供电效率达到94%。

　　(2)12V直流ICT设备交直流混供技术方案

　　在ICT设备机架内配置1套12V直流输出嵌入式电源,通过机柜后侧12V配电母排为直流12V直流ICT设备供电。

　　嵌入式电源主要由转换模块、监控模块和输入、输出接口组成,转换模块按“N+N”配置,其中N个转换模块为220VAC/12VDC模块,采用220V交流市电电源供电,另外N个转换模块为336VDC/12VDC模块,采用336V直流电源供电。供电架构示意图如图12所示。

　　

　　监控模块可以调整220VAC/12VDC模块和336VDC/12VDC模块的输出功率比例,使系统运行效率达到最佳。

　　8 336V直流供电系统如何配置?

　　(1) 336V直流供电系统组成与配置336V直流供电系统主要由交流配电柜(单元)、整流柜(单元)、直流配电柜(单元)以及蓄电池组组成,系统结构图如图13所示。

　　336V直流供电系统主要配置要求如下:

　　① 交流输入两路市电,配置手动(或自动)切换装置;

　　②整流模块容量选择10kW及以上,整流模块数量按N+1冗余配置,单系统容量不超过400kW;

　　③电池开关选择双极直流熔断器组合开关或者双极直流塑壳断路器,输出开关选择双极直流塑壳断路器,系统中的总母排和输出分路应配置绝缘监察功能;

　　④列头柜中的输入开关选择双极直流塑壳断路器,输出开关选择双极直流微型断路器,绝缘监察功能根据实际情况选配。

　　(2) 336V直流供电系统结构的选择

　　结合通信行业48V直流系统应用的现状以及ICT设备对供电可靠性的要求,336V直流供电系统选择单系统双回路供电结构。

　　单系统双回路供电结构是指由1套336V直流电源系统输出2个回路为ICT设备A、B路供电,供电结构如图14所示。

　　

　　336V直流供电单系统双回路供电结构与48V直流供电系统相同,结构简单,可用性高达10个9,比传统2N双总线UPS交流供电系统可用性高出3个9(2N双总线UPS交流供电系统一般为7个9)。

　　(3) 336V直流供电方式的选择

　　根据电源设备安装位置和设备选型,336V直流供电方式可分为两种:集中供电方式和全分散供电方式。

　　集中供电方式是指通信机楼的每一层均设置电力电池室,集中安装若干套中、大容量电源和蓄电池组,通过电缆将电能输送到ICT设备机房内的列头柜为ICT设备供电,设备布置示意如图15所示。

　　全分散供电方式是指将336V直流供电系统(包括电池)分散安装在ICT设备机房内用电设备的列头,就近为ICT设备供电,设备布置示意如图16所示。

　　集中供电方式和全分散供电方式技术特点对比情况如表1所示:

　　通过表1可以看出,两种供电方式各有优缺点,在现网数据中心中均有应用,具体选择时应根据ICT设备近远期装机情况确定。

　　当近期ICT设备装机率大于60%时,选择集中供电方式;当近期ICT设备装机率小于60%或近远期无法确定ICT设备装机时,选择全分散供电方式,实现边成长边投资的建设模式、提高电源系统运行效率。

　　9 336V直流供电技术应用案例

　　近几年来,中国移动一直在积极研究、推广336V直流供电技术的应用和技术产业链的发展,成为了国际上第一个规模应用336V直流供电技术的运营商,为建设高可靠性、高维护性、高效节能的数据中心供电系统做出了贡献。

　　(1) 研究、测试情况

　　①2008年,中国移动设计院提出336V直流供电系统替代传统UPS的技术方向;

　　②2009年3月,中国移动集团公司336V直流供电技术试点研究项目立项;

　　③2009年9月～2011年12月,在深圳进行336V直流供电技术应用试点测试;

　　④2012年10月,中国移动发布336V直流供电技术相关企业标准。

　　⑤2013年,中国移动设计院提出数据中心基于336V直流供电的交直流混合供电技术方案,并与相关电源厂家完成了产品研发与测试验证等工作。

　　(2) 应用情况

　　①2012年,新型数据中心哈尔滨试点工程中进行了首次落地应用(100kW×4套);

　　②2013年,广东移动在三水数据中心进行了规模应用(300kW×12套);

　　③2014年,中国移动呼、哈数据中心全面推广应用(360kW×174套);

　　④2014年11月,中国移动发布的《中国移动数据中心机电配套工程建设指导意见》中明确:自用机房应积极推广应用336V直流供电技术,目前全国各省在建的30多个数据中心中均规划应用了336V直流供电技术。

　　10 336V直流供电技术的应用前景

　　336V直流供电系统的效率和可靠性均要大大高于传统UPS交流供电系统,这一点已经得到了业内人士的公认,336V直流供电技术具有广阔的发展前景。

　　根据2015年11月中国数据中心工作组和中国电源工业协会主办的模块化UPS技术研讨会上关于“未来10年,数据中心供配电系统的发展趋势”的现场调查情况,有62%的专家(300多位行业用户、专家和学者)认为高压直流供电是未来数据中心主要的供电技术,见图17。

　　这几年来,336V直流供电技术在数据中心的推广应用相对缓慢,其主要原因是ICT设备厂家的开发、生产力度不够(虽然从技术角度来看,ICT设备采用336V直流供电没有任何问题,但ICT设备厂家没看到客户的明确需求)。为了解决这个问题,中国移动2016年定制化服务器集采中明确要求服务器设备支持336V直流供电(目前已在中国移动呼、哈数据中心私有云资源池项目中部署约6000台336V直流供电服务器),全面推广336V直流供电技术在数据中心中的应用。

　　另外,中国移动设计院在2016年开展了市电/336V直流混合供电技术应用试点,积极推动市电/336V直流混合供电技术在数据中心的应用,全面提高数据中心供电效率。

　　在传输网络建设方面,已广泛应用100G的PTN、OTN等传输设备,将来还会出现200G、400G的传输设备。与传统传输设备相比,设备功耗由原来的2～3kW/机柜增加为15～20kW/机柜,现有的-48V直流供电面临容量受限、电缆损耗大等问题。我们正积极研究传输设备采用336V直流供电,引导传输设备厂家研发400V直流供电的传输设备,直接采用336V直流系统供电。

　　随着ICT设备厂家的支持力度加大,以及数据中心机房规划、设计、建设和维护人员观念的革新,我们相信数据中心ICT设备供电电压等级将逐步规范化、合理化,将来数据中心ICT设备主要以220V交流市电和336V直流供电为主。

　　责任编辑：DJ编辑