2015年9月10日-11日，由中国电子学会、开放计算项目(Open Compute Project，OCP)、美国劳伦斯伯克利国家实验室联合主办的“中美绿色数据中心研讨会暨中美开放计算标准交流会”在上海浦西万怡酒店隆重开幕。以下是嘉宾演讲实录.

　　周晓伟：大家好，我来自惠普公司周晓伟，很高兴有机会跟大家面对面交流。下面主要讲一下绿色数据中心的空调设计和高效运维。

　　惠普公司对于数据中心是全生命周期的服务，我们惠普公司包括整个IT的咨询、前期阶段、设计阶段、实施阶段，施工验证阶段，还有数据中心后期运维阶段。从这张图表可以看出，数据中心全生命周期各个阶段对能耗影响，数据中心设计阶段和数据中心后期运营阶段对能耗影响最大，占比例最高的，我今天主要针对这两个方面进行介绍。

　　首先介绍一下数据中心的空调设计的优化及最佳实践，惠普到中国来做数据中心业务，是在07年到中国来，经过多年时间，惠普在中国已经做了100多个数据中心项目，对于数据中心项目也积累了很多经验。从这张图表当中看出，数据中心整个用电量，制冷设备占了9%的用电消耗，供电设备大约占18%供电消耗，所以说对于数据中心来说，空调系统节能优化降耗是最大的根本，我们对于节能优化设计介绍一下。这个是数据中心POE的发展趋势，当前趋势下，我们整个数据中心POE大约在1.8以下到1.2个程度，我们惠普推荐，在新的项目，我们结合我们最佳实践，我们建议POE做到1.4以下的数值。

　　这个PUE降低的意义大家知道，比如我们这个例子，对IT组数9MW的数据中心来说，当PUE从2.0降到1.4时每年节省用电费用在470万左右，PUE从2.0降到1.2左右的时候，整个用电节省费用在大约630万美金左右。

　　数据中心空调优化合适服务器设备进风温度是根本设置条件，我们新做的项目按照iso规定，我们18到27度的数值是可以的，对银行数据中心，我们约定的送风温度18度左右的模式，对于我们互联网公司，我们现在基本上都是能到高温27度的模式，或者根据高温服务器推荐，我们可以做到30或者35度的模式，我们这样就有很好的结论效果。

　　目前这个数值对18到27度来说，对服务器功耗基本上没有太大变化的，我们建议新的数据中心服务器的送风温度24到27范围之内，我们节能措施采取风侧节能或者更高的水侧节能，提高冷冻水的温度。数据中心空调节能措施分两种类型，一个风测节能系统，基于干侧温度来考虑。另外一个水侧节能系统，针对利用湿球温度，室外空气温度来作为变化。水侧温度阿里技术中心同事说了，他们采用千岛湖湖水源的数据中心，采用湖水源、海水源得需要结合很好的选址，这个不是每个业主都有机会去做的。

　　风侧节能模式主要三大类型，利用室外空气直接冷却模式，室外空气直接进入数据中心。第二个间接室外空气进入，通过热交换系统模式进入。第三个混合模式，室外空气和交叉冷却相结合的模式进入机房。水侧节能系统主要有几种模式：第一种模式是中方散热的模式。第二种模式用普通的供气效应模式，用散热器的打高冷气模式，第三个混合模式，中国北方用的比较多，用混合模式，是用闭式冷气模式，在夏天的时候闭式冷器蒸发式散热，冬天为了防止结冻，我们闭式冷器采用干温化的模式进行。

　　下面我休息介绍一下几种空调模式，我们做的项目在中国都有实践了，室外空气直接节能系统，室外空气小于27度以下的模式，这个服务器进风设备温度可以定到27度左右，这种模式可以采用全新风的系统。这种情况下，在室外空气已经是大于27度的模式，我们就选用完全的机械制冷模式，完全一个内循环的状态，间接室外空气节能系统，这个过程当中，对于室内的环境，对于空气品质有要求，那么室外环境很脏的情况下，我们采用换热系统模式，采用热管或者只是转轮的模式，这个状况下在在室外空气大于27度模式的话，我们就是采用内循环的模式，完全制冷模式，这种制冷模式我们可以采用里面压缩机的主要模式，也可以盘管采用冷冻水的模式。间接室外空气完全制冷模式，我们要求服务器设定温度27度，室外空气在25度情况下，我们就可以完全进入节能制冷模式。

　　风侧节能系统整合下来4种类型，1、直接室外空气进行冷却。第二种类型和第三种类型采用间接冷却模式。第二种间接冷却模式采用热管的模式，进行热管交换，或者换热器的模式。3、转轮模式，由转轮进行交换。4、直接或者间接冷却，中间过程中，我们加入蒸发冷却的过程。

　　水侧节能系统方案，我们有以下几个措施：我们现在在中国很常用，的是水冷冷水技术+开式冷却改造测量板块模式，这个模式在中国很常用，冷凝水温度在15到21度状况下，我们做的摆渡项目，整体运行下来数据PUC，北京地区设定POE在1.4以下，实际运用下来很好运行管理1.32 1.33左右都可以做得到的。

　　第二个水侧节能系统方案采用风冷水技术加干冷器的模式，主要在缺水的地区，因为他没有水，北京也处于比较缺水的状态，北方很多地区也是这样的状态，所以这也是很好的模式。

　　第三个模式，水侧节能系统采用水冷冷水技术+闭式冷却塔里的水。这种在北方地区用的比较多一点，夏季跟湿球温度采用蒸发散热模式，冬季情况下利用冬季干球温度去做，采用冬季部位喷水，可以解决防冻措施，冬季相当于干冷剂的状况。

　　介绍另一种模式的水侧节能系统的方案，这个也是我们实际案例，用风冷凝水的技术+冷却塔+摆换，精密空调用双盘管的模式处理了。这种模式我们在夏季的时候，用冷却塔和摆换的模式进行换热，第一个盘管采用这样的模式，我们活动35度的状况，我们这样可以用第一个上面盘管，用这个模式可以降低空气温度，如果达不到用风冷的技术开启，这样算下来，我们北京地区全年采用自然冷却的时间大约在95%左右，完全自然冷却65%左右，部分自然冷却35%的时间，我们北京地区设计的PUE值1.3以下。

　　如果采用缺水模式考虑，可以把上面系统换成干冷却的模式，干冷却模式运行下来可以采用内循环的状态，减少摆换措施，整个冷略时间比蒸发式冷却少，大概80%到85%左右，这样涉及POE值大概在1.37左右。

　　上面几个方式，主要进行了冷源节能措施的介绍，目前这些案例都是我们实施的，具体采用哪种节能措施的话?还是决定于我们进入温度的模式到底设定多少?还有选址的问题，到底这个机房在什么部分?总体我们采取哪种方式，还是根据TCO的成本计算，并不是PUE值最小的选择这种方案，过程当中还要考虑运营成本等等这些概率。

　　下面介绍一下数据中心末端制冷技术，以前用房间级的空调，精密空调，还有风墙的冷空调机组，现在我们也用房机空调、机架空调冷却等等模式，最后发展接近于机架式空调，用水冷背板，或者是顶置对流冷却的模式。

　　我们介绍一下顶置对流冷却模式，我们惠普全球第一个设计这个方式，这个制冷模式大大降低PUE值，改变数据中心传统理念，在亚热带地区，在新加坡采用这样的设计方案，PUE值1.5以下，北京采用这种设计达到1.25以下。这种方式在美国雅虎已经运行了9年，中国百度和海南航空采取这种设计，同时我们搭建了微模块进行了验证。

　　下面介绍一下顶置对流冷却的方式，结构形式是冷却盘管是顶置在服务器架上面，整个没有动力设备，无风机的形式，我们采用热通道封闭的模式，这种方式可以模块化的定制，一个模块一组组上去的，这个结构形式有一些优点，我们现在盘管末端冷冻水阻力特别小，我们可以采用高温冷水的模式，整个设计状况过程当中采用盘管，对于单机柜高功率服务器有很好的方式，盘管的高度进行长度增加模式，顶置对流冷却盘管模式，我们做到采用N+1和2N的模式设置，这样状态我们可以达到不同的级别，T3、T4有的可以满足这个模式，这个模式实施过程当中，可以取消架空地板，可以省下一次投资，而且没有空调间的位置，可以放更多的机柜。顶置对流冷却带来的发展趋势。现在服务器设备送风温度越来越高，现在采用热通道封闭的模式。

　　我们对于空调末端设备进行比较，服务器进风温度27度，冷凝水15到21度的模式，针对于顶置对流冷却单元和精密空调和空调设备，还有行级空调和水冷背板，从建设成本、运行费用、制造安装、模块化、可靠性、可操作性等六大方面进行比较，从这个比较可以看到，机房建设成本顶置对流单元是最便宜的，PUE值也会降低，现在初算大概在1.3，现在水冷背板1.31左右，其他空调机组，还有精密空调都会比它数值量高一些。这个过程中我们可以看到，我们机房建设成本同样1兆瓦节省很多，空调PUE值差别很大。机房模块每年OCC也可以省很多的数值，总体下来我们顶置对流有些单元TCO是最低的。

　　综合下来顶置对流冷却OCC盘网特点更绿、更高效、更节能，更低成本。高效率的话可以体现在几个方面，冷凝水供给水温度可以提高的，整个工况是高载冷的状态，没有风机动力设备驱动，取消了末端制冷风机消耗。盘管阻力比较低，2水阻左右，降低水泵的扬尘，采用这个系统可以很显著降低PUE值。

　　低成本取消了架空地板，这个出投资比较低的，盘管造价比精密空调便宜很多，在工业化空间安装，可以利用大厂房安装，占地面积比较小，可以放更多的机柜，对于模块化按照IDC模式走，模块化包括盘管、冷凝水管、温控器、传感器火灾报警，这些模块工厂预制化安装，我们实施可以快速部署，三四天时间，可以布置一组模块。

　　机房模块化设计还可以分期建设，我们可以按需去上一些模块设备，可以减少设备的实物投资。气流管理方式，采用自平衡的功率，基本上没有外部空气进入，而且也没有涉及到胖物，也不会从架空地板下面进行流失，我们也没有室外空气污染。

　　可靠性、可维护性，我们可以不间断的维修盘管和阀门，做下来系统组件也少，也没有风机等易损的设备，盘管基本上也没有易损坏的地方。

　　高灵活性，我们盘管可以接风水和水冷的冷凝水系统，也可以接闭冷却塔过来的水，适应有架空地板和没架空地板的环境，我们可以跟精密空调并行使用，对于改造机房来说是很方便的。

　　下面主要介绍一下我们现在在中国用的一些空调方式和一些节能措施，现在我们空调方式节能措施，最大还是根据我们设计的摄氏温度，我们采用不同的节能措施，最重要要把我们制冷模式在服务器上面，刚才前面几个专家讲了一下液体制冷，对于服务器到这个进度这是最好的模式，我们从设计角度考虑上的方式，供大家借鉴。

　　介绍一下绿色数据中心运维最佳实践，我们惠普引入绿色数据中心运维，我们把中国水电运维和IT设备运维结合一起做这个大平台，今天主要做介绍的中国水箱机电设备运维，数据中心数据运维很重要的，上面几个图片可以看到案例，我们看到在谷哥大公司，都有宕机状况或者一些故障，它可靠性很高，但是一些运维人员都有一点问题，去年在新加坡证券交易所1月6日，因为雷电的原因导致问题三个小时，这个两路电过来的，还配了两个UPS，照理说已经很完善的，但是向灾备站点切换也导致失败了。运维在整个维护下很重要的，对数据中心保障作用起到很大保障作用。

　　数据中心运维跟业务目标联合起来的，业务目标采用合组的IT架构和IT硬件、软件和空间电脑制冷设备，决定我们数据中心。运维策略和运维治理程序，我们决定了以运维目标能不能实现，影响了很大的因素。

　　惠普关键设施管理服务流程，从日常维护和操作做起来，我们会衍生很多，通过耗材和溢水件的管理，对于配置的设备管理，对变更的管理，风险评估、计划实施、问题管理、事件问题如何升级，等这几大方面我们做了很好的管理系统。

　　惠普关键设施日常流程管理，首先流程管理分几大模块，变更管理、配置设施管理、供应商管理、服务管理，事件问题如何升级。供应商管理数据中心供应商流程我们的界定，供应商目录，供应商行为启动卡，各个供应商的考核，我们都会有这种管理，对这些供应商做标准化模块的设计。

　　惠普有惠普大学，有很好的设施，管理维护培训体系，我们有六大类型的培训，可以做技术培训、管理培训、岗位培训、导师制度，还有其他培训。我们运维同事可以进行培训持证上岗，我们可以做更专业的运维团队。

　　惠普数据中心管理最佳实践，推出6D BIM管理流程，管理过程当中有安全系统管理和审计流程质量管理，核心是管理，升级我们会通过问题管理，故障场景解决方案是问题管理系统，对于设备供应商的管理，我们会通过厂商管理和变更管理模式。对于外包的话我们也会找一些外包厂家进外包服务和培训计划也会有一些，维护管理主要有一些维护要求，还有关键的运行期，定期的试运行。主进度表工单管理，还有BMI的定义和实施管理。

　　技术模块有一些工作表，月度运维计划表，年度运维计划表，还有设备演练，设备维护表，日常巡检的表格。我们也设备运维报告和能力分析的报告，初始文档我们主要分四方面强电，空调，暖通，环境监控文档、安防、消防的文档。

　　我们在美国ERP有很好的运维管理经验，我们一个案例，柴油发电机管理有很好的管理清单，日常维护项目和周期，还有柴油发电机运行50小时保养，柴油发电机组150个小时保养，和柴油发电机组250个小时保养，我们可以有很标准的清单。

　　离心冷水技术的清单，对每季度的运维详细定义，比如清洁时候的过滤器，对润滑片进行检查，对轴承连接件都进行检查，对每年界定很清楚，比如更换机油，基于油液分析等都会做，每三年对我们的蒸发器都有进行试验。我们年度计划表的案例，我们运维的时候，每年年初会把今年做了什么事情会详细定义，然后按需执行。

　　月季花表的定义，比如这个月电气系统检查我们根据时间做低压系统的问题，哪个时间段做UPS系统维护，哪个时间段做蓄电池系统的维护等等。

　　设备演练的表格，对于消防也是会定期演练，显示演练每个步骤。我们有一个基础设施检测系统，我们常规的体检系统，对机房运维环境和机房健康状况，比如含尘、PUE测评，电源电池系统监控，电池厂管理和近电检修，我们每年巡检，定期的健康检查。

　　惠普EYP全球知识产权，我们《预防性维护指南》，大约电气系统有16类清单，暖通系统13类清淡。这个清淡我们接受运营，我们会把运维系统体现出来，巡检记录单有超过260项巡检检查记录表单，运维佳实践19类，超过210项最佳实践，超过50个单点故障应急预案，出了什么问题我们怎么响应?

　　先介绍一下整个设施运维6D BIM的运维方式，国外BIM设计，已经有很多年了，在中国现在新的项目也在慢慢引入，很多高的写字楼宇也在运作，我们数据中心行业也在引入BIM的设计，BIM对于整个建筑的设计、施工、管理都有很好的模式，BIM的3D模式设计图阶段很好的看到管道碰撞，我们也可以看到很好的模拟，系统的协调，施工过程做成本预算，施工计划和，设施化管理，对运维可视化管理模式。

　　BIM在设计阶段的运用，北京我们已经采用设计，建筑和机电已经用BIM的设计，我们可以看到我们这种实施设备产品怎么放置，跟建筑空间距离，还有管道之间距离，我们输入一些数据，做一下里面的分析，比如结构是否节能，我们整个运行过程当中能源状况也可以做出来，我们也可以进行管道管理，现在我们可以看到图片，BIM发现管道碰撞，我们可以进行相应的修改。

　　BIM在施工过程当中看到，BIM做完以后，就相当于空间管理过程，我们在施工过程当中，各个包商可以按照BIM的图纸有的放矢去做，在施工过程当中不会出现管道碰撞现象，有的人施工完了，后面人占了后面位置拆卸重装。BIM用3D模式，我们空间管理、时间管理4D，加成本管理5D。6D BIM的模式，在5DBIM模式上加运维管理，运维管理当中加6D管理过程，在6D BIM管理模式当中，对节能是最好的控制，而且搜索和定位上也是很有优势的。

　　惠普新推出的方案，基于BIM的设施管理，我们可以进行标准化管理，我们输入整个项目的信息，厂商的质量，我们一个表单都可以在这里面体现，第二做到精细化管理，我们可以知道每个阀门位置，每个设备的位置，每个配件箱的位置。第三个对于可靠性的管理，我们可以作为对事物预防和发生事物的分析。比如我们管道发现漏水，我们阀门在BIM上都有显示，可以知道关哪几个阀门有帮助，可以知道走到哪几个地方及时关阀门，可以对快速解决方式可以快速响应，也可以快速解决一些应急事故问题。

　　基于BIM设施管理有以下几个特点，最真实的3D空间可视化，我们查监控时就可以看到恒定的空间，知道哪个设备，哪个服务器什么位置。可以快速定位和导航。第二个设施关联度，我们可以全方位立体化看这些设备，我们可以模拟演练和培训，我们可以应急响应远程服务都很快速部署。地三特点整个建筑和机电设施，自控，运维，我们各个领域信息数据可以实现统一运营管理，提升整个运维效率。整个气流我们也在整个BIM的管理体系里面，在预防维护可以有效降低设备故障率，降低能耗，都起到很大的作用。我们用BIM管理的话，平均每次巡检时间可以省15%的时间，平均每次维护时间省60%，平均每次应急响应时间节省30%，平均每年节省运维费用省8%。

　　6D BIM的场景，如果发现某处水管漏了，我们监控室可以看到发现漏的地方，可以看水管关联关系，关联阀门在哪，哪个是阀门，提示操作指南，现场可以关闭阀门，而且也可以看出我们关闭阀门影响范围是多少?

　　这是惠普数据中心运维的价值、我们从日常的运行管理、电气维护管理、演练管理、应急管理可以看得出来。通过惠普运维管理可以知道数据中心运行能耗成本，延长设备寿命，降低数据中心TCO，整个 数据中心可以安全、稳健、可靠化运行。上面我介绍完了，谢谢大家。