吕军：各位嘉宾大家下午好!我跟大家分享一下大型数据中心设计的经验。上午三位嘉宾讲了数据中心的相关产品和数据中心的解决方案和发展趋势。因为我们在运营管理着多个数据中心，我们现实说法，把我们在规划建设运营管理数据中心的经验跟大家分享一下。

　　分享的内容分三个部分：

　　一、相关概念

　　二、模块化设计经验分享

　　三、国富瑞公司简介

　　数据中心模块化：通常情况下我们说建一个机房，在模块化这一块，从需求导向来说，模块化它的适用范围在哪儿?如果只需要十几个机柜，上百台服务器的这样的需求，通常可以采用模块化的集装箱的数据中心。集装箱的数据中心的好处大家非常熟悉，它的部署周期非常快，在提供高密机柜方面PUE方面有非常优异的表现。但是对于小规模的业务需求，我们只需要几百台服务器的时候可以用一个集装箱的解决，它可以解决供电、制冷、消防甚至包括监控以及运营商的光缆、电力接入，这个集装箱可以很快的投入运营。这个集装箱可以部署在很多方便的地方，比如办公楼或者在某一个停车场的区域都可以快速的部署这样的一个集装箱。

　　我们的需求增加了，当我们需要几十个甚至几百个标准机柜的时候，上千台服务器的时候，我们仍然可以用集装箱模块化的技术快速的部署。一个集装箱需要一个30平米的位置，几十个集装箱可以采用堆叠的方式。一种可以纵向的堆，把集装箱分两、三层，当然要便于人员维护。还可以横向扩展。但是这通常只是解决了几百个机柜几千个服务器的需求。它的部署周期比单个集装箱要长，作为北京这个区域供电容量超过6兆瓦的时候就需要专门的建变电站。所以多个集装箱数据中心堆叠使用的时候就需要相应的建一个变电站，包括制冷，都有一系列的部署要求，所以部署周期稍微长一些。

　　如果需求更大了，当需要几千个机柜上万台服务器的需求的时候，我们通过集装箱的数据中心堆叠的方式不能满足要求了，而且规模越大集装箱从经济角度来说也不经济了。那么就需要建专用的数据中心，建大型数据衷心的基础设施和配套设施来满足这样的需求。所以我重点分享就是大型数据中心，它的建设周期相对比较长，在大型数据中心里，模块化如何去体现?如何达到建设的最优?

　　什么是大型数据中心?以前我们认为几千个机柜就是大型数据中心，现在工信部、发改委以及国土部电监会出台了数据中心建设布局的标准规范。这里提到了大型数据中心分类，分三类。第一类是超大型数据中心，已经有量化指标了，超大型数据中中心是超过1万个标准的基架，大型的是3千到1万，小于3千的就是中小型了。数据中心建设相应的标准，国际标准大家很清楚了，是Tier一到四个等级，今天重点介绍我们采用国际的标准Tier四建设的，它的指标，稳定性、影响性，这些相应的指标上跟大家再顺一下。Tier4数据中心有两个方面，一个是可以支持容错，可以人为的意外的不会影响数据中心。数据中心基础设施做的等级非常高，再看看运营商通常承诺给在座用户的通常是99.9%，这个可能性全年宕机大概是8个小时。所以建高等级数据中心运营商线路这个环节我们是要求多加运营商的保护。一家运营商假如中断的话，全年可容性做到8个小时中断，在数据中心追求高等级还要考虑运营商线路的问题。比如说一个运营商是99.9%，那么提供两三家运营商就可以避免这样的问题。

　　第二方面分享一下我们在重庆建设的一个高等级的数据中心，也是按照模块化设计的相关基础设施的体系。大型数据中心标准的基架有6600个，规模非常大，它的配电这一块需要单独双路的配电，还需要柴油发电机。我们部署了24台大规模的大型柴油发电机，这样才能满足这个数据中心的需求。所以这需要整个形成一个园区的配套。

　　数据中心核心机房面积是4万平米，这个数据中心的规模相当于标准的足球场，占地面积达25%，分很多模块。这么大型的数据中心是分了36个机房模块，每个大概在400多平米。首先数据中心有很多配电的模块，需要占一些面积，一层只能部署四个机房模块。一层的时候除了机房之外，还有一些配套。比如高低压的配电，4路高压电引过来在机房数据中心内匹配，要有多个高低压的配电室，还有制冷环节。一层之上，二、三、四层更多的是机房系统、配电系统。配电这块，因为在模块化里，上午我们嘉宾也讲了很多关于模块化相应的技术，我们的数据中心在配电的模块化采用的是DL技术。什么是DL技术，通常在部署UPS的时候采用的相关技术，2N的技术大家都非常熟悉，我们IT负载来自于两组UPS，A、B两组给它包括双路供电。这种它的好处是可靠性可以满足规范的设计，一边发生故障一边可以带所有的IT负载。

　　第二种模式DR模式，就是分布式冗余模式。我们部署了三组UPS，为三到四组负载提供服务。它仍然满足Tier4的要求，完全来自于两路的UPS。2N的冗余它的UPS利用率通常是超过50%，DR模式是三组UPS(A、B、C)，每一组负载可以做到66%。当A组UPS发生故障，负载仍然可以由B组代替，这是两两组合的过程。它的最高负载可以做到66%它的好处是提高了负载率，更节能，但是它对配电管理的要求更高了。理想状态每两组之间要相对平衡，比如说一组利用率是60%，另外一边可以接管。还有一种是RR模式，就是冗余备份的模式。同样是负载，它来自于其中的一组UPS，UPSA是为C和B做冗余备份的，它的好处是节省UPS，但是它的可能性没有前两组那么高了。所以我们重庆数据中心采用了DR模式。

　　到每一个机柜完全来自于两组UPS，A和B或者是C，这样就是双路的UPS。同时包括柴油发电机组来满足当双路电中断的时候，柴油发电机组为设备供电。

　　刚才讲到了配电这块的模块化，我们采用了DR模式。第二在制冷这一块，一般大型数据中心通常采用的是水冷技术，比风冷更加经济，我们在空调这块末端的水冷式空调，制冷分布在两个区域，如何提高制冷降低PUE?在制冷系统这个模块化根据它的供电容量配属末端。上端为了达到节能的目的，降低PUE，水冷空调随时配置换热器。绿色节能技术在我们数据中心得到了应用，在冬季采用冷却塔和板式换热器，降低PUE。同时我们其配属了两个蓄冷罐，当断电的时候，通常是UPS带IT部分，这时候空调已经中断了，空调的启动有一个时间，通常需要8到10分钟，这8到10分钟通过蓄冷罐解决，可以把冷水循环到机房区域，满足机房制冷需求。

　　对于一个大型数据中心，运营商的接入一定要多路由，不一定能满足双路由，我们提供多家运营商的接入，对于客户来说，或者我自己作为用户来说，多家运营商的接入提高了可能性。

　　我们数据中心按照Tier4等级建设，PUE按照1.6设计。如何在重庆做到1.6非常不容易，拆开了很多节能的技术。其他的指标，包括供电这块采用分布式冗余的技术，其他的消防、安房这些基本上概括了我们在重庆数据中心，尤其供电和制冷，模块化设计方面的相关技术要求。

　　最后介绍一下国富瑞公司，国富瑞公司是商务部电子商务中心的子公司，因为电子商务中心承担了电子政务的服务，电子商务中心是子公司，我们国富瑞公司是专注于做数据中心外包的子公司，全国目前运营的建设数据中心有八个高等级数据中心，我们在东单有一个数据中心，广州有一个数据中心，这些是为商务部提供异地的数据服务的，我们在北京还有一个大型数据中心、重庆两江、江苏苏州上海外高桥都建有大型数据中心。

　　我们是多年产业联盟颁发的优秀的数据中心运营单位。为什么我们获得这样的荣誉呢?我们在北京光电大型数据中心PUE，运营的效果是低于设计时候的，我们现在做到了1.7，设计的时候是1.8。所以数据中心运营管理方面我们做的是相当好的。我们还服务于金融、石化等大型的企业客户。

　　跟天跟大家分享的是我们在重庆数据中心模块化设计方面的汇报，我的介绍就这些，谢谢大家!

　　责任编辑：yayo