六、数据中心项目案例分享
　　
　　在2020年本人组织建设了一个比较具有代表性的数据中心项目,项目用户为超算用户,单机柜功率20KW,机柜规模200台,设计PUE1.395。客户针对项目要求交付时间为合同签订之日次日起90天内完成项目交付。
　　
　　在接到用户订单时,我们首先考虑的是整个项目的交付时间,如何在90天时间内将项目按施工工艺、工序顺利完成,达到客户要求的满足设备上架条件,该项目建设难度非常大,建设工期紧。为了能够顺利的完成这个最终目标,我们将整个项目划分如下子项:
　　
　　1）数据中心市电接入高低压供电系统;
　　
　　2）数据中心后备柴油发电机组系统;
　　
　　3）数据中心配电安装系统;
　　
　　4）数据中心高效制冷系统;
　　
　　5）数据中心装饰装修系统;
　　
　　6）数据中心后备UPS不间断电源系统;
　　
　　7）数据中心智能消防系统;
　　
　　8）数据中心智能机柜系统;
　　
　　9）数据中心视频监控系统;
　　
　　10）数据中心智能门禁系统;
　　
　　11）数据中心综合布线系统;
　　
　　12）数据中心DCIM智能管理系统。
　　
　　在上述的系统中,电力系统与高效制冷系统是施工完成难度最大的2个子项目,最后负责项目整体收尾清洁的是装饰系统。装饰系统是贯穿整个数据建设周期施工时间最长,与其他子系统配合最多的系统子项。为顺利完成项目,如何解决电力问题,制冷系统问题,是摆在我们项目组面前的首要问题。大家都知道在数据中心建设的整个过程中,除装饰施工时间最长外,电力系统同样施工时间较长,因为在我们顺利完成,电力设备的安装以后,项目的通电时间不是施工总包能确定的,通电时间取决于项目业主与国家电力公司的项目办理手续及客户关系,所以要顺利完成项目难度巨大。
　　
　　为确保项目能按我们计划构思的方式进行按序按需进行,我们根据数据中心项目施工的工艺,将项目子项进行按施工区域分割,各系统按施工计划要求逐步进场施工,如图3所示。
　　
　　6.1项目施工准备计划如下:
　　
　　首先确定项目地址,项目所在楼宇数据确定,同时项目地址周边的水文情况确认清晰,再将项目制冷方式确定,精密空调制冷主机的实际机型、制冷主机节能运行方式确认。
　　
　　将项目每一个系统的设备配置、材料数据、附件等数据进行模拟项目测算,再进行配置数据对比分析,确定数据中心建设的总项目施工清单及施工平面图纸。
　　
　　最短时间落实设计合同,确定设计院进行系统图的设计。业主、客户、项目承接施工方、运营方等参与深化设计,设计图与项目施工图同步并进,项目必须在2周时间内完成电子设计图。
　　
　　项目设计要求是在与客户签订项目合同时,客户必须确认项目平面图及综合布线桥架系统的走线方向,项目总体承接方施工单位必须选定。
　　
　　目标是在最短的时间内完成客户定制数据中心项目合同签订。同时争取在主合同订单签署之日后的一周之内,将所有子项系统的所有供应商合同签署,并做好开工准备。
　　
　　6.2 项目具体施工计划如下:
　　
　　1.装饰装修系统与综合布线系统同步施工计划
　　
　　根据工程的平面施工图纸及装饰系统施工规范,进行装饰系统区域分割,进行施工的区域与非施工区域完全隔离。
　　
　　1）在施工区域范围内,根据施工计划,逐步清理、分割施工面,将市电接入系统的高压配电房、低压配电房、UPS电源机房、蓄电池安装间、消防钢瓶间、核心机房、运营管理区域、缓冲区域、连接通道、制冷空调主机安装位置、循环水泵安装区域等进行分割,按施工进度同步施工。
　　
　　2）针对各功能区域,所有房间的甲级消防防火门、数据机房的墙体防尘防静电彩钢板、防静电地板支架高度确定在1.2米、防静电地板施工面积、货运斜坡坡度等数据中心关键数据确认。
　　
　　3）针对高压配电房、低压配电房的装饰施工,必须符合电力施工规范。高压设备安装高度、变压器安装高度、低压出线柜安装高度、必须在同一地面高度上。高压配电房基础高度与低压配电房基础高度一致,基础高度1.2米,高压电缆下走线进线通道高度确认在1.15米,电力井道盖板为混凝土电力成品盖板。高压配电柜体、变压器、低压配电柜的设备搬运主通道的甲级防火门为非标定制门,大门高度2.8米,宽度1.8米。确保设备安装时畅通无阻。
　　
　　4）装饰系统所有施工主材,采用预制方式供货。彩钢板、防静电地板支架、行间精密空调底座、数据中心机柜底座、机柜配电屏底座、高压柜体底座、变压器底座、低压柜体底座等底座,按各系统供应商提供的标准数据,预制加工完成,再到现场安装。照明桥架、桥架安装支架、新风换气系统安装支架等顶部安装材料,也需要进行预制加工方式,再将货运到现场安装。
　　
　　5）装饰系统施工中,在与其他子项目系统同步施工的交叉面,必须早于其他工种,完成施工,给其他子项系统提供施工条件。另外制冷系统冷冻水管通道、有管网气体消防管道、综合布线桥架通道、综合管理DCIM系统数据采集管线、视频监控系统、门禁系统等子项系统的穿墙过道区域,预留孔洞,方便其他系统按需施工。同时在施工隐患区域设立警示牌,做好施工安全防护。动火区域配置应急物资及手持灭火器。
　　
　　6）装饰系统中,机房照明采用1200mm*150mm型LED平板照明灯具,照明采用双层照明模式,在机房顶部安装各系统检修照明灯具,在地面高度2.8米位置安装整个数据中心的整体照明灯具,满足数据中心正常运行功能。
　　
　　7）在装饰系统按需进行的同时,针对综合布线系统的桥架链路,进行同步施工,在完成项目顶部施工的同时,桥架联络同步完成。
　　
　　附图4和图5:机房平面布置图及综合布线桥架图
　　
　　针对装饰系统顶和地面施工的步骤,桥架安装涉及到每一个功能区域,按设计图纸,进行三层桥架安装。有效区分,项目设备运行电缆、通信光缆、通信铜缆的运行隔离。有效规避通信干扰。
　　
　　本次项目要求装饰装修系统及综合布线系统合同施工工期80天,在70天内必须完成装饰装修工程及综合布线系统施工。预留10天时间进行施工交叉面的墙面恢复,不达标位置整改及场地初次除尘保洁,桥架调整、灯具移位等项目配合收尾工作。最后在所有系统施工完成后,装饰供应商需要在一周之内,完成整个数据中心的整体清洁处理及装饰收尾工作,确保给客户交付一个整洁明亮的数据中心运行环境。
　　
　　2.市电接入高低压供电力系统项目要求及具体施工计划
　　
　　根据数据中心的市电接入高低压电力系统技术要求,将电力系统进行合理的拆分,将高压与低压拆分,按步骤进行计划安排。
　　
　　1）针对高压系统,进行接入高压电力电缆的实地测量,高压管沟线路的实际勘测,确定安装施工数值,高压进线柜体、计量柜体、出线柜体等电柜体设备需要进行设备高度与宽度确认,货运通道高度与宽度的确认,确保设备能顺利搬运进场。
　　
　　2）针对低压设备,主要是变压器的进场比较困难,所有针对变压器的总体重量、安装位置、搬运距离等数据必须达到实物与图纸标注相一致。
　　
　　变压器与后侧低压出线柜体,电容电抗柜体,谐波治理柜体,低压联络柜体的配电房基础高度必须一致。设备总重量,产品资料内柜体长、宽、高的实际尺寸数据必须与图纸相一致,所有设备重要数据在施工图上有标注注明。确保图纸标注与设备实际尺寸相吻合,无偏差。
　　
　　确定接入高压电缆专线长度,落实高压柜体与10.5KV进线400V出线变压器、低压柜体等重要数据后。同步协调电力施工供应商,确认电力接入系统产品数据及图纸数据相一致,如图6和图7所示。
　　

    
　　同时要求电力供应商,需要预制配电柜体安装母线及母排。在高压柜体、变压器外框、低压柜体全部生产调试完成后,在供应商自己的设备调试车间进行每组设备的铜排联络拼柜安装,需要将所有的联络铜排在工厂裁剪、预制加工完成,再根据每一组电力柜体的尺寸,将所有铜排进行编号打包归类,确保在接收到业主发货安装通知时,防止遗漏任何配件。
　　
　　3）市电接入系统配置设备及安装材料的有计划预定制方式,成为定制数据中心的设备预先定制安装方式的重要施工步骤,能有效加快定制数据中心项目施工进度,减少项目仓储管理压力及管理风险。同时大大缩短了电力设备现场施工时间,也有效避免了电力系统在现场加工柜体连接铜排集成制作中,应材料供应不足、发货母排与安装现场不符等母排问题导致项目施工延后的弊端。
　　
　　本次项目电力合同施工工期为70天,要求在60天内完成电力柜体及变压器的现场交货。电力设备生产完成后,按项目要求与项目经理确认,再发货至项目现场制定安装位置。在10天内完成项目设备安装,完成安装后进行项目设备现场调试,调试完成后,同步项目总包现场项目经理及工程项目组,进行项目初验,初验合格后,进行成品保护。等待整个项目所有施工完成后,再进行项目总体调试验收。
　　
　　3.高效制冷系统项目要求及预制施工计划
　　
　　如图8所示就是空调系统布置图。首先将高效制冷系统的自然冷却风冷型水冷空调机组型号确认、再根据机组尺寸,加水运行后的机组总重量、机组的安装尺寸数据确定设备基础。针对循环水泵的设备数量、设备重量等数据确定,再确认安装基础位置上的防震抗震设计,在安装位置处,浇筑混凝土防震隔离板,按双重隔离设计,防震胶垫数据等所有安装参数等数值定。
　　
　　1）针对制冷系统精密空调末端的功率参数、安装数据等,确定精密空调安装位置的长宽高尺寸,每一台精密空调末端所连接的进出水管路管径尺寸,进水阀门、出水阀门、水温仪表等关键配置安装部件的数量。最后是针对整个高效制冷系统施工时间最长,施工最繁琐的冷冻水进出水循环管路的数据确认:冷冻水主水管管径尺寸长度距离数据、弯头数据、配置阀门数量、分组支管管径、分支数量、分支管路弯头数据、分支隔离阀数据等,所有管路数据在平面图上标注确认。采集所有管路阀门数据后,制冷系统供应商可以在材料工厂进行项目材料预制,再发货至项目施工进场组装。
　　
　　2）为保障高效制冷系统的安全性及可靠性,水循环系统的所有管路管材必须为热镀锌钢管。在项目预制完成后,必须进行热镀锌处理。如因施工图纸与实际现场偏差,导致的安装管路的切割加工,加工部件必须进行二次热镀锌处理。所有设备部件预制完成后,联系现场项目经理,在项目经理的现场协调及装饰系统满足施工条件的情况下,按项目进度进行项目设备、材料部件的发货及项目设备的现场组装。系统安装完成后需要针对循环管道进行12KG保压测试,满足24小时保压测试运行后,再进行管道清洗处理。
　　
　　3）在循环管路内部清洁完成后，进行精密末端的设备连接安装，末端安装完成后，按施工进度，进行单台设备的调试。待所有末端设备安装完成后，进行制冷系统整体调试，制冷系统调试完成后，同步项目总包项目经理及工程项目组，进行初验，初验合格后，进行成品保护，等待项目总体调试验收。
　　
　　本次项目要求施工单位在75天内完成项目施工,所有部件工厂预定制造,实现现场组装模式,缩短冷冻水管网施工工期。
　　
　　4.智能机柜系统的项目要求及施工计划安排
　　
　　智能机柜系统安装调试是整个数据中心建设的重要部分。机柜系统安装的是否标准,配置电源是否合理,是关系到客户服务器,安装调试及运行的关键。冷通道安装是否合理,是关系到机房整体运行时,服务器进风排风、空调末端出风回风等气流机构的关键。机房内部核心设备的正常运行,也是PUE能耗考核准确的主要依据。为保障整个项目能按客户规定的时间内完成,机柜系统的供货及安装调试时间为55天。具体计划如下:
　　
　　1）按客户确认的项目平面图,确认机柜布局、冷通道距离、热通道距离,机柜通道中每一列机柜数量与行间精密空调数量。
　　
　　2）按照客户要求确定的每一台机柜的PDU电源条插口的数量,PDU电源条安装在机柜后部右侧的位置。
　　
　　3）按客户要求确定核心超算设备的具体位置,安装核心超算设备的电源预留接口,冷冻水进水、回水管路的阀门预留。
　　
　　4）按客户要求确定机柜后侧,综合布线桥架的高度,桥架层数。每一层桥架之间的距离,每一个具体桥架下线口的位置。
　　
　　5）按客户要求确定冷通道内部LED照明的灯光颜色种类,分为白色正常运行灯光、蓝色背景灯光、粉红参观灯光,如图9所示。
　　
　　确定本次项目的智能机柜施工合同工期为55天,设备现场安装时间为,合同签订后的40日内设备到货开始安装,安装时间为10天,预留5天,进行精密空调的安装配合及其他施工配合。
　　
　　机柜系统所有安装材料,工厂预制方式,包括机柜、冷通道应急活动顶棚玻璃、恢复装置链路、安装龙骨、冷通道封闭门、通道内温湿度采集器、视频监控安装底座、机柜顶部走线通道模块等按需在供应商工厂预制完成,项目现场仅负责现场组装即可。
　　
　　智能机柜系统产品,在工厂生产完成后,及时联系项目现场项目经理,按项目进度发货安装,确保项目按最快进度执行。在机柜系统所有产品安装完成后,同步项目总包现场项目经理及工程项目组,进行项目初验,初验合格后。做好成品保护措施,预留项目负责人,协调其他项目子项产品,机柜内部设备安装施工及冷通道内部施工。同时等待项目总体调试验收。
　　
　　5.配电安装系统的项目要求及施工计划
　　
　　配电安装系统是数据中心建设的重要系统,项目的具体施工进度,引导着项目建设的整体进度,二级配电柜体的安装及设备运行电缆的连接是项目进度的根本。
　　
　　针对本次项目工期短,施工繁琐复杂,设备安装要求高的特性。进行配电项目施工进度分割,将配电安装系统内包含的二级分配配电柜、设备链接电力电缆进行合理分工。设备安装施工与电力电缆布放双向齐头并进,缩短施工周期。
　　
　　1）要求配电安装柜体长宽高尺寸与设计图纸一致,柜体外观色彩为黑色。
　　
　　2）要求UPS电源、精密空调、冷冻水泵、冷冻水主机等设备的主接入负荷开关,必须有预留,便于故障维护调整。
　　
　　3）要求核心机柜区域所有机柜配电的智能列头柜,由于机柜内径相符,列头柜安装在制定的列头机柜内,列头柜出线空开预留2路以上开关,进行检修维护配置冗余。
　　
　　项目施工时间70天,所有配电柜体、低压出线柜至UPS电源输入柜、精密空调进线柜等联络母线槽按图纸确认数据,进行工厂定制。母线槽安装支架、联络配件等同样需要工厂定制。
　　
　　在配电系统订货合同签订的40天内必须提交项目所需的第一批柜体,同时联系项目现场施工经理,按项目进度在70天内分批分次逐步到货安装。安装完成后,进行子项短路及接地检测,检测完成后进行主柜体至分柜体的分次供电测试。测试完成后,同步项目总包现场经理及工程项目组进行初验,初验合格后再配合其他子项施工,进行项目的测试供电,等待项目总体调试验收。
　　
　　6.智能气体消防系统的项目要求及施工计划
　　
　　智能气体消防系统,是避免数据中心火灾发生的保障。智能消防系统通过温感烟感、报警灯光装置、消防广播装置、极早期空气采集器、应急照明、安全指示、报警主机、火警紧急按钮、七氟丙烷气体钢瓶组、气体触发联络管网等材料设备,实现数据中心火灾自动灭火功能。
　　
　　本次项目要求消防系统施工合同工期为80天,根据项目设计平面图纸,针对消防系统所属的气体消防钢瓶间、有管网气体触发钢管走向、温感、烟感、报警灯光装置、消防广播装置、极早期空气采集器、应急照明、安全指示、报警主机、火警紧急按钮等位置进行图纸确认,明确安装位置、安装高度,协调装饰系统等。
　　
　　项目图纸报审必须在2周之内完成资料提交,在图纸报审过程中进行项目施工图纸深化工作。
　　
　　项目现场的手持干粉灭火器,消防安全指示牌、应急指示灯等施工安全配置物资,必须在签订项目合同后3天内,发货至项目施工现场并且放置安装完成
　　
　　项目配置的七氟丙烷气体钢瓶组必须在施工合同签订后的40天内发货至项目现场,在7天之内完成钢瓶组的现场组装工作。在项目施工过程中,及时配合装修装修工程及高效制冷系统工程施工,联系项目总包,进行施工用电及应急用电调配。项目施工中的所有管网气体钢管,必须在施工图纸上确认参数,同时在项目现场进行实地勘测,收集所需要数后,在工厂进行项目材料预制生产,安装吊杆支架为成品支架,有需要进行工厂预制生产。
　　
　　智能消防项目施工完成后，需要进行项目调试检测，同步总包现场项目经理及工程项目组进行关键参数确认。符合施工要求后，等待其他项目施工子项完工，再进行项目验收报验及项目总体施工验收。
　　
　　7.视频监控系统、智能门禁系统项目要求及施工计划
　　
　　视频监控系统与智能门禁系统,是保障数据中心安全运行及区域分割的重要系统。视频监控系统,能进行有效的人员管理。针对数据中心机房内部的操作人员,进行工作图像管理及监控。能够在发生意外时进行视频图像查询,有效进行人为故障及突发性故障的确认。门禁系统主要功能是分割数据中心运行区域,根据客户的业务不同及权限不同,进行数据中心通行权限制定。有效保护客户业务私密性及安全性。
　　
　　本次项目要求视频监控系统及智能门禁系统的施工合同工期为80天,合同签订7日内,完成项目施工保障视频监控的安装。有效管理,规范施工现场、施工人员及施工材料的安全。
　　
　　要求所有安装支架、及远程路面立杆等视频安装部件为工厂预制部件或成品部件。施工通信光缆及电力按设计图纸规定的桥架系统进行走线。
　　
　　所有门禁及视频监控的隐蔽工程施工,配合装饰系统同步完成。所有冷通道内部的监控设备,配合机柜系统安装调试。项目监控主机及管理平台必须在数据核心机房施工完成后,同步安装在规定的机柜位置,便于项目管理,同时要求监控数据及门禁数据的保存时间为90天以上。
　　
　　在监控设备及门禁主机安装完成后,同步总包现场项目经理及工程项目组进行视频监控及门禁系统的初步调试验收，验收合格后等待项目总体验收。
　　
　　8.UPS不间断电源系统的项目要求及施工计划
　　
　　UPS不间断电源系统是数据中心重要系统之一,能为我们数据中心的服务器设备提供安全、可靠的优质电力。在市电停电后,能够依据后备蓄电池组的容量,提供一段时间的用电保障。客户可以根据UPS电源所配置蓄电池组放电时间的数据,进行服务器设备的远程关机及数据保存。
　　
　　本次项目因业务需求及运行资费的综合考虑,仅仅12台核心机柜配置UPS不间断电源系统,其他所有机柜为市电运行机柜。
　　
　　本次项目要求后备UPS不间断电源的供货合同工期为60天,要求在60天内完成UPS电源及后备蓄电池组的安装调试工作。安装调试完成后,同步总包现场项目经理及工程项目组进行初验,初验合格后等待项目总体验收。
　　
　　9.DCIM综合管理系统的项目要求及施工计划
　　
　　DCIM综合管理系统，是数据中心智能管理的执行者。能有效进行数据中心全产品线设备管理，同时根据各个设备的运行状态、开机、关机、空开的开闭、温湿度的变化进行系统分析，在管理平台反馈给管理人员各类运行数据及异常告警数据。
　　
　　本次项目要求DCIM管理系统的施工合同工期为85天，项目进场时间为合同签订之日后的30天内。
　　
　　要求本次项目所有安装部件均为预制生产部件,安装位置严格参照设计图纸执行。
　　
　　涉及市电接入系统的开关量数据采集器安装,协调电力施工供应商。涉及制冷主机、循环泵、空调末端的开关量数据采集,协调制冷系统供应商。涉及冷通道温湿度传感器安装,协调智能机柜供应商。涉及二次配电总开关数据采集及空调末端配电屏,智能机柜列头柜等柜体数据采集,协调配电安装供应商。
　　
　　涉及信号传输及光纤联络等线路走线,严格按设计院设计的三层桥架走线。
　　
　　项目所需的所有采集设备及运行主机安装完成后，进行系统初调，调试合格后，同步项目总包现场项目经理及工程项目组进行项目初验。初验合格后，进行成品保护及链路整理，等待项目总体验收。
　　
　　10.后备柴油发电机组系统的项目要求
　　
　　本次项目为客户量化超算中心,核心数据运行时间较短,项目能有效进行远程管理,及运行数据异地管理。所以项目在与客户的确认中,因考虑双方项目投资及运行资费问题,本次项目不考虑后备柴油发电机组,在双路市电故障的情况下,客户可以在UPS电源配置后备蓄电池的逆变供电时间内,进行远程关机及数据切换,确保运行系统安全。
　　
　　通过以上案例分享,数据中心工程材料部件工厂预制生产,已经成为我们数据中心建设的趋势。工程材料部件预制能有效缩短项目现场施工的工期。同时保障了施工现场的干净整洁。同时降低了施工管理的成本及施工仓储的成本,减少总包现场的管理压力。促使每一家供应商,都成为项目建设的优秀专家。
　　
　　(连载完)
　　
　　作者简介
　　
　　李建栋,20多年的数据中心从业经验,精通整个数据中心架构原理,精通数据中心生命周期保障体系,针对高效数据中心的绿色节能、应急预案、故障处理、降噪环保等应用有资深独特的见解。
　　
　　多年一直致力于打造网银互联高效数据中心为目标,顺利完成网银互联MDC品牌的多个高效数据中心建设交付工作。
　　
　　社会职务:杭州网银互联科技股份有限公司工程部总经理,工程师,全国电源与新能源行业专家智库高级专家。
　　
　　　　
　　
　　编辑：Harris