中国储能网讯：演讲主题：“数说”数据中心

演讲嘉宾：杜秋（中国数据中心工作组专家技术委员会委员、万国数据高级副总裁、数据中心首席技术专家）

以下为演讲内容：

杜秋：各位专家，各位领导，大家下午好，我叫杜秋，来自万国数据，从99年到2000年进入到数据中心这个行业，做过运维、工程建设、设计以及全生命周期的过程管理，我今天演讲的题目叫“数说”数据中心，这里面有两个含义，一个是用数字说话，我把业界一直在争论的PUE以及建设运维的成本，还有今年有好几篇文章在谈论谷歌数据中心的建设成本，关于这些数字的定义，根据我真实了解的一些信息，给大家做一个分享。尽管近年来也经常站在这个台上，但确实还是有很多不自信，特别是站在比较大的台上，下面都是各位专家，可能我谈的一些感想或者数字有一些偏差，但我提出来作为抛砖引玉，大家可以交流。

我接下来从几个方面数说，数说用数字说话，数说也有一点啰嗦的意思，但不一定从头到尾把这个数字解析出来，我只是把一些统计的数字给大家做一个汇报。首先今年的11月5号数据中心运维ICT圈里面发表了一篇文章，这篇文章是以300个数据中心的样本来去作了一个发展现状的分析。可以看到，北、上、广三地是占数据中心的前三位，像其他浙江、四川、山东以及河南或者湖北这些地区，相对来说占7%到8%不等这样一个规模，这是第一个数据中心数量的比较。但是这个数量的比较可能跟规模有关，比如说投资额也是作为一项，但是在这里面投资额，比如它后来又用176个样本来作了分析，分了一个亿以上的单体造价或者3千万到1个亿之间的，以及3千万以下的，这个占比有45%或者20%几这样一个数字不等。在这些数据中心的分类中，又有来自三大运营商，可以看到三大运营商在这里面，电信占值会比较多，另外联通占了25%，电信占了36%，那么另外加上移动的5%左右，这是第一个分类。

第二“数说”一下数据中心的发展现状，在7月29号，中国通讯网的消息，有一个数据分析，这个数据分析就是把246个规划在建的大中型数据中心，然后已经在运行的大中型数据中心有37个，当然什么叫大型，什么叫中型，这个事实上业界尽管也经过了很多讨论，但并不是一个数字可以完全把它分裂开的。这上面我作了一个数据的统计与分析，比如规划在建的240多个数据中心里面，总共机柜数203万个，服务器的台数1300多万，总的配电容量是573万千瓦，从这样一个数据来看，我们可以看到每个机架的装机容量大概13台服务器，每台服务器事实上出厂大概400瓦到500瓦，平时运行了70%到75%的负荷的情况下，每台它的功率大概300瓦左右，13台接近3.6千瓦。看这个值应该来说，跟我们，或者我现在所掌握到的数据是比较吻合的。

246个样本里面，总的基础投资1300亿，这1300亿跟我们现在所统计出来的数据，比如单体数据中心的规模大概接近3万平米，数据中心4200个机柜，每一个机柜的造价12.6万，每一个数据中心的规模投资在5.2亿到5.3亿，每一个千瓦的IT造价3.4万，事实上这个跟我们目前行业内比较大型的数据中心的数据相对来说还是吻合的。但是在建成运行里面这个数据就跟上面的数据有了比较大的偏差，这个偏差怎么造成的，规划的是落实的在图纸上的，但建成运行的往往我们可以看到，我们规划的用量在实际中只达到了规划用量的50%左右。所以这就是我们在数据中心建设这个行当里面过度规划和夸大了这方面对故障的保障所造成投资的一些损失。如果说大家在这个行业里面从事的工作是时间比较长的话，事实上对这些数据还是有很多背后的一些原因，还是值得去探讨的。

在另一张表里面我们可以看到第二个含义，在规划的246个数据中心总投资1300亿，我们如果说按照满负荷运行的话每年的电费400亿，也就是说我有三年的电费就可以把数据中心基础投资赚回来。也就是说我们在日常运行中，如果我们的选址或者我们的设计能够节约一定的电量，为什么提倡绿色，事实上在这点上就有很大的体现，数据中心后期的用电运行，这个成本是非常重要的一个概念。

当然，由于不同的地区差异，它的电费单价也会不一样，比如我们万国数据分布在北上广深这样四个地区，实际上每个地区的电价政策，虽然都是一线城市，每个城市的电费价钱也不一样，比如大工业用电、商业用电，比如上海和江苏，有单一电价制，有分步计费制，在不同的运维等级下，或者不同的时段，对电费政策的掌握以及你运行策略的制定，都是对你的费用有重要影响的。上面的数字是供大家参考和研究的。

另外，在大型数据中心的建设方面，第三方的数据中心占到了35%以上的占比，这样对这个市场来说，第三方数据中心的发展潜力，远远比前些年要多的多。

第三个发展现状里面的对PUE的界定，大家经常在谈到PUE，事实上在每一个数字背后，大家统计的界面和计算方式都有很大的差异，从设计这个角度来看，在建的基本上大型数据中心在1.49，但是在用的往往到1.69，这两个值，这种差异，一个是设计年代的差异，可能是规模的差异。另外一个就是我们的设计跟我们日常使用出来的结果，还是有很大落差的。第二还可以看到，我们大型数据中心和中小型的数据中心，它的PUE运行也有一定差异，也就是说规模越大，你的规模效益会越明显，相对来说PUE会越低，这是目前对这块的统计。

第二大问题就是关于数说数据中心类型、规模以及规划的挑战与思考。这方面我会经常遇到，因为做过规划设计，也做过工程建设，根据公司对数据中心计划以及与你规划的方向，或者在你的容量选型规模定位市场定位，以及和报规报建的数字上面，对我们选址都是有比较大的参考意义的。

所以说，从我们目前来说，我接近17年、18年的数据中心这方面的经验，单体的建筑规模在1万8到2万5之间相对它的性价比会比较合理，这里面体现在你的外电的容量，以及与变压器、油机这种单体容量的选型和模块的定义。当然，在这里面有很多项的个性差异，比如我是对金融的还是对互联网的，那么它的密度是完全不一样的。在功能布局和各方面要求上也会有很大差异，比如金融客户，肯定是2N UPS，我们互联网就不一样，它提倡节能。

这对我的规划和设计提出了比较大的挑战，因为规划和市场定位的不同，直接决定了你在层重、层高以及外电容量这方面有重大差异，包含我的外电两路，这是肯定的，但我的容量选择，也许两万平米的数据中心我用于金融客户的话，我单路有1万到1万2就可以了。如果互联网客户的话就要2万单路。对于这两个值或者2万以上的这种值选择的时候，对你的电压等级就会有重大的差异。那么电压等级的差异，也就意味着你对选址周边的电源信息，甚至你的投资都有至关重要的影响。如果我涨落了很大的电力负荷，但我后期没有去按照预测的结果销售给互联网客户，也就预示着我的电有大幅度的剩余，这个对你投资至关重要的影响。所以这是一个综合性的平衡，这个平衡事实上在每家公司里面、每个从业者都会面临的一些挑战。

第三点“数说”几个数字以及合理性的思考。比如我们在外电选型，油气配比，变压器选型，柴发，UPS或者高压支流，以及冷机空调，在这样一个链条供能上面，我们对数据的选择往往有比较大的差异，有的人会把变压器的负荷率或者可用率选在0.8、0.9、0.95，从我的工作经验上，变压器的超载能力是非常强的，我们曾经在一个项目中，超负载连续运行8个小时没有引起不良反应，回过头来我们的UPS到底选多大，到底是0.93的效率还是多少，这是都是需要考虑不同负载特性下你的参数配比的。

我个人的观点，对于这种系统来说，每一类的设备，我们要找到它最大的可输出能力，但在整个环上，我们要选择它最小值，也就是说你的数据中心能够承担的最坏的一个影响。这个是我对这块的一些理解和思考。当然这些我们展开讲每一台、每一类设备的时候，都有这个设备的特别，都有很具体的数据内涵在里面，因为今天这个演讲只作抛砖引玉，不会把数字展开给大家作更细的汇报，所以这是我的一些思考。如果大家有这方面的爱好，我们可以私下交流对于不同设备类型或者不同项目中设备的参数选型或者选择，以及匹配的经验，大家可以做更深的交流。

第四个“数说”成本。建设成本事实上是众说纷纭，不同的行业，不同的人，不同的企业，不同的项目，它的建设成本就有很大的差异。比如谷歌数据中心的成本模型分析，这个在业界里面，近几个月传递非常广，分上下两行，我对这文章是反反复复把它的数据进行了一些研读，我把这个内容做了一个表，我们看到中小型数据中心以及大型互联网的数据中心，它的建筑造价，用人民币方式折合的话，单体规模越大，相对来说造价越便宜，但分析它的一个造价，我们可以看到，每瓦IT造价约合人民币52到65人民币，同比我们在数据中心，我经历过的或者是我的样本里面，我抽取了比较有代表性的12个数据中心，我们的建设成本在35，这方面来说比国外的数据中心要低了很多。当然了，因为建设的规模不一样，比如有2万平米的也有3万平米的，也有9千、1万平米的这样一个建筑规模，它的造价单价上还是有很大差异的。我这上面只是总结了一个数据范围，如果说大家有兴趣的话我们回头再去做更深层次的交流。目前从我们的项目来看，整个设计PUE大概在1.45到1.5之间。

这个上面我们可以看到项目的投资分项占比，每瓦造价在35元人民币左右，但是对于一个项目中，我们包含了几块，我把几大块内容分了一下，第一个是土建以及外电，但每个项目的土建和外电，由于地区不同或者原来的建筑形态不同，它的成本会有比较大的差异。甚至在一个项目中的占比由13%到22%这样的一个跨度，平均下来，基本上就在18%左右，因为我这个数据拷过来的时候，版本有一些变化，有些数据已经消失掉了。这是第一项。

第二项内容就是我们的设备，设备包含了UPS变压器，UPS电池等等这些内容，平均占比44%，范围40%到47%之间，不同的项目之间有差异。另外一部分就是工程，工程造价这块就是我们所谓安装、组材这块的占比大概在35%到43%这样一个范围，但是在这里面，每一项内容中，它又有不同的一个单项的占比，那么也许这些数字，我们在座的没经过工程建设和考核的话，可能对这些数字的印象并不是很深，但是如果经过工程建设的人，对这些数字应该来说是会有比较深的一些理解的。

下一个“数说”里面就是运行成本的问题，我们把国内外的两篇文章以及我们所接触到的一些数据作了一个比较，从服务器这块，因为作为我们数据中心建设的话，往往这是客户的一些设备，不在这里面作过多阐述。但是服务器我们可以有一个充分的概念，比如说服务器用7千美元一台，这个国内跟国外的价格不会有什么太大的差异，但是按照摩尔定律的话，每18到24个月，数据计算能力要提升1倍。在这种情况下，事实上我们的服务器设备基本上每3到4年也要更新一次，基本上就在4年。所以说在12年或者到15年一个数据中心的生命周期里面，服务器要更迭3到4次。这个虽然是计算能力上升，但是这块的成本并没有增加，国内外也没有什么大的差异，这里面就略掉。

第二就是基础设施投资的问题，刚才说了谷歌所公布的数据，跟我们这块的占比一个是63和35的比值。但是在这上面另一个比较大的差异，就是国外数据中心的电费，谷歌那篇文章上面是说2到8美分，相应来说的话我们把它折算一下，我们国内的电费平均，与他们的平均，基本上国内电费的单价是国外的2倍以上。

第三内容就是人工与运维成本的差异，可以看到国外的人工很值钱，它几乎是我们国内成本的5倍。另外就是设备的维护费。设备维护费，事实上不同的数据中心或者不同厂家，对这种设备采购过程中所约定的后期维护的内容也都不一样，所以在这里面可比性并不是很大。但是大部分能够公认的就是每年的设备维护费是设备总投资的5%左右。

第五个“数说”是PUE，这可能是业界一直争论很大的就是有PUE统计口径的问题，我把我所经历过的各个数据中心的一些内容作了一些比较，有华北的、华东的、华南的，大家可以看到我们在这五个数据中心里面，都是T3+的等级。这里面有互联网的，也有金融互联网混用的，也有单一客户的和不同客户混装的。可以看到我们PUE的跨度范围非常大，这是4月的统计数据，事实上这个不是4月的，应该是5月份的一个数字，华东的三个项目虽然等级都一样，但由于负荷率的、负载率的不一样，造成PUE差异非常大，所以在数据中心运行中，往往我们的PUE是多少，往往是跟你的使用负荷有关，这是第一个。在华东区域，70%的数据中心里面，也无非是只做到了1.4左右，PUE为运维管理的水平，以及与设计系统的时候，以及整个布局状况，都有很大的关联。所以我们设计基本上是决定了先天性的一些内容。同比在华东地区，由于负荷率的不同也会产生很大的差异。

另外一点，我在这里面想提醒大家关注的一项内容就是今天上午也讲到的关于水的问题，WUE，我们数据中心早期并没有对水做过多的考量和监测，但事实上一个一万千瓦的数据中心，一天的用水量要达到600吨、400吨，这样的一个状况下，让我们的数据中心可靠性，一个是安全上取决于水，第二对水资源的一些影响和破坏是需要我们在后期的数据中心设计和运行中需要充分考虑的。

PUE第二项，这跟它的统计方式有关，我们线缆损耗是一个不可忽视的因素，我去年对这个数据进行优化和分析的时候，在我们的数据中心中也进行了一些更细的监测，比如我把一个变压器的输入输出，以及与变压器输出端到下一个用电测所监测到的数据的差，把这段线缆上的消耗都作为一个动态的及时的统计，这方面我们事实上在日常中，往往被忽略的线损这一项内容，在PUE的统计中占比还非常大。也就是说给我们的设计提了一个醒，当你的设计，你的布局，高低压的变压器以及UPS跟后端用电设备的布局不同，你的数据中心的能耗的消耗也会差异很大。

所以，我们对冷机的效率，冷冻的效率，冷塔的以及与相关的管道传输、线缆传输这方面的损耗放在一起能够更细化进行比较的时候，事实上我们想着用数据中心的这种节能来去比较，数据中心的节能不是一朝一夕的事情，它是一个空间系统的东西，别指望我用一个技术、一个方案就可以把数据中心的能耗降下来。所以我分析完之后，对于不同的数据中心来说，1.3到2.2这样的PUE区间都很正常，跟你的运行管理有很大关系。

第六个“数说”，SLA有多少个“9”，这些东西到底怎么来的，这就是一个概率统计的问题。我们如果说把一台设备的平均与故障时间作12小时来去计的话，也就是说它的失效率，可用率的导数就是作为它的失效率，12小时这台设备不会出问题，它的可用率就是5个“9”，倒过来就是它的失效率。这是单台设备，为了提高它的可用率和可靠性的时候，把它并机所产生的计算公式，这事实上是多少个9的由来。但往往我们在数据中心应用中，大家可以看到，是不是系统并联的越大，冗余度越大，你的安全性、可靠性越高，它并不是一个线性的东西，我们在日常运行过程中，往往引起并联的故障非常多。事实上我们把并联所产生的冗余理论化了，而在实际的运行中，理论是对的，误区是在实际运用中忽略了并联引起的串联因素，你设备并联的越多，但设备内部、设备与设备之间，包括它的控制线、数据线这些内容都是影响到你的安全性、可靠性的因素之一。

所以说，对于数据中心这块的并机数量或者并机方式的问题，这个是值得大家去探讨的。那么在业界里面，经常会遇到这样或者那样大的事故，业界里面可能很多猜测，有人说是运维的失误或者有人说是设备的老化，这些内容实际上众说纷纭，猜测很多。但我分析了我所能掌握的，比如原来我在运营商，在电信做了十年，万国数据做了三年，在不同阶段掌握的事故数据样本中，往往跟我们的并机控制有很大的关联。所以今天我们不展开来谈每一项的内容。

由于时间限制，前面这些数据可能是有点啰嗦，杂乱无章的谈了很多数据，实际上每一个数据背后都有很多的故事和关联，欢迎大家事后或者会后用其他方式咱们私聊相关的一些数据。

记得在4月份的时候，在同样的一个讲台上，我提出了一个说不尽的“外电之殇与油机之痛”，也得到了大家的一些反馈。这实际永远是一个痛，包括对投资的问题，发电机的投资以及与外电的投资，在数据中心的占比是非常大，但我们实际的使用没有达到我们设计的初衷的，事实上我们可能实际的使用只有我们设计容量的，真的只有40%到50%。所以说这个我还是再次倡议，请业界能够对这个问题去认识、去讨论，提升我们安全的同时，能够降低一些成本。

第二个问题，我经历了很多的故障，是跟我们的系统并机所关联起来的，这是我今天倡议的第二个议题，谈UPS及柴发并机的问题及思考。时间原因，我不把这块进行展开，下次有机会做一些其他方面的一些交流，谢谢大家。

（以上文字部分来自于会场速记，如有纰漏敬请指正）