详情
思科资深技术专家通过与数据中心设计师的访谈，揭示了数据中心决策要点，并说明了如何建设数据中心以及如何面对其他挑战，其中包含了思科，易趣，脸谱，雅虎等著名企业在不同环境下的的数据中心实践案例。思科资深技术专家通过与数据中心设计师的访谈，揭示了数据中心决策要点，并说明了如何建设数据中心以及如何面对其他挑战，其中包含了思科，易趣，脸谱，雅虎等著名企业在不同环境下的的数据中心实践案例。
书名：大数据云计算时代 数据中心经典案例赏析
ISBN：978-7-115-33218-9
本书由人民邮电出版社发行数字版。版权所有，侵权必究。
您购买的人民邮电出版社电子书仅供您个人使用，未经授权，不得以任何方式复制和传播本书内容。
我们愿意相信读者具有这样的良知和觉悟，与我们共同保护知识产权。
如果购买者有侵权行为，我们可能对该用户实施包括但不限于关闭该帐号等维权措施，并可能追究法律责任。
• 著 [美]Douglas Alger
译 曾少宁 于 佳
责任编辑 赵 轩
• 人民邮电出版社出版发行 北京市丰台区成寿寺路11号
邮编 100164 电子邮件 315@ptpress.com.cn
• 读者服务热线：(010)81055410
反盗版热线：(010)81055315
Authorized translation from the English language edition, entitled The Art of the Data Center: A Look Inside the World's Most Innovative and Compelling Computing Environments, 9781587142963, Douglas Alger, published by Pearson Education, Copyright © 2012 Pearson Education, Inc.
All rights reserved. No part of this book may be reproduced or transmitted in any form or by any means, electronic or mechanical, including photocopying, recording or by any information storage retrieval system, without permission from Pearson Education, Inc.
CHINESE SIMPLIFIED language edition published by PEARSON EDUCATION ASIA LTD., and POSTS & TELECOM PRESS Copyright © 2013.
本书封面贴有Pearson Education (培生教育出版集团) 激光防伪标签。无标签者不得销售。
欢迎来到互联网的动力中心。
数据中心拥有许多复杂的计算设备、大型空调和复杂的电力系统，它们是互联网的动力所在，能够提高生产力并驱动全球经济发展。它们总是处于技术最前沿——采用超现代技术的机房支持千万亿次处理和百万瓦特的电力容量。
15年前我开始从事数据中心的工作，先是负责采购设备和盘点硬件，最后是为思科设计和管理各种专业的计算环境。这些年来，我还造访过上百个其他的数据中心，在条件允许的情况下拜访它们的设计者和管理者，并与他们交流。数据中心的人员都尽可能地将相同的物理设备放在地面上，而我总是很好奇，希望了解人们所实现的高明（或可能并不高明）的解决方案。
编写本书的想法源于我在2009年编写的另一本书《思科绿色数据中心建设与管理》。我当时写到了地热制冷技术，并且希望提供一些建造地下数据中心的示例，最后发现了Bahnhof公司在斯德哥尔摩的主机托管设备。该设备以前放置在一个核试验坑中，许多技术网站将其称为“James Bond似的数据中心”，这是因为它有一些独特的特性，如人造瀑布和耸立在其数据大厅的玻璃幕墙会议室。我很喜欢这种类似电影中的建筑，比如引人注目的灯光和人造烟雾，我希望能更加了解此建筑。
为什么他们要将数据中心建得像电影大片里的总部大楼一样宏伟呢？这些建筑需要耗费多少资金？他们又如何将备用发电机安装在地下？等一下，数据中心里是不是还有一个鱼缸？
所有这些方面都与本书所介绍的绿色数据中心设计无关，因此在本书中并没有介绍它们。但是，这个概念已经深深印在我的脑海里。寻找最引人注目的数据中心，探讨它们的创新之处，然后请教建设这些数据中心的人，分享他们的见解和学到的经验教训。
几年之后我实现了这一目标。本书的第3章介绍Bahnhof公司的数据中心，另外还介绍了17个具有独特特性和采用开创性技术的服务器机房。
虽然IT、设备和数据中心的专业人员非常熟悉本书所介绍的内容，但是本书并不要求读者具有这些领域的从业背景。您不需要是旧金山金门大桥的土木工程师，也不需要是向往这些先进设备的数据中心人员；只要您喜爱架构、可持续设计和计算环境或技术，本书就适合您阅读。
多位数据中心专家无私地为本书的撰写提供了内容和帮助。感谢英特尔的Don Atwood、巴塞罗那超级计算中心的Sergi Girona、Bahnhof的Jon Karlung、花旗集团的John Killey和Jerry Walsh、思科公司的John Manville、Green House Data的Shawn Mills、IBM公司的Chris Molloy、AISO公司的Phil Nail、eBay公司的Dean Nelson、雅虎公司的Christina Page、Nick Holt、Paul Bonaro和Bob Lyte、IO公司的George Slessman、数字房地产信托公司的Jim Smith、Terremark公司的Ben Stewart，以及ACT公司的Tom Struve和Lon Andersen。
同样要感谢他们的同事和助理，他们帮忙安排访谈日程、提供图片和介绍各个数据中心配置的详细基础架构信息，以及非常耐心地回复我的提问邮件。这些人员包括Terremark公司的Xavier Gonzales、ACT公司的Scott Gomer、Nancy Owen和Steve Kayser、巴塞罗那超级计算中心的Sara Ibanez Lecinena和Renata Gimenez Binder、The OutCast Agency的Alex Kirschner、IO的Elizabeth Kubycheck、Lourdes Pagan和Lisa Krueger、eBay公司的Mike Lewis和Monica Penrose、IBM公司的Bruce McConnel和Todd Traver、雪城大学的Tina O’Mara和June Szymanski、数字房地产信托公司的Rich Miller和Lauren Williams、英特尔公司的Kristine Raabe、Neumann Monson Architects的Denise Schmitz、花旗集团的Janis Tarter、KJWW工程咨询公司的Amy Thon、Bahnhof公司的Kristian Thorin和Voce Communications的Dyani Vanderhorst。
| 公司：ACT公司 |
| 位置：爱荷华州爱荷华市 |
| 上线时间：2008年3月 |
| 显著特征：闭环地热制冷、HVAC干式冷却器、抗龙卷风结构、冷热通道；与5英里（8km）外第二个数据中心进行主动/主动配置，连接ACT公司自己已铺设的光纤；通过LEED（能源与环境设计先锋，Leadership in Energg and Environmental Desing）白金级认证 |
| 从设计到建成用时：13个月 |
| 规模：共计6700平方英尺（622.5m2），其中4000平方英尺（371.6m2）为主机空间 |
| 电力：9MW双供电；可供IT使用的容量为270kW |
| TIER等级：三级 |
| 机柜数量：150个 |
| 功率密度：平均每个机柜6 kW，最大11 kW |
| 基础设施交付：机柜上的结构化布线；电缆管道和冷却系统都在36英寸（91.4cm）深的高架地板下交付 |
| 结构负载：每平方英尺300磅（1464.7kg/m2） |
| 灭火系统：双套预防湿式喷水灭火系统，FM200气体灭火剂。VESDA检测系统 |
雇用测试机构来实现最高级别的数据中心。
图1-1 位于爱荷华市的ACT数据中心是美国第一个通过LEED白金级认证的数据中心（图片由Neumann Monson Architects提供）
ACT公司是一家非盈利机构，它最引以为荣的是以其公司名称命名的大学入学考试。另外，ACT公司位于美国爱荷华市总部的数据中心赢得了美国绿色建筑委员会绿色建筑评估体系的第一名。这是美国第一个获得LEED白金级认证的数据中心，也是爱荷华市第一个荣获此殊荣的建筑。
该公司之所以取得如此高的成绩，是因为其数据中心使用了大量可再生或可回收的材料，包括山杨纤维天花板、软木地板、棉绝缘墙，甚至二手的高架地板系统。
额外的得分来自服务器环境的冷却方式。该中心采用的地热场由垂直钻孔和装有冷却剂的闭环地下管道系统组成，系统利用地下较低的温度进行热交换。同时，还使用地上干式冷却器，作为地热解决方案的冗余措施。这样，当外部温度足够低时，就可以用外部空气协助冷却数据中心。
除了绿色特性之外，ACT数据中心的设计还可以抵御时速高达250mph（402.3km/h）的龙卷风以及大风吹来的冲击物，并能够与5英里（8km）之外的第二个数据中心协同运作。
Central Services的副总裁助理Tom Struve和Information Technology的副总裁Lon Andersen一起探讨如何优化他们的工具，并研究了项目的一些细节，以让他们的数据中心超越预期效果。
Tom：我们认识到，需要建立第二个数据中心，确保为ACT公司和客户提供不间断的技术服务。这在系统冗余和弹性方面发挥了重要作用。与所有机构一样，技术是ACT的一个巨大且不可分割的组成部分。与其他现代机构一样，我们必须拥有扎实稳定的基础设施，才能够不间断地对内部和外部提供这些服务。
Lon：最初的思考过程是，由于通过技术进行交付对ACT至关重要，因此ACT及其董事会真正认识到我们在灾难恢复的设备与方法需要有重大举措。因此，我认为沿着这一主题进行下去，您会看到行业趋势已偏离传统的灾难恢复，我们现在的计划是从“我已经将数据放在某处，如何构建其他服务器，如何恢复”转移到主动/主动场景。根据Tom的观点，即使一个领先的数据中心可能会出现性能下降问题，但服务不会终止。
因此，从它们在哪里的概念到我们在哪里的概念上讲，跨越两个数据中心的建设工作就是如何让主动/主动模式变成在不同的地点之间共享工作负载。
Tom：当我们将对这一工作的愿景和计划汇集在一起时，早期的决策之一在于我们是否要利用传统的灾难恢复方法确定地点位置？从灾难恢复的角度讲，我们要采用哪种做法？在整个过程中，我们考察了传统做法的替代方案，考虑了成本方面的因素。简单地说，考虑到各方面因素，我们认为对我们来说最佳的整体模型是建立一个主动/主动模式，并且让两个数据中心相距5英里（8km）。一些从事灾难恢复的人对此不以为然：“伙计，两个数据中心之间的距离应该是25英里（40.2km），并且应该位于不同区域，以避免地震和电网问题等。”问题是您愿意分开多远？
LEED认证
能源与环境设计先锋（Leadership in Energy and Environmental Design，LEED）是绿色建筑的设计、建造和运营的一套评级系统。根据六类评价指标：可持续场地、节水、能源和大气、材料和资源、室内环境质量、创新和设计，建筑可以获得认证级、白银级、黄金级和白金级四个级别认证。
我们的选择是，在同一城市的两个独立建筑中建设数据中心。其中一个驱动因素是我们能与爱荷华市政府协商，在两个地点之间安装我们自己的光纤。然后开始进入实际运作，一切从了解全局开始，从运营和灾难恢复的角度综合考虑，通过暗光纤进行传输。
另外，很明显的是，要实现主动/主动配置，不一定必须要去外地、中断工作、随身携带数据，然后将通信重新路由到它。所有操作都是无缝的。如果从灾难恢复的角度考虑，让员工在不同的地点之间来回折腾是相当繁重的任务，这是一个方面。从日常运营角度来看，我们确实可以在距离爱荷华市25英里（40.2km）的位置建立数据中心。但是，仅仅日常运营就会给Lon的人员带来巨大影响。我们不是一家大型全球性企业，没有成百上千的IT人员可用。综合考虑所有这些因素，并且从IT和成本的角度来看，直接光纤连接的成本非常高。即使带宽成本正在下降，但需要的带宽通信成本仍然非常高。
Lon：从技术角度看，突破了暗光纤的限制之后，就会出现大量的可能性。实际上，当我浏览不同高管对未来技术的报告（IBM正好有这样一份报告，报告围绕其存储技术展开，并开始讨论复制技术）时，发现他们总是要备份、停止、重新梳理他们的思维过程，因为他们还不适应拥有此类暗光纤和带宽的公司。
实际上，对我们来说，它看起来就像一个数据中心，机器都放置在同一层。对工程师来说，从开始构想到设计出具体的方案，并将各方面因素整合在一起，将变得更简单。
图1-2 位于爱荷华市的ACT数据中心具有Tier III基础设施，并且它连接到5英里（8km）之外的另一个ACT数据中心(图片由Neumann Monson Architects提供)
Tom：在设定项目目标时，我们决定要达到Tier III标准。但是，我们还提到这里会刮龙卷风，因此还要接受龙卷风考验。工程师迅速指出FEMA使用的术语是“近乎绝对的保护”。
在我们这里，地震带不是问题。从地理位置和隔离的角度看，在发电区之外，龙卷风真的可能是我们最大的风险或最大的风险之一。因此，我们要设计成“近乎绝对的龙卷风保护”，以降低此风险。
Tom：此数据中心的等级是Tier III，另一个数据中心的等级是Tier I。
Tom：是的。从历史发展的角度来看，ACT已经从外包发展到可以极为迅速地处理自己的大量数据。从整体上看，我们的技术基础设施有一个大型项目，一切都要升级，而这个项目只不过是其中的一个要素而已。
Tom：我毫不犹豫地选择了Tier III。说起来简单，但考虑到我们的总体构想、我们所处的位置以及我们对未来的看法，我们必须拥有灵活的基础架构，而这个项目只是其中的一部分。
在做前期设计之类的初始工作时，LEED方面的内容就体现出来了。我们的流程是：我们有一个董事会。我们需要确保董事会批准此类性质的项目，因此我必须至少整理出一个基本大纲，估算出一个预算数字，并在我们认真对待这个项目之前获得董事会的批准。组建团队之后，我们决定进行项目设计/构建，如果项目被批准，就采用这一模型。
我们当然知道LEED。项目的架构师/工程师有LEED背景，我们一起讨论过它。坦白地讲，在初始阶段我们说过：“数据中心和LEED无因果关系，不一定要按照LEED来做。”我们确实认识到并思考过我们应该遵循此类设计框架，但当时我们并没有建立这样高等级的LEED目标。
我们有一个非常积极进取的董事会，将方案提交给董事会之后，他们说：“LEED，太好了！如果我们必须这样做，则应该设定一个远大的目标，让此项目获得高等级的LEED认证。”得到董事会的认可是件大好事，方便我们开始此项目。另一方面，我们和团队一起坐下来：“兄弟们……他们已经为我们设定了目标。”
您谈到了项目的一个挑战。首先，让董事会感到震惊，实现他们以为不可能实现的目标。回到董事会批准此项目的时候，我们发现了四个获得LEED白银级认证的数据中心，但实际上大多数都位于更大的建筑内，与一个数据中心项目相比，这样可以更轻松地获得LEED认证，至少当时我们是这样想的。
这个目标让我们真正行动起来。我们很快就超越了这一目标，这给我们带来了巨大的激励。幸运的是，团队中的每个人都认为“这还没完，这是一个挑战”。这个项目从此就这样开始了。
Tom：实际上我们的情况不是这样。谈到这点，我们的想法是创建一个非常实用的数据中心项目。我们制定了一个节俭的预算，并将此预算作为设计要素的整体指导基础。
实例增加了LEED框架中项目的成本，每个实例都为项目增加了价值。这是否增加了成本呢？是的，确实增加了成本，但并不明显。此外，这些成本还让我们获得了白金级认证。
Tom：实际上主要归功于我们对细节的关注。一方面，当您走进建筑时，会看到许多意想不到的东西，您会认为“这是一些特殊的建筑”。而在某些方面，它的美就在于它是个数据中心。首先，也是最重要的一点，我们必须达到Tier III标准，它必须是稳固的。我们采用的思路是：从IT运营角度看，它是一个可持续设计。但是，我们还在LEED的环境可持续设计和构建过程中进行了设计。
回答您的问题，真正让我们脱疑而出的一件事是，在数据中心内采用了地热。以前不仅没在数据中心项目中采用过地热，甚至没人考虑过地热是否可以在数据中心项目中使用。因为我们都知道，数据中心要不断地排热，地热场很快就会饱和，从而无法发挥作用。因此地热通常不在考虑范围之内。
我必须赞扬我们的团队成员和KJWW工程公司，他们提出了很多有关地热和其他创新技术的想法。在接受董事会审查之前，我们已经确定地热是我们有兴趣尝试的东西，而KJWW也一直在寻找在数据中心内应用地热的机会。关于如何让地热发挥作用，他们有一些想法。这可能是我们的特色之一。
其他特点可以列出一个很长的清单。例如，在新数据中心项目中采用可再生材料。这个要求有点像“你们到底要怎么做呢？”，并且你们还想实现Tier III级别。
对我来说，浏览此清单时的感觉就像是“哦，原来是这样的”，因此，我们回收利用了前一个项目的地板系统。将使用可再生材料作为要求时，接下来就是如何才能在数据中心项目中使用它们了？我们使用了山杨纤维天花板，并用软木地板和保温棉代替了玻璃纤维。还有其他类似的情况。但是，当您走进建筑时，您并不会看到这些东西，因为您不会注意到它们。“嗯，这是天花板；那是高架地板系统，看起来和别的数据中心完全一样。”没错，确实如此。但是，如果您深挖细节，就会询问“这些材料是从哪里弄来的啊”！
我们面临的其他一些挑战或机遇有：LEED框架要求用日光提供员工办公区的照明。而我们这里是一个数据中心项目，需要能够抵抗龙卷风，并要求考虑所有常规安全问题以及所有此类事情。因此，这是一个很有意思的挑战。结果还是一样，走进建筑时，您不会注意到在建筑物的外壳上有一个幕墙，但是我们确实建立了一个独立的内部容器，这实际上是此建筑物抵御龙卷风的部位。
在我们设计采用抗龙卷风玻璃时，至少在当时还是没有的——我确信可能有防弹材料，但我们的预算有限，因此采用了这一设计，这并不是妥协，而是一种设计解决方案。
关于这点我要说，如果您建的不是LEED建筑，那么用水泥外墙就足够了。为了这个幕墙，我们为项目额外投入了一些资金，不是很多。但是，这点投入确实增加了价值。当您走进建筑、员工的实验室和会议区域时，有阳光从窗户照进来，并且能够从窗户看到外面的风景。这些元素都是设计的一部分。
在场地等方面，我们修复了不可灌溉的天然覆盖草皮等。您会觉得它们看起来很怪、非常特殊吗？真的不会。
细节决定一切，但同时也不能忽略总体构想。对我们来说，必须实现这一双重目标。
图1-3 抗龙卷风玻璃允许阳光照到建筑物中人员正常活动的区域（图片由Neumann Monson Architects提供）
Tom：这可能取决于两件事。一是我们使用了干式冷却器，二是冬季的免费制冷让大量冷空气循环起来抗热。我们采取了一定比例，并通过地热场的循环实现更新。这是最重要的。
然后，钻孔之间的距离不同，可以容纳更多热量，持续的时间更长，从而可以避免我们在运营时热量的饱和。
同其他许多情况一样，看到答案后，事情就显得非常简单。许多时候，简单而优雅的解决方案通常是最好的，而且确实有效。
Tom：我们的温度在72华氏度（22.2℃），湿度在50%。
我们目前没这样做（采用更高温度）。我们认识到，有一些类似的额外优化和措施，可以轻松地将它们落实到位，我们还没有到需要它们的时候。我们会对温度进行抽查，但我们并没有必不可少的机架传感器及此类设备。
Tom：在数据中心或Tier III之间进行取舍或权衡？不，我们不需要。当然我们面临大量的选择和决定，必须关注其中的平衡。我们希望保留绿色框架，同时又不能忽略Tier III。
例如，LEED建筑通常会有一个绿色的屋顶。我们讨论过这个屋顶，而且本来也应该这样做。要真正实现一个出色的可持续的绿色屋顶，我们认为需要在屋顶和一些不同的建筑结构之间取得平衡。我们考察了各种选项，发现不必采用能源之星的屋顶系统，也能保持在LEED的精神和框架之内。就抗龙卷风结构而言，我们有一个常规的屋顶，在屋顶上覆盖了两英寸（大约5cm）的混凝土板，在混凝土板上又加了单层膜，这样它也达到了能源之星评级的标准。
就像您所说的，我们确实提供了淋浴设施，以及其他类似的各种设施。这些设施并没有牺牲整个建筑的功能。
Doug，这个问题很好，它切中要害。正如您知道的那样，LEED正在不断地发展和完善，据我所知，他们已经在制定数据中心的标准。我个人认为这很有意义。
当然，在那个时间点上采用LEED框架并且在数据中心中应用它确实是相当大的挑战。我想随着此框架的发展，它会变得更好。我不知道那个时候您是不是会说使用这个框架更简单。这很有趣，不出几年时间就可以看到。
在做这件事时，从所有可用和通过验证的材料来看，所有不同来源的建筑材料（从钢材料到混凝土材料以及所有类似的材料）都有可循环利用的内容。不说多年以后，仅说今天，采用这些材料的难度就超出了我的想象。重点是，一方面我认为这个框架会不断发展，变得更具体（我认为它需要变得更具体）。与此同时，从数据中心的角度看，这个框架会变得更加严格。另一方面，现在出现了很多可供使用的材料和技术。
Tom：我们是外购的。
Tom：当时正值互联网泡沫破灭不久，在公开市场上还有许多材料，因此有渠道可以买到旧家具、旧的高架地板以及其他类似的东西。
我们的做法是，指定新的表面材料并在旧家具上使用这些新的表面材料。因此，从外观上看，地板材料是新的。它看起来是新的，但主体并不是表面上这些，而是地砖的实际结构部分。
图1-4 结构化布线通过高架通道。电缆和空调则安置在高架地板下（图片由Neumann Monson Architects提供）
Tom：我们确实考虑过其他一些思路。但是，全方位考虑之后，我们仍然觉得这种设计最适合我们。谈到我们学到的经验教训，其中之一就是全面地研究现有的各种最佳做法，对于它们是什么、在哪里使用最合适、在哪里可能需要重新设计等问题拥有良好的理解和自己的判断。其中有一些东西，既符合我们的口味，也最能满足我们当前和长远的需求。
我参观过一些没有高架地板系统的数据中心，我们认为，从制冷效率值和成本的角度看，带有回风静压箱的高架地板系统的成本价值和成本效率最优。
对我来说，可能是我的一个误解，在我们参观和了解的数据中心中，不带高架地板系统的主要因素是成本。它们确实能够很好地实现制冷和建筑的布线，但我却认为这样做实际上是很大的妥协，毕竟从整体上讲，它并没有将各方面的最优价值通盘考虑在内。
Tom：我们真的方方面面都做到了，当然包括墙体的设计和屋顶的设计。门也需要（以某种方式）设计。它们确实有针对龙卷风的认证评分标准和FEMA合规要求等。因此，正如我们所谈到的，仅看实际方面，所有这些要素并不一定要达到抗龙卷风的级别，但是，确保建筑持续运营与保持建筑屹立不倒又有不同。在这一方面，从HVAC（采暖、通风、空调）的角度看，尤其是这个建筑既有抗龙卷风的结构，又有我们刚刚谈到窗户等其他部分，HVAC系统必须分为两个高压容器，这样当龙卷风真的来袭时，数据中心部分能得到保护。我们通过自动控制和传感器来实现这一点，或者是，如果我们位于警示区则可以远程实现这一点，或者在数据中心时将它置于此模式下。
然后，我们将发电机安置在建筑物内部。这样做的唯一理由是，在发生龙卷风之类的事故时能够保护发电机。从防止破坏的角度讲，这样做也很好，但确实是为了防止龙卷风之类的事故才这样做的。此外，当龙卷风来袭时，建筑物可能会屹立不倒，但建筑物的电力供给很有可能会中断，所以我们需要有自己的发电机来保持运作，因此将发电机安装在建筑物内。于是您就会遇到一个很明显的问题，您需要给发电机所在的空间提供大量空气，这样做主要是因为制冷和发电本身的空气消耗。此外，在空气的进出口上，还会有结构性的屏障。描述它的最好方式是：一排钢管将抵御龙卷风或其他任何东西渗透进来破坏发电机。
图1-5 ACT将数据中心的独立发电机安置在建筑物内部，以保护发电机免受龙卷风损害(图片由Neumann Monson Architects提供)
Tom：花些时间把工作拆分开是很好的。工作时要全身心地投入。从某些方面讲，根本没什么重大挑战。实际就是将整个工作进行拆分，然后找出解决方案，对照LEED框架，确定我们可以采用的解决方案。
让我们惊喜的是，最终在LEED设计和实现Tier III标准之间产生的协同效应。例如，地热就是一种非常好的协同效应，它具备能效等方面的好处。在我们的本地气候中，地热场在夏季时能效最佳。然后我们又用了干式冷却器，放在HVAC天井内，提供“免费制冷”。它需要的是正常运行的泵，在冬季我们将它们作为主要的排热源。此外，作为Tier III标准的一部分，在数据中心内您还拥有N+1的CRAC（机房空调）冗余单元，当然我们在系统的其他方面也希望拥有冗余和保护。
有一件事一直困扰着我，当我走进这些数据中心时，所有冷凝装置都在外面，要么在屋顶，要么在天井，或者其他什么地方，这样做面临着龙卷风、人为破坏或者甚至某天有辆车冲进去等潜在风险。我一直认为，很多时候这些风险并没有真正得到适当的解决。有时，它们被放在建筑物内，于是您就面临一个巨大的挑战，可以克服这个挑战，只要给它们提供足够的空气供它们运行即可。
而采用地热的话，一切都在地下，泵也都在能够抵御龙卷风的容器内。我们认为，在发生龙卷风灾难时最坏的情况是我们会损失一些外部的冷凝装置，但地热是独立的、自给自足的，不会受到影响。相反，如果地热发生了一些问题（比如某处循环发生了泄漏或者其他问题），则必须予以解决。如果您需要隔离这部分，也没有问题，我们只需要转到另一边就可以了。因此，我认为这是一种非常好的协同效应。
LEED和Tier III都有能效方面的要求，但若将两者合在一起，从季节能效和数据中心运营弹性的角度来看，我认为二者的配合绝对是天衣无缝。
Tom：我认为地热以及地热与干式冷却器的组合绝对是与气候密切相关的一种解决方案。如果您的数据中心建在得克萨斯州，那么这个模式就不适合。如果在一定的海拔之上，则适合。采用这种做法有一些必要的条件。
此设计的其他内容具备普遍的适用性和适应性。
Tom：迄今为止，还没有想到任何不同的做法，这相当让人惊讶。
Lon：还没有提到的一件事是，在我们开始建设和思考之前，就考虑到了此项目的扩展性。从这个角度看，如果容量超出我们的需求，则我们可以按照之前的规划进行扩展。我并不能保证所有建筑在这方面都做得很好。
Tom：对于它的发展，我们拭目以待，时间会证明一切。在我看来，我们未来的路线图是：在园区内建立类似的Tier III建筑，代替Tier I数据中心，将在一幢办公楼内建立此建筑。
Lon：在我刚进入这个领域时，我认为那个时候技术工程师并没有考虑到环保和可持续性。因此，服务器虚拟化的概念、数据中心内部冷热通道的概念、可能还有我们的备份方式、我们可以在哪些工作上应用这些概念，以及这件事整体是什么情况都要认真考虑。现在回过头来看，我认为最大的事情是设计或思考的过程需要与时俱进，随着建筑的建设而发展。
Lon：目前还没有具体的目标等级。我可以告诉您，目标是今年（将物理服务器的数量）减少50%，未来还会进一步减少。预计会从450台物理服务器减少到200台左右。
与大多数目标等级一样，这个减少会达到一定的利用率百分比和饱和度，既要提供可靠的核心服务，又要将相当数量的服务合并到具体的设备上。
图1-6 ACT正在通过虚拟化减少其数据中心内服务器的数量（图片由KJWW工程咨询公司提供）
Tom：制定明确的项目目标，这是一件非常简单的事，但您最好明确地知道项目的目标是什么，并坚持这一目标。我经常说的另一件事是，要实现目标，必须组建一个合适的团队。众所周知，只有人们真正参与进来，成为一个团队，项目才有可能成功。了解自己的目标是什么，然后选择恰当的团队成员，将正确的经验和正确的思维带到项目中来，这至关重要。
我还认为团队成员至少要对这个项目有兴趣，会积极应对非常困难的任务。要保持开放的心态，并富有创意。
然后就是细节，与此同时，要清晰地了解整体目标和前景。当然，从LEED白金级认证的角度讲，它仅关注细节。就像我之前所说的那样，对最佳做法有充分的了解，才能在决定哪些方面可以采用现成做法和哪些方面需要自主创新方面游刃有余。
此外，关于此项目的一个非常关键的因素是业主的决策，毕竟这是业主的项目。您必须做到心中有数并密切参与。如果您认为只要花钱请一堆顾问，对他们说：“这就是我的需求。我要得到LEED白金级认证，我想达到某个级别以及类似的东西。”这种做法绝对不会奏效。如果您没有亲身参与其中，那么不仅项目的总体情况不会让您满意，它的各个方面也不会达到您的要求。对于项目的主旨，您必须心中有数，作为业主，您需要为所有非传统做法的风险承担全部责任。在这样做的时候，业主就通过制定这些决策确定了项目的基调。
如果您陷入出现问题之后互相推诿责任的情况，那么每个人都会不求有功、但求无过，因此只会因循守旧，采用安全的、经过验证的、真正的最佳做法。我个人的偏见是：不应该由业委会制定决策，需要将制定这些决策的权力和责任赋予一个人。
我们会一直推动这项工作，而且采用LEED白金级认证框架的一整套做法。由于我们处于某些未知领域，因此我们会把工作拿出来讨论、审核，然后做出决定。我知道有些时候他们会说“您不再想一想吗？”，但我们已经做过全面的调查，需要了解的全部信息都在那里，那就沿着这个方向前进吧。我们需要推动这项工作。很有可能您整天都会陷入类似的一些琐事中，因此您必须有决心站起来、做出决策、继续前进。
毕竟这是业主的项目。您必须做到心中有数并密切参与。如果您认为只要花钱请一堆顾问，对他们说：“这就是我的需求。我要得到LEED白金级认证，我想达到某个级别及类似的东西”。这种做法绝对不会奏效。如果您没有亲身参与其中，那么不仅项目的总体情况不会让您满意，它的各个方面也不会达到您的要求。
Tom：从LEED认证和日常运营的角度来看，项目非常成功（项目运行得非常棒），因此回过头来看，好像真的没有什么非常困难的决策。当然，交付地热设计时它们并未得到证实。其他决策不过是评估各种选项的利弊，理解双重目标并朝着目标前进而已。
从实现团队能动性的角度讲，真正起作用的团队动力是让大家抛开自我，更加积极地参与并设置基调。大家也确实是这样做的。在我们处理所有这些不同的选择时，您可以看到，不同专业的人都参与进来了。所有人都相互配合朝着共同的远景前进，真正做到了开放和富有创意，而且大家都愿意坐下来倾听他人的意见，思考不同的做法，然后讨论机械、控制和电气等各方面如何配合完成这些工作。当我们在工作中采用灵活的模块化方法时效果很好。
对于我们的做法，我很满意。这要求采用跨学科的做法。我认为有的时候，您确实应强势一些：您将人招进来，他们就必须这样做。这件事，说起来容易，做起来难。
图1-7 位于爱荷华市的ACT数据中心的冷却水管道（图片由KJWW工程咨询公司提供）
| 公司：AISO公司（经济互联网服务在线公司） |
| 位置：加利福尼亚州罗慕兰市（Romoland） |
| 上线时间：2005年4月 |
| 显著特征：以太阳能作为主要的能源；空调使用大气能量过程生成冷空气；太阳能管照明和雨水收集系统 |
| 从设计到建成用时：6个月 |
| 规模：共计2000平方英尺（185.8m2），其中400平方英尺（37.2m2）为主机空间 |
| 动力能源：现场太阳能阵列，110kW |
| TIER等级：三级 |
| 机柜数量：15个 |
| 基础设施交付：电源、制冷、布线基础设施均在头顶以高架方式提供 |
| 结构负载：待定 |
| 灭火系统：喷雾 |
图2-1 AISO数据中心的运营完全依靠太阳能（图片由AISO公司提供）
对于数据中心来说，太阳能不是一种实用的能源。每天只有有限的几个小时可以使用太阳能，太阳能还会受到天气影响。除了这些限制之外，相对于服务器环境消耗的电量来讲，太阳能产生的电力微乎其微。因此，肯定不能用太阳能当作数据中心的主要能量来源。
或者它可以用作主要能量来源？
AISO公司是世界上唯一一家完全用太阳能供电的主机托管公司。该公司位于加利福尼亚州罗慕兰市，距离洛杉矶市东南约70英里（112.7km）。此数据中心和附属的办公区域完全依赖太阳能运行，将120块太阳能面板产生的每一瓦电力都消耗殆尽。
建筑物的白色外墙和绿植覆盖的屋顶减少了制冷系统的压力。7个镜像管在白天将阳光引入室内，在晚上则使用节能的LED照明。在建筑物的通风管道内安装了微型风力发电机，通过空气采集能源，用蓄电池给AISO的办公用计算机供电。这个建筑还包含10 000加仑（37854.1L）的雨水收集系统，即使没有接入城市水网，也可以运营。
但是，最节能的两项技术是虚拟化（AISO虚拟服务器和物理服务器的比例是60:1）和极为高效的空调系统。数据中心5吨重的Coolerado空调使用相同的潜冷却过程，即Maisotsenko循环，此循环将热量转换为雷暴雨，使周围的空气温度降低。根据厂家的说法，与常规空调相比，此装置能节省90%的能源。
尽管此数据中心的规模相对较小，但它服务的客户超过15000个，从Krispy KremeDoughnuts、Jacques Cousteau Foundation到San Diego Convention Center（圣地亚哥会议中心），它的绿色技术预计每年会减少150000磅（68038.9kg）的二氧化碳排放。
AISO的创始人和首席技术官Phil Nail将和我们讨论该公司以太阳能供电的数据中心。
我们之所以采用太阳能，与我们所处的区域有关。在南加州，我们有充足的日照，但这里几乎没有风。在这里采用太阳能再合适不过了。这样做是正确的，任何时候，只要能够使用可再生能源，就能获得更多的收入。
我们采用此方法的时间可以追溯到2001年（以前的服务器环境），当时绿色运动还未开始。在以绿色方式运营数据中心方面，可以说我们走在了行业的前列。采用太阳能极具挑战性，因为我们需要考虑很多因素。我们必须降低能耗，并且谨慎地选择数据中心使用的设备。
当时，对于我们来说，这是一件正确的事，也是唯一的解决方案。我们必须这样做，而且必须弄清楚如何做，还必须让它真正为我们服务。
我们拥有庞大的备份单元负责容纳和存储全部能源。问题在于，随着绿色运动的发展，大多数数据中心只想着购买绿色信贷，以便让自己看起来更好。
“我们必须降低能耗，并且谨慎地选择数据中心使用的设备。”
并非如此。我只是认为，他们需要尽可能保持其数据中心绿色，而不是通过购买能源积分来掩饰事实（或漂绿）。许多人会说“我们是环保的，我们运行的是绿色服务器，我们运行的材料都是绿色的”。但是您必须深入挖掘，仔细阅读每个文字，最后您会发现在某些地方会有几个小字：“我们购买了能源积分”。我从客户那里听到了太多这样的事情，他们说：“是的，这些公司看起来确实很好，但是当您真正开始了解他们的时候，您就想赶紧逃之夭夭了。”
我认为，小型数据中心应该尝试在设计中包含替代能源的解决方案。对于大型数据中心来说，由于能耗规模的关系，完全采用替代能源运行会非常困难。
是的，我认为我们的一些做法与大多数公司的做法不同。我认为他们不这样做的其中很大一部分原因是因为成本和他们害怕进行这种改变。此外，许多公司的官僚气息很重。IT部门不想这样做，并不意味着其他部门也不想这样做，而且将所有工作做完需要6至8个月的时间。
我们必须做的第一件事是彻底改变数据中心的运行方式。我们必须减少能耗的总量，这意味着我们必须减少所运行的设备数量。我们还必须 改变数据中心的制冷方式。我认为，我们做了其他人不敢尝试的一些事情，我们是绿色数据中心的先驱。
图2-2 AISO公司的服务器数量少，因此才有可能完全依靠太阳能运行
今天，大多数数据中心运营商都想向外界表示他们有绿色策略，但大多数运营商想的仅仅是购买绿色证书。我的邻居为电力公司工作，负责管理高压线和运营监管，他对我说，公司根本没有办法选择只使用风能或太阳能，因为进入所有电站或子电站的能源全部汇入一个池，然后传输给需要能源的客户。在电力公司需要额外能源时，他们会与其他州的电力公司联系，如果另一家公司有额外的能源可以提供，那么也就汇集到了这个电力池。这意味着我们即使没有购买绿色证书，仍然会获得一定的绿色能源。我们只是不知道这些能源从何而来以及我们用了多少。
是的，肯定的。我不确定我们的成本是多少，毕竟这是很久以前的事了。但我可以告诉您的是，肯定非常昂贵，在安装了系统之后，还有很多东西需要调整。您必须梳理清许多事情，您的愿望才能成真，而且中间还会经历许多试验和错误。
启动就极为昂贵，但在我们的数据中心中，已经收回成本。大多数公司在投资之前会分析投资回报率（ROI），在大多数情况下，投资回报（ROI）期可能是10年到15年。
“我们必须做的第一件事是彻底改变数据中心的运行方式。”
我一时还想不起任何提醒。每个安装都是不一样的，具体取决于他们运营的内容以及运营的方式。我认为它们不会是相同的。每个安装都会有自己的挑战，这完全取决于冷却，有很多不同的配置。
当时我们甚至没有考虑过这点。大多数公司甚至在进行投资之前就想知道ROI。我们这样做是因为我们认为这是一件正确的事，从长远看它会物有所值，但多久能收回成本我们并不知道。
数据中心通常建在离家很近的地方。我们当时也想寻找一个地方来建设数据中心，让我们早晨起来走到隔壁就能工作。
我们当时想要寻找这样一个地方，既要靠近城市，还要保持足够的距离，以便保持低调。即使开车路过，也没人会知道这是一家数据中心。
根本没有安全方面的顾虑。太阳能管的直径很小，没人能敲掉顶部并从那里爬进数据中心。
我们的空调装置在全年99%的时间里都工作得很好。在另外1%的时间里，我们需要运行常规空调来协助降低内部温度。原因是空调使用水，如果外部湿度过高，就不能很好地工作。我们使用的装置采用水冷式真空管，可以将110华氏度（43.3℃）的外部空气冷却到65华氏度（18.3℃）。
图2-3 AISO数据中心使用太阳能管和天窗来补充照明
它们工作得非常好。对于我们来说，它们非常好用。因为用水制冷，所以我们使用一些巨大的水罐在下雨时收集雨水。我们收集雨水，将水泵入Coolerado开关，然后来冷却数据中心。它只有两个活动部件，因此平均电力消耗只有大约200W，几乎是微不足道。
我们过去使用的制冷系统名为Freus，它也是水冷式的，但它的运行越来越差。一天夜里，我们的空调技术人员在网上偶然发现了Coolerado。我们对此留心，在一次贸易展览上看到了它们，并喜欢上了它们，因此决定采用它们。
图2-4 AISO的空调使用大气能量过程生成冷空气，比常规的空调能效更高
这个主意是在某个午夜冒出来的，然后我们就采用了这个主意。我们当时说：“这个主意看起来相当好，我们试试吧。”为此我们做了许多事情。
这些发电机产生的电力用来给小型电池充电，然后用来给员工的计算机供电。我们办公室全部使用瘦客户机作为办公用计算机，所以耗电不多。
虚拟化在我们使用太阳能供电的数据中心运营中发挥了重要作用。首先，我们必须消除所有高能耗的计算机、服务器以及其他设备。然后我们决定采用NetApp作为我们的SAN，因为它们最可靠且最节能。我们选择IBM服务器，因为这是我们能够采用的最节能的服务器。它们拥有目前市场上可用的最节能的电源和处理器。我们对数据中心进行了完 全虚拟化，这使它的管理极为简单。
我们抛弃了以前为每项工作都专门配置一台物理计算机的做法。这样做效率非常低。我们针对本地计算机和所有客户都使用了虚拟化。
我们从物理计算机开始，然后迁移到虚拟机。我们选择VMware进入虚拟基础架构。开始时我们使用iSCSI，这是一个噩梦，因为它工作得不是很好。在我们迁移了100台左右的服务器之后，我们遇到了严重的速度下降问题，使我们不得不放弃iSCSI，转为使用另一个协议。这真的是我们遇到的唯一挑战。除此之外，其他各方面都很好。
管理此数据中心非常简单，这使我们工作得更轻松。如果客户服务器在凌晨2点宕机，那么我们只要通过VPN接入，做个简单的重启就可以了。用我们的手机就可以让它恢复上线。这种管理非常轻松、安全且简单。
它是如此可靠，如此有效，我永远也不会回去使用物理服务器了。
“我永远也不会回去使用物理服务器了。”
图2-5 虚拟化的采用可以用很小的物理内存扩展其计算能力
按我的想法，尤其是那些拥有大量设备的公司，必须立即决断，坚决地去做虚拟化。许多人仍然前怕狼后怕虎，他们总是希望先做大量的测试。公司越大，测试的时间越长。对我们来说，我们是家小公司，因此我们可以立即行动起来，不需要经过许多繁琐的手续。
大多数数据中心都允许客户租用机柜来存放自己的设备和服务器。因为采用了这种模式，所以他们无法走向虚拟化。
它更清洁。它燃烧起来更清洁，我们认为这是最适合我们的方式。我们地处乡村，作为一家环保型公司，我们认为柴油不是正确的选择。
它易于使用。如果需要更多燃料，只要给罐车打电话即可，他们会来补充燃料，您就可以运行了。它不需要安装地下储油罐，也不需要处理使用柴油作为燃料时必须处理的其他事情。
季末我们这里下了一场雨，仅仅几个小时，我们就收集了超过6000加仑（22712.5L）的水，因此雨水的收集相当快。制冷系统只使用了50%的水，剩余的水我们用于灌溉绿植。
图2-6 AISO收集雨水来用于数据中心制冷和绿植灌溉。收集罐可以容纳10000加仑（37851.1L）的水
真的没有任何意外。我认为最重要的事情是向客户解释虚拟化技术要比拥有物理计算机更好。对我们来说，这是最艰难的部分。
我们花了一些时间来说服他们。现在，大家都爱上了它。这是最好的方式。
太阳能管和LED照明是数据中心降低成本并走上更加环保道路的一条途径。如果数据中心所在地区的湿度不高，则我认为空调技术对他们来说是一种很好的解决方案。
我认为太阳能不会是数据中心普遍适用的一种解决方案，原因很简单，许多中心什么客户都接，把机柜租给客户，上面想装什么计算机系统都可以。如果他们没有大量的空间，就无法通过太阳能为数据中心供电。因此我认为这不是一种好的解决方案。但是谈到制冷，我认为这真的是一种好的解决方案。如果它们在东海岸，气温会降到冰点以下，则太阳能可能不是最好的技术，但在温暖气候下，我认为这是一种非常好的技术。
这些年来，我对此也做过相当多的思考。我认为真的不会有太多变化，整件事都非常顺畅，可能只有一件事会有些不同，就是可能应该把它建得更大一点。整个设计运行起来真的非常好，我们非常满意。
我们一直在研究环保的方案、寻找更多节能的方法。我们的团队一直非常执着而且专注于建立世界上最具能效的数据中心，我们在这方面的探索永远不会止步。
那边有一些机柜正在进行测试。它们不像你们的典型机柜一样直立，而是躺着的。使用这些机柜，不需要任何制冷措施，因为实际上利用服务器本身的风扇就足够了。这些机柜可以自己制冷：关上机柜门，它就成为一个独立的系统。我们正在考察这些系统，了解如何在我们这里使用它们。目前我们还不确定，但它听起来是一个非常好的概念。
我的建议是，从一开始就计算出实际需要的能源，并围绕这些计算出的能耗数字建设替代能源的解决方案；然后是设置和处理数据中心的制冷和加热方式；接着是数据中心的照明方式，如何以最具能效的方式运行服务器，以及如何在完全冗余的情况下实现高能效。
请注意建筑本身的隔热。建筑的能效越高，必须使用制冷系统的时候就越少。
最后，尽可能多地进行虚拟化。许多数据中心的问题是，它们根本没有虚拟化，因此消耗的能源数量非常巨大。
