H3C数据中心机房环境设计V40课件.ppt

H3C数据中心机房环境设计V40,2022/11/4,H3C数据中心机房环境设计V40,H3C数据中心机房环境设计V402022/10/9H3C数据,目录,数据中心环境面临的挑战数据中心设计标准数据中心基础架构设计H3C数据中心解决方案布线实践中小型数据中心机房建设实例,H3C数据中心机房环境设计V40,目录数据中心环境面临的挑战H3C数据中心机房环境设计V40,数据中心IT设施正在发生变化，传统的数据中心环境已不能满足要求：,刀片服务器单机柜8084个服务器30KW功耗1U系统端口密度高发热量大自重大存储设备700, 900, 1100+ kgs,问题的引入,H3C数据中心机房环境设计V40,数据中心IT设施正在发生变化，传统的数据中心环境已不能满足要,数据中心环境面临的挑战,典型问题：空间散热结构化配线电源承载,H3C数据中心机房环境设计V40,数据中心环境面临的挑战典型问题：H3C数据中心机房环境设计V,目录,数据中心环境面临的挑战数据中心设计标准数据中心基础架构设计H3C数据中心解决方案综合实践中小型数据中心机房建设实例,H3C数据中心机房环境设计V40,目录数据中心环境面临的挑战H3C数据中心机房环境设计V40,数据中心业界标准介绍,ANSI/TIA-942Telecommunications Infrastructure Standard for Data Centers,TIA/EIA 568Copper & FiberCabling,TIA/EIA 569Pathways & Spaces,TIA/EIA 606Administration,TIA/EIA 607Grounding& Bonding,ASHRAECooling/HVAC,Uptime Institute,IEEE 1100ITE Grounding,国内相关标准：数据中心布线系统的设计与施工技术白皮书 GB50174-2008电子信息系统机房设计规范,H3C数据中心机房环境设计V40,数据中心业界标准介绍ANSI/TIA-942TIA/EIA,数据中心分级(TIA-942),注：数据中心的定级取决于整个系统中最低等级的部件,H3C数据中心机房环境设计V40,数据中心分级(TIA-942)Tier I基本Tier I,数据中心电信空间与大楼其它空间关系,建筑物场地,大楼外墙,普通办公空间,数据中心外的电信和设备空间,数据中心（电信空间）,机 房,维护人员办公空间,接入室（ER）,机电设备机房UPS / HVAC等,运营监管中心,Storage Rooms &Loading Docks,数据中心内的通信室,H3C数据中心机房环境设计V40,数据中心电信空间与大楼其它空间关系建筑物场地大楼外墙普通办公,TIA-942数据中心逻辑结构图,接入室 RM,总配线区MDA路由器、核心LAN /SAN交换机、PBX等,接服务商网或园区,接服务商网或园区,水平配线区HDALAN/SAN/KVM交换机,机 房,水平配线区HDALAN/SAN/KVM交换机,水平配线区HDALAN/SAN/KVM交换机,水平配线区HDALAN/SAN/KVM交换机,设备配线区 EDA机架/机柜,设备配线区 EDA机架/机柜,设备配线区 EDA机架/机柜,设备配线区 EDA机架/机柜,通信室TR办公&操作中心的LAN交换机,运维办公室、办公、操作中心,主干电缆,主干电缆,主干电缆,主干电缆,主干电缆,主干电缆,水平电缆,水平电缆,水平电缆,区域配线区 ZDA,水平电缆,水平电缆,水平电缆,H3C数据中心机房环境设计V40,TIA-942数据中心逻辑结构图接入室 RM总配线区MDA接,典型数据中心布局,接入室 RM,接入服务商网或园区网,总配线区 MDA,水平配线区 HDA,设备配线区 EDA,主干电缆,水平电缆,通信室 TR,机柜,机柜,机房 Computer Room,机柜,机柜,机柜,机柜,机柜,机柜,MDA,EDA,EDA,H3C数据中心机房环境设计V40,典型数据中心布局接入室 RM接入服务商网或园区网总配线区 M,关于MDA/ZDA/EDA,ZDA,水平电缆,EDA机架,EDA的一个机柜,ZDA的电缆配线口,MDA的一个机柜,采用简化型布线结构的数据中心机房平面图,EDA,EDA,EDA,EDA,EDA,ZDA,MDA,H3C数据中心机房环境设计V40,关于MDA/ZDA/EDAZDA水平电缆EDA机架EDA的一,服务器,水平电缆（90M）,TOR 交换机,服务器,配线板,LAN 交换机,服务器,水平电缆（90M）,服务器,EDA 通过 ZDA 同 HAD 连接,配线板,区域配线区ZDA,水平配线区HDA,设备配线区EDA,CP/ZO,EDA 直接 同 HAD 连接,跳线,设备配线区EDA,配线板,跳线,跳线,服务器,服务器,HAD/ZDA/EDA的连接关系,H3C数据中心机房环境设计V40,服务器水平电缆（90M）TOR 交换机服务器配线板LAN,目录,数据中心环境面临的挑战数据中心设计标准数据中心基础架构设计H3C数据中心解决方案综合实践中小型数据中心机房建设实例,H3C数据中心机房环境设计V40,目录数据中心环境面临的挑战H3C数据中心机房环境设计V40,数据中心基础架构设计数据中心的选址数据中心的空间计算数据中心结构设计数据中心的供电系统设计数据中心散热设计其他,H3C数据中心机房环境设计V40,数据中心基础架构设计H3C数据中心机房环境设计V40,数据中心选址,需要考虑三点内容：远离危险：地震，冰风暴，飓风，龙卷风，洪水，滑坡，火灾，污染，电磁干扰，震动（运输过程中），政治环境，飞机航道等；评估数据中心地点：易于到达；满足灾难恢复的要求（多中心间合理的距离）；已有的结构（供电系统，空调系统，结构化布线系统，空间，承重，装卸平台，货运电梯，可能存在隐患的区域，核心区域分散布置）确保数据中心未来发展和变化的需求,H3C数据中心机房环境设计V40,数据中心选址需要考虑三点内容：H3C数据中心机房环境设计V4,数据中心空间计算,决定数据中心空间大小的几个因素：数据中心支持的人数数据中心放置的服务器和其他设备的数量和类型数据中心除服务器区外的区域的空间；确定数据中心空间大小的两种方法：基于人数的计算方法：通过数据中心需要支持的人数来决定数据中心的大小基于设备的计算方法：通过数据中心计划购买的网络设备，服务器和其他必须购买的设备的尺寸来计算数据中的大小,参考Build the Best Data Center Facility for Your Business,H3C数据中心机房环境设计V40,数据中心空间计算决定数据中心空间大小的几个因素：Employ,Step1: 根据业务持续发展要求，规划出未来510年的对服务器数量的需求；Step2: 考虑到供电及散热，单机柜功率35KW，规划时建议不超过4KW。根据服务器的功率(PC服务器正常功耗300500W)计算出机柜的数量，推荐每个机柜放置810台PC服务器。Step3: 中型数据中心机房的面积在200500平方米，服务器机柜数量约为50200个，折合每个机柜占地面积34平方米。,附：机房面积与机柜数据参考,数据中心空间计算2设备计算法,H3C数据中心机房环境设计V40,公司主机房面积机柜每机柜平米中石化CNPC勘探院(new)3,数据中心的机柜(设备)布局,数据中心划分：划出栅格，将数据中心所需部件与栅格对齐；数据中心设备放置顺序：先放置所需的基本部件，例如：电源，空调，灭火器瓶等；过道空间：要充足，避免过小的过道带来运输的问题：服务器放置方式：按服务器类型或者功能放置；地板承重：满足未来不断增加的需求；,布局不合理,布局合理,设计数据中心布局需要注意的问题：,H3C数据中心机房环境设计V40,数据中心的机柜(设备)布局数据中心划分：划出栅格，将数据中心,数据中心的走线方式1-下走线,地板下走线 数据线，电源线和冷风管道从数据中心架空的地板下安装；应用场景大部分数据中心优点 冷气从地板送入机架，热气从数据中心顶部抽走，有利于热循环；数据线、电源线安装在地板下，避免直接接触，更加安全；同时地板布线便于维修；,结论：顶部布线：小型数据中心（小于100平米），并且高度有限，建议采用顶部布线；地板布线：大小数据中心建议采用地板布线更加利于散热，并便于维修。,H3C数据中心机房环境设计V40,数据中心的走线方式1-下走线地板下走线 结论：H3C数据中心,数据中心机房的高架地板,地板下装电缆比架在空中的电缆便宜，也更好安装，也更美观；大多数直接放在地板上的主机系统/大服务器，都是设计成地板走线的；电缆应该被放在电缆槽中铺设，最好采用“电缆筐”而不是电缆槽，因为电缆槽容易影响空气流动；光缆和铜缆要分开铺设；电源电缆和双绞线电缆要分卡铺设；电源电缆部署在冷通道下，通信电缆部署在热通道下；如果没有预先的规划，地下电缆槽可能阻塞空气的流动；,上图是高度0.91M(36英寸) 的高架地板下的景象,H3C数据中心机房环境设计V40,数据中心机房的高架地板地板下装电缆比架在空中的电缆便宜，也更,数据中心的走线方式2-上走线,应用场景应用于中小型数据中心优点投资低于地板走线方式，占用地板空间少，利于小型数据中心；缺点冷却系统设计复杂；电源插座可靠性降低，存在因为插座重力作用导致脱落的可能；建议采用交叉插座进行固定。,机柜上走线 数据线，电源线和从数据中心的吊顶安装；冷风管道也在吊顶安置；机柜高度一般为2m，空气流动所需机柜顶面至天花板的距离一般为500-700mm，所以机房净高不小于2.6m.,H3C数据中心机房环境设计V40,数据中心的走线方式2-上走线应用场景机柜上走线 H3C数据中,数据中心的走线方式3-架空走线,架空走线 弱电、强电、光纤分层架空走线，避免干扰。火灾隐患容易及时发现应用场景大型数据中心缺点机房层高要求扩展难度大，维护困难,H3C数据中心机房环境设计V40,数据中心的走线方式3-架空走线架空走线 H3C数据中心机房环,走线方式的优势对比,H3C数据中心机房环境设计V40,项目下走线架空走线上走线初期安装工序地板下固定和敷设电源线和,数据线和电源线走线方式,数据线和电源线分离-电源线产生的电磁干扰会影响数据线传输的信号。下表给出了建议的数据线和电源之间的最小距离*：,UTP,STP,*数据来自Build the best datacenter facility for your business.,H3C数据中心机房环境设计V40,数据线和电源线走线方式数据线和电源线分离-电源线产生的电磁干,主用供电系统设计,确定电源需求 通过计算数据中心的机架数量，每机架需要的电源功率，并作出适当预留（20%），来确定整个数据中心需要的电源功率；配电方式方式A：直接将电源模块与服务器机架相连；方式B：将电源通过电源分配单元与服务器机架相连；,方式A,方式B,H3C数据中心机房环境设计V40,主用供电系统设计确定电源需求方式A方式BH3C数据中心机房环,备用供电系统设计,设计备用供电系统的要求：冗余，简单，高性价比。负载的计算：保证备份系统可以提供数据中心所需最大功率的110%120%；基于负载的级别进行建设，例如是采用N，N+1方式，还是2N方式；电池：UPS小型数据中心：UPS是安装在机架中的单个电池；一般可运行20分钟2小时。大型数据中心：采用落地式的UPS，位于电气室；还需要单独提供发电机。发电机：用于大型数据中心，并且数据中心处于易于断电的地区。建议断电时，UPS可以先工作20分钟，再使用发电机供电。要求发电机最少可以供电8个小时（再次添加燃料前）。发电机一般位于数据中心附件的建筑，并放置于单独的区域以避免损坏。,H3C数据中心机房环境设计V40,备用供电系统设计设计备用供电系统的要求：冗余，简单，高性价比,机房散热风道设计冷热风道,空气流动组件,冷风道/热风道,电缆布置,天花板导管辅助,H3C数据中心机房环境设计V40,机房散热风道设计冷热风道空气流动组件冷风道/热风道电缆布置,风道优化设计,冷热风道烟囱设计空气循环加速,H3C数据中心机房环境设计V40,风道优化设计冷热风道H3C数据中心机房环境设计V40,中国电信对机柜散热的创新,传统的送风存在的问题：冷气只能到达机柜过道的里，依靠机柜内设备风扇将冷气吸进机柜内，散热效率低。（机房冷，设备热）上送风机柜要依赖面板上的网孔来通风，给空气流动带来不小的阻力，使流动性本来就不足的冷气量更加减少传统下送风机柜只简单考虑冷空气从架空地板进入机柜的入口问题，进入机柜后向四周空间散去，只有流向机柜前面的少量冷气才能被设备吸收流空调设备中,传统上送风方式气流组织,传统上送风机柜的气流组织,据理论计算和现场测试，表明上送风机柜可以较好地满足每个机柜1kW 功率的制冷要求，勉强能解决每个机柜2kW 功率的制冷问题。,传统下送风机柜的气流组织,H3C数据中心机房环境设计V40,中国电信对机柜散热的创新传统的送风存在的问题：传统上送风方式,2009 年7 月中国电信制定的数据用网络机柜技术规范和数据用电源列柜技术规范精确送风原则：1）把冷气输送到机柜里面去：因为是机柜内设备最需要冷气。2）把冷气输送到机柜的正面去：因为冷气只能从服务器正面进入模块化服务器机箱，发挥换热作用。3）精确调节每个机柜的进气量：因为机柜内设备发热量不同，需要的冷量也不同。4）不让机柜内的冷气随意流失：因为只有进入服务器的冷气才真正发挥散热作用，所以应把冷气聚束在服务器正面空间。,中国电信对机柜散热的创新,H3C数据中心机房环境设计V40,2009 年7 月中国电信制定的数据用网络机柜技术规范和,数据中心机房建筑要求(TIA-942),天花板高度机房装修后的地面至天花板任何障碍物（雨洒、照明灯、摄像头等）必须为2.6米，雨洒至天花板至少保留0.46米。装修处理地面、墙、天花板必须密封、喷漆以减少灰尘，地面应具备防静电功能。整体以浅色装修以提高机房亮度。照明水平面最小500 lux，垂直面200 lux。(在机柜中央、距地面高度1米处测量)门最小1m*2.13m，不能设置门槛，必须配锁，授权进入。地板承重最小7.2Kpa，推荐12Kpa悬挂负荷：最小1.2Kpa，推荐大于2.4Kpa,运行参数：温度: 2025 相对湿度: 4055,H3C数据中心机房环境设计V40,数据中心机房建筑要求(TIA-942)天花板高度运行参数：H,目录,数据中心环境面临的挑战数据中心设计标准数据中心基础架构设计H3C数据中心解决方案布线综合实践中小型数据中心机房建设实例,H3C数据中心机房环境设计V40,目录数据中心环境面临的挑战H3C数据中心机房环境设计V40,WEB,WEB,WEB,APP,APP,APP,DB,DB,DB,外 联 网 区,内 联 网 区,互 联 网 区,测试区,生产&OA服务器区,数据中心管理维护区,办公网区,核心交换区,在 线 存 储 区备 份 存 储 区,H3C新一代数据中心解决方案典型网络拓扑,FCoE,H3C数据中心机房环境设计V40,WEBWEBWEBAPPAPPAPPDBDBDB外 联 网,传统布线1直连布线设计,网络机柜独立排列布线与服务器机柜直连适合某个功能分区(单元),不适合某个功能分区(单元)网络机柜集中排放一个网络机柜对应一排服务器机柜电缆重叠，容易拥塞,H3C数据中心机房环境设计V40,传统布线1直连布线设计网络机柜独立排列不适合某个功能分区(,传统布线2分布式布线设计(列头柜),网络设备列头柜汇聚列头柜连接到服务器机柜由列头柜上行连接到网络核心机柜组,分布式列头柜设计没有线缆重叠连接线缆短，传输性好网络层次性好，容易扩展成本低、管理方便空气流通性好，便于散热,H3C数据中心机房环境设计V40,传统布线2分布式布线设计(列头柜)网络设备列头柜汇聚分布式,POD(Point Of Delivery)方式布线NEW,区域：对应到一个服务器区域Pod：对应到接入交换机(EOR) 大小：取决于间距与密度 服务器机柜到网络机柜线缆长度：铜缆100m光纤200500m机架：服务器：受功率限制，每个机架630个服务器网络：取决于接入方式(TOR、EOR、Blade)存储：专门的机柜,H3C数据中心机房环境设计V40,POD(Point Of Delivery)方式布线NEW,从组网逻辑图到布线系统图的对应,核心层,汇聚层,接入层,TOR接入,刀片SW模块接入,EOR接入,服务器机柜,存储机柜,网络设备机柜,Pod,冷风道,热风道,H3C数据中心机房环境设计V40,从组网逻辑图到布线系统图的对应FWLBSSLNTAFWLBS,AGG / ACC SW,Patch panelCross-connect,Server,Server,Patch panelCross-connect,Server,Server,End of Row:比较传统的布线方式.网线直接从服务器拉到汇聚/接入交换机这种方式面临着服务器群接入密度的挑战：从最远端机架到列头柜的距离比较远，网线拉的比较长每排机柜的数量由于列头柜上接入交换机的端口密度限制而有限制,特点:比较典型的应用是在机架是交换机做接入每个服务器机柜6-12服务器。每个服务器机柜4-6KW。每个网络机柜10-20KW。每台交换机上有多个VLAN/子网；数据中心的接入交换机设备数量少,管理维护方便不适合机架高密度服务器接入,CAT 5,CAT 5,CAT 5,CAT 5,AGG / ACC SW,Cords,Cords,服务器接入布线 End-Of-Row,EOR/MOR,汇聚层,接入层,H3C数据中心机房环境设计V40,AGG / ACC SWPatch panelServerS,AGG SWITCH,AGG SWITCH,Server,Server,Server,Server,服务器接入布线 Top-Of-Rack,ACC SW,ACC SW,Fiber / CAT5,Fiber / CAT5,Fiber / CAT5,Fiber / CAT5,Cords,Cords,Top of Rack:这种组网一般用在大量1U服务器接入的机房一般是每个机架上放一台接入交换机，但有时候根据具体情况也会放多台（还可能堆叠）通常是每机柜15-30台服务器布线:机架内的服务器拉网线到机架内的交换机上上联汇聚交换机的链路可以是铜缆双绞线（CAT5E，CAT6），也可以是光纤（GE/10G）,建议用光纤子网和VLAN问题：可以在一个接入交换上部署多个VLAN/子网，但通常每个交换机上的VLAN/子网较少。,汇聚层,接入层,TOR接入,刀片SW模块接入,H3C数据中心机房环境设计V40,AGG SWITCHAGG SWITCHServerServ,服务器接入布线Blade Chassis,EOR（Switch to Switch）:12U的IBM HT(3KW)，每个机柜放3组；堆叠或独立设备上行；CAT3110(IBM)、CAT3020(HP)，目前都是铜缆上行，未来可能有光口；,EOR（Pass-through）:正常用法；,TOR:这种部署少见，但在实际环境中也可能会有这种用法；清华大学有这种模式；,集成刀片交换机的布线方式,采用直通模块的布线方式,Switch to switch,Pass through,Pass through,TOR,H3C数据中心机房环境设计V40,服务器接入布线Blade ChassisEOR（Swit,目录,数据中心环境面临的挑战数据中心设计标准数据中心基础架构设计H3C数据中心解决方案综合实践中小型数据中心机房建设实例,H3C数据中心机房环境设计V40,目录数据中心环境面临的挑战H3C数据中心机房环境设计V40,实例1：小型数据中心机房布局设计,机房面积：180平方米机柜数量： EDA 73个，MDA 6个服务器数量：500台,6个网络机柜,EDA设备机柜,机房空调,冷通道,热通道,EDA设备机柜,EDA设备机柜,EDA设备机柜,EDA设备机柜,EDA设备机柜,*案例摘自 TIA-942附录H.1 ,适用范围： 国内大多数政府、企业用户数据中心建设,网络设备推荐：核心：S125082台服务器接入：S75E4台(配置FW+IPS+LB插卡)；或S58006台（配FW插卡）,H3C数据中心机房环境设计V40,实例1：小型数据中心机房布局设计机房面积：180平方米6个网,实例2：中型数据中心机房设计,数据中心服务器数量4000台服务器双网卡接入（不考虑管理网卡问题）服务器采用千兆接入；服务器接入交换机万兆上联汇聚层交换机；接入、汇聚、核心都采用机框式设备(共30台);存储网络有单独的机柜，这里不考虑存储布线；将来有可能在数据中心部署主机每个服务器450瓦功耗；每个网络机柜的最大功耗5.5KW每个存储机柜的最大功耗4KW布线系统采用TIA-942的结构化设计理念机房面积1300平方米,项目背景介绍：,H3C数据中心机房环境设计V40,实例2：中型数据中心机房设计数据中心服务器数量4000台设,数据中心网络拓扑和POD布线规划,在机房建设中，为了布线方便（双绞线不超过100米，光纤不超过300米），通常会采用这种“机柜组”的方式。每个机柜组包含了若干个服务器机柜和网络机柜。这里的服务器机柜可以做为”设备配线区”（EDA），这里的网络机柜可以做为“水平配线区（HDA）”。,这个数据中心设计12个“机柜组”，每个“机柜组”包含32个服务器机柜（做为EDA）和4个网络机柜（做为HDA）；服务器部署在“机柜组”EDA的服务器机柜中；每个EDA可部署384台服务器，但实际部署336台；2台接入交换机部署在“机柜组”HDA的网络机柜中。采用EOF/MOR方式的布局。4台汇聚、2台核心交换机部署在机房的主配线区（MDA）的网络机柜中。,MDA,EDA,HDA,服务器机柜,存储机柜,网络机柜,H3C数据中心机房环境设计V40,数据中心网络拓扑和POD布线规划在机房建设中，为了布线方便（,一个“POD”，36个机柜,热通道,冷通道,冷通道,主配线区 MDA，部署了4台汇聚交换机，2台核心交换机,设备配线区 EDA的32个网络机柜部署336台服务器,水平配线区 HDA的4个网络机柜，部署2台接入交换机,机房空调CRAC,机房空调CRAC,机房空调CRAC,机房空调CRAC,机柜的正面,机柜的背面,采用POD方式的机房效果图,144英尺(43.2m),100英尺(30m),H3C数据中心机房环境设计V40,一个“POD”，36个机柜热通道冷通道冷通道主配线区 MDA,设备配线区（EDA）的布局,一个POD,一个EDA中的三个服务区机柜,除了4个网络机柜外，其它32个服务器机柜都属于一个EDA。,H3C数据中心机房环境设计V40,设备配线区（EDA）的布局一个POD一个EDA中的三个服务区,水平配线区（HAD）的布局,HDA中的4个网络机柜左侧2台是以太网交换机右侧2台是存储FC交换机,接入层S7510E交换机,这里的布局方式其实是 Middle Of Row，两边机柜的电缆都向中间集中，这种布局比EOR更容易布线，避免了最远端电缆到列头机柜的网线超出规定了距离。,机房中的一个“机柜组”,H3C数据中心机房环境设计V40,水平配线区（HAD）的布局HDA中的4个网络机柜接入层S75,总配线区（MDA）的布局,路由器与运营商的设备相连,4台汇聚、2台核心交换机,存储核心交换机，与盘阵连接,H3C数据中心机房环境设计V40,总配线区（MDA）的布局路由器与运营商的设备相连4台汇聚、2,CFD(计算流体动力)分析结果,冷热风道间隔设计外侧1220个CRAC单元内侧1230个CRAC单元上回风送风地板开孔率25峰值温度为45,H3C数据中心机房环境设计V40,CFD(计算流体动力)分析结果冷热风道间隔设计H3C数据中,附录：数据中心技术专题交流目录,数据中心机房环境设计基于IRF的数据中心网络架构设计数据中心安全部署探讨数据中心虚拟化技术应用数据中心运维管理数据中心灾备设计,H3C数据中心机房环境设计V40,附录：数据中心技术专题交流目录数据中心机房环境设计H3C,演讲完毕，谢谢听讲!,再见，see you again,2022/11/4,H3C数据中心机房环境设计V40,演讲完毕，谢谢听讲!再见，see you again2022,