第06章网络可靠性设计[YF].ppt

主讲：杨帆,肇庆学院计算机学院,第1页 共150页,第6章 网络可靠性设计,6.1 可靠性设计概述6.2 网络冗余设计【重点】6.3 存储网络设计6.4 高可用集群系统设计,主讲：杨帆,肇庆学院计算机学院,第2页 共150页,6.1 可靠性设计概述,主讲：杨帆,肇庆学院计算机学院,第3页 共150页,6.1 可靠性设计概述,6.1.1 网络可靠性的相关概念1、可靠性（Reliability）：在规定条件下和规定时间内，完成（执行）规定功能的能力。通常用可靠度来衡量。可靠度（Reliability）：在规定条件下和规定时间内，完成（执行）规定功能的概率。可靠性可分为产品可靠性和系统可靠性。以产品为例，N个相同产品同时投入试验，经历时间t后，有n(t)件产品失效，则该产品的可靠度R(t)为：R(t)=(N-n(t)/N=1-n(t)/N,主讲：杨帆,肇庆学院计算机学院,第4页 共150页,6.1 可靠性设计概述,6.1.1 网络可靠性的相关概念2、系统可靠性 多个部件组成的系统的可靠性，部件连接方式不同，关键部件对系统可靠性的影响也就不同。串联系统：系统中只要有一个部件失效，系统便失效。可靠度:其中，Ri为部件可靠度。并联系统：系统中只要有一个部件正常，系统便正常。可靠度:,主讲：杨帆,肇庆学院计算机学院,第5页 共150页,6.1 可靠性设计概述,6.1.1 网络可靠性的相关概念3、网络可靠性指网络自身在规定时间和规定条件下正常工作的能力。网络可靠性属于系统可靠性，它包括构成网络的设备、线路、路由和软件的可靠性。“规定条件”决定了网络可靠性的内涵范围，是区分网络安全性和网络可靠性的重要依据。通常“规定条件”包括“自然灾害”，因此网络可靠性就包括网络生存性、抗毁性、有效性等能用。,主讲：杨帆,肇庆学院计算机学院,第6页 共150页,6.1 可靠性设计概述,6.1.1 网络可靠性的相关概念4.网络可靠性的成本分析网络系统的可靠性是以各种投入为代价而实现的，并不是越高越好。设计时要从投入、需求保障、减少损失三方面折中。投入：资金、人力、管理复杂度等；需求保障：按业务提供不同的可靠性。如银行业务数据与办公数据属于不同的业务等级。减少损失：网络系统发生故障时对业务带来的损失；故障发生的可能性。,主讲：杨帆,肇庆学院计算机学院,第7页 共150页,6.1 可靠性设计概述,6.1.2 网络可用性分析与计算1.网络可用性网络系统提供持续服务的能力；网络（系统）可用性计算方法：系统年停机时间=一年总时间（1-系统可用性）停机是指网络系统严重失效（如需要恢复数据、重新加载程序、重新执行等情况），一般小的问题不计算在内。,主讲：杨帆,肇庆学院计算机学院,第8页 共150页,6.1 可靠性设计概述,P133表6-1 网络通信系统可用性类型,主讲：杨帆,肇庆学院计算机学院,第9页 共150页,6.1 可靠性设计概述,2.通信系统可用性指标国家通信标准规定：具有主备用系统自动切换功能的数字通信系统，允许5000km双向全程每年4次故障；对于420km数字段，允许双向全程每3年1次故障。市内数字通信系统假设链路长度为100km，允许双向全程每年4次故障；50km数字段双向全程每半年1次故障。（详见教材P133表6-2）,主讲：杨帆,肇庆学院计算机学院,第10页 共150页,6.1 可靠性设计概述,3.网络可用性计算（1）串联型网络结构可用性计算在串联系统中，可用性最差的单元对系统的可用性影响最大（降低）。,主讲：杨帆,肇庆学院计算机学院,第11页 共150页,6.1 可靠性设计概述,【案例6-2】网络拓扑结构如图6-1所示，计算路由器A至路由器B之间的可用性。AB之间的可用性=0.9990.99990.9950.98 0.950.980.9950.99990.999=90.1%,主讲：杨帆,肇庆学院计算机学院,第12页 共150页,6.1 可靠性设计概述,（2）并联型网络结构可用性计算并联型网络的可用性按（6-5）式计算。在并联系统中，可用性最高的单元对系统的可用性影响最大（提升）。,主讲：杨帆,肇庆学院计算机学院,第13页 共150页,6.1 可靠性设计概述,【案例6-3】网络拓扑结构如图6-2所示，计算路由器ABCD整体的可用性。,主讲：杨帆,肇庆学院计算机学院,第14页 共150页,6.1 可靠性设计概述,路由器ABC之间的可用性=0.990.970.98=94.1%路由器ADC之间的可用性=0.990.950.98=92.16%路由器B+D并联体的可用性RBD=1-（1-RB的可用性）（1-RD的可用性）=1-（1-0.97）（1-0.95）=99.85%路由器ABCD网络可用性=RA可用性（RBD可用性）（RC可用性）=0.990.99850.98=96.9%,主讲：杨帆,肇庆学院计算机学院,第15页 共150页,6.1 可靠性设计概述,4.网站可用性分析从用户的角度看，网络可靠性最终要体现在网站的可用性上。业界通常用“n个9”来量化定义网站的可用性指标。如国外知名微博网站Twitter（推特）2008年前4个月的可用性只有98.72%，有37小时16分钟不能提供服务，连2个9都达不到。不同业务类型决定不同网站对可用性的要求不同。如电信级传输网中，通信设备的可用性要求达到99.999%，这要求系统在一年的连续运行中，因各种可能原因造成停机维护时间少于5分钟。,主讲：杨帆,肇庆学院计算机学院,第16页 共150页,6.1 可靠性设计概述,6.1.3 网络可靠性设计网络可靠性设计的7R原则冗余（Redundancy）：减少单点故障造成服务中断品牌（Reputation）：供应商的声誉可靠性（Reliability）：部件、设备本身的可靠性维修能力（Repairability）：可维修和易维修恢复能力（Recoverability）：减少损失的能力响应能力（Responsiveness）：人员的快速反应时间活力（Robustness）：对新技术的适应兼容能力,主讲：杨帆,肇庆学院计算机学院,第17页 共150页,6.1 可靠性设计概述,6.1.3 网络可靠性设计2、网络可靠性设计内容,主讲：杨帆,肇庆学院计算机学院,第18页 共150页,6.1 可靠性设计概述,6.1.3 网络可靠性设计2、网络可靠性设计内容设备可靠性设计设备冗余链路可靠性设计链路冗余路由可靠性设计路由热备份软件可靠性设计协议、NOS、AP等,主讲：杨帆,肇庆学院计算机学院,第19页 共150页,6.2 网络链路冗余设计,主讲：杨帆,肇庆学院计算机学院,第20页 共150页,网络中存在单点故障单点故障指网络中某一单个节点或某一单条链路发生故障时，可能导致用户与核心设备或网络服务的隔离。冗余设计可以绕过单点故障。,6.2.1 冗余设计简介1.为什么需要冗余设计,6.2 网络冗余设计,主讲：杨帆,肇庆学院计算机学院,第22页 共150页,6.2.1 冗余设计简介2.冗余设计的内容,6.2 网络冗余设计,链路冗余：采用链路聚合技术设备冗余：交换机、路由器、服务器、电源系统等的冗余。多台主机互为热备，服务器冗余可以采用双机热备方法，交换机、路由器、服务器都可采用冗余电源；软件冗余：采用双服务器软件镜像方法等。,主讲：杨帆,肇庆学院计算机学院,第23页 共150页,6.2 网络冗余设计,6.2.2 网络结构的冗余设计1核心层全网状冗余设计,每个核心路由器都与相关核心路由器相连，提供了最大的冗余可能性；任意目的地的可用路径有多条，但同时只有一条起作用；正常情况下，到任意目的地的距离为1跳；最坏情况下，到任意目的地的距离为3跳。,主讲：杨帆,肇庆学院计算机学院,第24页 共150页,6.2 网络冗余设计,全网状冗余设计的缺点：投资与节点数量呈现几何增长关系。随着节点数量的增加，增加了路由器选择最佳路径的计算量，加大了收敛时间。随着路由器数量的增多，处理广播消息的带宽和CPU资源也会增加。,主讲：杨帆,肇庆学院计算机学院,第25页 共150页,6.2 网络冗余设计,2核心层部分网状冗余设计,折中了跳数、冗余和网络中路径数量的设计；一个核心路由器连接几个相关核心路由器，提供一定的冗余可能性；可到达任意目的地；正常情况下，到任意目的地的距离不超过3跳；故障情况下，到任意目的地的距离也较小。,主讲：杨帆,肇庆学院计算机学院,第26页 共150页,6.2 网络冗余设计,3汇聚层与核心层之间的双归冗余设计,一个汇聚层设备通过两条链路连接到两个核心层设备，即一个汇聚层设备归属于两个核心层设备；两条链路互为备份；避免归属设备的“升级”；办法：R1的路由优先。,主讲：杨帆,肇庆学院计算机学院,第27页 共150页,6.2 网络冗余设计,4汇聚层之间的冗余设计,一个汇聚层设备通过一条链路连接到一个核心层设备；汇聚层设备之间增加一条备份链路；当到核心层的任一链路故障时，提供汇聚层设备到核心层的备份连接。,主讲：杨帆,肇庆学院计算机学院,第28页 共150页,6.2.3 网络链路冗余设计1.链路冗余设计目的,6.2 网络冗余设计,提供网络备用链路（2条冗余链路只有一条工作，另外一条处于热备监控状态）；提供网络负载均衡（多条冗余链路同时工作，不能备用，链路流量平衡可控）。,主讲：杨帆,肇庆学院计算机学院,第29页 共150页,6.2.3 网络链路冗余设计2.链路冗余设计要求,6.2 网络冗余设计,不能构成环路，具体技术是STP和Trunk。只有在网络链路中断时，才启用冗余链路。尽量不要将冗余链路用于负载平衡。冗余链路设计多用在核心层的设计。链路冗余投资较大，但可靠性好。,主讲：杨帆,肇庆学院计算机学院,第30页 共150页,6.2 网络冗余设计,6.2.3 网络链路冗余设计3、设计举例某公司总部与分部之间有三条链路相连，DDN与FR之间的路由器配置动态路由协议选路，并配置策略路由从而实现负载均衡；另外还通过PSTN提供静态路由备份。,正常情况,备用,主讲：杨帆,肇庆学院计算机学院,第31页 共150页,6.2 网络冗余设计,6.2.4 网络设备的冗余设计1.网络设备和部件冗余技术设备端口的冗余。主控冗余技术。在交换机、路由器等网络设备中，提供两块主控制板，互为备份。主控板与备用从控板之间的切换检测方法可采用硬件心跳线或其他方式。,主讲：杨帆,肇庆学院计算机学院,第32页 共150页,6.2 网络冗余设计,2.不间断转发技术路由器进行主备切换时，在路由协议层面会与邻居路由器之间发生信号震荡。这种邻居关系的震荡将导致路由震荡，进而导致业务出现暂时中断。NSF（不间断转发）技术可以保证路由器控制层面出现故障（如系统重启或路由震荡）时，数据转发不间断地正常进行，保护网络流量不受影响。具备NSF的路由协议有：OSPF、IS-IS、BGP、LDP（标记分发协议）等。,主讲：杨帆,肇庆学院计算机学院,第33页 共150页,6.2 网络冗余设计,3.设备热插拔技术热插拔包括：热替换热添加热升级。通过热插拔功能，用户可以在不影响业务的情况下，对组件进行维护更新。,主讲：杨帆,肇庆学院计算机学院,第34页 共150页,6.2 网络冗余设计,6.2.5 HSRP热备份路由设计VRRP（虚拟路由器冗余协议）是一种容错协议。VRRP在网络边界布置2台路由器或3层交换机，然后在2台路由器上配置VRRP和静态路由，如果其中一台路由器发生故障，另一台路由器马上可以及时工作，从而保持通信的连续性和可靠性。HSRP（热备份路由器协议）是Cisco公司私有协议。HSRP功能与VRRP完全一致。,主讲：杨帆,肇庆学院计算机学院,第35页 共150页,6.2 网络冗余设计,1.HSRP工作原理HSRP协议利用优先级决定哪个路由器成为主动路由器。如果一个路由器的优先级比其他路由器的优先级高，则该路由器成为主动路由器。刚开始工作时，各个路由器广播自己的HSRP优先级，HSRP协议选优先级最高的路由器为当前的主动路由器。HSRP指定一个虚拟IP地址作为缺省网关地址，网络中的主机将缺省网关指向该虚拟地址，主动路由器负责转发由主机发到虚拟地址的数据包。,主讲：杨帆,肇庆学院计算机学院,第36页 共150页,6.2 网络冗余设计,2.三层交换机的HSRP配置命令格式（1）设置端口 IP 地址。命令格式：Router(config-if)#ip address（2）启用HSRP功能，设置虚拟IP地址。命令格式：Router(config-if)#standby ip（3）设置HSRP抢占模式。命令格式：Router(config-if)#standby preempt,主讲：杨帆,肇庆学院计算机学院,第37页 共150页,6.2 网络冗余设计,（4）设置路由器的优先权值。命令格式：Router(config-if)#standby priority,主讲：杨帆,肇庆学院计算机学院,第38页 共150页,6.3 存储网络设计,主讲：杨帆,肇庆学院计算机学院,第39页 共150页,6.3 存储网络设计,6.3.1 SCSI与SAS接口技术1SCSI接口技术SCSI（小型计算机系统接口）是连接存储设备与服务器最通用的方法。SCSI接口可以连接硬盘、光驱、磁带机和扫描仪等外设。目前SCSI技术已经逐步被SAS技术替代。,主讲：杨帆,肇庆学院计算机学院,第40页 共150页,6.3 存储网络设计,2SAS接口技术SAS（串行连接SCSI）是SCSI总线协议的串行版。SATA标准是SAS标准的一个子集，因此SAS和SATA在物理上和电气上有一定的兼容性。SAS接口与SATA（串行ATA）接口很相似，SAS接口是双端口设计，SAS硬盘无法插入SATA插座，而SATA硬盘可以安全插入SAS接口的第1端口。,主讲：杨帆,肇庆学院计算机学院,第41页 共150页,6.3 存储网络设计,P140图6-12 SAS硬盘接口与SATA硬盘接口比较SAS与SATA有相同的物理层，因此它们的线缆与连接器很相似，但电气上有些差别。SATA信号电压不到SAS信号电压的一半，因此SAS接口传输距离可达6m，SATA只能达到1m。,主讲：杨帆,肇庆学院计算机学院,第42页 共150页,6.3 存储网络设计,案例 SAS接口硬盘,主讲：杨帆,肇庆学院计算机学院,第43页 共150页,6.3 存储网络设计,P145表6-3 SAS、SATA和PATA硬盘接口性能对比,主讲：杨帆,肇庆学院计算机学院,第44页 共150页,6.3 存储网络设计,6.3.2 RAID磁盘阵列技术改进磁盘存取速度的方法：磁盘高速缓存技术RAID（廉价磁盘冗余阵列）技术。1RAID技术的类型（1）软件RAIDWindows及Linux均支持软件RAID。所有操作由服务器CPU处理，系统资源利用率很高，从而使服务器系统性能降低。软件RAID的优点是不需要添加硬件设备。,主讲：杨帆,肇庆学院计算机学院,第45页 共150页,6.3 存储网络设计,（2）硬件RAID硬件RAID通常采用PCI-E接口的RAID控制卡，RAID卡上有处理器及内存，不占用系统资源。硬件RAID可以连接内置硬盘或外置存储设备。无论连接那种硬盘，都由RAID卡控制。,主讲：杨帆,肇庆学院计算机学院,第46页 共150页,6.3 存储网络设计,P146图6-13 磁盘阵列机外观与系统结构,主讲：杨帆,肇庆学院计算机学院,第47页 共150页,6.3 存储网络设计,案例 磁盘阵列机内部结构,主讲：杨帆,肇庆学院计算机学院,第48页 共150页,6.3 存储网络设计,（3）大型磁盘阵列机磁盘阵列机是一台独立的精简型服务器（如IBM TotalStorage DS4500）大型磁盘阵列机的控制部分与磁盘阵列部分采用分开的设备，存储容量可达到数百TB。磁盘阵列机采用精简型操作系统，如Linux等。磁盘阵列机可以通过自带的网卡接连到网络中。,主讲：杨帆,肇庆学院计算机学院,第49页 共150页,6.3 存储网络设计,P146图6-13 大型磁盘阵列机,主讲：杨帆,肇庆学院计算机学院,第50页 共150页,6.3 存储网络设计,案例 大型磁盘阵列机技术参数,主讲：杨帆,肇庆学院计算机学院,第51页 共150页,6.3 存储网络设计,3RAID的级别RAID级别是一种工业标准。广泛应用的RAID级别有4种：RAID 0RAID 1RAID 01RAID 5,主讲：杨帆,肇庆学院计算机学院,第52页 共150页,6.3 存储网络设计,RAID级别大小并不代表技术的高低。RAID 0没有安全保障，但速度快；RAID 1适用于需安全性又要兼顾速度的系统；RAID 2及RAID 3适用于大型视频等处理；RAID 5多用于银行、金融、股市、数据库等大型数据处理中心。,主讲：杨帆,肇庆学院计算机学院,第53页 共150页,6.3 存储网络设计,4RAID 0条带技术 RAID 0采用无数据冗余的存储空间条带化技术。如图6-14所示，这里用4个硬盘组成一个RAID 0阵列，在存储数据时，由RAID控制器将文件分割成大小相同的数据块，同时写入阵列中的磁盘。连续存储的数据块就像一条带子横跨所有的磁盘，每个磁盘上的数据块大小都是相同的。软件RAID 0中，数据块大小为64KB。硬件RAID 0中，数据块大小有1KB、4KB、8KB等，甚至有1MB、4MB等大小。,主讲：杨帆,肇庆学院计算机学院,第54页 共150页,6.3 存储网络设计,P147图6-14 RAID 0结构,主讲：杨帆,肇庆学院计算机学院,第55页 共150页,6.3 存储网络设计,RAID 0写入和读取数据时，4个磁盘可以同时进行，读写性能虽然不能提高300%，但比单个硬盘提高200%的性能是可能的。RAID 0没有数据冗余和校验恢复功能，所以阵列中任何一个硬盘损坏，就可能导致整个阵列数据的损坏，因为数据分布存储在多个硬盘中。RAID 0最低必须配置2块或以上的相同规格硬盘，但是多于4块硬盘的配置是不必要的。,主讲：杨帆,肇庆学院计算机学院,第56页 共150页,6.3 存储网络设计,5RAID 1镜像技术RAID 1采用两块硬盘数据完全镜像技术，这等于内容彼此备份。阵列中有两个硬盘在写入数据时，RAID 1控制器将数据同时写入两个硬盘。这样，其中任何一个硬盘的数据出现问题，可以马上从另一个硬盘中进行恢复。两个硬盘不是主从关系，而是相互镜像的关系。,主讲：杨帆,肇庆学院计算机学院,第57页 共150页,6.3 存储网络设计,P148图6-15 RAID 1结构,主讲：杨帆,肇庆学院计算机学院,第58页 共150页,6.3 存储网络设计,RAID 1提供了有力的数据容错能力，但这是以牺牲硬盘容量为代价获得的效果。例如，4个500GB的硬盘组成的RAID 1阵列时，总容量为2TB，但有效存储容量只有1TGB，另外1TB用于数据镜像备份。,主讲：杨帆,肇庆学院计算机学院,第59页 共150页,6.3 存储网络设计,6RAID 5校验技术RAID 2、3、4、5可以对磁盘中的数据进行纠错校验，当数据出现错误或丢失时，可以由校验数据进行恢复。在RAID 2、3、4中，这种纠错机制需要单独的硬盘保存校验数据。RAID 5不需要单独的校验硬盘，而是将校验数据块（Parity Block）以循环的方式放在磁盘阵列的每一个硬盘中。,主讲：杨帆,肇庆学院计算机学院,第60页 共150页,6.3 存储网络设计,P148图6-16 RAID 5结构,主讲：杨帆,肇庆学院计算机学院,第61页 共150页,6.3 存储网络设计,案例 安装在机柜中的磁盘阵列设备,主讲：杨帆,肇庆学院计算机学院,第62页 共150页,6.3 存储网络设计,案例 RAID磁盘阵列管理,主讲：杨帆,肇庆学院计算机学院,第63页 共150页,6.3 存储网络设计,RAID 5对联机交易处理系统，如银行、金融、股市等或大型数据库的应用提供了最佳解决方案，因为这些应用的每一笔数据量都很小，磁盘输入/输出频繁，而且必须具有数据容错功能。RAID 5既要求磁盘速度快，又要处理数据，计算校验值，做错误校正等工作。因此，RAID 5的控制较为复杂，设备成本较高。利用多个磁盘组成RAID时，磁盘阵列最大可用容量与阵列中最小磁盘容量有关。,主讲：杨帆,肇庆学院计算机学院,第64页 共150页,6.3 存储网络设计,案例 RAID模式下磁盘空间利用情况,主讲：杨帆,肇庆学院计算机学院,第65页 共150页,6.3 存储网络设计,6.3.3 FC光纤通道存储网络设计光纤通道（FC）是一种数据传输接口技术。FC适用于服务器共享存储设备的连接。1光纤通道技术FC采用全双工串行通信方式，支持点对点、仲裁环和交换式三种拓扑结构。FC的兼容性较差，因为厂商以不同的方式解读FC标准，而且以多种技术实现。,主讲：杨帆,肇庆学院计算机学院,第66页 共150页,6.3 存储网络设计,FC是在SCSI接口技术上发展的一个高性能接口。由FC组成的网络不同于以太网技术，它的带宽资源几乎全部可用于传输数字信号，FC网络基本上没有管理信息。FC组建的存储网络（SAN）有较好的性能。,主讲：杨帆,肇庆学院计算机学院,第67页 共150页,6.3 存储网络设计,案例 FC组建的存储网络（SAN）,主讲：杨帆,肇庆学院计算机学院,第68页 共150页,6.3 存储网络设计,2FC存储网络设计FC技术有三种光纤信道交换方法。（1）主控制器交换模式主控制器是一个多端口、高带宽的网络交换机。主控制器中某个部件失灵不会影响正常应用，因为主控制器采用全冗余、热插拔部件。主控制器支持在线错误检测、故障隔离和恢复。主控制器可提供99.999%的可用性。主要应用：不允许宕机的关键任务系统、企业SAN存储网、应用密集型系统等。,主讲：杨帆,肇庆学院计算机学院,第69页 共150页,6.3 存储网络设计,（2）网络交换模式采用光纤交换机作为主要设备，在交换机所有端口之间进行数据高速传输。光纤交换可以构成一个存储网络，这个网络对连接设备来说是透明的。网络交换应用：部门级连接、分布式存储占主导地位的应用、小型SAN的标准构件等。,主讲：杨帆,肇庆学院计算机学院,第70页 共150页,6.3 存储网络设计,【案例6-9】由光纤交换机组成的存储网络拓扑结构如图6-17所示FC组成：光纤交换机（FC-SW）主机光纤通道卡（HBA）磁盘冗余阵列（RAID）光纤链路（FC）等。,主讲：杨帆,肇庆学院计算机学院,第71页 共150页,6.3 存储网络设计,P149图6-17 FC存储网络结构,主讲：杨帆,肇庆学院计算机学院,第72页 共150页,6.3 存储网络设计,P149图6-17 FC存储网络设备,主讲：杨帆,肇庆学院计算机学院,第73页 共150页,6.3 存储网络设计,案例 FC光纤交换机,主讲：杨帆,肇庆学院计算机学院,第74页 共150页,6.3 存储网络设计,案例 FC光纤交换机,主讲：杨帆,肇庆学院计算机学院,第75页 共150页,6.3 存储网络设计,案例 HBA卡功能,主讲：杨帆,肇庆学院计算机学院,第76页 共150页,6.3 存储网络设计,案例 存储设备,主讲：杨帆,肇庆学院计算机学院,第77页 共150页,6.3 存储网络设计,案例 光纤连接方式,主讲：杨帆,肇庆学院计算机学院,第78页 共150页,6.3 存储网络设计,案例 光纤交换机管理,主讲：杨帆,肇庆学院计算机学院,第79页 共150页,6.3 存储网络设计,案例 光纤交换机管理,主讲：杨帆,肇庆学院计算机学院,第80页 共150页,6.3 存储网络设计,3FC的局限性FC本是一个高速存储系统，虽然具备了一些网络互连功能，但远不是一个完善的网络系统。没有专门的服务器来管理FC网络。现有的FC还无法达到基本的安全管理要求。由FC组成的区域存储网络（SAN），无法使存储设备在因特网上运行。FC-SAN的物理覆盖距离不超过50km。,主讲：杨帆,肇庆学院计算机学院,第81页 共150页,6.3 存储网络设计,6.3.4 SAN存储区域网络设计1网络存储技术的类型（1）直接附加存储（DAS）DAS是直接连接在服务器主机上的存储设备。如硬盘、光盘、USB存储器等设备。在DAS中，所有存储操作都要通过CPU的I/O操作来完成，存储设备与主机操作系统紧密相连。这种存储方式加重了服务器主机负担。,主讲：杨帆,肇庆学院计算机学院,第82页 共150页,6.3 存储网络设计,案例 磁带机技术参数,主讲：杨帆,肇庆学院计算机学院,第83页 共150页,6.3 存储网络设计,案例 DAS存储,主讲：杨帆,肇庆学院计算机学院,第84页 共150页,6.3 存储网络设计,（2）网络附加存储（NAS）NAS是一种连接在网络上的专用存储设备。NAS以文件传输为主，提供跨平台海量数据共享功能。NAS最典型的产品是专用磁盘阵列主机、磁带库等设备。NAS连接在局域网上，客户端可以通过NAS系统与存储设备交互数据。NAS直接运行文件系统协议，如NFS、CIFS等。客户端可以通过磁盘映射和数据源建立虚拟连接。,主讲：杨帆,肇庆学院计算机学院,第85页 共150页,6.3 存储网络设计,P150图6-18 NAS结构,主讲：杨帆,肇庆学院计算机学院,第86页 共150页,6.3 存储网络设计,案例 存储网络,主讲：杨帆,肇庆学院计算机学院,第87页 共150页,6.3 存储网络设计,（3）存储区域网络（SAN）存储区域网络是在服务器和存储设备之间利用专用的光纤通道连接的网络系统。,主讲：杨帆,肇庆学院计算机学院,第88页 共150页,6.3 存储网络设计,P151图6-20 具有冗余结构的SAN存储网络,主讲：杨帆,肇庆学院计算机学院,第89页 共150页,6.3 存储网络设计,案例 SAN存储网络应用,主讲：杨帆,肇庆学院计算机学院,第90页 共150页,6.3 存储网络设计,案例 SAN存储网络应用,主讲：杨帆,肇庆学院计算机学院,第91页 共150页,6.3 存储网络设计,（4）JBOD存储技术JBOD（磁盘组）是将一些物理硬盘串联在一起，从而提供一个大的逻辑硬盘。JBOD上的数据简单的从第1个硬盘开始存储，当第1个硬盘的存储空间用完后，再依次从后面的硬盘开始存储数据。JBOD性能与单一硬盘相同，不提供数据安全保障。JBOD的存储容量等于组成JBOD所有硬盘容量的总和。JBOD支持热插拔。,主讲：杨帆,肇庆学院计算机学院,第92页 共150页,6.3 存储网络设计,P151图6-19 JBOD结构,主讲：杨帆,肇庆学院计算机学院,第93页 共150页,6.3 存储网络设计,一些厂商的产品允许通过硬件开关或者跳线将JBOD升级成磁盘阵列。JBOD经常安装在19英寸机柜中，JBOD大都为十几块磁盘，甚至几十块磁盘，它们之间采用菊花链连接，因此总存储容量十分巨大。如果一个磁盘发生故障就会造成整个设备故障，这对系统是一个巨大的风险。简单的解决办法是采用软件RAID技术。,主讲：杨帆,肇庆学院计算机学院,第94页 共150页,6.3 存储网络设计,3SAN设计案例【案例6-11】SAN设计案例如图6-21所示。方案采用SAN存储服务器作为整个系统的核心设备，直接接到磁盘阵列机和磁带机，然后通过千兆交换机为所有服务器提供高速、可靠的存储服务。一台服务器安装备份软件作为备份服务器。其他服务器安装数据代理软件，系统将根据用户的备份策略，自动将各个服务器的应用数据备份到SAN中。,主讲：杨帆,肇庆学院计算机学院,第95页 共150页,6.3 存储网络设计,P152图6-21 简单SAN拓扑结构,主讲：杨帆,肇庆学院计算机学院,第96页 共150页,6.3 存储网络设计,RAID和磁带机为整个存储网络提供存储资源。千兆交换机为SAN存储服务器和应用服务器之间提供千兆高速网络传输带宽。,主讲：杨帆,肇庆学院计算机学院,第97页 共150页,6.3 存储网络设计,SAN存储系统软件有：数据保护模块；数据备份和恢复模块；数据迁移或分级存储模块；数据归档模块；灾难恢复模块；存储资源管理模块；SAN网络管理模块；集中统一管理等软件。,主讲：杨帆,肇庆学院计算机学院,第98页 共150页,6.3 存储网络设计,5存储网络的安全问题对备份数据实行加密保护并不是件容易的事情，会产生一系列问题，如系统性能降低、应用响应延时，以及数据备份/恢复和管理的复杂度增加等。很多存储网络产品虽然都提供了安全功能，但是，如果用户使用Cisco公司的NAS设备、安氏公司的安全设备、HP公司的主机、D-Link公司的网卡，这些设备要相互协调工作，会变得相对困难。,主讲：杨帆,肇庆学院计算机学院,第99页 共150页,6.3 存储网络设计,6.3.5 IP存储网络设计1.IP存储技术的发展存储网络工业协会（SNIA）推出的SMI-S（存储管理接口规范）使不同的存储设备供应商，提供的存储系统之间能够互相兼容。SMI-S是一个面向对象的信息模型，它定义了系统构件的物理和逻辑结构。CIM（通用信息模型）则是基于Web的企业管理的一部分，它包括一个基于XML的加密规范和一个通过HTTP访问模式化对象的方法。,主讲：杨帆,肇庆学院计算机学院,第100页 共150页,6.3 存储网络设计,IP存储目前的主流技术是iSCSI，它将SCSI指令封装在TCP/IP协议中传输。iSCSI吸收了光纤通道技术的优点，同时也继承了以太网和IP技术的优点。iSCSI克服了光纤通道技术的距离限制。iSCSI兼容的设备要比光通道设备便宜得多。其它IP存储技术包括有iFCP，FCIP等。,主讲：杨帆,肇庆学院计算机学院,第101页 共150页,6.3 存储网络设计,2iSCSI技术iSCSI与主机的连接有3种实现方式。P154图6-23 iSCSI实现方式,主讲：杨帆,肇庆学院计算机学院,第102页 共150页,6.3 存储网络设计,由于采用不同的协议，iSCSI与FC之间不兼容。3iSCSI工作原理iSCSI存储网络由iSCSI服务端和客户端两部分组成。服务端包括服务器及连接的iSCSI网络。客户端一般采用Windows或Linux操作系统，iSCSI客户端通过网络访问服务端。对于客户端来说，访问存储网络和本地硬盘完全相同。,主讲：杨帆,肇庆学院计算机学院,第103页 共150页,6.3 存储网络设计,4iSCSI的优点与缺点iSCSI的基础是传统的以太网和因特网。基于FC技术的SAN及DAS安全性相对较低。iSCSI支持IPSec机制，并在芯片层面执行有关指令，确保数据的安全性。问题：距离和带宽之间的矛盾；广域网传输的成本；网络传输效率和延迟等。,主讲：杨帆,肇庆学院计算机学院,第104页 共150页,6.4 高可用集群系统设计,案例 IP网络存储系统,主讲：杨帆,肇庆学院计算机学院,第105页 共150页,6.4 高可用集群系统设计,主讲：杨帆,肇庆学院计算机学院,第106页 共150页,6.4 高可用集群系统设计,6.4.1 计算机集群系统的类型集群系统是将2台以上的计算机（如PC服务器），通过软件（如Rose HA）和网络（如以太网与RS-232），将不同的设备（如磁盘阵列）连接在一起，组成一个高可用的超级计算机群组，协同完成大型计算任务。根据2009年统计数据，世界500强计算机中，有379台计算机采用集群结构，占76的比例。集群是目前超级计算机的主流体系结构。,主讲：杨帆,肇庆学院计算机学院,第107页 共150页,6.4 高可用集群系统设计,【案例6-13】Google数据中心集群计算机如图6-25所示。一个计算中心有多个机架；每个机架安装有80台服务器；每个机架通过2条1000M以太网链路连接到1000M以太网交换机；一个数据中心最多可以容纳5120台服务器。,主讲：杨帆,肇庆学院计算机学院,第108页 共150页,6.4 高可用集群系统设计,P155图6-25 Google数据中心计算机集群系统,主讲：杨帆,肇庆学院计算机学院,第109页 共150页,6.4 高可用集群系统设计,案例 数据中心计算机集群系统,主讲：杨帆,肇庆学院计算机学院,第110页 共150页,6.4 高可用集群系统设计,集群系统的类型HA（高可用）集群；负载均衡集群；科学计算集群。（1）HA集群HA集群具有容错和备份机制，主节点失效后，备份节点能够立即接管相关资源，继续提供服务。HA集群最典型的结构是双机热备系统。HA集群主要用于网络服务，数据库系统，以及关键业务系统等。,主讲：杨帆,肇庆学院计算机学院,第111页 共150页,6.4 高可用集群系统设计,案例 硬件双机热备系统,主讲：杨帆,肇庆学院计算机学院,第112页 共150页,6.4 高可用集群系统设计,案例 纯软件双机热备系统,主讲：杨帆,肇庆学院计算机学院,第113页 共150页,6.4 高可用集群系统设计,（2）负载均衡集群负载均衡集群主要应用于高负载业务情况。负载均衡集群能够使业务（如DNS请求）尽可能平均地分摊到不同计算机进行处理。负载均衡集群非常适合运行同一组应用程序（如Web服务）的大量用户。,主讲：杨帆,肇庆学院计算机学院,第114页 共150页,6.4 高可用集群系统设计,（3）科学计算集群科学计算集群主要用于大规模数值计算。如天气预报石油勘探分子模拟生物计算等。,主讲：杨帆,肇庆学院计算机学院,第115页 共150页,6.4 高可用集群系统设计,6.4.2 HA集群软件系统结构商业HA集群软件有：Rose HAIBM HACMP开源HA集群软件有：HeartbeatRHCS等,主讲：杨帆,肇庆学院计算机学院,第116页 共150页,6.4 高可用集群系统设计,1.Linux平台上的HA集群软件（1）Heartbeat（心跳服务软件）集群软件Heartbeat是开源HA集群中最为成功的一个软件。Heartbeat基本功能：跳检测资源接管系统监测共享IP地址转移等。很多Linux版本都自带了Heartbeat套件。,主讲：杨帆,肇庆学院计算机学院,第117页 共150页,6.4 高可用集群系统设计,（2）Beowulf（贝奥武甫）集群软件Beowulf是著名的Linux科学计算集群软件。它是在Linux内核上运行的一组公共软件工具。Beowulf软件模块包括：MPI（消息传送接口）；PVM（并行虚拟机）；修改后的Linux内核；DIPC（分布式进程通信）服务等。DIPC机制允许从任何节点访问任何进程。,主讲：杨帆,肇庆学院计算机学院,第118页 共150页,6.4 高可用集群系统设计,2.Windows Server平台上的HA集群软件（1）MSCS（微软公司集群服务器）集群软件Windows Server带有MSCS集群软件。MSCS支持主/从、主/主工作模式；支持SQL Server，Oracle等数据库。在Windows 2003 Enterprise Server平台上，MSCS最多可以管理8个节点的集群。,主讲：杨帆,肇庆学院计算机学院,第119页 共150页,6.4 高可用集群系统设计,（2）Co-Standby集群软件Co-Standby Server是Windows Server平台的HA集群软件。该集群软件支持磁盘镜像和共享磁盘两种存储模式，支持主/从、主/主工作模式，支持SQL Server、Oracle等数据库。由于支持磁盘镜像模式，这对一些没有磁盘阵列，但希望保证关键业务高可靠性的用户，是一种很好的解决方案。,主讲：杨帆,肇庆学院计算机学院,第120页 共150页,6.4 高可用集群系统设计,4.多操作系统平台的HA集群软件Rose HA是功能非常强大的商业集群软件。支持众多的专用UNIX平台。如：IBM AIX、HP-UX、SUN Solraris、UnixWare、SGI、NEC、SIEMENS等；也支持PC平台的UNIX系统，如：FreeBSD、SCO Unix、Solraris x86等；还支持Windows、Linux等