XX公安昆腾DXi备份系统解决方案.doc

山东公安昆腾DXi备份系统解决方案美国昆腾国际公司二零零九年九月目 录第一章 前言31.1 前言31.2 VTL的技术分类和优缺点3第二章 什么是最完善的备份系统62.1 磁盘备份vs.磁带备份 - 备份设备分析62.2 具备重复数据删除的VTL73.1 DXi备份系统方案概述93.2 系统的备份和恢复过程103.3 本次推荐备份产品的配置描述11第四章 ESG Lab 测试报告（Dxi7500）11第四章 谈谈昆腾的Dxi75002第一章 前言1.1 前言 虚拟磁带库（Virtual Tape Library，简称VTL）是近年来兴起的众多磁盘备份（Backup to Disk）解决方案中，最受瞩目的一项，调研机构IDC的数据显示，全球虚拟磁带库市场（VTL）将在2011年达到14亿美元，复合年增长率为47.4%，未来全球VTL市场前景广阔,虚拟带库的出现,主要是解决了物理带库可靠性低,响应速度慢等常见问题.虽然VTL应用的时间不过3年多，目前却是相当热门的产品，从市场面来看，主要的储存设备供货商都开始提供 VTL产品线，包括外接式磁盘储存系统的几大知名厂商EMC、NetApp、IBM、HP等以及StorgeTek、Quantun等多家磁带储存设备大厂。早在2002年3月，作为数据保护领域领先厂商的昆腾公司（Quantum）率先推出了业界第一款基于磁盘的VTL备份产品虚拟磁带库DX30。此后，虚拟磁带库这种基于磁盘的备份方式被越来越多的客户所接受，也为众多的存储厂商所看好，于是市场上出现了越来越多的类似产品,比如:Sepaton,EMC,IBM,Data Domain等。1.2 VTL的技术分类和优缺点VTL是把物理磁盘库虚拟成磁带库，在磁盘介质上模拟出机械臂、磁带机和磁带来进行工作。市场上的虚拟磁带库依照架构不同，当前有三种架构体系的VTL： 备份软件模式 此模式是集成在某一个备份软件内部的模块，如Veritas和Legato等备份软件的VTL；这种VTL只能被该备份软件调用，并且不具有标准磁带库的访问和管理方式，当然也不能实现标准的LANFree备份，因此严格说来还不能算做VTL，只能算作D-D的备份方式，很多备份软件都具有磁盘备份的功能，如：VERITAS NetBackup、EMC Legato、Atempo、CommVault等；基于备份软件的VTL功能，其总体框架简单，但是其可靠性和总体性能非常有限，经常在入门级用户中见到其应用，当然这种VTL也不适合企业级和大容量场景使用。随着重复数据删除时代的到来，这种基于软件架构体系的备份产品，有其优点，当然也有其弱点：产品举例： EMC Legato( Avamar)和Veritas PureDisk产品优点：备份时，对VTL或者磁带库的原始备份空间要求最少，其备份和重复数据删除动作发生在备份服务器的media server上，只要是往后端设备传递的数据，均是已经精简过的数据块。产品缺点：毕竟Media server 需要跑大量的日常作业，不可能分配太多的CPU和内存给备份作业使用，因为重复数据删除占用了服务器的大量CPU和内存，所以，我们不建议在白天有备份作业的情况下，而采用这种基于软件VTL的解决方案。 PC架构VTL这一种是单独运行在一台PC 服务器上的VTL软件，在标准的x86平台的服务器上安装通用操作系统（通常为Linux），然后再安装VTL软件；在外接磁盘阵列上虚拟出磁带库和虚拟磁带空间。这种VTL是完全模仿了一个真实的带库，具有机械臂、磁带机和虚拟磁带，用户完全可像一台物理带库一样去管理和使用。代表软件产品有：FalconStor和Sepaton的VTL。 由于软件架构在标准的x86平台和Linux操作系统上，而且储存装置的限制较低，只要服务器支持，可以采用任何SCSI或FC接口的磁盘阵列，与备份服务器端可以藉由SCSI、 iSCSI或FC等接口相连，部署应用上较有弹性。这类型产品相当多，EMC、IBM、Maxxan、同有、众志和达等公司采用的是都是Falcon的软件技术，而HP 采用Sepaton的技术。典型产品的代表： EMC 42xx/44xx/46xx系列虚拟磁带库，HP VLS6000、9000系列虚拟磁带库，IBM TS7530系列虚拟磁带库， STK VTL 3600等系列虚拟磁带库，均属于这种OEM的虚拟磁带库。 优点：这种基于PC架构而采用OEM软件来实现的虚拟磁带库，无疑是比较灵活的，一方面，用户有利旧磁盘阵列，可无需购买新阵列而实现VTL功能，另外一方面，底层的磁盘阵列和根据使用情况不同而可以改变。总体灵活性是比较高的。产品分类：IBM TS7530,EMC 41xx/42xx/44xx/46xx，STK VTL3000系列，均OEM 台湾飞康VTL. HP VTL6000,9000 OEM来自Sepaton EMC DL3D 1500/3000 OEM来自昆腾缺点：总所周知，OEM产品最大的弱点有二：1） OEM的关系决定了其产品不会是主流产品，一旦OEM关系出现裂缝，选择这些产品的用户利益就会受到极大的破坏。比如：后续产品的firmware更新无法实现，产品的新功能无法享受等。而当前VTL行业，合并的脚步越来越快速，OEM的关系可谓一年三变，在选择这种产品时，用户需要慎重考虑。2） 既然是OEM关系，那么能否彻底，及时消化所OEM产品的技术特点等都是问题，从使用的角度考虑，就是产品的稳定性和性能存在一些不如人意的地方。尤其是产品的可靠性问题，更是目前OEM VTL的硬伤。其关键的问题存在于，在取得OEM的VTL软件后，各家并未对此软件做任何优化处理，而只是把VTL作为自己产品线的一个补充。 最后我们就能看到一个有趣的现象：随便那家都都说自己有VTL产品，但是其VTL产品到底是否足够强壮，是否足够稳定，那么可能连他们厂家自己也无法说清中间的道理。嵌入式结构VTL嵌入式结构VTL也是完全模仿了一个真实的带库，具有机械臂、磁带机和虚拟磁带，只不过它的硬件结构更为专业；VTL控制器采用专业的硬件平台，模块化的结构，采用专用的操作系统将VTL软件安装在专用系统内。这种VTL的典型代表是NetApp、Quantum和Mirage等。如NetApp通过收购Alacritus软件建立了自己的VTL产品线NearStore，它的VTL产品采用与它的Filer一样的控制器结构，只是微码（fireware)不同。而当前Quantum公司的 DXi系列产品也采用自有的技术专用的硬件结构，这种嵌入式结构VTL能够有效避免操作系统+虚拟磁带库软件组成的软件虚拟磁带库存在的易受人为破坏导致数据丢失的安全性问题；具有更高的安全可靠性。很显然,在VTL 系统正式投入使用后,PC架构的VTL(比如EMC DL4100等)存在易受人为破坏导致数据丢失的安全性问题,因为他们的VTL架构,并不是严谨的自由技术的专用的硬件架构.这种嵌入式结构VTL能够有效避免操作系统+虚拟磁带库软件组成的软件虚拟磁带库存在的易受人为破坏导致数据丢失的安全性问题；具有更高的安全可靠性。1.2.1 什么是重复数据删除技术的VTL重复数据删除技术是2006年在备份领域才开始应用,而之前则一直在实验室里面做技术研究; 包括Data Domain和昆腾在内的多家存储厂商都推出了自己的重复数据删除系统，这些系统并不是与某个特定的VTL或者备份应用相兼容，而是一种通用的重复数据删除系统。采用通用重复数据删除系统的好处就在于它是针对重复删除的数据设计的。因此，这些系统对数据来源是“一视同仁”的，也就是说，备份源数据可以是来自多种应用的，例如备份软件、应用设备、归档应用或者直接来自用户。通用系统提供了多个数据访问协议（NFS、CIFS或者磁带仿真）以及多种物理连接（以太网或者光纤通道）。在物理数据中心里有很多种来源的备份数据，因此系统对数据来源“一视同仁”显然是具有一定优势的。虽然输入数据可能有不同来源，但是在通用系统中重复数据删除流程却是适用于所有数据的。例如，系统管理者可能会通过备份应用将Microsoft SQL环境备份到通用重复数据删除系统中。然后，用户可能会使用一款VMware备份工具将其作为一个VMware镜像获取，将数据迁移到重复数据删除系统中。在以上的例子中，所有数据都是类似的，不同来源的冗余数据在保存之前就被删除掉了。请注意，这个例子主要是那些一天之内变动很小的文件。在目前的数据中心里，这种多重保护功能并不常见，所以想要在一周或者一个月之内节省下大量的空间是不太容易的。一般来说，通用重复数据删除系统可以进行in-line(前事)重复数据删除操作，因为这是效率最高的方法。而且在理想状态下，重复数据删除系统应该可以识别不同长度的数据组来选择最有效的重复数据删除策略。例如，重复数据删除系统可以提取并且只保存数据库中发生改变的数据组，而不是对整个数据库进行备份。而且，具备复制功能的通用重复数据删除系统提供了将数据备份到远程站点的最佳解决方案。重复数据删除系统只需要复制网络中的唯一更新过的数据块和相关的索引文件。为我们以后磁带数据的远程传输提供了最适合的框架构造。最高效的系统可以进行重复数据删除复制、in-line重复数据删除以及多站点之间的重复数据删除。到目前为止存储厂商中Quantum做到了以上三点。除此之外，in-line重复数据删除可以在系统开始接收数据的时候就启动复制流程。这与VTL系统有所不同，VTL系统通常采用的是post-process重复数据删除，因此在复制流程开始之前会有一个延迟的时间，这也提高了灾难恢复数据的风险1.2.2 对备份数据的分析从数据量来分析，目前需要备份的主数据主要包括：1、业务当地, IBM RS/6000小型机 8台， AIX 系统，4台7133D40磁盘阵列，小型机两两做双机热备，运行MIS系统，SYSBASE 数据库，数据库的容量现共有200GB ，平均每套有50GB ，每天产生的新数据量合计150MB 左右。目前备份方式采用每晚营业结束后：将数据库文件在磁盘阵列完全备份一次、小型机上DDS磁带机完全备份一次；对于小型机的操作系统采用每季度磁带备份一次。数据量:数据库全备份一次的数据量为:xxGB,每次增量备份的数据量将近xxMB. 2、OA 系统, PC 服务器一台，WINDOWS操作系统,当前数量大约30GB 数据,每天的新增数据量在150M左右。目前备份方式：每晚备份关键文件夹到本服务器的其它分区中；每月末将本日的完全备份文件刻录光盘保存。数据量:每次全备份数据为30GB,增量备份为150MB.3、正在建设中的财务、人力资源、CRM 系统共3台PC 服务器，WINDOWS操作系统, SQL Server数据库，计划数据量约100GB。目前备份方式：每晚系统自动产生数据完全备份文件到本机磁盘；每月末刻录当日产生的完全备份文件进行光盘保存。数据量:全备份一次为100GB,增量备份按10%计算,即100MB.第二章 什么是最完善的备份系统2.1 磁盘备份vs.磁带备份 - 备份设备分析传统上备份设备通常都采用磁带库或者DDS磁带机，磁带库是磁带机和磁带的自动化设备，除了包含一个到数个磁带驱动器之外，还带有数个磁带槽位，能通过机械臂装置实现自动换带。磁带备份具有如下优缺点：优点：1） 单位存储的价格比较便宜。2） 可以完全离线保存，适合大量数据的安全长期保存。3） 绿色存储 单位存储的耗电量是磁盘的1/20。缺点：1） 驱动器、机械手和磁带均是裸露的机械设备，容易形成机械故障点，而任意的单点故障可能会导致备份失效。2） 备份和恢复的速度较低，这主要是由于磁带本身需要加载、定位造成的。3） 不适合频繁的读写操作同时,传统的磁盘备份通常采用普通的磁盘到磁盘（disk-to-disk）方式，或者是虚拟磁带库（VTL）的方式，其中后者是目前磁盘备份的主流，易于管理、性能较高、整体成本较低。磁盘备份具有如下的优缺点：优点：1) 备份和恢复的速度较快2) 适合频繁的读写操作3) VTL的管理方便缺点：1） 单位存储的价格仍然很高2） 在线保存，不适合数据长期大量保存。因此,基于重复数据删除技术的VTL解决方案,刚好解决了普通磁盘备份的缺陷.高效率的重复数据删除效果,将使得对长期数据量的保存得以实现.2.2 具备重复数据删除的VTL1） 虚拟磁带库的磁盘上保留最重要的原始数据备份集，磁盘具有快速恢复的特点，因此可以保证数据丢失损坏的时快速恢复。2） 备份数据写入到虚拟带库磁盘前,虚拟带库引擎触发重复数据删除算法,保证写入到磁盘的数据是唯一的数据块,大大节约磁盘空间.3） 重复数据删除虚拟带库特有的基于TCP/IP链路数据传输模式,是的数据的异地灾备保存得以实现.如上图所示,昆腾的DXi基于磁盘的备份设备，能够实现本地DXi和异地DXi设备进行基于硬件的块级复制，每天只复制变化的数据块，这样便可以用较低的带宽来处理大量的数据。比如一天如果需要同步几十GB的数据，则可以采用大约10兆以内带宽的网络。这种基于虚拟带库间的数据复制功能,为以后备份数据的异地灾备提供了技术上的保障; 说明：上述基于VTL间的数据远程传输，也是昆腾DXI系列虚拟磁带库的特点，而普通VTL或者基于软件的VTL都是不可能实现这一特点的。第三章 DXi备份系统方案3.1 DXi备份系统方案概述综合上面的分析，我们推荐采用昆腾的以DXi设备为核心的“物理磁带库虚拟磁带库+虚拟带库远程复制（以后建议选择）”的备份方案，该方案的拓扑示意图如下：左上图为独立的当前数据中心，实际上是独立的基于SAN的数据存储中心,我们在数据中心配置一台基于FC接口的DXI7500虚拟带库,虚拟带库默认自带FC VTL 接口,Dxi7500虚拟带库系统激活远程重复数据删除功能;上图右下侧是我们为以后考虑的一个异地数据中心，此数据中心将有部分重要数据通过WAN网络传输到异地的VTL上。当然我们建议配置一台DXI5500虚拟磁带库。通过激活远程数据复制功能来实现数据基于VTL的远程复制。异地数据中心并非必须的，但是基于业务的连续性来考虑，VTL能具备基于TCP/IP的数据块复制功能，那么一个备份框架体系里面，具备了异地数据灾备功能的VTL将是用户利益的最大保证。业务数据中心当地的日常备份数据流: 本地的DXi7500虚拟带库配置FC VTL和默认的重复数据删除功，通过备份软件的自动备份策略，数据中心的关键数据可以通过FC直接备份到当地的DXI7500VTL 分区中。后期考虑的异地数据中心日常备份数据流：异地的DXi7500虚拟带库配置FC VTL,默认的重复数据删除功能配置自动激活，本地的关键数据通过FC直接备份到当地的DXI7500VTL 分区中。后期异地关键备份数据的远程复制和保存：在本地的DXI7500上定制虚拟带库间的复制策略,DXI7500虚拟带库自动执行从本地复制数据到异地的DXI5500，这一异地数据复制将只传输变化过的数据块，大大节约网络带宽和费用。本地数据中心关键数据的归档：在数据中心配置一台可扩展的物理磁带库，通过本地备份软件的数据克隆功能，需要归档的数据将被自动从虚拟磁带库克隆到物理磁带库中。方案的优点:本方案中采用昆腾的DXi虚拟磁带库，它是一种磁盘备份设备，具备最高的存储压缩比，可达10倍-50倍压缩，出于后期的数据容灾考虑，两台DXi虚拟磁带库之间可以直接用DXi硬件通过广域（WAN）链路进行高效率的数据复制.这种构造，具有如下特点：1. 当前备份数据副本,FC的访问模式存储数据,备份数据快速高效。配置相应的备份软件后，可实现关键数据的T-To-T归档,大大节约投资和日常备份操作的复杂性.备份和恢复操作,均可轻松通过FC或者NAS共享来完成。2. DXi虚拟带库本身具备高压缩比的重复数据删除技术，压缩比可以高达10倍-50倍，可以极大的提升虚拟带库的存储利用率，降低存储成本。3. 后期数据容灾考虑，基于DXi到DXi设备的远程复制，实现了异地保存第二个副本。DXi设备具有基于硬件的高效率块级复制的特点，每次复制仅传输变化的数据块，因此远程传输效率极大的提高。假设从每天几个GB数据变化量来看,数据在2Mbit的广域带宽上远程复制,完全可以轻松实现.假设不采用重复数据删除传输技术,1GB数据在2Mbit的链路上传输,基本是一个不可能完成的任务.这也是为什么昆腾Dxi系列虚拟磁带库适合当前灾备需求的最主要原因。4. 自动加密的复制功能,DXi虚拟带库在复制过程中自动加密/解密数据,保证了用户数据的安全性,尤其是对商业机密数据来讲.5. DXI虚拟带库自带的断点续传功能,由于异常的链路而导致的数据中断,一旦链路恢复正常,DXI能自动在断点处从新传输未完成的数据.6. 数据中心配置的物理磁带库，可实现第三份数据的归档保存，大大提高数据的安全性和可靠性。3.2 系统的备份和恢复过程下面描述建议后的系统的备份和恢复过程。备份过程：第一步：备份服务器通过LAN将数据传送到备份服务器上，备份服务器直接通过FC链路将数据传输到DXi上,而且这种备份是通过备份软件自动实现的.第二步（后期建设目标）：DXi自动通过WAN将数据复制到远程的DXi上。注意，这种复制通过DXi自己硬件即可以完成，而无需备份软件。这个远程复制任务的时间，应该安排在第一步完成之后，以及不影响正常业务以及广域网带宽的情况下。恢复过程：情形一：本地部分主数据丢失，需要恢复全部近期数据：处理方法：从本地的DXi直接恢复情形二：本地部分主数据丢失，需要恢复部分近期数据：处理方法：从本地的DXi直接恢复情形三：本地发生地点级灾难，全部数据丢失处理方法：从异地的DXi中恢复数据 3.3 本次推荐备份产品的配置描述1台Quantum DXI7500,基于磁盘的备份系统,重复数据删除功能已激活,24TB RAW容量,实际可用容量为18TB,FC VTL接口已经激活;实际高度为10U,可安装到标准机架中,磁盘体带冗余电源,风扇，4块4Gb FC 接口(lc-lc);4个千兆以太端口(ISCSI和管理用);32块750GB SATA硬盘; 第四章 ESG Lab 测试报告（Dxi7500）ESG实验室测试报告昆腾DXi系列拥有重复数据删除技术的磁盘备份与远程复制设备2007年5月作者：Brian Garrett，Heidi BiggarCopyright© 2007, Enterprise Strategy Group, Inc. All Rights Reserved 概述ESG实验室测试报告自2002年以来，客户凭借昆腾公司的虚拟磁带库（VTL）系统与基于磁盘备份设备，不断增强其传统的磁带备份与恢复方法，改善性能与可靠性。此报告突出显示了昆腾专为中档和分布式企业环境中所推出的DXi系列基于磁盘备份与复制设备的性能。2006年底推出的昆腾DXi系列平台包括基于磁盘备份设备，可保护高达11TB原始数据），拥有重复数据删除技术、基于WAN的远程复制技术、VTL与NAS接口，以及增强的性能。背景ESG研究表明，成本问题是制约磁盘产品（包括VTL）广泛应用的主要障碍。如图1所示，当问及阻止受访者用基于磁盘的产品取代企业级磁带库容量的原因时，74%认为解决方案的成本是主要因素。昆腾的重复数据删除技术改变了磁盘备份的经济因素。重复数据删除技术帮助企业在磁盘上备份更多的数据，并保留更长的时间，从而降低了解决方案的总成本。图1： 阻碍磁盘备份应用的因素N=94SATA ESG研究显示，终端用户还担心磁带架构上的现有投资及缺乏磁盘介质便携性的问题。昆腾基于磁盘的备份客户已证实，基于磁盘的解决方案可用于增强（并非取代）现有磁带投资，采用磁盘-磁盘-磁带（D2D2T）策略，与Enterprise Strategy Group2ESG实验室测试报告现有备份软件和策略协同工作。目前，昆腾DXi系列用户已有了针对离线归档和灾难恢复的新选择通过WAN进行远程复制。数据减缩和远程复制可以通过线缆经济高效地实现备份数据，而无需利用磁带和卡车运送备份数据。昆腾早期在基于磁盘备份市场上的成功因素有以下几点：极高的备份性能（附合备份窗口的目标）、操作简单（与现有备份软件和策略协同工作）以及最后可能也是最重要的一点恢复过程迅速、可靠。报告重点介绍了性能增强的DXi系列的功能，包括易用性、重复数据删除和远程复制。ESG实验室测试报告在位于美国科罗拉多州恩格尔伍德的昆腾研究所，ESG实验室对DXi系列磁盘备份与复制设备进行了实践性评测，同时使用了DXi系列设备的两种型号：DXi3500与DXi5500。图2展示了DXi系列产品与现有备份软件和略协同工作的情况。在虚拟磁带库模式中，DXi系列设备可以作为拥有磁带机和磁带盒的一个或多个磁带库进行操作；在NAS环境下，该设备则表现为CIFS共享或NFS挂载点。图2：ESG Lab实验平台ESG实验室测试ESG实验室配置了一台Quantum DXi3500，与现有Veritas NetBackup设备共同使用，进行评估。如图2所示，在一台预先布线的测试平台，通过DXi3500控制台对DXi3500进行配置。配置方法：分配针对管理和iSCSI访问的IP地址，配置针对备份和恢复流量的光纤通道和以太网界面。基本配置完毕后，即部署虚拟磁带库、磁带机和磁带盒。ESG实验室发现，用户界面易于操作，并且灵活而直观，如图3所示。Enterprise Strategy Group3图3：开始准备ESG实验室测试报告Type of Library（磁带库类型）和Type of Tape Drives（磁带机类型）的下拉菜单用于配置模拟Scalar i2000的磁带库。要说明的是，昆腾最近将磁带库与磁带机模拟列表扩展到DXi（见图3）与DX系列产品，并同时扩大了来自不同厂商的多种磁带机和磁带库的模拟列表。直观的下拉菜单用于在介质服务器上配置虚拟磁带盒与iSCSI连通性。菜单驱动配置完成10分钟后，Veritas NetBackup即开始通过iSCSI协议，利用以太网接口，将备份数据传输至DXi3500。重要性在现有环境下易于安装使用的备份到磁盘方案能够节省时间与费用。客户希望使用安装和配置简便易行，特别是在IT资源有限，甚至没有IT资源的偏远地区。昆腾的DXi系列案例没有令ESG实验室失望。配置开始的10分钟后，Veritas NetBackup便开始把备份数据储存到昆腾DXi3500设备中。Enterprise Strategy Group4配置灵活性ESG实验室测试报告运 行 备 份 软 件 的 介 质 服 务 器 通 过 光 纤 通 道 （ FC） 或 以 太 网 连 接 至 DXi系 列 设 备 。除 了 在 2005年 推 出 的DX3000/5000设备中支持FC与iSCSI虚拟库连通性选择之外，DXi系列还可以通过CIFS或NFS协议，作为NAS工作。当用作NAS设备时，DXi系列设备相对于备份软件来说类似一个大型网络附加驱动器类似于从您的台式电脑访问的共享网络驱动器。多年来，备份软件厂商提供对上述每一种连通选项的支持。ESG实验室测试ESG实验室为光纤通道（FC）与以太网接口上的访问配置虚拟磁带库。内置于Microsoft Windows 操作系统的iSCSI初始器通过介质服务器（iSCSI VTL）母板上的千兆以太网接口访问VTL。一台光纤通道总线适配器与交换机用于存储区域网络（FC VTL）上的高速VTL访问。直连式网络挂载点进行了介质服务器配置，通过CIFS协议（NAS）作为驱动器共享。使用Veritas NetBackup同时启动全部三个接口上的DXi系列设备，开始备份工作，如图4所示。图4：同步FC，iSCSI与NAS备份重要性光纤通道VTL方案提供最高水准的性能与透明度。NAS与iSCSI VTL解决方案不需要专门的母线适配器和交换机，从而降低成本。经ESG实验室验证，昆腾DXi系列支持并提供跨FC, NAS与iSCSI的重复数据删除功能必要时可以同步进行。昆腾DXi系列设备的灵活性可用于配置各类规模适中，价格合理的方案。Enterprise Strategy Group5重复数据删除ESG实验室测试报告重复数据删除功能仅在磁盘内写入唯一性的数据，因而降低了容量要求。当备份数据被存储时，DXi系列设备则利用昆腾专利的可变长度块级重复数据删除流程（仅识别唯一性的数据块）。写入备份数据后，唯一性的字块被识别出来，并且只有唯一性备份数据被存储。换句话说，当一个字块已经被处理时，设备在原有字块中存储一个指针，而无需再次复制该字块。在昆腾这个案例中，重复数据删除可被定义为“在线”（in-line）（或数据被设备吸收），利用缓冲过程提高速度性能。当数据被吸收入DXi系列设备时，重复数据就会被删除。与后处理技术不同，DXi系列设备不会等到备份工作结束后才开始执行重复数据删除。在重复数据删除完全结束后，DXi系列设备利用其申请专利的内嵌硬件压缩技术，节省额外的成本与容量。有关昆腾的方法，有几点需要说明：1. 昆腾在硬件，而非软件中进行压缩，避免了利用软件压缩造成的性能缺损。2. 昆腾是第一家提供既拥有重复数据删除功能又具备硬件压缩功能设备的厂商。通过重复数据删除与压缩，昆腾可充分地利用磁盘容量。3. 管理员不需为了系统跟进而安排任何静止期如同系统把重复数据删除作为后处理任务提供支持。为显示其工作原理，请参考图5。左边的每一排字块都代表一次完全备份。首次备份包含三个字块，其中两个为唯一性字块（蓝色和黄色）。第二次完全备份包含三个首次备份中相同的字块，并增加了一个唯一性字块（红色），从而又增加了一个唯一性字块（绿色）。包含18个字块的四个完全备份数据在存储到磁盘之前被压缩到4个字块。在此示例中，在四个完全备份后，DXi系列重复数据删除技术将所需的磁盘容量由一个4.5（18除以4等于4.5）的因数简缩至1。图5：重复数据删除备份Enterprise Strategy Group6ESG实验室测试ESG实验室测试报告ESG实验室利用从企业数据中心获得的真实备份集（包括Microsoft Exchange电子邮件及主目录文件应用程序）评估Quantum DXi系列的数据简缩能力，评估了四天的完全备份。DXi系列操作台的主页面（部分摘录如图6所示）用于监控各Veritas NetBackup运行后数据简缩的效果。在第四次主目录完全备份（包括文件、电子数据表与演示文档在内的通用文件数据）完成后收集了这些实验结果。图6：监控数据简缩表1显示了四次完全备份的每一次完全备份后的结果及累积效应。表1：主目录文件四次全备份后的数据简缩情况第一次完全备份第二次完全备份减缩前67.9GB71.3GB事件-事件效应减缩后33.95GB2.02GB减缩率2X35.30X减缩前67.9GB139.2GB累积效应减缩后33.95GB35.97GB减缩率2X3.87X第三次完全备份71.09GB第四次完全备份72.23GB1.16GB0.93GB60.25X77.67X210.29GB282.52GB37.15GB38.08GB5.66X7.42X图7说明各完全备份（四次）的重复数据删除效果。备份数据量与磁盘存储数据量之间的差就是昆腾重复数据删除与硬件压缩技术所节省的容量。 备份之间的变动率 保留在磁盘上的备份数Enterprise Strategy Group7ESG实验室测试报告在此例中要说明的是，磁盘上存储的容量在第一次完全备份后几乎没有移动。这是因为我们应用的是每日完全备份策略，每夜存储的主目录文件大多没有变化。总体而言，依据ESG实验室的经验，大多数通用业务应用数据都是这种情况。对于主目录来讲，每日变化率正常情况下低于1%。电子邮件每天可能有所变化，但日变化量通常低于5%。此变化率取决于公司的电子邮件策略。图7：主目录文件四次完全备份后测得的数据简缩量很清楚，磁盘上保留的完全备份越多，节省的容量就越大。昆腾表明，DXi系列设备可实现10-50:1的重复删除率。为加以证实，ESG实验室制定了一份电子数据表格来估计随时间变化的节省率。制作的电子数据表与校准工具（昆腾使用它在容量规划过程中帮助客户）进行对比。使用2%的初始减缩与1%的日变化率，预测重复删除率。如图8所示，在第33次完全备份后，重复删除率达50:1。换句话说，对于这一组利用每日完全备份策略进行保护的实际文件数据，在一台DXi系列设备上备份不到5周，就能实现50x:1的重复删除率。Enterprise Strategy Group8图8：实测与预测的主目录数据简缩TB ESG实验室测试报告TB 另外一个例子，ESG实验室从一个客户的生产环境中测得了Microsoft Exchange备份数据集结果。有趣的是，此客户的IT部门为其用户设定了相当严格的电子邮箱配额，导致备份间相当高的变化率（10%）。如前文所述，ESG实验室认为，这高过了大多数Exchange环境下的典型变化率。ESG实验室通过四个备份事件测算出了重复数据删除率，产生约5:1的简缩率（从DXi系列GUI上可以看出），并且利昆腾的校准工具与ESG Lab电子数据表，对60个事件结果进行了预期。如图9所示，仅在15个事件后就达到了10:1的简缩率，但有趣的是，重复数据删除曲线明显变缓，在60个事件之后，才检测到14:1的简缩率。该案例强调了客户同厂商协作，共同制定备份数据集大小的重要性，并强调了前述由于变量的不同，可能导致重复数据删除率的不同。这些实例还说明，重复数据删除与传统压缩技术工作原理的不同（如：内置于大多数当代磁带机的基于硬件压缩技术）。首先，利用昆腾的重复数据删除技术实现的50:1简缩率要大大高于传统压缩运算实现的2:1或3:1的简缩率。第二，也是同等重要的是，重复数据删除的好处随着时间的积累，优势尽显磁盘上保留的备份越多，节省的容量就越大。换句话说，重复数据删除在第一或第二次备份上会节省一些容量，但随着时间的积累，将达到10:1或更大的简缩率。Enterprise Strategy Group9 TBESG实验室测试报告图9：测定与预期的数据简缩Microsoft Exchange数据TB TB DXi系列提供8种不同容量的产品，型号介于DXi3500与DXi5500设备之间。DXi3500设备可扩展至保护250 GB-4 TB的一级数据，而DXi5500可保护高达11TB的一级数据。这些型号可以按需扩展，满足各细分领域客户的需求。加上全面校准工具，昆腾可以自信地向客户建议目前及未来数据保护所需。重要性ESG实验室证实，成本是阻碍基于磁盘备份部署的首要问题。而重复数据删除技术通过减少数据存储到磁盘的成本，从而改变了备份到磁盘的经济性。ESG实验室证实，使用昆腾重复数据删除与硬件压缩可将磁盘容量缩减达50:1，这取决于数据类型、各备份之间的数据变化率、应用的备份策略及保持期。很清楚的一点是，一些数据集与其它数据集相比更易于简缩。甚至在20:1的压缩率，其节省潜力依然不容小觑用户仅用1TB的磁盘容量即可迅速、可靠地保留20TB的备份数据。因此，备份数据GB成本更低，而公司也能够将数据保留更长时间，满足恢复需求。Enterprise Strategy Group10 TB性能ESG实验室测试报告磁带机每次只能执行一次备份。为在同一时间