探讨云存储技术的发展.docx

探讨云存储技术的发展当前的IT产业中，“云”几乎成了时下最火红、时髦的代名词，软硬件厂商开始将旗下产品逐渐移转到云计算，或提出各自在云架构中的发展方向。其中属于储存领域的“云存储”，究竟在整个云运算的框架中扮演什么角色？现在的发展状况与面临的瓶颈为何？请看今天我们的分析探讨。谈到云存储（Cloud storage），简单来说，就是将储存资源放到网络上供人存取的一种新兴方案。如此一来，使用者可以在任何时间、任何地方，透过任何可连网的装置方便地存取数据。若方案供货商能进一步确保数据的安全无虞，同时又提供许多数据检索及管理的功能，用户又何必不定期地花钱购买、安装、设定或扩充储存设备呢？尤其对于定期会有庞大数据备份需求的使用者或企业来说，设备的管理及扩充绝对是一大梦魇及负担。就一般使用者而言，云存储及类似方案似乎处处可见。值得注意的趋势，就是云存储所支持的存取装置也从计算机主机，慢慢扩展到手机等行动装置上。换句话说，非透过计算机上网存取数据的时代已然过去，机动性更强的手机提供更具弹性的云端数据存取方案。当前甚至有云端音乐串流服务ZumoDrive的推出，iPod/iPhone的用户可以事先将音乐丢到在线储存空间中，然后再透过无线网络播放音乐串流，相当方便。(图1)图1：ZumoDrive网站上所提供的云存储服务。相对于消费端云存储的热络，企业端虽然仍处于“只闻楼梯响”的阶段，但当前主要的储存业者，如EMC、HP、HDS、IBM、NetApp等，早已准备好迎接云运算所可能产生的变革，如今就等着“东风”起而全力抢攻。IT资源转化为Web服务 云存储是云运算架构中的一部分，所以在介绍云存储之前，必须先对云运算架构有一些基本的了解。简单来说，云运算就是将运算、储存及网络，抑或硬件、软件及平台等IT资源，透过虚拟化之资源利用优化，以及可量化计费的服务型态，经由网络分送，给用户随时存取的一种服务平台。该服务就像水电等公共设施一般，使用者不需了解其背后运作技术及状况，企业用户也不必耗费可观的人力及管理成本，进行任何IT设备及资源的管理。所有资源的分配及管理，设备的汰换、更新与扩充，全都由云运算供货商负责一切，并依使用者需求提供可扩展性的高可用性服务，至于使用户则只要按使用量付费即可。事实上，云运算所采用的理论基础与技术皆非全新，从过去以来的服务器整合（Server Consolidation）、Web Service、服务导向架构（SOA）、公共运算（Utility Computing）、主机代管等服务或平台上，就已经可以看到与云运算概念相似的身影。这也是当前云运算一直没有被明确定义的原因之一。不论如何，随着网络带宽的提升、Web 2.0与虚拟化技术的日渐普及，云运算在上述各种有着相似概念技术、服务或平台长久所奠下的基础上发展，开始愈受注目与青睐。在许多技术服务当中，网格运算（Grid Computing）最常与云运算相提并论，虽然两者皆采分布式计算架构，但事实上，却有很大差异，其中尤以资源扩展性最为明显。前者强调所有运算资源集中化，以因应需要大规模运算的应用任务，缺乏扩展弹性；后者适用于多重用户之大量单一请求，并依不同个别需求调配资源，具备动态扩展能力。 资源分配与管理接口 要达到资源随需分配、随需扩展的弹性，云运算必须融合许多技术，例如分布式计算、SaaS、Web Service与服务器虚拟化等，尤其是服务器虚拟化技术，在这几年的推展下，不论是资源利用率的提升，乃至降低电力、散热所达成的节能减碳效益，都为云运算发展奠下厚实的基础，使其不但可发挥动态扩展性与多重用户（Multi-tenancy）的经济效益，并有效降低IT资源的使用成本。服务器虚拟化允许多操作系统与相关应用软件可同时运行在单一实体机器中的特性，可协助企业加速完成基础架构即服务（Infrastructure as a Service, IaaS）方案的部署。所谓IaaS资源大致是指储存、网络与运算等三种资源而言，用户可针对特定属性的虚拟机，指定搭配不同用量的资源分配（例如配置该机拥有1GB内存、320GB硬盘等）。(图2)图2：云运算架构模型。（数据源：IBM）该方案允许快速的应用程序资源分配，基础架构之上的底层操作系统，也可依负载控制需求进行扩展或缩小。也因为如此，使用中的资源较能与应用软件的需求做良好的搭配。当前IaaS方案多半提供了基于REST（REpresentational State Transfer）式的HTTP操作接口，透过该接口，可允许在其基础架构上进行虚拟图像文件的部署、管理，以及资源的指定分配。REST接口并没有其他协议的额外负担，它允许使用者可以简易地存取其服务器。每个资源皆透过独一无二的URI（Uniform Resource Identifier）寻址，同时基于CRUD（Create创建、Retrieve检索、Update更新、Delete删除）四个操作，资源因而能被控管。三种云运算架构 依照Wikipedia的定义，如图3，云运算在建置架构上大致分成三个阶层：应用程序、平台与基础设施，并由此分别提供三种型态服务：图3：云运算架构阶层堆栈。（数据源：Wikipedia） 1.软件即服务（SaaS） 在此阶层中，主要是以云端应用程序（Cloud Application）来提供各种SaaS服务，存取该服务的使用者不需要下载或安装任何程序，就可以直接透过浏览器存取云端应用程序所提供的功能与服务。透过该服务，用户不用对软件进行排错、更新等维护作业，对于使用管理负担及成本的降低有不小的帮助。不仅如此，比起自行建置的系统与程序，SaaS提供了更高可用性的不中断服务。当前市面上不乏许多通行已久的SaaS服务，其中最耳熟能详的莫过于Google Apps与S。采用P2P技术的Skype、趋势科技的云端防毒，以及YouTube、Facebook、Twitter等Web应用程序，皆属于不同类型的SaaS服务。微软在既有商用软件上，另外提供相对应在线软件服务也是其中一种。在储存方面，目前Amazon所提供的自助式内容分派服务CloudFront，以及支持档案共享与数据同步化服务的微软Live Mesh，皆属于采用分布式云存储技术的SaaS服务。2.平台即服务（PaaS） 所谓PaaS，指的是提供运算平台或解决方案服务化而言。它仰赖云端基础设施之资源，支持云端应用的不同功能，并提供整合的API。PaaS好处在于应用程序的部署更简便、有效降低底层软硬件架构采买及管理成本。常见的服务包括Microsoft Azure、Google Engine、Google Custom Search、Yahoo! BOSS等。至于Amazon SimpleDB、Amazon S3、Nirvanix等，则属于提供结构化云存储机制的PaaS服务。3.基础设施即服务（IaaS） 至于IaaS意指云端基础架构（Cloud Infrastructure），也就是将运算、储存及网络等资源转化为标准化服务，以提供内外部使用者存取之用。为了让资源有效管理与应用，IaaS多半藉助虚拟化技术来完成服务器整合之基本作业。目前市面上的IaaS服务，在运算资源分派服务上，有Amazon CloudWatch，以及提供虚拟机服务的Amazon EC2；在网络资源分派服务上，则有Amazon VPC虚拟私有云端；在原生储存资源分派服务上，则以Amazon EBS为代表。除了上述三个服务阶层外，整个云运算架构中还有最顶层的客户端，以及最底层的服务器。对于云运算而言，其服务对象即为客户端。客户端可透过桌机、笔电、Thin Client，甚至手机、PDA等行动装置内建的浏览器来存取云运算服务。就Thin Client与手机等装置来说，装置本身并不需要强大的硬件效能，也不用安装任何软件，只要有简单好用的浏览器，就可以随时随地享受云端服务所带来的种种好处。至于服务器，当然是云运算提供各种服务的最重要基础设备，即使是可以提升整合效率的虚拟化软件，也必须藉助服务器的安装才行。在服务器类型上，同时具备高密度运算容量，并有效提升管理及占用空间效益的刀锋服务器愈见青睐。 三大云端部署类型 上述三种类型服务的云端，若是供企业内部使用，即为私有云端（Private Cloud），如果是营运商专门建置用来提供外部用户使用，并藉此营利者称为公共云端（Public Cloud），说明如下：图4：云运算部署型态。（数据源：Wikipedia） 公共云端 一般云运算多半是指公共云端而言，又称为外部云端（External Cloud）。其服务供货商能提供极精细的IT服务资源动态配置，并透过Web应用或Web服务，提供网络自助式服务。对于使用者而言，完全不需知道服务器的确切位置，或什么等级服务器，所有IT资源皆有远程方案商提供。而且该厂商必须具备资源监控与评量等机制，才能采取如同公用运算般的精细付费机制。EMC Atmos即为此例。对于中小型企业而言，公共云端提供了最佳IT运算与成本效益的解决方案；但对有能力自建数据中心的大型企业来说，公共云端难免仍有安全与信任上的顾虑。不论如何，公共云端改变了既有委外市场的产品内容与型态，提供装置设定，以及永续IT资源管理的代管服务，对于主机代管等委外市场会产生影响。 私有云端 私有云端又称之为内部云端（Internal Cloud），相对于公共云端，此概念较新。许多企业由于对公共云端供货商的IT管理方式、机密数据安全性与赔偿机制，会有信任上的疑虑，所以纷纷开始尝试透过虚拟化或自动化机制，来仿真建置内部网络中的云运算。内部云端的建置，不但提供更高的安全掌控性，同时内部IT资源不论在管理、调度、扩展、分派、访问控制与成本支出上都更具精细度、弹性与效益。其建置难度不小，当前已有HP BladeSystem Matrix、NetApp Dynamic Data Center等整合型基础架构方案的推出，以HP BladeSystem Matrix为例，其组成硬件包括BladeSystem c7000机箱，撘配ProLiant BL460c G6刀锋型服务器、StorageWorks Enterprise Virtual Array 4400，以及管理软件工具HP Insight Dynamics-VSE，即试图藉此方案得以减低建置技术的门坎，在可见的未来取代数据中心，成为数据中心未来蜕变转型的终极样貌。 混合云端（Hybrid Cloud） 所谓混合云端，意指企业同时拥有公共与私有两种型态云端而言。当然在建置步骤上会先从私有云端开始，待一切运作稳定后再对外开放，企业不但可提升内部IT使用效率，也可藉由对外的公共云端服务获利。如此一来，原本只能让企业花大钱的IT资源，也能转而成为营利的工具。企业可将这些收入一部分用来继续投资在IT资源的添购及改善上，不但内部员工受益，同时也提供更完善的云端服务。也因为如此，混合云端或许会成为今后企业IT建置的主流模式。此型态的最佳代表，莫过于提供简易储存服务（Simple Storage Service；S3）及弹性运算云端（Elastic Compute Cloud；EC2）服务的亚马逊（Amazon）。 云存储的样貌 如前述，云存储是指云运算架构中的储存部分，从底层的IaaS、中层PaaS到顶层SaaS都可以看到其身影，其中尤以底层储存资源的网络服务化最为重要。或许可以简单地说，云存储就是储存即服务（Storage as a Service）的意思。事实上，云存储既可以看做云运算架构中的重要组成份子，当然也可以个别拉出成为独立的Web服务。就像云运算的组成架构一样，一个完备的云存储也有许多阶层，虽然划分方式及名称不同，但与前者阶层架构仍有许多相似之处。举例来说，云存储的核心即为储存层，就如同云运算中的IaaS阶层，是由分散在不同区域的各类型储存设备所组成，不论是DAS，抑或FC SAN、iSCSI或NAS等IP储存设备，皆可透过支持储存虚拟化技术的集中化管理系统整合在一起。透过管理系统，可以进行所有储存设备的远程监控、排错等作业；而最重要且最困难的部份则是应用中介层，此类似于云运算中的PaaS阶层，必须达到不同储存设备间的协同运作，并提供单一整合服务。在使用上，使用者不论身在何处或任何时间，只要透过Web-based应用程序，即可上网直接存取数据。实时面对任何特定需求，例如串流数据文件之存取，云存储系统也可随时动态新增扩充来加以支持。再就传输接口来说，HTTP可说是最通用的通讯协议。换句话说，它使得使用者只要透过浏览器便可远程访问数据，而不必进行任何编码程序，同时相对应的应用程序会随即被启动呼叫。但为了解决网络数据的寻址与操作问题，具备URI寻址能力，并支持CRUD操作原理的REST接口，遂成为当前许多云存储产品一致采用的数据对象接口。对于云运算所启动的映像档，云存储大多能透过传统区块及档案接口，像是iSCSI或NFS来提供。这些映像档为虚拟机所挂载，并派送到使用云运算的用户系统上。至于传统磁盘及文件系统也能一样地被配置。云运算应用软件，一旦被运行，当然也能使用数据对象接口。比起专用设备，云存储的最大特点不在功能或接口上，而在于随选派送功能的支持上。更重要的是，它可实现不同储存装置之间的协同运作。面对区块储存或文件系统，云存储可对单一LUN或虚拟Volume提供精细的分配外，实际的储存空间能被随需配置，同时并采取用多少就付多少的付费机制。藉由一些压缩或数据重复删除等技术，并可进一步减少储存空间的用量。针对储存管理，则多半采用典型之频外（Out-of-band）标准数据储存接口，另外也可透过API，抑或Web-based用户管理接口。该接口当然也可以将快照与复制等其他数据服务功能纳入。首要解决异质平台协同问题 不论是云运算或云存储，虚拟化技术都是其中不可或缺的重要促因与基础。但储存虚拟化并不像推展已久的服务器虚拟化那么普及与顺利，因为其中仍有许多待解决的难题存在。这是因为当前各种储存方案与技术十分繁杂而多样，光从一家企业内部可能同时存在各种不同类型储存装置的状况便知一二。更何况不同储存设备供货商间的储存环境一直存在兼容性问题，所以喊了多年的储存整合，仍旧难以如企业需求所愿，这也是储存虚拟化与云存储推展上的最大阻力。虽然储存云端在某方面很容易跨入（例如在线储存与备份），但另一方面想要透过私有云存储来达成全面性之储存整合，似乎不是那么容易的事情。对此，HP建议指出，想要成功完成储存虚拟化目标必须改善企业既有IT储存环境，其改善重点不外共通分享的储存架构、亲和的使用环境、简洁单一的操作界面，以及效能卓著的储存方案等。其中，不论是单一操作接口或统一标准的API，更是解决不同储存装置间协同问题的关键之一。(图5)图5：虚拟化储存架构的层级分类。（数据源：HP）对于IaaS基础架构而言，拥有一个可程序接口，意味着用户可以撰写一个可透过该界面来管理云端使用状况的客户端软件，而这也是当前充斥许多API的原因。不仅如此，许多云端方案供货商并且免费地授权其专利API，好让使用者能够藉此打造出相同的云端基础架构。尽管有许多Open API，但是许多云端社群会员已经开始放慢制式地采用单一公司专利接口的脚步。虽然开源社群开始一些尝试性的响应动作，但仍无法扼止API激增的狂潮。事实上，对于云运算而言，其所需要的标准API，应该得符合中立特色，同时厂商实施风险最小且最稳定可靠才行。如此才可让客户将其应用程序堆栈从一个云端供货商，方便无碍地转移到其他供货商。OCCI开放云运算接口 面对上述问题，开放网格论坛（Open Grid Forum, OGF）早已成立专责接口标准化的工作小组。其所制定的开放云运算接口标准（Open Cloud Computing Interface, OCCI），即为一个免费、开放、为社群共同接纳推动，且以云端基础架构服务为锁定目标的接口标准。藉由该API，数据中心与云端伙伴可以免受现有一堆专利或开放云端API之间歧异不兼容之苦。面对云端基础架构服务所组成之关键组件，目前OCCI是采用资源导向架构（Resourced Oriented Architecture, ROA）来表示。同时，每个由简洁URI标示的资源可拥有许多不同的描述呈现方式（例如可以超文件来表示）。OCCI工作小组正规划在API中加入许多格式的支持，在初始版本中，Atom/Pub、JSON及Plain Text等标准都被纳入支持行列中。该版本并且规定一个单独URI进入点（Entry Point）定义一个OCCI接口，该接口显示“Nouns”内含属性，其中的“Verb”会被执行。原则上，该属性会以键值对（Key-value pairs）表示，而适当的动词则以连结（Link）表示。重要的是，该属性会以URI来描述。(图6)图6：OCCI接口URI对齐IaaS资源示意图。（数据源：SNIA）该API不仅提供CRUD操作，且分别与HTTP Verb的POST、GET、PUT及Delete等参数相对应。HEAD与OPTIONS等Verb参数可用来检索诠释数据（Metadata）与有效操作，而不需要实体主体来增进效能。所有HTTP功能均能利用现有因特网基础架构，包括快取、代理、网关及其他进阶功能。再者，所有诠释数据，包括资源间的关联性会透过HTTP表头对外公开。该接口原生地以ATOM表示，并尽可能地接近底层HTTP协议来执行。OCCI会提供对基础架构服务之定义、创建、部署、操作及退出的管理功能。透过简易服务生命周期模型，可支持由云端供货商提供的基本通用生命周期状态。在事件中，供货商并不会提供或报告服务生命周期状况，OCCI并不会强制遵行，而是将生命周期模型定义成提议书，供云端供货商遵循。参照OCCI，云运算客户端可启动执行全新应用程序堆栈，并管理其生命周期与其采用的资源。为了执行像是来自SNIA CDMI接口所导出的应用程序堆栈，透过OCCI接口即可分派储存至特定虚拟机。SNIA机构并表示，接下来该组织会进一步对储存管理与其中数据管理之方法途径进行检验。图7：OCCI界面架构图。（数据源：SNIA） 担负云存储标准接口制定重任的SNIA 在介绍完云运算的标准接口之后，接着让我们看看云存储统一标准接口的制定状况。国际间致力于储存标准制定工作的储存网络产业协会（Storage Networking Industry Association, SNIA），是当前云存储标准的主要推动者，致力于储存系统统一标准与API接口的开发作业，用以集中搜寻、监控并管理不同厂牌及标准的储存设备。由于各家储存系统的标准不一，异质储存装置所构成的网络储存系统的协同管理，一直是当前最急迫待解的问题。透过标准化接口，即使各家系统内部各有不同的运作功能与标准，但仍能透过统一接口进行沟通，从而实现并发挥协同管理的最大效益，且各家产品仍能保留进行自身标准及技术功能的研发。云存储计划正式推动 对于云存储发展有着里程碑一般深远意义与影响的，莫过于SNIA组织于2009年10月12日对外发布云存储计划（Cloud Storage Initiative, CSI）的正式推动。该计划是在2009年秋季举行的年度盛会储存网络世界大会（SNW Fall 2009）上正式发表。发起成员包括EMC、HP、HDS、LSI、NetApp、Sun、Symantec与Xiotech（Seagte子公司）。CSI计划的工作内容主要包括云存储技术及标准的推广与技术合作，同时并与业界共同推广云存储相关技术的培训、开发与应用发展。当前云存储互操作性与协同管理的最重要且急迫的工作，莫过于统一标准接口的制定。对此，SNIA特别成立专门性的云存储技术工作小组（Techical Working Group, TWG），如图8，目前该小组已有30家厂商共140名技术成员的加入。该小组会与SNIA、CSI各单位及会员，乃至其他云端产业组织共同合作。其主要工作项目大致包含开发云存储参考模型、最佳应用方案与实例。当然最重要的任务莫过于制定云存储产品之统一管理标准接口（亦即CDMI标准API的制定与推广）。(图9)图8：SNIA云存储技术工作小组组织架构图。图9：云存储参考模型。（数据源：SNIA） CDMI云存储全新标准接口 目前由SNIA草拟的CDMI（Cloud Data Management Interface）接口标准之最新版本为0.80版，预计明年将会推出正式的1.0版。由于各家储存方案接口标准不一，所以当前不论是储存虚拟化或云存储，皆深为储存资源无法有效协同运作的问题所苦。对此，CDMI接口的制定，就是为了强化云存储与数据管理的协同作业。在CDMI架构中，被上层接口所揭示的下层储存空间，是以抽象化的容器（Container）概念来表示。所谓容器不仅仅是储存空间的有用抽象化，同时也做为储存在其中数据的群组，抑或总体应用数据服务的控制点。至于CDMI不只提供具备CRUD基本操作概念的数据对象接口，同时也可以用来管理被云运算基础架构所传送使用的容器。对于云运算来说，CDMI提供了通用云运算管理基础架构，同时原本信息管理的重点已渐渐从储存管理转移围绕在数据管理上。CDMI标准则可以协助用户将特殊诠释数据（Metadata）标记在数据上，该诠释数据会告诉端点储存供货商，什么样的数据服务提供该数据（例如备份、归档、加密等）。这些数据服务都会将键值加入到用户存在云端上的数据中，然后透过CDMI标准接口的执行，用户可在不同云端供货商间任意移动数据，而不再需要忍受不同接口中一再重新编码的痛苦。标准化运算及储存的协同运作 再就可存取的CDMI容器来说，其不仅藉由CDMI做为数据信道，同时也可采用其他协议来存取数据，尤其是以CDMI做为云运算环境的储存接口。输出的CDMI容器能被云运算环境中的虚拟机当成每一个用户上所显示的虚拟磁盘驱动器来用。较令人期待的是，云运算基础架构管理可同时支持OCCI及CDMI两种标准接口。为了达成协同运作，CDMI内含可导出OCCI接口所获得的信息，OCCI则提供被导出CDMI容器相对应的储存。其操作执行的范例如下： 1.客户端透过CDMI接口创建一个CDMI容器，并将其转换成一个OCCI导出型态。CDMI容器ObjectID会回报结果。 2.客户端接着透过OCCI接口创建一个虚拟机，并藉由该ObjectID附加一个CDMI类型之储存容量。OCCI虚拟机ID会回报结果。 3.接着客户端以OCCI虚拟机ID进行CDMI容器对象导出信息的更新作业，如此才能让虚拟机存取该容器。 4.最后客户端再透过OCCI接口启动虚拟机。OCCI及CDMI可说是专门让云运算及云存储达成协同运作的标准化作业(图10)。该标准是透过OGF与SNIA两者间的策略联盟，以及透过跨SDO云端标准协同小组之协调一致才达成。OCCI可充份利用CDMI已配置好，以及设定完成的储存。一旦两个接口采用相同原理及技术，单一用户将能同时管理应用程序的运算与储存需求，并且符合配置在两接口上需求的同时扩展。  图10：整合式云运算环境CDMI及OCCI接口协同运作架构。（数据源：SNIA）小结 云存储与云运算一样，必须经由网络来提供随选分派的储存资源。重要的是，该网络必须具备良好的QoS机制才行。对于用户来说，具备弹性扩展与随使用需求弹性配置的云存储，可节省大笔的储存设备采购及管理成本，甚至因储存设备损坏所造成的数据遗失风险也可因此避免。总之，不论是端点使用者将数据备份到云端，抑或企业基于法规遵循，或其他目的的数据归档与保存，云存储皆可满足不同需求。至于IT资源要能实现弹性随需配置，还须仰赖各种不同平台领域之间的协同工作才能达成。而国际标准的制定，正有助于整个云运算相关产业的应用发展，让云端的精神不再那么遥不可及，而是落实到实际IT架构的应用。