第5章数据仓库的工具教材课件.ppt
《第5章数据仓库的工具教材课件.ppt》由会员分享,可在线阅读,更多相关《第5章数据仓库的工具教材课件.ppt(79页珍藏版)》请在三一办公上搜索。
1、第5章 数据仓库的工具,本章要点:如何选择数据仓库产品一般数据仓库产品的组成常见的数据仓库产品,5l数据仓库产品选择,5.1.1 数据仓库产品的组成5.1.2 数据仓库产品应具备的关键技术 5.1.3 数据仓库的发展趋势 5.1.4 如何选取数据仓库工具,5ll数据仓库产品组成,数据集市关系数据库数据源数据准备区各种服务工具等等。,1.数据集市,数据集市是数据仓库的子集,是按主题从数据仓库中划分出来的数据集合。数据集市通常按职能部门为单位为其提供数据,例如,销售部门、财务部门、库存部门等的数据集市。由于数据集市中只包含面向某个主题的数据,因此数据量比较小,方便与各种分析工具建立连接,利于用户使
2、用。,2关系数据库,关系数据库是数据仓库中非常重要的组成部分,数据仓库要想发挥出真正的威力必须由关系数据库为其提供强大的基础引擎。在数据仓库的应用过程中关系数据库为其提供了许多必不可少的功能,如在数据准备数据库中临时储存、清理、转换传入的数据;为数据仓库提供存储引擎、快速传输和修改、以及灵活的索引机制,容纳和管理数据仓库中海量的数据并支持数据集市。,3.数据源,使用数据仓库的最根本目的是为了向企业决策者提供各种决策信息,因此数据仓库必须要将企业内部或外部的各种信息集中起来,合并为一致的数据集。这些数据的来源各不相同,可以来自关系型数据库中的数据,也可以来自各种电子表格,甚至是文本数据。在一个大
3、型企业中通常会存在多个OLTP系统来捕获日常业务运作情况,这些OLTP系统由不同的部门设计并使用不同的数据结构和数据元素,虽然这些数据源的数据不能直接用于决策支持,但是也必须将它们捕获到数据仓库中,因为这些长期积累的数据是建立数据仓库的重要基础,4. 数据准备区,数据仓库从不同的数据源抽取数据后,需要对这些数据进行清理和格式化以保证与其他保存在数据仓库中数据的一致性。数据准备区又被称为数据中间存储区,实际上数据准备区也是一个关系型数据库,数据仓库从其他数据源提出的数据首先要保存在这个关系型数据库中,在这里将数据转化为数据仓库要求的统一格式,并检查数据的一致性和引用完整性,并准备装载入数据仓库的
4、数据库中。通常情况下,数据准备区和数据仓库是分开的,但是如果对数据的清洗和转换操作不影响到数据仓库为最终用户提供服务的性能,数据准备区和数据仓库也是可以合并在一起的。,5.服务工具,建设数据仓库的目的是为决策者提供必要的决策数据,因此根据决策者的要求为了提供决策者所需要的信息,数据仓库必须使用相关工具来帮助它分析和评估数据仓库中浩瀚的数据,例如在线分析处理(OLAP)、数据挖掘工具、预定义报表等等。另外,数据仓库也必须留有相关的应用程序接口(API)以支持用户开发自定义的数据仓库服务工具。,5.1.2数据仓库产品应具备的关键技术,1海量数据的管理能力 数据仓库为了支持决策分析存储了海量的数据以
5、用来分析计算,因此数据仓库产品中最关键的技术就是如何来管理这些海量的数据,通过索管理、有效溢出管理等技术能够实现对数据仓库中大量数据的管理要求,通常用户在选购数据仓库产品时首先考虑的就是数据仓库产品对海量数据的管理能力能否满足自身的要求。2强大的索引管理功能 一个高质量的数据仓库产品必须能够对数据进行方便快捷高速高效的访问,这就要求数据仓库产品能够使用索引技术建立适当的关键数据索引,如二级索引、临时索引、稀疏索引等索引技术,同时还要能够保证建立、使用和管理这些索引所付出的代价不能太高。,5.1.2数据仓库产品应具备的关键技术,3对数据的监控能力如果数据仓库产品希望在大型的应用环境中使用,那么它
6、必须具备对数据的监控能力。在数据仓库运行的过程中,数据监控组件要一直对数据仓库中的数据进行实时的监视,通过收集数据访问信息区分出那些数据是经常被使用的,那些是很少被使用的、那些索引建立的不恰当、那些数据应该进行重新的分类组合等等。而且数据监控组件还要对硬件系统资源的使用情况进行跟踪监控,如内存和cpu的使用率、硬盘空间的剩余情况、并发用户的数据、并发线程的数量等。,5.1.2数据仓库产品应具备的关键技术,4对多种存储介质的管理能力在数据仓库中有很多因素会影响到数据存储介质的选择问题,如数据的使用率、数据粒度的选择等等,对于那些经常使用的数据必须存放在存取数据很快的介质上以提高数据仓库系统的反映
7、时间,但通常来说,存储介质速度的快慢要与其价格成正比,这样对于那些不会被经常使用到的数据就需要放在低速介质上来降低整体成本。因此数据仓库产品必须能够提供对多种不同存储介质的管理能力,这也是实现数据仓库存储多样性的必然要求。在目前常用的存储介质中价格昂贵但存取速度非常快的有系统内存、高速缓存;价格较贵存取速度较快的有各种硬盘设备;价格较低但存取速度也较慢的有光盘和磁带等。,5.1.2数据仓库产品应具备的关键技术,5对元数据的管理元数据是“关于数据的数据”,它与数据仓库中数据的生命周期有关,因此在数据仓库中占有非常重要的地位。数据仓库的开发设计与实现并不是一劳永逸的,而是一个不断重复,逐渐完善的过
8、程,因此管理好元数据为今后对数据仓库的修补、新功能的添加等提供了重要的保证。元数据的主要内容包括数据仓库中表的结构、属性、数据仓库的记录系统、从记录系统到数据仓库的映射关系、数据的抽取日志、访问数据的例行程序、数据模型的说明等。,513数据仓库的发展趋势,、从数据仓库技术的发展角度分析 数据仓库技术的发展包括数据抽取、存储管理、数据表现和方法论等方面。 在数据抽取方面,未来的技术发展将集中在系统集成化方面。它将互连、转换、复制、调度、监控纳入标准化的统一管理,以适应数据仓库本身或数据源可能的变化,使系统更便于管理和维护。 在数据管理方面,未来的发展将使数据库厂商明确推出数据仓库引擎,作为服务器
9、产品与数据库服务器并驾齐驱。在这一方面,带有决策支持扩展的并行关系数据库将最具发展潜力。 在数据表现方面,数理统计的算法和功能将普遍集成到联机分析产品中,同时与Internet/Web技术紧密结合,推出适用于Intranet、终端免维护的数据仓库访问前端。在这个方面,按行业应用特征细化的数据仓库用户前端软件将成为产品作为数据仓库解决方案的一部分。数据仓库实现过程的方法论将更加普及,将成为数据库设计的一个明确分支,成为管理信息系统设计的必备。,513数据仓库的发展趋势,2、从企业角度分析 未来的发展将是不提供完整解决方案的厂商可能被其他公司收购,例如从事数据抽取、提供专用工具的软件公司很可能并入
10、大型数据库厂商而去构建完整的解决方案。能够持续发展的厂商大致有两类:一是拥有强大的数据库、数据管理背景的公司;二是专门提供面向具体行业的、关于数据仓库实施的技术咨询的公司。3、从用户的角度分析 数据管理的传统领域,如金融、保险、电信等行业中的特定应用,如信用分析、风险分析、欺诈检测等,是数据仓库的主要市场之外,数据仓库的应用随着现代社会商业模式的变革而进一步普及和深入。大规模的定制不仅是一种制造过程、后勤系统、或者推销策略,它很可能成为下一世纪企业生产的组织原则,就像成批生产是本世纪的组织原则一样。在未来大规模定制经济环境下,数据仓库将成为企业获得竞争优势的关键武器。,514如何选取数据仓库工
11、具,1、了解企业的商业需求。第一步就是要了解企业对数据仓库产品的应用范围,是要建立企业级数据仓库、部门级数据仓库还是个人级数据仓库?接下来我们需要了解数据仓库产品的用户群体有哪些、预期的用户数量有多少、用户的地理分布是集中还是分散。然后我们要弄清楚企业建立数据仓库的用途和功能,充分了解用户需要利用数据仓库进行哪些领域的工作,需要哪些特殊功能,是只需要简单的数据查询,还是需要利用多维数据分析,甚至是复杂的数据挖掘。最后我们要了解目前企业进行数据分析的工作流程是怎样的,目前分析中有哪些困难和有哪些急需解决的问题等等。,514如何选取数据仓库工具,2、需要了解数据仓库系统的需求。 在充分了解商业需求
12、的基础上我们需要进一步了解数据仓库系统本身的需求信息。例如需要估算系统可容纳数据的数量,了解数据的稳定性以及刷新的速度等。特别需要强调的是,在数据仓库系统中元数据的维护是非常重要的,如果元数据是由非专业的用户来维护,那么系统需求就要强调维护工具表达的直观性;如元数据由专业的技术人员来维护则把需求重点放在维护工具的效率上面。3、对各种数据仓库产品做出功能评估,514如何选取数据仓库工具,功能评估应该包括以下几个方面:(1)系统结构:系统的跨平台型、系统的安全性、可靠性、系统的备份恢复能力等。(2)数据抽取能力:数据转化功能的强弱、定时调度能力、数据抽取的速率等。(3)数据存取呈现能力:支持多维查
13、询能力、是否具有良好的用户端界面、是否支持OLAP分析能力等等。(4)应用支持:系统提供的可重用软件成分的多少、软件的跨平台性、是否有良好的应用程序开发语言、数据库对存储过程的支持情况等。(5)用户接口:用户界面的美观性、易用性、对WEB平台的支持程度等。(6)工具的互操作性:数据库、数据仓库、OLAP分析、数据挖掘以及前端展示工具间的互通情况。,52常用数据仓库产品简介,Oracle 9i NCR TeraData IBM DB2 SAS Microsoft SQL Server 2005的数据仓库工具,521 Oracle 9i,1、Oracle 9i数据仓库的新特性 Oracle数据仓库
14、作为一种企业级关系型数据仓库管理系统在信息管理、企业数据处理、因特网及电子商务等领域被广泛的应用。随着2001年Oracle 9i系列产品的推出,Oracle将产品的重心向电子商务环境转移并继续关注于Internet,为此Oracle 9i提供了许多新功能新特性。(1)可管理性 可管理性是Oracle 9i数据仓库产品的关键改进方面之一,Oracle 9i采取的管理方法有4个方面:改进和流线化的数据仓库操作管理端到端的系统管理解决方案简化任务和减少管理时间关键领域数据库的自我管理,521 Oracle 9i,(2)Internet内容管理 Oracle 9i大大增强了Oracle 8i数据仓库
15、的功能,以充当创建、管理和传递Internet内容的平台,允许客户将所有类型的多媒体内容存储、管理和聚集到单一数据库中,另外还包括:支持随时可移动的内容存储和管理所有类型的内容有效的搜索和索引所有类型的内容为协作项目组织内容,521 Oracle 9i,(3)提供端到端的安全体系结构 Oracle 9i为用户提供了目前为止业界最安全的应用程序开发和部署平台,其中包括以下几个部分:提供强壮的三层安全保证托管环境的安全深层数据库保护改进的企业用户安全(Enterprise User Security)数据加密和标签安全(Oracle Label Security)基于标准的公共密钥体系结构(PKI
16、),521 Oracle 9i,(4)点击智能服务 点击智能服务依靠Oracle Clickstream Intelligence 组件来实现,作为Oracle 9i Application Server的一个组件它能够分析网站数据和企业数据并用以来提高网站效率和企业用户忠诚度。它利用Oracle数据仓库开发工具的开放数据模型来提供一个预先建立的、公开的数据集,并使用Oracle的门户框架提供一套预先建立的报表。Oracle Clickstream Intelligence能够满足电子商务的苛刻要求,包括快速实施、可伸缩性、可操作性、可用性和可管理性等等。,521 Oracle 9i,(5)实
17、时的个性化处理 Oracle 9i可以支持实时的个性化处理,它通过使用数据挖掘技术能够从网络上搜集来的大量的客户点击、交易和图表统计中找出用户真正需要的电子商务数据,并且它能够在分析大量客户信息的同时,保持每个客户关系的独特性,这就为电子商务提供个性化的、一对一的定制服务提供了保证。,521 Oracle 9i,(6)灵活的可移植性 Oracle 9i数据仓库可以在不同的操作系统上运行,且不同的操作系统的Oracle应用软件可相互移植,更为重要的是根据Oracle公司公布的资料显示移植时的代码修改率仅为4%,从一种操作系统移植到另一种操作系统时只需要修改少量代码甚至不需要修改代码。同时,Ora
18、cle 9i支持工业标注的操作系统,通过SQL*NET、NET*8、NET8i,Oracle 9i Net服务允许不同类型的计算机、操作系统通过网络实现互联。,521 Oracle 9i,5-1 Oracle数据仓库的结构框架图,2Oracle 9i数据仓库结构框架,521 Oracle 9i,在框架中数据仓库服务器与展示层之间为C/S结构,而数据仓库工具则分布于结构中的各个部分,其中: OWB(Oracle Warehouse Builder)位于服务器中,是构建数据仓库的主要工具。 Express是OLAP分析工具,核心部分位于服务器中,其他部分如Express Object、Expres
19、s Analyzer则位于客户机中。 Reports、Discoverer顾名思义是位于客户机中用于展示的工具集。 DMS(Data Mining Suite)这是一套数据挖掘工具,也位于客户机中,另外,在DMS之中也具有一定的展示功能。,522 NCR TeraData,NCR Teradata是高端数据仓库市场最有力的竞争者,主要运行在NCR WorldMark SMP硬件的Unix操作系统平台上。1998年,该公司也提供了基于Windows NT的Teradata,试图开拓数据集市(Data Mart)市场。总的来看,NCR的产品性能很好,Teradata数据仓库在100GB、300GB
20、、1TB和3TB级的TPC-D指标测试中均创世界纪录。但是,NCR产品的价格相对较高,中小企业用户难以接受。 相比之下TeraData数据仓库有如下几大特点:,TeraData数据仓库几大特点,(1)丰富的应用程序接口 TeraData数据仓库提供了非常丰富的标准化应用程序接口,其中包括: ODBC Driver for Teradata, JDBC Driver for Teradata, the OLE DB Data Provider for Teradata, Microsoft .NET Data Provider for Teradata, the Teradata Call-Le
21、vel Interface (CLI), TS/API等等。另外还包括许多第三方的应用程序接口,例如 Sybase Open Server and Open Client。(2)开发语言预处理器 TeraData内置了多种开发语言预处理器,方便用户能够更便捷的使用各种开发语言创建自己的应用程序,如COBOL、C和PL/1等等。通过使用这些预处理器内置的函数库,开发者们可以开发出能够直接操作TeraData数据仓库管理系统的增强型客户端程序或者host-based类型的应用程序。,TeraData数据仓库几大特点,(3)强大的数据加载单元 TeraData数据仓库不单支持一次性的数据加载更可以支
22、持实时地加载要求。TeraData数据加载单元包括以下组件:FastLoad, MultiLoad, FastExport, TPump, Teradata Parallel Transporter, Teradata Replication Solutions and Basic Teradata Query facility (BTEQ)。TeraData数据加载工具都可以满足用户的个性化需求将用户分散在不同数据源的数据无缝的集中加载到TeraData数据仓库之中。(4)全方位的数据库管理工具 TeraData数据库管理系统包含了很多工具软件来帮助用户来实现对数据库的操作管理、用户权限管理
23、和数据维护。例如ASF/2用来实现对数据的备份、存档以及数据恢复功能;Database Window(DBW)则可以为用户提供数据库的性能、运行状态和各种统计数据;Administration Workstation(AWS)工具为拥有相关权限的用户提供了对整个数据库系统的操作控制能力。,523 IBM DB2,IBM DB2数据仓库系统是一套基于可视数据仓库的商业智能(BI)解决方案,包括:Visual Warehouse(VW)、Essbase/DB2 OLAP Server 5.0、IBM DB2 UDB,以及来自第三方的前端数据展现工具(如BO)和数据挖掘工具(如SAS)。DB2数据仓
24、库是IBM电子业务软件战略中的重要组成部分,DB2家族中的产品可以运行在包括手持设备、Intel、UNIX、iSeries以及大型机平台在内的很多机型上。可以支持的操作系统包括:Linux、Windows 2000/NT/XP/ .NET、AIX、HP-UX、Sun Solaris、OS/400、VSE/VM和OS/390。,DB2数据仓库产品,企业服务器版 通常用于构建电子业务应用程序和支持大规模的部门及大型企业级数据仓库,它提供了最大程度的连通性,并且可以与异构平台上的DB2数据库和第三方厂商的数据库产品共享数据资源。工作组服务器版 该版本通常用于支持小规模的部门级应用程序或者支持那些不需
25、要存取在OS/400、VM/VSE和OS/390平台上的远程数据库的应用程序。个人版 该版本通常被单机用户使用,功能完善但是不能响应远程的数据库请求。该版本只能运行在Linux和Windows操作系统上。Everyplace 这是针对移动计算机环境而设计的版本,它允许移动用户通过个人数据助理或掌上电脑等手持移动设备存取企业中的DB2数据源。DB2 Everyplace可以运行在包括Palm OS、Linux、Windows CE、Neutrino、PocketPC和Symbian在内的多种移动操作系统上。,524 SAS,SAS公司在20世纪70年代以“统计分析”和“线性数学模型”而享誉业界,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据仓库 工具 教材 课件
链接地址:https://www.31ppt.com/p-1614571.html