第3章 数据仓库系统的设计与开发.ppt
2023/2/4,数据仓库与数据挖掘,1,第3章 数据仓库系统的设计与开发,2023/2/4,数据仓库与数据挖掘,2,3.1 数据仓库系统的设计与开发概述,建立一个数据仓库系统的参考步骤 数据仓库系统的生命周期 创建数据仓库系统的两种思维模式 数据仓库数据库的设计步骤,2023/2/4,数据仓库与数据挖掘,3,3.1.1建立一个数据仓库系统的参考步骤,收集和分析业务需求步骤 建立数据模型和数据仓库的物理设计 定义数据源 选择数据仓库技术和平台 数据的抽取、清洗和转换各种辅助工具和软件的选择更新数据仓库,2023/2/4,数据仓库与数据挖掘,4,（1）收集和分析业务需求,访问项目经理访问客户高层管理部门访问用户访问信息技术人员,2023/2/4,数据仓库与数据挖掘,5,访问项目经理,2023/2/4,数据仓库与数据挖掘,6,访问客户高层管理部门,2023/2/4,数据仓库与数据挖掘,7,访问用户,2023/2/4,数据仓库与数据挖掘,8,访问信息技术人员,2023/2/4,数据仓库与数据挖掘,9,（2）建立数据模型和数据仓库的物理设计,建立数据仓库的数据模型设计数据仓库的概念模型设计数据仓库的逻辑模型设计数据仓库的物理模型,2023/2/4,数据仓库与数据挖掘,10,建立数据仓库的数据模型,面向主题（对象）为多个面向应用的数据源的集成提供标准,2023/2/4,数据仓库与数据挖掘,11,设计数据仓库的概念模型,继承建立数据模型面向主题的思想采用信息包图法设计，全面描述信息包图的5个组成部分（名称、维度、类别、层次和度量）,2023/2/4,数据仓库与数据挖掘,12,设计数据仓库的逻辑模型,通常采用星型图法设计完整描述星型图的5类逻辑实体,2023/2/4,数据仓库与数据挖掘,13,设计数据仓库的物理模型,采用物理数据模型法设计将物理数据模型的5类表详细描述出来,2023/2/4,数据仓库与数据挖掘,14,（3）定义数据源,在已有系统中定义记录系统。,2023/2/4,数据仓库与数据挖掘,15,（4）选择数据仓库技术和平台,2023/2/4,数据仓库与数据挖掘,16,（5）数据的抽取、清洗和转换,从操作型数据库中抽取、清洗及转换数据到数据仓库,2023/2/4,数据仓库与数据挖掘,17,（6）各种辅助工具和软件的选择,选择访问和报表工具，选择数据库连接软件，选择数据分析和数据展示软件,2023/2/4,数据仓库与数据挖掘,18,（7）更新数据仓库,2023/2/4,数据仓库与数据挖掘,19,3.1.2数据仓库系统的生命开发周期,2023/2/4,数据仓库与数据挖掘,20,3.1.3创建数据仓库系统的两种思维模式,自顶向下（Top-down）自底向上（Bottom-Up）,2023/2/4,数据仓库与数据挖掘,21,3.1.4数据仓库数据库的设计步骤,2023/2/4,数据仓库与数据挖掘,22,3.2 基于SQL Server的数据仓库数据库设计,分析组织的业务状况及数据源结构 组织需求调研，收集业务需求 采用信息包图法进行数据仓库的概念模型设计 利用星形图进行数据仓库的逻辑模型设计 数据仓库的物理模型设计,2023/2/4,数据仓库与数据挖掘,23,MS SQL Server 2005的数据仓库架构,2023/2/4,数据仓库与数据挖掘,24,3.2.1分析组织的业务状况及数据源结构,开发的第一步是要了解和理解组织的业务状况，对于企业来说，也就是要熟悉企业的生产经营流程，同时初步获取在这些流程中的分析需求，为最终确定用户需求做好准备；对数据源结构的分析与理解,2023/2/4,数据仓库与数据挖掘,25,Adventure Works 示例数据仓库,1.公司简介,2023/2/4,数据仓库与数据挖掘,26,Adventure Works 示例数据仓库,2.原材料采购、生产和销售等环节的业务流程介绍,2023/2/4,数据仓库与数据挖掘,27,(1)原材料与仓储业务流程,采购部,经理,采购员,供应商,原材料,1/m,n/o,1/o,经理,管理员,原材料,仓库,1/m,n/o,m/1,仓库管理部门,员工信息,原材料信息,管理员信息,库存信息,供应商信息,2023/2/4,数据仓库与数据挖掘,28,(2)产品销售业务流程,销售经理,销售员,顾客,商品,1/n,商品信息,销售员信息,顾客信息,商品信息,2023/2/4,数据仓库与数据挖掘,29,Adventure Works 示例数据仓库,3.对数据源结构的分析与理解 个人客户相关数据 产品相关数据 原材料采购相关数据,2023/2/4,数据仓库与数据挖掘,30,3.2.2组织需求调研，收集业务需求,关于用户需求的调研 对用户需求调研结果的分析,2023/2/4,数据仓库与数据挖掘,31,3.2.3采用信息包图法进行数据仓库的概念模型,信息包图法简介 信息包图的建立 设计基于主题域的概念模型,2023/2/4,数据仓库与数据挖掘,32,3.2.4利用星形图进行数据仓库的逻辑模型设计,根据分析需求与信息包图制作星形图或雪花图 确定主题的属性组 事实表及其特征事实表的类型与设计 粒度的选择与设计步骤 关于数据仓库的聚合模型关于数据的分割处理 星形图中的维度表简介 关于缓慢变化维的处理常用维度的设计模式,2023/2/4,数据仓库与数据挖掘,33,1.制作星形图或雪花图,将信息包图转化为星型图,2023/2/4,数据仓库与数据挖掘,34,1.制作星形图或雪花图,销售分析,客户,区域,广告,时间,产品,(指标),(维度、类别),产品类别,(类别),2023/2/4,数据仓库与数据挖掘,35,2.确定主题的属性组,通过对业务流程的分析后设计出概念模型，根据概念模型定义的主题、主题域确定主题的属性组,2023/2/4,数据仓库与数据挖掘,36,采购部,经理,采购员,供应商,原材料,1/m,n/o,1/o,经理,管理员,原材料,仓库,1/m,n/o,m/1,仓库管理部门,员工信息,原材料信息,管理员信息,库存信息,供应商信息,销售经理,销售员,顾客,商品,1/n,商品信息,销售员信息,顾客信息,商品信息,1/m,产品信息,2023/2/4,数据仓库与数据挖掘,37,经理,管理员,原材料,仓库,1/m,n/o,m/1,仓库管理部门,原材料信息,管理员信息,采购部,经理,采购员,供应商,原材料,1/m,n/o,1/o,员工信息,库存信息,供应商信息,销售经理,销售员,顾客,商品,1/n,商品信息,销售员信息,顾客信息,商品信息,2023/2/4,数据仓库与数据挖掘,38,供应商主题,顾客主题,商品主题,仓库主题,供应商,供应商ID,顾客ID,有关信息,商品ID,有关信息,商品信息,仓库信息,仓库ID,顾客,商品,仓库,储存,购买,供应,2023/2/4,数据仓库与数据挖掘,39,对概念模型（图3.7）中各主题定义相关属性,以商品主题为例，除基本信息外还有采购和库存信息，销售分析指标主要是和客户发生的业务，这就产生了销售，从而定义了如下属性组：,2023/2/4,数据仓库与数据挖掘,40,3.事实表及其特征,度量：事件或动作的事实记录。通常用度量变量来表示，通过度量变量的取值来记录并可以统计事实。事实表：用来记录业务事实并作相应指标统计的表。事实表的特征：1）记录量大2）度量变量与关键字3）与维度相关联,2023/2/4,数据仓库与数据挖掘,41,4.事实表的类型与设计,构成事实表的两个部分：键，度量指标事实表的4种类型：事务事实，快照事实，线性项目事实，事件事实加法性、半加法性、非加法性设计事实表：分析事实特性，对所有事实排序，删除重复事实，确认某些派生事实，确定事实表模型。事实表要尽可能小，同时要考虑数据的精度和粒度问题,2023/2/4,数据仓库与数据挖掘,42,5.粒度的选择与设计步骤,粒度：数据单元的详细程度和级别粒度选择对逻辑模型的影响粒度选择对存储容量的影响粒度的设计步骤：粒度设计示例：,2023/2/4,数据仓库与数据挖掘,43,6.关于数据仓库的聚合模型,聚合的含义：聚合模型的意义：提高数据仓库的使用性能聚合模型设计应注意的问题,2023/2/4,数据仓库与数据挖掘,44,7.关于数据的分割处理,数据分割：数据分割的意义,2023/2/4,数据仓库与数据挖掘,45,8.星型图中的维度表简介,维度表的数据特征：维度表的分类：维度的层次与级别：,2023/2/4,数据仓库与数据挖掘,46,9.关于缓慢变化维的处理,维度的变化问题：无变化、缓慢变化、剧烈变化,2023/2/4,数据仓库与数据挖掘,47,10.常用维度的设计模式,时间维度地理维度机构维度客户维度,2023/2/4,数据仓库与数据挖掘,48,3.2.5数据仓库的物理模型设计,物理模型设计的主要工作物理存储结构设计的原则 数据仓库索引设计的特殊性 存储优化与存储策略,2023/2/4,数据仓库与数据挖掘,49,1.物理存储结构的主要工作,(1)定义数据标准，规范数据仓库中的数据(2)选择数据库架构(3)根据DBMS进行数据库表结构设计(4)确定外部存储设备等物理环境(5)物理文件设计(6)索引的使用与选择(7)RAID(RAID:Redundant Array of Independent Disk，独立冗余磁盘阵列),2023/2/4,数据仓库与数据挖掘,50,2.物理存储结构设计的原则,提高数据访问速度的基本原则：(1)可并行操作的数据应存储在不同的设备上(2)共享数据集中存储(3)快速索引一般存储(4)使用RAID,2023/2/4,数据仓库与数据挖掘,51,3.数据仓库索引设计的特殊性,(1)数据量大更新少(2)索引多(3)只读性,2023/2/4,数据仓库与数据挖掘,52,4.存储优化与存储策略,(1)表的归并与簇文件(2)反向规划，引入冗余(3)表的物理分割（分区）,2023/2/4,数据仓库与数据挖掘,53,3.3 使用SQL Server 2005建立多维数据模型,SQL Server 2005示例数据仓库环境的配置与使用 基于SQL Server 2005示例数据库的多维数据模型的建立与应用。,2023/2/4,数据仓库与数据挖掘,54,3.3.1 SQL Server 2005示例数据仓库环境的配置与使用,1.组件、示例和工具的选择与安装2.权限设置基于SQL Server 2005示例数据库的多维数据模型的建立与应用3.示例数据库的安装4.利用数据仓库及帮助系统学习,2023/2/4,数据仓库与数据挖掘,55,3.3.2基于SQL Server 2005示例数据库的多维数据模型的建立与应用,1.创建一个新的数据仓库分析项目2.定义数据源3.定义数据源视图4.定义多维数据集5.部署“销售分析示例”项目 6.浏览已部署的多维数据集 7.提高多维数据集的可用性和易用性,
