数据挖掘的主要内容ppt课件.ppt
《数据挖掘的主要内容ppt课件.ppt》由会员分享,可在线阅读,更多相关《数据挖掘的主要内容ppt课件.ppt(269页珍藏版)》请在三一办公上搜索。
1、Java语言,WangY,1/32,“数据挖掘综述”Overview for Data Mining,Data Mining,2/32,Contents,1,2,3,4,Data Mining,3/32,主要内容,基本定义主要步骤体系结构主要任务支撑学科主要挑战,第1章 数据挖掘概论,Data Mining,4/32,数据挖掘的发展动力-需要是发明之母,数据爆炸问题 自动数据收集工具和成熟的数据库技术使得大量的数据被收集,存储在数据库、数据仓库或其他信息库中以待分析。我们拥有丰富的数据,但却缺乏有用的信息 解决方法:数据仓库技术和数据挖掘技术数据仓库(Data Warehouse)和在线分析处
2、理(OLAP)数据挖掘:在大量的数据中挖掘感兴趣的知识(规则,规律,模式,约束),Data Mining,5/32,基本定义,数据挖掘:(1)按企业既定业务目标,对大量的企业数据进行探索和分析,揭示隐藏的、未知的或验证已知的规律性,且进一步将其模型化的数据处理方法. (2)从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识 数据仓库:是一个面向主题的、集成的、随时间布而变化的、不容易丢失的数据集合,支持管理部分决策的过程-W.H.INMON(数据仓库构造方面的领头设计师)。,第1章 数据挖掘概论,Data Mining,6/32,数据挖掘的步骤,简单多线性程稳
3、定性面向对象,数据变换,第1章 数据挖掘概论,Data Mining,7/32,数据挖掘的应用领域,市场分析和管理,欺诈行为检测和异常模式,公司分析和风险管理,社会网络和Web挖掘,电信,军事,第1章 数据挖掘概论,Data Mining,8/32,数据库、机器学习、统计面临的挑战: 海量数据的挖掘的效率和可扩展性 在数据库中挖掘不同类型的知识 在不同抽象层上的交互式知识挖掘 数据挖掘结果的表示和可视化 处理噪声和不完全数据,学科领域和面临的挑战,第1章 数据挖掘概论,Data Mining,9/32,第1章 数据挖掘概论,典型数据挖掘系统的体系结构,数据仓库,数据清洗,过滤,数据库,数据库或
4、数据仓库服务器,数据挖掘引擎,模式评估,图形用户界面,知识库,数据集成,Data Mining,10/32,第2章 数据预处理,为什么对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成,Data Mining,11/32,为什么进行数据预处理?,现实世界的数据是“肮脏的”数据多了,什么问题都会出现不完整缺少数据值;缺乏某些重要属性;仅包含汇总数据;e.g., occupation=有噪声包含错误或者孤立点e.g. Salary = -10数据不一致e.g., 在编码或者命名上存在差异e.g., 过去的等级: “1,2,3”, 现在的等级: “A, B, C”e.g
5、., 重复记录间的不一致性e.g., Age=“42” Birthday=“03/07/1997”,Data Mining,12/32,数据为什么会变“脏”?,不完整数据的成因数据收集的时候就缺乏合适的值数据收集时和数据分析时的不同考虑因素人为/硬件/软件 问题噪声数据(不正确的值)的成因数据收集工具的问题数据输入时的 人为/计算机 错误数据传输中产生的错误数据不一致性的成因不同的数据源违反了函数依赖性,Data Mining,13/32,数据预处理为什么是重要的?,没有高质量的数据,就没有高质量的挖掘结果高质量的决策必须依赖高质量的数据e.g. 重复值或者空缺值将会产生不正确的或者令人误导的
6、统计数据仓库需要对高质量的数据进行一致地集成数据预处理将是构建数据仓库或者进行数据挖掘的工作中占工作量最大的一个步骤,Data Mining,14/32,数据质量的多维度量,一个广为认可的多维度量观点:精确度完整度一致性合乎时机可信度附加价值可解释性跟数据本身的含义相关的内在的、上下文的、表象的以及可访问性,Data Mining,15/32,数据预处理的主要任务,数据清理填写空缺的值,平滑噪声数据,识别、删除孤立点,解决不一致性数据集成集成多个数据库、数据立方体或文件数据变换规范化和聚集数据归约得到数据集的压缩表示,它小得多,但可以得到相同或相近的结果数据离散化数据归约的一部分,通过概念分层
7、和数据的离散化来规约数据,对数字型数据特别重要,Data Mining,16/32,Data Mining,17/32,第2章 数据预处理,为什么对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成,Data Mining,18/32,描述性数据汇总,动机:为了更好的理解数据获得数据的总体印像识别数据的典型特征凸显噪声或离群点度量数据的中心趋势均值、中位数、众数(模)、中列数度量数据的离散程度四分位数、四分位数极差、方差等,Data Mining,19/32,度量的分类,度量可以分为三类:分布式度量(distributive measure):将函数用于n个聚集值得
8、到的结果和将函数用于所有数据得到的结果一样比如:count(),sum(),min(),max()等代数度量(algebraic):可以 通过在一个或多个分布式度量上应用一个代数函数而得到比如:平均值函数avg() ( avg() =sum()/count())整体度量(holistic):必须对整个数据集计算的度量比如:median(),mode(),rank(),Data Mining,20/32,度量中心趋势 (1),算术平均值加权算术平均截断均值(trimmed mean):去掉高、低极端值得到的均值e.g. 计算平均工资时,可以截掉上下各2的值后计算均值,以抵消少数极端值的影响中位数
9、:有序集的中间值或者中间两个值平均整体度量;但是可以通过插值法计算近似值,Data Mining,21/32,度量中心趋势 (2),众数(Mode,也叫模):集合中出现频率最高的值单峰的(unimodal,也叫单模态)、双峰的(bimodal)、三峰的(trimodal);多峰的(multimodal)对于适度倾斜(非对称的)的单峰频率曲线,可以使用以下经验公式计算众数,Data Mining,22/32,对称 VS. 倾斜的数据,对称与正倾斜、负倾斜数据的中位数、均值和众数,Data Mining,23/32,度量数据的离散度 (1),最常用度量:极差、五数概括(基于四分位数)、中间四分位数
10、极差和标准差极差(range):数据集的最大值和最小值之差百分位数(percentile):第k个百分位数是具有如下性质的值x:k%的数据项位于或低于x中位数就是第50个百分位数四分位数:Q1 (25th percentile), Q3 (75th percentile)中间四分位数极差(IQR): IQR = Q3 Q1 孤立点:通常我们认为:挑出落在至少高于第三个四分位数或低于第一个四分位数 1.5IQR处的值,Data Mining,24/32,度量数据的离散度 (2),五数概括: min, Q1, Median, Q3, max盒图:数据分布的一种直观表示方差和标准差方差s2:n个观测
11、之x1,x2.xn的方差是标准差s是方差s2的平方根标准差s是关于平均值的离散的度量,因此仅当选平均值做中心度量时使用所有观测值相同则 s0,否则 s0方差和标准差都是代数度量,Data Mining,25/32,盒图示例,盒图:数据分布的一种直观表示,在盒图中:端点在四分位数上,使得盒图的长度是IQR中位数M用盒内的线标记胡须延伸到最大最小观测值该盒图为在给定时间段在AllElectronics的4个分店销售的商品单价的盒图分店1中位数$80Q1: $60Q3: $100,Data Mining,26/32,使用盒图的数据离散的可视化描述,Data Mining,27/32,基本统计类描述的
12、图形显示直方图,常用的显示数据汇总和分布的方法:直方图、分位数图、q-q图、散布图和局部回归曲线直方图:一种单变量图形表示方法将数据分布划分成不相交的子集或桶,通常每个桶宽度一致并用一个矩形表示,其高度表示桶中数据在给定数据中出现的计数或频率,Data Mining,28/32,分位数图,一种观察单变量数据分布的简单有效方法显示所有的数据,允许用户评估总的情况和不寻常情况的出现绘出了分位数信息设xi是递增排序的数据,则每个xi都有相对应的fi,指出大约有100 fi 的数据小于等于xi,Data Mining,29/32,分位数分位数图(Q-Q 图),对着另一个单变量的分位数,绘制一个单变量分
13、布的分位数允许用户观察是不是有从一个分布到另外一个分布的迁移,Data Mining,30/32,散布图,确定两个量化的变量之间看上去是否有联系、模式或者趋势的最有效的图形方法之一散布图中的每个值都被视作代数坐标对,作为一个点画在平面上易于观察双变量数据在平面上的分布,Data Mining,31/32,loess曲线,loess曲线为散布图添加一条平滑的曲线,以便更好的观察两个变量间的依赖模式Loess (local regression)意指“局部回归”,为了拟合loess曲线,需要两个参数:平滑参数 ,被回归拟合的多项式的阶,Data Mining,32/32,第2章 数据预处理,为什么
14、对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成,Data Mining,33/32,数据清理,业界对数据清理的认识“数据清理是数据仓库构建中最重要的问题”DCI survey数据清理任务填写空缺的值识别离群点和平滑噪声数据纠正不一致的数据解决数据集成造成的冗余,Data Mining,34/32,空缺值,数据并不总是完整的例如:数据库表中,很多条记录的对应字段没有相应值,比如销售表中的顾客收入引起空缺值的原因设备异常与其他已有数据不一致而被删除因为误解而没有被输入的数据在输入时,有些数据应为得不到重视而没有被输入对数据的改变没有进行日志记载空缺值要经过推断而补
15、上,Data Mining,35/32,如何处理空缺值,忽略元组:当类标号缺少时通常这么做(假定挖掘任务设计分类或描述),当每个属性缺少值的百分比变化很大时,它的效果非常差。人工填写空缺值:工作量大,可行性低使用一个全局变量填充空缺值:比如使用unknown或-使用属性的平均值填充空缺值使用与给定元组属同一类的所有样本的平均值使用最可能的值填充空缺值:使用像Bayesian公式或判定树这样的基于推断的方法,Data Mining,36/32,噪声数据,噪声:一个测量变量中的随机错误或偏差引起不正确属性值的原因数据收集工具的问题数据输入错误数据传输错误技术限制命名规则的不一致其它需要数据清理的数
16、据问题重复记录不完整的数据不一致的数据,Data Mining,37/32,如何处理噪声数据,分箱(binning):首先排序数据,并将他们分到等深的箱中然后可以按箱的平均值平滑、按箱中值平滑、按箱的边界平滑等等回归通过让数据适应回归函数来平滑数据聚类:监测并且去除孤立点计算机和人工检查结合计算机检测可疑数据,然后对它们进行人工判断,Data Mining,38/32,数据平滑的分箱方法,rice的排序后数据(单位:美元):4,8,15,21,21,24,25,28,34划分为(等深的)箱:箱1:4,8,15箱2:21,21,24箱3:25,28,34用箱平均值平滑:箱1:9,9,9箱2:22
17、,22,22箱3:29,29,29用箱边界平滑:箱1:4,4,15箱2:21,21,24箱3:25,25,34,Data Mining,39/32,聚类,通过聚类分析检测离群点,消除噪声聚类将类似的值聚成簇。直观的,落在簇集合之外的值被视为离群点,Data Mining,40/32,回归,x,y,y = x + 1,X1,Y1,Y1,Data Mining,41/32,数据清理做为一个过程 (1),第一步:偏差检测使用元数据(e.g. 每个属性的域、数值类型、依赖性、分布等)检查字段过载检查唯一性规则、连续性规则、空值规则使用偏差检查工具数据清理工具:使用简单的领域知识(e.g.邮编、拼写检查
18、)检查并纠正数据中的错误数据审计工具:通过分析数据发现规则和联系及检测违反这些条件的数据来发现偏差,Data Mining,42/32,数据清理做为一个过程 (2),第二步:数据变换(纠正偏差)数据迁移工具:允许说明简单的变换ETL(提取/变换/装入)工具:允许用户通过GUI说明变换偏差检测和数据变换(纠偏)的迭代执行强调交互性的清理方法,Data Mining,43/32,第2章 数据预处理,为什么对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成,Data Mining,44/32,数据集成,数据集成:将多个数据源中的数据整合到一个一致的存储中模式集成:整合不
19、同数据源中的元数据e.g. A.cust_id = B.customer_no实体识别问题:匹配来自不同数据源的现实世界的实体 e.g. Bill Clinton = William Clinton检测并解决数据值的冲突对现实世界中的同一实体,来自不同数据源的属性值可能是不同的可能的原因:不同的数据表示,不同的度量等等,Data Mining,45/32,处理数据集成中的冗余数据,集成多个数据库时,经常会出现冗余数据对象识别:同一属性或对象在不同的数据库中会有不同的字段名可导出数据:一个属性可以由另外一个表导出,如“年薪”有些冗余可以被相关分析检测到仔细将多个数据源中的数据集成起来,能够减少或
20、避免结果数据中的冗余与不一致性,从而可以提高挖掘的速度和质量。,Data Mining,46/32,分类(离散)数据的相关性分析,2 (chi-square)测试 2的值越大,意味着两个变量相关的可能性越大期望值和观测值之间相差越大,值也将越大相关性不意味着因果关系e.g. 我们发现一个地区的医院数和汽车盗窃数相关两者都必然的关联到第三个属性:人口,Data Mining,47/32,数据变换,数据变换将数据转换或统一成适合挖掘的形式平滑:去除数据中的噪声聚集:汇总,数据立方体的构建数据泛化:沿概念分层向上汇总规范化:将数据按比例缩放,使之落入一个小的特定区间最小最大规范化z-score规范化
21、小数定标规范化属性构造通过现有属性构造新的属性,并添加到属性集中;以增加对高维数据的结构的理解和精确度,Data Mining,48/32,数据变换规范化,最小最大规范化z-score规范化最大最小值未知,或者离群点影响较大的时候适用小数定标规范化,其中,j是使 Max(| |)1的最小整数,Data Mining,49/32,第2章 数据预处理,为什么对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成,Data Mining,50/32,数据归约 (1),为什么需要进行数据规约?数据仓库中往往存有海量数据在整个数据集上进行复杂的数据分析与挖掘需要很长的时间数据归
22、约数据归约可以用来得到数据集的归约表示,它小得多,但可以产生相同的(或几乎相同的)分析结果,Data Mining,51/32,数据归约 (2),常用的数据归约策略数据立方体聚集维归约,e.g. 移除不重要的属性数据压缩数值归约,e.g. 使用模型来表示数据离散化和概念分层产生用于数据归约的时间不应当超过或“抵消”在归约后的数据上挖掘节省的时间,Data Mining,52/32,数据立方体聚集,最底层的方体对应于基本方体基本方体对应于感兴趣的实体在数据立方体中存在着不同级别的汇总数据立方体可以看成方体的格每个较高层次的抽象将进一步减少结果数据数据立方体提供了对预计算的汇总数据的快速访问使用与
23、给定任务相关的最小方体在可能的情况下,对于汇总数据的查询应当使用数据立方体,Data Mining,53/32,维归约,通过删除不相干的属性或维减少数据量属性子集选择(特征选择)找出最小属性集,使得数据类的概率分布尽可能的接近使用所有属性的原分布减少出现在发现模式上的属性的数目,使得模式更易于理解启发式的(探索性的)方法逐步向前选择逐步向后删除向前选择和向后删除相结合判定归纳树,Data Mining,54/32,数据压缩,有损压缩 VS. 无损压缩字符串压缩有广泛的理论基础和精妙的算法通常是无损压缩在解压缩前对字符串的操作非常有限音频/视频压缩通常是有损压缩,压缩精度可以递进选择有时可以在不
24、解压整体数据的情况下,重构某个片断两种有损数据压缩的方法:小波变换和主要成分分析,Data Mining,55/32,有损压缩 VS. 无损压缩,原始数据,压缩后的数据,无损压缩,近似的原始数据,有损压缩,Data Mining,56/32,数值归约,通过选择替代的、较小的数据表示形式来减少数据量有参方法使用一个参数模型估计数据,最后只要存储参数即可,不用存储数据(除了可能的离群点)常用方法:线性回归方法;多元回归;对数线性模型;无参方法不使用模型的方法存储数据常用方法:直方图,聚类,选样,Data Mining,57/32,回归分析与对数线性模型,线性回归:数据被拟合为一条直线Y = w X
25、 + b两个回归系数,w和b,由手头的数据来进行估算通常适用最小二乘法来确定这条直线多元回归:线性回归的扩充,允许响应变量Y被建模为两个或多个预测变量的线性函数Y = b0 + b1 X1 + b2 X2.多元回归可以拟合多种非线性函数对数线性模型:近似离散的多维概率分布。,Data Mining,58/32,直方图,一种流行的数据归约技术将某属性的数据划分为不相交的子集,或桶,桶中放置该值的出现频率桶和属性值的划分规则等宽等频(等深)V-最优具有最小方差MaxDiff,Data Mining,59/32,聚类,将数据集划分为聚类,然后通过聚类来表示数据集如果数据可以组成各种不同的聚类,则该技
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 挖掘 主要内容 ppt 课件
链接地址:https://www.31ppt.com/p-1346819.html