可视化关键技术.ppt

,高级大数据人才培养丛书之一，大数据挖掘技术与应用,何光威 主编 郑志蕴 梁英杰 朱琼琼 副主编,BIG DATA,刘 鹏 张 燕 总主编,大数据可视化,高级大数据人才培养系列丛书,of,45,2,习题,5.1大数据架构,第5章大数据可视化的关键技术,of,45,3,对于“大数据”，研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。ITU Y.3600标准首先明确给出了大数据的定义：一种允许可能在实时性约束条件下收集、存储、管理、分析和可视化具有异构特征的大量数据集的模式。国内普遍接受的定义：具有数量巨大、来源多样、生成极快、且多变等特征并且难以用传统数据体系结构有效处理的数据。因此大数据的内涵不仅是数据本身，还包括大数据技术和大数据应用。,。,5.1大数据架构,第5章大数据可视化的关键技术,of,45,4,大数据的数据特征，有4V、5V、7V或11V特征等来描述。容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息（量）；速度（Velocity）：指获得数据的速度，实时获取需要的信息（速）；种类（Variety）：结构化数据、半结构化数据和非结构化数据（类）；价值（value）：价值密度低；合理运用大数据，以低成本创造高价值（价）；真实性（Veracity）：数据的质量，数据清洗，去伪存真（真）；可视化（Visualization）：可视化可推动大数据的普及应用（普）；粘性（Viscosity）：改善用户体验，增加用户对媒体的粘性（粘）；上述定义都有一定的道理，特别是5V定义，目前已经被越来越多地接受。大数据时代最大的转变，就是放弃对因果关系的渴求，取而代之关注相关关系。也就是说，只要知道“是什么”，而不需要知道“为什么”。哪5V？,。,第5章大数据可视化的关键技术,of,45,5,5.1大数据架构,一个概念体系,二个价值链维度,指它为大数据参考架构中使用的概念提供了一个构件层级分类体系，即“角色-活动-功能组件”，用于描述参考架构中的逻辑构件及其关系,“IT价值链”和“信息价值链”，其中“IT价值链”反映的是大数据作为一种新兴的数据应用范式对IT技术产生的新需求所带来的价值，“信息价值链”反映的是大数据作为一种数据科学方法论对数据到知识的处理过程中所实现的信息流价值。,大数据参考架构总体上可以概括为“一个概念体系，二个价值链维度”。,5.1大数据架构,第5章大数据可视化的关键技术,of,45,6,大数据参考架构图的整体布局按照代表大数据价值链的两个维度来组织，即信息价值链（水平轴）和IT价值链（垂直轴）。,5.1大数据架构,第5章大数据可视化的关键技术,of,45,7,参考架构可以用于多个大数据系统组成的复杂系统（如堆叠式或链式系统），这样其中一个系统的大数据使用者可以作为另外一个系统的大数据提供者。,5.1大数据架构,第5章大数据可视化的关键技术,of,45,8,5.1大数据架构,第5章大数据可视化的关键技术,of,45,9,第5章大数据可视化的关键技术,of,45,10,收集活动用于处理与数据提供者的接口。它可以是一般服务，也可以是特定于应用的服务。预处理活动执行的任务类似于ETL的转换（transformation）环节，包括数据验证、消洗、去除异常值、标准化、格式化或封装。分析活动的任务是实现从数据中提取出知识。分析活动还可以使用大数据框架提供者的消息和通信框架在应用逻辑中传递数据和控制功能。可视化活动的任务是将分析活动结果以最利于沟通和理解知识的方式展现给数据消费者。可视化的功能包括生成基于文本的报告或者以图形方式渲染分析结果。可视化的结果可以是静态的，存储在大数据框架提供者中供以后访问。可视化活动可以完全由应用程序实现，也可以使用大数据框架提供者提供的专门的可视化处理框架实现。访问活动主要集中在与数据消费者的通信和交互，访问活动与数据消费者的接口可以是同步或异步的，也可以使用拉或推软件机制进行数据传输。,5.1大数据架构,5.1大数据架构,第5章大数据可视化的关键技术,of,45,11,第5章大数据可视化的关键技术,of,45,12,基础设施为其他角色执行活动提供存放和运行大数据系统所需要的资源。数据平台通过相关的应用编程接口（APl）或其他方式，提供数据的逻辑组织和分发服务。处理框架提供必要的基础软件以支持实现的应用能够处理具有4V特征的大数据。消息和通信框架为可水平伸缩的集群的结点之间提供可靠队列、传输、数据接收等功能。它通常有2种实现模式，即点对点（point-to-point）模式和存储-转发（store-and-forward)模式。资源管理活动负责解决由于大数据的数据量和速度特征而带来的对CPU、内存、I/0 等资源管理问题。有两种不同的资源管理方式，分别是框架内（intra-framework）资源管理和框架间（inter-framework）资源管理。,5.1大数据架构,5.1大数据架构,第5章大数据可视化的关键技术,of,45,13,5.1大数据架构,第5章大数据可视化的关键技术,of,45,14,5.1大数据架构,第5章大数据可视化的关键技术,of,45,15,5.2大数据核心技术,第5章大数据可视化的关键技术,of,45,16,数据收集,1,大数据时代，数据的来源及其广泛，数据有不同的类型和格式，同时呈现爆发性增长的态势，这些特性对数据收集技术也提出了更高的要求。数据收集需要从不同的数据源实时的或及时的收集不同类型的数据并发送给存储系统或数据中间件系统进行后续处理。,5.2大数据核心技术,第5章大数据可视化的关键技术,of,45,17,数据预处理,2,数据预处理的引入，将有助于提升数据质量，并使得后继数据处理、分析、可视化过程更加容易、有效，有利于获得更好的用户体验。数据预处理形式上包括数据清理、数据集成、数据归约与数据转换等阶段。,第5章大数据可视化的关键技术,of,45,18,数据清理技术包括数据不一致性检测技术、脏数据识别技术、数据过滤技术、数据修正技术、数据噪声的识别与平滑技术等。数据集成把来自多哥数据源的数据进行集成，缩短数据之间的物理距离，形成一个集中统一的（同构/异构）数据库、数据立方体、数据宽表与文件等。数据归约技术可以在不损害挖掘结果准确性的前提下，降低数据集的规模，得到简化的数据集。归约策略与技术包括维归约技术、数值归约技术、数据抽样技术等。经过数据转换处理后，数据被变换或统一。数据转换不仅简化处理与分析过程、提升时效性，也使得分析挖掘的模式更容易被理解。数据转换处理技术包括基于规则或元数据的转换技术、基于模型和学习的转换技术等。,5.2大数据核心技术,5.2大数据核心技术,第5章大数据可视化的关键技术,of,45,19,数据存储,3,分布式存储与访问是大数据存储的关键技术，它具有经济、高效、容错好等特点。目前的主要数据存储介质类型包括内存、磁盘、磁带等；主要数据组织管理形式包括按行组织、按列组织、按键值组织和按关系组织；主要数据组织管理层次包括按块级组织、文件级组织以及数据库级组织等。,第5章大数据可视化的关键技术,of,45,20,不同的存储介质和组织管理形式对应于不同的大数据特征和应用特点。,1.分布式文件系统分布式文件系统是由多个网络节点组成的向上层应用提供统一的文件服务的文件系统。使用分布式文件系统时，无需关心数据存储在哪个节点上，只需像本地文件系统一样管理和存储文件系统的数据。目前常用的分布式磁盘文件系统有HDFS(Hadoop分布式文件系统)、GFS（Google分布式文件系统）、KFS（Kosmos distributed file system）等；常用的分布式内存文件系统有Tachyon等。,5.2大数据核心技术,2.文档存储文档存储支持对结构化数据的访问，不同于关系模型的是，文档存储没有强制的架构。事实上，文档存储以封包键值对的方式进行存储且文档存储模型支持嵌套结构与键值存储不同的是，文档存储关心文档的内部结构。这使得存储引擎可以直接支持二级索引，从而允许对任意字段进行高效查询。主流的文档数据库有MongoDB、CouchDB、Terrastore、RavenDB等。,第5章大数据可视化的关键技术,of,45,21,3.列式存储列式存储将数据按行排序，按列存储，将相同字段的数据作为一个列族来聚合存储。按列存储还可以承载更大的数据量，获得高效的垂直数据压缩能力，降低数据存储开销。使用列式存储的数据库产品有传统的数据库仓库产品，如Sybase IQ、InfiniDB、Vertica等，也有开源的数据库产品，如Hadoop Hbase、Infobright等。,5.2大数据核心技术,4.键值存储键值存储，即Key-Value存储，简称KV存储，它是NoSQL存储的一种方式。它的数据按照键值对的形式进行组织、索引和存储。键值存储一般不提供事务处理机制。主流的键值数据库产品有Redis、Apache Cassandra、Google Bigtable等。,5.图形数据库图形数据库是主要用于存储事物以及事物之间的相关关系，这些事物整体上呈现复杂的网络关系，可以简单的称之为图形数据。图形数据库可用于对真实世界的各种对象进行建模，如社交图谱，以反应这些事物之间的相互关系，主流的图形数据库有Google Pregel、Neo4j、Infinite Graph、DEX、InfoGrid、AllegroGraph、GraphDB、HyperGraphDB等。,第5章大数据可视化的关键技术,of,45,22,6.关系数据库关系模型是最传统的数据存储模型，它使用记录（由元组组成）按行进行存储，记录存储在表中，表由架构界定。表中的每个列都有名称和类型，表中的所有记录都要符合表的定义。SQL是专门的查询语言，提供相应的语法查找符合条件的记录 统的关系型数据库厂商结合其它技术改进关系型数据库，比如分布式集群、列式存储，支持XML，Json等数据的存储。,5.2大数据核心技术,7.内存存储内存存储是指内存数据库（MMDB）将数据库的工作版本放在内存中，由于数据库的操作都在内存中进行，从而磁盘I/O不再是性能瓶颈，内存数据库系统的设计目标是提高数据库的效率和存储空间的利用率。内存存储的核心是内存存储管理模块，其管理策略的优劣直接关系到内存数据库系统的性能。基于内存存储的内存数据库产品有Oracle TimesTen、Altibase、eXtremeDB、Redis、RaptorDB、MemCached等产品。,5.2大数据核心技术,第5章大数据可视化的关键技术,of,45,23,数据处理,4,分布式数据处理技术一方面与分布式存储形式直接相关，另一方面也与业务数据的温度类型（冷数据、热数据）相关。目前主要的数据处理计算模型包括MapReduce计算模型、DAG计算模型、BSP计算模型等。,5.2大数据核心技术,第5章大数据可视化的关键技术,of,45,24,数据分析,5,大数据分析技术包括已有数据信息的分布式系统技术，以及未知数据信息的分布式挖掘和深度学习技术。分布式统计分析技术基本都可由数据处理技术直接完成，分布式统计分析技术基本都可由数据处理技术直接完成。分布式挖掘和深度学习技术则可以进一步细分为：1.聚类2.分类3.关联分析4.深度学习,5.2大数据核心技术,第5章大数据可视化的关键技术,of,45,25,数据治理,6,数据治理涵盖为特定组织机构之数据创建协调一致的企业级视图（enterprise view）所需的人员、过程和技术。数据治理旨在：1）增强决策制定过程中的一致性与信心；2）降低遭受监管罚款的风险；3）改善数据的安全性；4）最大限度地提高数据的创收潜力；5）指定信息质量责任。,5.3 可视化关键技术,第5章大数据可视化的关键技术,of,45,26,数据可视化技术包含以下几个基本概念：数据空间：是由n维属性和m个元素组成的数据集所构成的多维信息空间；数据开发：是指利用一定的算法和工具对数据进行定量的推演和计算；数据分析：指对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据；数据可视化：是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。,5.3 可视化关键技术,第5章大数据可视化的关键技术,of,45,27,数据信息的符号表达技术,数据渲染技术,数据交互技术,数据表达模型技术,可视化设计与开发模型,数据可视化的关键技术,5.3 可视化关键技术,第5章大数据可视化的关键技术,of,45,28,可视化设计与开发模型,5.4大数据可视化渲染,第5章大数据可视化的关键技术,of,45,29,大数据可视化渲染研究的是将可视化后的图形图像如何更快更准确的显示出来。大数据可视化表达包括静态和动态的，主要取决于硬件系统，当然渲染技术本身也起了很大的作用。目前，基于高性能三维动态渲染的大数据可视化引起大家的关注，同时跟踪数以万计的大数据量对象，并达到无卡顿的实时渲染效果。对大数据进行可视化，并实现最终渲染后，就变成了图像如何进行显示的问题。所以，大数据可视化渲染归根到底就是图像图形显示的问题。,。,5.4大数据可视化渲染,第5章大数据可视化的关键技术,of,45,30,图像相关概念图像是对客观存在物体的一种相似性模仿与描述，图像按照表述方式分为物理图像、数字图像、数字视频和三维图像等。5.4.2 渲染技术概述渲染的功能是把三维坐标系中的场景显示出来。在计算机中，三维世界是由坐标系和坐标系的点构成的，还包括物体的材质、纹理、光照等信息。这些信息在计算机中由数据表示，不能直接显示在计算机屏幕上。渲染就是完成从数据到显示的过程，将数据显示到二维显示平面上，让我们可以看到图像。在计算机图形学中，主要存在三种渲染技术：深度缓存技术，光线跟踪技术和辐射度技术。这三种技术各自拥有大量具体的实现方法。其中深度缓存技术主要使用于实时绘制领域，而光线跟踪技术和辐射度技术主要使用于真实感渲染领域。,5.4大数据可视化渲染,第5章大数据可视化的关键技术,of,45,31,5.4.3 基于CPU的渲染早期的渲染都是基于CPU来完成，但由于当时图形化技术也没有达到真实感绘制的效果，所以依靠单线程CPU运行计算的速度也是能达到要求。现在的渲染方式多采用多核CPU和GPU结合的方式进行，多核CPU对渲染速度的提升影响极大。也有部分渲染软件如Vray、Randerin、Podium和照片级渲染器Maxwell等，它们都是利用CPU进行渲染的软件，而且几乎所有的CPU渲染软件都能对CPU的多线程实现良好支持，也就是说，核心、线程数量越多，渲染的效率越高，而且，同样频率和缓存的核心，数量多一倍，渲染速度也几乎快一倍5.4.4 基于GPU的渲染GPU 是能够从硬件上支持T&L(Transform and Lighting，多边形转换与光源处理)的显示芯片，T&L是3D渲染中的一个重要部分，其作用是计算多边形的3D位置和处理动态光线效果，也可以称为“几何处理”。GPU渲染就是利用图形处理芯片进行渲染运算的最新技术，与传统的CPU渲染不同，GPU渲染的运算速度更快。如今的大数据可视化渲染基本都采用基于GPU 的渲染方式来进行，实现实时的高动态渲染效果。,5.4大数据可视化渲染,第5章大数据可视化的关键技术,of,45,32,5.4.5 集群渲染技术集群渲染指的是一组计算机通过通信协议连接在一起的计算机群，它们能够将工作负载从一个超载的计算机迁移到集群中的其他计算机上。它的目标是使用主流的硬件设备组成网格计算能力，达到、甚至超过天价的超级计算机的计算性能。典型的超级计算机生产厂商包括IBM、SGI，以及其他一些大学、科研组织。,集群计算机通常分为SMP和MPP两种：1.SMP（symmetric multiprocessing，对称多处理），计算机的I/O总线、多处理器、内存等所有的控制都运行在一个操作系统中（通常为Unix或Linux），可以对单位任务进行处理。2.MPP（massively parallel processing，大规模并行处理）：每个处理器都有属于自己的操作系统，通过通信协议连接这些操作系统，可以同时处理同一程序的不同部分。MPP方式一般都使用通用的计算机，具有较高性价比，但是系统也变得更为复杂。通过协议或者通信接口使CPU彼此连接，需要考虑系统资源以及任务分配等很多问题，特别是网络性能。,5.4大数据可视化渲染,第5章大数据可视化的关键技术,of,45,33,多颗多核处理器的密集式服务器渲染节点将计算能力发挥至极至,满足高速带宽的任务分发管理中心,支持多应用，需要复杂运算的场景统一部署,集群渲染技术优点,支持多应用，需要复杂运算的场景统一部署,兼容多操作系统、多软件,实时监控渲染动态，随时调整任务,数据共享；易操作、易管理,稳定性，安全的数据与足够的网络带宽环境,单机具备升级空间，系统具备扩容性,第5章大数据可视化的关键技术,of,45,34,云渲染（Rendering Cloud）的概念源自于云计算，是云计算在渲染领域的应用。云渲染是指将由客户端处理的图形渲染转移至服务器端（云端）的技术；云渲染技术的应用，可以使客户端简化，只需要具备显示能力以及网络接入能力，就可以享有顶级的图形处理能力，使同一图形可以呈现在众多终端设备上。,云渲染系统的组成包括以下（1）图形资源工具按指定格式输出可视化图形资源的工具，用户可以通过该工具生成可视化图形并提交至渲染云；（2）渲染云由存储服务器、渲染脚本解析服务器、渲染服务器、图形压缩服务器共同组成（3）终端终端为渲染请求的提交者和渲染结果的接收者，在需要渲染服务时，终端将向渲染云提交请求，收到可视化渲染结果后，终端将负责最终显示给用户。,5.4大数据可视化渲染,5.4.6 云渲染,5.4大数据可视化渲染,第5章大数据可视化的关键技术,SAAS层：提供渲染管理Web应用，用户可以部署在本地环境或者ECS上，就能开始使用，不需要任何程序接入。,IAAS层：提供基础设施，海量计算资源ECS和对象存储OSS，与用户本地环境类似，方便接入，易于使用。,of,45,35,阿里云渲染解决方案是基于阿里云超强的计算和海量存储能力，整合视觉行业生态的力量，满足各行业的渲染需求，提供IAAS、PAAS、SAAS多层次渲染解决方案。,PAAS层：提供批量计算服务BatchCompute，帮助用户完成海量资源管理，计算任务调度，TB级数据在大量节点之间共享和并发访问。,5.4大数据可视化渲染,第5章大数据可视化的关键技术,of,45,36,阿里云渲染解决方案,1描述大数据3 个内涵特征是什么，简述大数据内涵的数据特征。2简述总体大数据参考架构。3大数据核心技术有哪些，对大数据参考框架，应该重点关注哪两类问题？4大数据可视化关键技术有哪些？5大数据渲染包括哪些内容，大数据渲染主要技术原理有哪些？6大数据渲染关键技术有哪些，大数据渲染与传统渲染相比有何特点？7大数据渲染有哪些方法，举几个大数据渲染的经典案例。8大数据渲染的工作流程如何？9大数据可视化与渲染的关系如何？,习题：,AIRack人工智能实验平台一站式的人工智能实验平台,DeepRack深度学习一体机开箱即用的AI科研平台,大数据实验平台一站式的大数据实训平台,云创公众号推荐,手机APP推荐,网站推荐,感谢聆听,