企业大数据解决方案v1343课件.ppt
,大数据时代，泽佳助力企业发展,大数据时代，泽佳助力企业发展,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 2 页,什么是大数据,2013 北京泽佳公司版权所有Copyright201,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 3 页,数据无处不在,任何时间，任何地点，任何事情，任何人?Anytime，anywhere，anything，anyone?,休息中，随意刷微博,爬山时，记录每一瞬间,旅途中，处理公司事件,工作时，实时掌握市场动态,2013 北京泽佳公司版权所有Copyright201,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 4 页,大数据时代已经来到,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 5 页,互联网中的大数据,Web 3.0时代，社交媒体网站数据出现井喷式激增，截至2013年3月底，新浪微博注册用户数增长到5.36亿，日均活跃用户数达到4980万，每日新增微博约2亿。企业在大数据时代，面临文化、战略、组织、流程、信息化、公共公关系、人才培养方方面面的挑战，同时也迎来重大的转型机遇和飞跃契机。,2013 北京泽佳公司版权所有Copyright201,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 6 页,互联网中的大数据,大数据在消费IT领域的作用更加明显。只要你用PC上网或手机浏览信息，你便在网络上处处留照了，性别、年龄、爱好、踪迹、信用等等便被大数据刻画的一览无余，恭喜你已经成为数字透明人了！可能你都不知道自己下一步要干什么，产品经销商借助搜索引擎、电子商务平台、旅游网站的数据根据你的浏览行为已经在为你张罗生日、餐饮、旅游、结婚、生子、购房、购车了，特价机票、婚纱、尿不湿、奶粉、海景房等广告已经为你编排好了。大数据在消费IT领域的作用更加明显。只要你用PC上网或手机浏览信息，你便在网络上处处留照了，性别、年龄、爱好、踪迹、信用等等便被大数据刻画的一览无余，恭喜你已经成为数字透明人了！可能你都不知道自己下一步要干什么，产品经销商借助搜索引擎、电子商务平台、旅游网站的数据根据你的浏览行为已经在为你张罗生日、餐饮、旅游、结婚、生子、购房、购车了，特价机票、婚纱、尿不湿、奶粉、海景房等广告已经为你编排好了。,2013 北京泽佳公司版权所有Copyright201,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 7 页,企业IT进入2.0时代,随着公司业务的增长，大量和流程、规则相关的非结构化数据也爆发式增长。比如：1、业务系统现在平均每天存储20万张图片，磁盘空间每天消耗100G；2、平均每天产生签约视频文件6000个，每个平均250M，磁盘空间每天消耗1T;,2013 北京泽佳公司版权所有Copyright201,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 8 页,大数据的特性,68%,31%,来源多；格式多：大数据包括结构化数据和非结构化数据，邮件，Word,图片，音频信息，视频信息。,最新研究报告，到2020年，全球数据使用量预计暴增44倍，达到35.2ZB。,价值密度低，犹如沙里淘金，海量业务中寻找价值。,1秒定律，实时获取所需要的数据，为决策提供依据。,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 9 页,企业大数据的挑战,业务数据的映射,提取大数据价值,大数据隐私,大数据分析,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 10 页,泽佳建议企业大数据解决方案,2013 北京泽佳公司版权所有Copyright201,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 11 页,大数据基础架构要求,可预测的低延迟高事务参数灵活的数据结构,获取,组织,分析,决策,高吞吐量就地准备所有数据源和结构,深度分析敏捷开发高度可伸缩性,实时流数据运营影响,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 12 页,泽佳大数据解决方案，以数据融合、综合处理为方向,大交易数据,大交互数据,大交易融合,大数据处理,企业,供应链,消费者,SNS,互联网,物联网,移动终端,OLTP实时 交易处理,OLAP实时分析处理,SOCIAL MEDIA DATA,OTHERINTERACTION DATA,Machine/DeviceSensors/meters/RFID tags CDR/mobile,SD，MM，PP，SD，FICO。,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 13 页,泽佳大数据解决方案整体架构,企业内外部协同（供应商+企业内部+客户+银行+税务+政府+社区+),外部信息（社交+电商+移动+视音频+),开放式API和协议,通用的设计和模型环境,通用数据管理环境,交易数据管理,社交数据管理,移动数据管理,主数据管理,内存数据管理,企业数据仓库管理,数据存储,数据获取,数据组织,数据分析,数据展现,无线数据管理,信息管理和实时数据迁移,联合访问,实时大数据平台,门户,数据分析,电子邮件,办公软件,大屏幕,电脑桌面,移动终端,企业级报告工具,Ad hoc 即时查询,例外分析,非结构化数据探索,预测与挖掘,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 14 页,泽佳大数据解决方案体系,数据多样性,模式,动态模式,HDFS分布式文件系统,Hbase分布式列存储系统,Sybase ESP事件流处理器,Hdoop MapReduce,Big Data Connectors,Young hong BI,获取,组织,分析,决策,复杂场景处理,实 时决 策,ETL,EDW,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 15 页,一般企业数据处理平台的基础架构,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 16 页,泽佳大数据解决方案基础架构,门户,泽佳大数据平台,快速、可靠,大屏幕,电脑桌面,电子邮件,SCM,CRM,ERP,数据分析人员,办公软件,移动终端,安全，部署，管理,灵活体系,MES,PDM,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 17 页,泽佳建议企业大数据解决方案基础架构图,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 18 页,应用层数据分析,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 19 页,视频存储,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 20 页,离线日志分析,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 21 页,在线数据分析,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 22 页,大数据解决方案特点,泽佳大数据解决方案提供高速、低速两种互联解决方案，在节点间能够建立起40Gb的互联通路，彻底消除系统节点间通信的瓶颈。,高性能,高可扩展性,高可靠,相比较传统的数据库集群，泽佳大数据解决方案具有良好的可扩展性，随着数据节点的增加，系统整体性能接近线性增加。同时数据节点可以在系统运行中动态添加，对系统不会造成任何影响。因此企业可以根据自身业务需要，动态添加数据节点，当业务量较小时，配置较少的数据节点，随着业务量的逐渐增多，添加相应的数据节点，从而满足自身业务量增长的需求。,泽佳大数据解决方案能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。同时消除系统单点故障，系统中任意一个部分出现故障，系统将自动进行切换，保证用户应用的无缝连接，具有较高的稳定性和可靠性。,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 23 页,大数据应用技术,2013 北京泽佳公司版权所有Copyright201,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 24 页,大数据的技术领域占位图,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 25 页,泽佳大数据应用主要技术 Hadoop,据IDC的预测，全球大数据市场2015年 将达170亿美元规模，市场发展前景很大。而Hadoop作为新一代的架构和技术，因为有利于并行分布处理“大数据”而备受重视。Apache Hadoop 是一个用java语言实现的软件框架，在由大量计算机组成的集群中运行海量数据的分布式计算，它可以让应用程序支持上千个节点和PB级别的数据。Hadoop是项目的总称，主要是由分布式存储（HDFS）、分布式计算（MapReduce）等组成。,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 26 页,Hadoop体系架构,MapReduce,HDFS,HBase,Pig,ChuKwa,Hive,ZooKeeper,Pig是一个基于Hadoop的大规模数据分析平台，Pig为复杂的海量数据并行计算提供了一个简易的操作和编程接口。Chukwa是基于Hadoop的集群监控系统，由yahoo贡献。Hive是基于Hadoop的一个工具，提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。ZooKeeper：高效的，可扩展的协调系统,存储和协调关键共享状态。HBase是一个开源的，基于列存储模型的分布式数据库。HDFS是一个分布式文件系统。有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 27 页,Hadoop核心设计,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 28 页,HDFS文件读流程,HDFS是一个分布式文件系统。有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序。Client向NameNode发起文件读取的请求。NameNode返回文件存储的DataNode的信息。Client读取文件信息。,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 29 页,HDFS文件写流程,Client向NameNode发起文件写入的请求。NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 30 页,MapReduce映射、化简编程模型,输入数据-Map分解任务-执行并返回结果-Reduce汇总结果-输出结果,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 31 页,Hbase分布式数据存储系统,Client：使用HBase RPC机制与HMaster和HRegionServer进行通信Zookeeper：协同服务管理，HMaster通过Zookeepe可以随时感知各个HRegionServer的健康状况HMaster:管理用户对表的增删改查操作HRegionServer：HBase中最核心的模块，主要负责响应用户I/O请求，向HDFS文件系统中读写数据HRegion:Hbase中分布式存储的最小单元，可以理解成一个TableHStore：HBase存储的核心。由MemStore和StoreFile组成。HLog：每次用户操作写入Memstore的同时，也会写一份数据到HLog文件,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 32 页,大数据未来发展瓶颈,通过对大数据产业链的分析，我们可以看到，在大数据产业链的各个生产环节中，各大公司都已开占位，随着高性能计算机、海量数据的存储和管理的流程的不断优化，技术能够解决的问题终将不会成为问题。我们认为，真正会制约或者成为大数据发展和应用瓶颈的有三个环节：数据收集和提取的合法性，数据隐私的保护和数据隐私应用之间的权衡。大数据发挥协同效应需要产业链各个环节的企业达成竞争与合作的平衡。大数据结论的解读和应用。,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 33 页,NoSQL产品,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 34 页,大数据应用案例,2013 北京泽佳公司版权所有Copyright201,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 35 页,大数据行业应用分析,应用可能性,电信,政府（公共事业）,交通,金融,医疗,教育,能源（电力/石油）,纵轴契合度：表示该用户的IT应用特点与大数据特性的契合程度；横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；注：该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值,High,Mid,Low,Low,Mid,High,优先关注行业用户,应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。,值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高,适当关注行业用户两个维度暂时都不具备优势，可适当给予关注,互联网（电子商务）,契合度,流通,零售,制造,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 36 页,互联网行业大数据需求分析,互联网行业拥抱大数据的关键因素,互联网大数据技术的应用，会首先带动社会化媒体、电子商务的快速发展，其他的互联网分支也会紧追其后，整个行业在大数据的推动下将会蓬勃发展。,互联网行业对数据实时分析要求较高，例如广告监测、B2C业务，往往要求在数秒内返回上亿行数据的分析，从而达到不影响用户体验和快速准确营销的目的。目前互联网企业面对大数据，会普遍感觉到实时分析能力差、海量数据处理效率低、缺少分析方法、分析软件能力差等问题。,互联网行业大数据分析面临的主要问题,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 37 页,腾讯基于Hadoop的大数据架构图,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 38 页,腾讯大数据现状,从业务角度看：腾讯数据平台自研的TDW替换了商业数据库，实现公司级数据集中存储，总记录达到375万亿跳，日接入5千亿条，覆盖移动设备数7.7亿。从平台角度看：腾讯数据平台从设备8400台，单集群5600台，总存储100PB+;日新增数据200TB+，月数据增长率10%，日均JOB数100万，日均计算量5PB，量够大，速度也够快。从用户角度看：这里的用户，指的是腾讯内部员工。腾讯员工2万多人，腾讯数据门户的月活跃是2500左右，也就是说访问腾讯数据门户的人占比公司10%+;每月处理数据提取分析的任务数是1万个，如果访问者每人都会提数据任务，平均就是一个人提4个左右的分析提取任务;用户画像分析任务为1.2万，可以看出腾讯对用户画像的重视程度。,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 39 页,腾讯大数据的多样性,腾讯数据平台已经接入100多个产品的各类数据，例如：用户行为、账号属性、收入数据等等。,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 40 页,腾讯基于大数据平台的产品应用,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 41 页,腾讯大数据应用-广点通，精准广告投放,2013 北京泽佳公司版权所有Copyright2013,2013 北京泽佳公司版权所有,Copyright2013 Zejia Consulting Corporation,第 42 页,大数据发展企业占位图,大数据按照信息处理环节可以分为数据采集、数据清理、数据存储及管理、数据分析、数据显化，以及产业应用等六个环节。,2013 北京泽佳公司版权所有Copyright2013,Thank you!,Thank you!,
