大数据那些事儿ppt课件.pptx
大数据那些事儿,左右未来十年的四大趋势,“世界的本质就是数据，大数据将开启一次重大的时代转型”“从因果关系到相关关系的思维变革才是大数据的关键，建立在相关关系分析法基础上的预测才是大数据的核心”“大数据是这个时代的的新黄金”,维克托迈尔-舍恩伯格,经济学人说，在大数据领域，他是最受人尊敬的权威发言人之一；科学说，若要发起一场关于大数据的深入讨论，没有比他更好的发起者了；第一财经头脑风暴两期节目邀请他激辩大数据；央视对话邀请他引爆大数据,01数据有多“大”,02大数据的定义,03大数据的特点,数据有多“大”,例证,数据有多“大”,百度每天的关键词搜索量50亿次，谷歌33.3亿次；淘宝天猫2012年双11一天营业额达191亿人民币。中国小商品城全年成交额才580.03亿元人民币；每天有2940亿封电子邮件发出，如果这些是纸质信件，在美国需要花费两年时间处理；每天有2.5亿张照片上传至社交网站Facebook，如果都打印出来，摞在一起能有80个埃菲尔铁塔那么高；每天有86.4万小时视频被上传至视频网站Youtube，相当于不间断播放视频98年；谷歌翻译每天处理的文字数量,每天翻译次数达10亿次，相当于一百万册图书，超过了全世界的专业翻译人员一年能够翻译的文字规模；累积起来，互联网一天之内产生的信息总量，可以装满1.68亿张DVD光盘。,例证,数据有多“大”,例证,1Byte = 8 Bit1KB = 1,024 Bytes1MB = 1,024 KB = 1,048,576 Bytes1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes1EB = 1,024 PB = 1,152,921,504,606,846,976 Bytes1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes,红楼梦含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit = 2*8位=2bytes1GB 约等于671部红楼梦1TB 约等于631,903 部1PB 约等于647,068,911部美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB ）1EB = 4000倍美国国会图书馆存储的信息量,数据有多“大”,概念,在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011 年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020 年，整个世界的数据总量将会达到35.2ZB（1ZB=10 亿TB）！,大数据的定义,概念,大数据-Big Data，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。,大数据技术-是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的大数据不仅指数据本身的规模， 也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。,大数据的特点,讲解,数据量巨大全球在2010 年正式进入ZB 时代，IDC预计到2020 年，全球将总共拥有35ZB 的数据量,01全新的生活方式,02全新的思维方式,03全新的商业模式,04全新的管理模式,例证,全新的生活方式,购物：,不受时空限制，随时随地购物。,在看不到商品的情况下，口碑就是质量。,例证,全新的生活方式,旅行：足不出户，安排好一切。,例证,全新的生活方式,信息：人人都是传媒。,例证,全新的生活方式,社交：你所有的朋友都能在网络上找到。,全新的思维方式,讲解,更多-分析事物时，依赖该事物的所有数据，不再是进行样本分析。利用所有数据，而不再仅仅依靠一部分数据全数据模式，样本=总体更杂-在大数据时代，允许不精确。纷繁的数据越多越好要想获得大规模数据带来的好处，混乱应该是一种标准途径，而不应该是竭力避免的更好-更注重相关关系，而不是因果关系。注重“是什么”，而不是“为什么”通过找出一个关联物并监控它，我们就能预测未来。,全新的思维方式,例证,无所不包的谷歌翻译系统2006年，谷歌公司也开始涉足机器翻译，谷歌翻译开始利用一个更大更繁杂的数据库，也就是全球的互联网，而不再只利用两种语言之间的文本翻译。谷歌翻译系统为了训练计算机，会吸收它能找到的所有翻译，掌握用不同语言翻译的质量参差不齐的数十亿页的文档，上万亿的语料库就相当于950亿句英语。尽管其输入源很混乱，但较其他翻译系统而言，谷歌的翻译质量相对而言还是最好的，而且可翻译的内容更多。到2012年年中，谷歌数据库涵盖了60多种语言，甚至能够接受14种语言的语音输入，并有很流利的对等翻译。,全新的思维方式,故事,“啤酒与尿布”的故事 在一家超市中，人们发现了一个特别有趣的现象：尿布与啤酒这两种风马牛不相及的商品居然摆在一起。但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。这可不是一个笑话，而是一直被商家所津津乐道的发生在美国沃尔玛连锁超市的真实案例。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。 这个故事揭示了一个道理：商品之间具有相关性，也就是说，商品在卖场中不是孤立的，不同商品在销售中会形成相互影响关系。 1993年，美国学者Agrawal提出，通过分析购物小票中的商品集合，从而找出商品之间关联关系的关联算法，并根据商品之间的关系，发现客户的购买行为规律。沃尔玛从上个世纪90年代开始将这种算法引入到POS机数据分析中，并获得了成功。这个案例可以说是今天大数据产生的萌芽。,故事,全新的商业模式,纸牌屋Netflix并不是任何一个电视台，而是电视台和电影院的平台，是北美最大的付费订阅视频网站。基于其3000万北美用户观看视频时留下的行为数据，预测出凯文史派西、大卫芬奇和“BBC出品”三种元素结合在一起的电视剧产品将会大火特火 。此外，Netflix还通过“大数据”观测到另一流行趋势：越来越多的人不再像30年前那样，在固定晚上的固定时刻守在电视机前，等着收看电视剧的最新剧集，而是“攒”起来，直到整季剧情全部播放完毕之后，才选一个自己方便的时间段和地点，在方便的设备（多数是网络设备，如电脑、iPad）上一次性观看。,全新的商业模式,例证,当文字变成数据当文字变成数据，它就大显神通了人可以用之阅读，机器也可用之分析。所以，谷歌精明地利用这些数据化了的文本来改进它的机器翻译服务。系统可以找出译语的单词和词组在源语中的对应词和词组是什么。一旦得到答案，系统就可以把翻译看成是一个简单的数学问题，只需要用电脑找出两种语言之间最恰当的对等词和词组。现在很多公司都在电子书领域激烈地竞争着，亚马逊连同它的Kindle电子书就是这个领域的先驱者，国内的多看也因此获益匪浅。,全新的商业模式,例证,当方位变成数据1978年见证了一个伟大的转变，当时构成全球定位系统（GPS）的24颗卫星发射成功。无论是汽车上的导航系统还是智能手机，地面上的接收器都能通过计算接收信号所需时间的差异对它们进行三角定位。如今，全球定位系统能精确到米，就这样，它实现了自古以来无数航海家、制图家和数学家的梦想。通过与技术手段的融合，全球定位系统能够快速地进行地理定位，而且不需要任何专业知识。UPS快递有效地利用了地理定位数据。它的货车上装有传感器、无线适配器和GPS，可以跟踪车辆位置和预防引擎故障；同时，这些设备也方便了公司监督管理员工并优化行车线路。2011年，UPS的驾驶员们少跑了近4828万公里的路程，节省了300万加仑的燃料并且减少了3万公吨的二氧化碳排放量。系统也设计了尽量少左转的路线，因为左转要求货车在交叉路口穿过去，所以更容易出事故。而且，货车往往需要等待一会儿才能左转，也会更耗油，因此，减少左转使得行车的安全性和效率都得到了大幅提升。,全新的商业模式,例证,当沟通变成数据当心率和体温变成数据当睡眠活动信息变成数据当驾驶员坐姿变成数据 世间万物的一切皆可数据化，而每一次数据化都会成为一个全新的商业模式，说大数据是这个时代的新“黄金”一点都不为过，它甚至和石油等资源同等重要，将会影响人类的方方面面。,讲解,全新的管理模式,挖掘数据宝藏，为决策提供数据依据。,01大数据应用前景,02大数据应用现状,03大数据应用实例,大数据应用前景,讲解,大数据的应用范围非常广。有机构预测，“大数据”的发展，将使零售业净利润增长60%以上，制造业的产品开发、组装成本将下降50%以上。在制造行业，企业通过对网上数据分析了解客户需求和掌握市场动向，并对大数据进行分析后，就可以有效实现对采购和合理库存量的管理，大大减少因盲目进货而导致销售损失。在商业上，国外一些超市利用对手机的定位和购物推车获得商场内顾客在各处停留时间，利用视频监视图像软件分析顾客购物行为，优化商场布局和货架排列。在政府决策上，分析几十年来的天气数据，将各地降雨、气温、土壤状况和历年农作物产量做成精密图表，就可以预测农产品生产趋势，政府的激励措施、作物存储量和农业服务也可以随之确定,大数据应用现状,故事,中国欧美,图解,大数据应用现状,故事,解,巨头在大数据时代的业务布局,大数据应用实例,例证,数据再利用：为了避免电脑批量注册邮箱，2000年，22岁大学刚毕业的路易斯冯安提出了解决方法：要求注册人在注册过程中识别一些波浪状、辨识度低的字母。人能够在几秒钟内识别并输入正确的文本信息，但电脑却可能会被难倒。雅虎采用了这个方法以后，一夜之间就减轻了垃圾邮件带来的苦恼。这就是验证码（全称为“全自动区分计算机和人类的图灵测试”）。五年后，每天约有2亿的验证码被用户输入。数年后，路易斯冯安改进了验证码，要求注册人从计算机无法识别的文本扫描项目中读出两个单词并输入。在这里，数据的主要用途是证明用户是人，但它可以被再利用：用来破译数字化文本中不清楚的单词，而且成本几乎为零。2009年谷歌收购了冯安的公司，并将这一技术用于图书扫描项目。,大数据应用实例,例证,亚马逊大数据新应用“未下单 先发货”：亚马逊去年12月获得了一项名为“预测式发货”的新专利，可以通过对用户数据的分析，在他们还没有下单购物前，提前发出包裹。这项技术可以缩短发货时间，从而降低消费者前往实体店的冲动。亚马逊在专利文档中表示，从下单到收货之间的时间延迟可能会降低人们的购物意愿，导致他们放弃网上购物。所以，亚马逊可能会根据之前的订单和其他因素，预测用户的购物习惯，从而在他们实际下单前便将包裹发出。根据该专利文件，虽然包裹会提前从亚马逊发出，但在用户正式下单前，这些包裹仍会暂存在快递公司的转运中心或卡车里。,大数据应用实例,例证,大数据在京东：大数据应用已经成为了京东日常运营的常规性动作，京东商城大数据研发副总裁李曦介绍了一些京东大数据应用的典型场景。预测备货：根据某一地区用户浏览商品的点击率、停留时间等信息提前备货到仓储中心。精准营销：一看到商品就去购买属于冲动性消费；看某类商品互相比较，最终选择了相对便宜的商品，这是目标明确的消费。根据这些特征，可以分析出用户笼统的购物心理，进而得出某个品类商品的购物心理，促销的时候，可以根据这种心理，采用有针对性的营销方式。智能网站：基于对用户海量评论的分析和挖掘，京东尝试去理解用户的意图，经过对数据的挖掘、统计和分析，为商品打上标签，例如商品适合送给男性，或是女性，将这些结果提供给用户。,想追奶茶妹，我要用自家的“大数据”分析一下她的喜好先！,大数据应用实例,例证,央视曝光东莞，百度8小时迁徙图-港人居多,“百度迁徙”利用大数据技术，对其拥有的LBS（基于地理位置的服务）大数据进行计算分析，并采用创新的可视化呈现方式，在业界首次实现了全程、动态、即时、直观地展现中国春节前后人口大迁徙的轨迹与特征。,大数据应用实例,例证,马云成功预言2008年金融危机：2008年7月23日晚，马云在向全体员工发布的题为冬天的使命的内部邮件中写道：“我们对全球经济的基本判断是经济将会出现较大的问题，未来几年经济有可能进入非常的困难时期。我的看法是，整个经济形势不容乐观，接下来的冬天会比大家想象的更长！更寒冷！更复杂！我们准备过冬吧！”马云的预言没有错，随着2008年金融危机的来临，互联网行业的第二次寒冬降临。之后马云解释能成功预言的原因：“2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑,欧美对中国采购在下滑。海关是卖了货出去以后再获得数据;而我们提前半年时间从询盘上推断大数据带来的机遇出世界贸易发生变化了。”,大数据应用实例,例证,大数据的最终目标“预测”：,大数据应用实例,例证,大数据在G1：前门打卡数据：可以分析交通车准点率等信息。镀膜机抽空时间：可以根据抽空时间的变化趋势决定在一个合适的时间提前保养设备。生产数据：通过一定的数据建模，将生产数据、缺陷信息与Taping机、Blocker机、粗磨机、抛光机等进行关联，可以实时掌握设备运行状况、判断产品不良原因等。更多的数据利用期待您的发现,01大数据的隐忧,大数据的隐忧,例证,大数据时代没有隐私,爱德华斯诺登,大数据的隐忧,例证,大数据属于谁？,大数据的隐忧,例证,大数据带来的影响刀刃的另一面更多的隐私、安全性问题多少密码和账号是因为“社交网络”流出去的？2011年4月，iOS被发现会按照时间顺序记录用户的位置坐标信息2011年4月索尼的系统漏洞导致7700万用户资料失窃2011年CSDN密码泄露，过亿用户数据被外传2013年2000万开房数据泄露，上海每17人中1人被泄露2013年公安部第三研究所所长胡传平说：“此案发现2亿条个人信息泄露，当我在他们的数据库里输入我的名字后，各种信息一目了然，甚至连我搬了几次家，门牌号分别是什么都一清二楚。”2014年电视台报道出现大量贩卖个人信息网站2014年7月该公司员工可以通过一项未曾公开的技术获取iPhone用户的短信、通讯录和照片等个人数据,图书推荐：大数据时代,作者：维克托迈尔-舍恩伯格,
