人工智能与人机博弈.ppt
人工智能与人机博弈,自动化技术发展趋势,自动化技术是一门涉及学科较多、应用广泛的综合性系统工程，其对象为大规模、复杂的工程和非工程系统,广义内涵包括三方面的含义：代替人体力劳动的机器人；代替或辅助人脑力劳动的程序；对人机进行协调、管理、控制和优化的智能系统,研究内容包括自动控制和信息处理两方面，应用包括过程自动化、机械制造自动化、管理自动化和家庭自动化等,不断提高传统行业的技术水平和市场竞争力，并与光电子、计算机、信息技术等融合和创新，不断创造和形成新的经济增长点和管理战略哲理,智能科学发展趋势,智能属于哲学问题，智能科学研究智能的本质和实现技术,是由脑科学、认知科学、人工智能等综合形成的交叉学科,脑科学从分子水平、神经回路、行为实验研究自然智能机理，目的在于阐明人类大脑的结构与功能，以及人类行为与心理活动的物质基础,认知科学是研究人类感知、学习、记忆、思维、意识等人脑心智活动过程的科学，是心理学、信息学、神经科学和自然哲学的交叉,人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学,自动化技术,智能科学,人工智能技术,在科学发展过程中，在那些已经建立起来的学科之间，还存在着一些被人忽视的无人区，正是从这些领域里可能得到最大的收获。诺伯特维纳控制论，1948,人工智能技术的挑战,人工智能技术发展的特征,人工智能由人类设计，为人类服务，本质为计算，基础为数据。必须体现服务人类的特点，而不应该伤害人类，特别是不应该有目的性地做出伤害人类的行为。,以人为本,人工智能技术发展的特征,环境增强,人工智能能感知环境，能产生反应，能与人交互，能与人互补。能够帮助人类做人类不擅长、不喜欢但机器能够完成的工作，而人类则适合于去做更需要创造性、洞察力、想象力的工作。,人工智能技术发展的特征,学习适应,人工智能有适应特性，有学习能力，有演化迭代，有连接扩展。人工智能可以应对不断变化的现实环境，从而使人工智能系统在各行各业产生丰富的应用。,人机博弈,棋类游戏是人类智慧的结晶，自古以来就有着广泛的爱好者群体，也产生了一代又一代的偶像级棋王。选择棋类游戏作为人工智能研究的对象，不仅是因为棋类游戏规则清晰，胜负判断一目了然，而且也更容易在爱好者群体中产生共鸣，因此人工智能研究者前赴后继投身到对不同棋类游戏的挑战中。,互动环节：人机小挑战,机器学习之父,机器博弈的水平实际上代表了当时计算机体系架构与计算机科学的最高水平。早在1962年，就职于IBM的阿瑟萨缪尔就在内存仅为32k的IBM 7090晶体管计算机上开发出了西洋跳棋（Checkers）AI程序，并击败了当时全美最强的西洋棋选手之一的罗伯特尼雷，引起了轰动。值得一提的是，萨缪尔所研制的下棋程序是世界上第一个有自主学习功能的游戏程序，因此他也被后人称之为“机器学习之父”。,阿瑟萨缪尔,里程碑事件,1997年IBM公司“更深的蓝”（Deeper Blue）战胜世界国际象棋棋王卡斯帕罗夫，这是基于知识规则引擎和强大计算机硬件的人工智能系统的胜利,2011年IBM公司的问答机器人“沃森”在美国智力问答竞赛节目中大胜人类冠军，这是基于自然语言理解和知识图谱的人工智能系统的胜利,2016年谷歌公司AlphaGo战胜了围棋世界冠军李世石，2017年初AlphaGo升级版Master横扫全球60位顶尖高手，这是基于蒙特卡洛树搜索和深度学习的人工智能系统的胜利,真正引起中国人广泛关注的机器博弈史上三个里程碑事件是：,PART1,国际象棋,机器学习,人机对抗历史,深蓝,成功秘诀,国际象棋,国际象棋起源于亚洲，后由阿拉伯人传入欧洲，成为国际通行棋种，也是一项受到广泛喜爱的智力竞技运动，据称全世界有多达三亿的国际象棋爱好者，甚至在1924年曾一度被列为奥林匹克运动会正式比赛项目。,国际象棋棋盘由横纵各8格、颜色一深一浅交错排列的64个小方格组成，棋子共32个，分为黑白两方，每方各16个。和88的西洋跳棋Checkers相比，国际象棋的状态复杂度（指从初始局面出发，产生的所有合法局面的总和）从1021上升到1046，博弈树复杂度（指从初始局面开始，其最小搜索树的所有叶子节点的总和）也从1031上升到10123。,人机对抗历史,从1958年开始，人工智能研究者对国际象棋的挑战持续了半个多世纪：,1958年名为“思考”IBM704成为第一台能同人下国际象棋的计算机，处理速度每秒200步；,1973年B.Slate和Atkin开发了国际象棋软件“CHESS4.0”，成为未来国际象棋AI程序基础；,1983年，Ken Thompson开发了国际象棋硬件“BELLE”，达到大师水平；,1987年，美国卡内基梅隆大学设计的国际象棋计算机程序“深思”（Deep Thought）以每秒钟75万步的处理速度露面，其水平相当于拥有2450国际等级分的棋手；,1988年，“深思”击败丹麦特级大师拉 尔森；,1989年，“深思”已经有6台信息处理器，每秒处理速度达到200万步，但还是在与世界棋王卡斯帕罗夫的人机大战中以0比2败北；,1991年，由CHESSBASE公司研制的国际象棋计算机程序“弗里茨”（Fretz）问世；,1993年，“深思”二代击败了丹麦国家队，并在与前女子世界冠军小波尔加的对抗中获胜。,深蓝一战卡斯帕罗夫,1995年，IBM公司设计了全球第一台采用并行化系统、以RS/6000SP为基础、集成了总计256块处理器以及480颗专门为国际象棋对弈设计的VLSI加速芯片的国际象棋计算机“深蓝”，重达1270公斤。,1996年2月10日至17日，为了纪念首台通用计算机ENIAC诞生50周年，“深蓝”在美国费城向国际象棋世界冠军、世界排名第一的加里卡斯帕罗夫发起了挑战。在6局的人机对弈比赛中，“深蓝”并未占到什么便宜，棋王卡斯帕罗夫以4比2的总比分轻松获胜，但“深蓝”赢得了六场比赛中的一场胜利，这也是计算机第一次在与顶级选手的对弈中取得胜局。,“深蓝”升级改造,第一次对决落败之后，IBM对“深蓝”计算机进行了升级，97型深蓝取名“更深的蓝”（Deeper Blue）。,团队还丰富了象棋加速芯片中的象棋知识，使它能够识别不同的棋局，并从众多可能性中找出最佳行棋方案。“更深的蓝”每秒可检索1亿到2亿个棋局，系统能够搜寻和估算出当前局面往后的12步行棋方案，最多可达20步，而人类棋手的极限是10步。,即使按照一盘棋平均走80步，每步棋可能的落子位置为35个计算，其状态复杂度和博弈树复杂度也远非超级计算机所能穷举，为了在合理的时间内完成走棋任务，必须要进行剪枝搜索。,“更深的蓝”（Deeper Blue）运算速度为每秒2亿步棋，计算能力为每秒113.8亿次浮点运算，是1996年版本的2倍，其运算能力在当时的全球超级计算机中也能排在第259位。,“更深的蓝”出师告捷,1997年5月，IBM公司再次邀请加里卡斯帕罗夫到美国纽约曼哈顿进行第二次人机大战，同样是6盘棋制比赛。在前5局里，卡斯帕罗夫为了避免在计算力方面用人脑与“更深的蓝”进行直接较量，他采取了独特的行棋策略来对付“更深的蓝”，但是这个奇招并没有取得明显的效果，“更深的蓝”总是能够凭借准确无误的局面判断和精确的计算给出最强的应手。最终前五局双方2.5对2.5打平，尤其是第三、第四、第五局连续三场和局，卡斯帕罗夫的助手看见他坐在房间的角落里，双手捂面，仿佛已经失去了斗志。,在最后一局中，卡斯帕罗夫失去耐心，回到了“正常”的下法，在第七回合就犯了一个不可挽回的低级错误，局势急转直下，最终在第六盘决胜局中仅仅走了19步就向“更深的蓝”俯首称臣。最终卡斯帕罗夫1胜2负3平，以2.5比3.5的总比分输给“更深的蓝”。“更深的蓝”赢得了这场备受世人瞩目的人机大战，也标志着国际象棋近2000年的发展历史走向了新时代。,人机博弈胜负已明,“深蓝”并不是终结，卡斯帕罗夫也没有服气。1999年，“弗里茨”升级为“更弗里茨”（Deep Fritz），并在2001年击败了卡斯帕罗夫。当今国际象棋男子等级分排名最高的选手是出生于1990年的挪威特级大师卡尔森（Magnus Carlsen），他的等级分是2863分，而至少有10款开源国际象棋引擎等级分达到了3000分以上。,人与机器的国际象棋之争已胜负分明，国际象棋领域的人机博弈也画上了句号，取而代之的是2010年开始举办的机机博弈国际象棋引擎竞赛TCEC（Thoresen Chess Engine Competition）。,加速芯片：“深蓝”的成功秘诀,“深蓝”计算机在硬件上将通用计算机处理器与象棋加速芯片相结合，采用混合决策的方法，即在通用处理器上执行运算分解任务，交给象棋加速芯片并行处理复杂的棋步自动推理，然后将推理得到的可能行棋方案结果返回通用处理器，最后由通用处理器决策出最终的行棋方案。,97型深蓝与1996年相比，运算速度差不多提高了两倍，象棋加速芯片的升级功不可没。升级后的象棋加速芯片能够从棋局中抽取更多的特征，并在有限的时间内计算出当前盘面往后12步甚至20步的行棋方案，从而让“深蓝”更准确地评估盘面整体局势。,知识规则引擎：“深蓝”的成功秘诀,“深蓝”在软件设计上采用了超大规模知识库结合优化搜索的方法。一方面，“深蓝”存储了国际象棋100 多年来70万份国际特级大师的棋谱，利用知识库在开局和残局阶段节省处理时间并得出更合理的行棋方案。,另一方面，“深蓝”采用Alpha-Beta剪枝搜索算法和基于规则的方法对棋局进行评价，通过缩小搜索空间的上界和下界提高搜索效率，同时根据棋子的重要程度、棋子的位置、棋子对的关系等特征对棋局进行更有效的评价。,剪枝搜索算法示意图,PART2,智力问答,Watson,自然语言处理,知识图谱,自主学习,Watson认知计算系统平台问世,在“深蓝”之后，IBM公司又选择了一个新的领域挑战人类极限DeepQA，不仅仅把DeepQA项目看成一个问答游戏系统，而且将其称之为认知计算系统平台。认知计算被定义为一种全新的计算模式，它包含数据分析、自然语言处理和机器学习领域的大量技术创新，能够帮助人类从大量非结构化数据中找出有用的答案。IBM公司对其寄予厚望，并用公司创始人ThomasJWatson的名字将这个平台命名为Watson。,如果说“深蓝”只是在做非常大规模的计算，是人类数学能力的体现，那么Watson就是将机器学习、大规模并行计算、语义处理等领域整合在一个体系架构下来理解人类自然语言的尝试。,Watson问答系统能力解析,Watson研发团队全面备战,IBM公司调动其全球研发团队参与到DeepQA项目中，这些团队分工极为细致，让它的各个团队都发挥出最大的效率，目标就是在2011年的综艺节目危险边缘（Quiz Show Jeopardy!）中一鸣惊人。问答搜索：以色列海法团队负责深度开放域问答系统工程的搜索；词语连接：日本东京团队负责在问答中将词意和词语连接；数据支持：中国北京和上海团队则负责以不同的资源给Watson提供数据支持 算法研究：此外还有专门研究算法的团队和研究博弈下注策略的团队等。,Watson包括90台IBM小型机服务器、360个Power 750系列处理器以及IBM研发的DeepQA系统。Power 750系列处理器是当时RISC（精简指令集计算机）架构中最强的处理器，可以支持Watson在不超过3秒钟的时间内得出可靠答案。,3.提取文字结构信息，减少冗余搜索。,4.逐级分解每个问题，直到获得所有子问题的答案。,5.在自身知识图谱中搜索并汇集特定实体的属性信息，实现实体属性完整勾画。,6.运用算法评估可能答案，可信度最高且超过51%，执行器按下信号灯。,Watson的工作过程,Watson挑战成功,最终比分成绩为Watson:$77147，Jennings:$24000，Rutter:$21600，比赛尘埃落定，人类已经和Watson相距太远。,2011年2月14日-16日，做好一切准备的Watson开始了与人类的对决。Watson在第一轮中就奠定了领先地位，但在比赛中出现了几个糟糕的回答。比如一个美国城市类的问题，Watson的答案为多伦多。这道题的回答让人大跌眼镜，主要原因是Watson没有为答案设置边缘条件。另一道回答奥利奥饼干是什么时候被推出的时候，几秒前人类选手Jennings回答相同问题时刚被告知“20年”错了，Watson还是继续回答“1920年”。这是因为研究团队为了简化Watson的编程，让它对其他玩家的回答“装聋作哑”，结果吃了大亏。,Watson进入商业化运营阶段,如今，Watson已经被运用到超过35个国家的17个产业领域，超过7.7万名开发者参与到Watson Developer Cloud平台来实施他们的商业梦想，Watson API的月调用量也已高达13亿次，并仍在增长。,借着这次Watson人机大战的风头，2012年IBM公司的小型机占据了全球将近2/3的市场份额，Watson也于2013年开始进入商业化运营，陆续推出的相关产品：,Watson成功秘诀：自然语言处理,“Jeopardy!”这类问答类节目，对于人类而言规则很简单，但是对于Watson则意味着众多挑战。它不仅要理解主持人提问的自然语言，还需要分析这些语言是否包含讽刺、双关、修饰等，以正确判断题目的意思，并评估各种答案的可能性，给出最后的选择。,自然语言处理研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法，是计算机科学与人工智能研究中的重要方向之一。,自然语言处理技术广泛应用,Watson的成功得益于自然语言处理技术多年的积累，同样也带动了这个领域进入了一个更加快速的发展阶段：2011年10月苹果公司在发布新品时集成Siri智能语音助手，把聊天问答系统带入了成熟商业化阶段；2013年谷歌公司开源Word2Vec引爆深度学习这个新的热点，机器翻译、文档摘要、关系抽取等任务不断取得重要进展，从此人工智能走向第三次高潮。,苹果Siri智能语音助手,谷歌公司开源Word2Vec,Watson成功秘诀：知识图谱,知识图谱本质上是一种基于图的数据结构，由节点（Point）和边（Edge）组成。在知识图谱中，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。可以说，知识图谱就是把异构信息连接在一起而得到的一个关系网络，提供了从“关系”的角度去分析问题的能力。,2012年谷歌公司推出知识图谱搜索服务，国内互联网公司百度和搜狗也分别推出“知心”和“知立方”来改进其搜索质量。在搜索引擎中引入知识图谱大幅的地提升和优化了搜索体验。,谷歌改进知识图谱 添加比较及过滤等新功能,知识图谱的广泛应用,知识图谱也被广泛应用于聊天机器人和问答系统中，用于辅助深度理解人类的语言和支持推理，并提升人机问答的用户体验。此外，在金融、农业、电商、医疗健康、环境保护等垂直领域，知识图谱同样得到了广泛的应用。,PART3,围棋,AlphaGo,机器学习,蒙特卡洛树搜索,深度学习,围棋复杂度增加,8*8格国际象棋的状态复杂度为1046，博弈树复杂度为10123。19*19格的围棋，其状态复杂度已上升到10172，博弈树复杂度则达到惊人的10360，因此也被视为人类在棋类人机对抗中最后的堡垒。,国际象棋,围棋,人机对抗的尝试与探索,在很长一段时间里，静态方法成了主流研究方向，中山大学化学系教授陈志行开发的围棋博弈程序“手谈”和开源软件GNU GO在2003年以前能够在9*9围棋中达到人类5-7级水平。,2006年S.Gelly等人提出的UCT算法（Upper Confidence Bound Apply to Tree，上限置信区间算法），该算法在蒙特卡洛树搜索中使用UCB公式解决了探索和利用的平衡，并采用随机模拟对围棋局面进行评价。该程序的胜率竟然比先前最先进的蒙特卡罗扩展算法高出了几乎一倍，但它也仅能在9路围棋中偶尔战胜人类职业棋手，在19路围棋中还远远不能与人类抗衡。,静态方法,UCT算法,陈志行,手谈,AlphaGo横空出世,这是围棋历史上一次史无前例的突破，人工智能程序能在不让子的情况下，第一次在完整的围棋竞技中击败专业选手。,AlphaGo大战樊麾,2016年D.Silver等人在世界顶级科学杂志Nature发表文章，称被谷歌公司收购的DeepMind团队开发出AlphaGo在没有任何让子情况下，以5:0完胜欧洲围棋冠军、职业二段选手樊麾。,AlphaGo系统简介,AlphaGo所向披靡,2016年3月AlphaGo与李世石进行围棋人机大战，以4比1的总比分获胜；,2016年末2017年初，它以Master为帐号与中日韩数十位围棋高手快棋对决，连续60局全胜。,2017年5月在中国乌镇围棋峰会上，它与柯洁对战，以3比0的总比分获胜。,围棋界公认AlphaGo的棋力已经超过人类职业围棋顶尖水平，其最新版本自我估分在4500分左右，实力水平大约在13段左右，人类选手中已然无敌。,AlphaGo大战李世石,Master大战聂卫平,AlphaGo大战柯洁,AlphaGo新技能,深度学习,发现新着法,棋感知觉,新技能,AlphaGo Zero青出于蓝,2.舍弃快速走子网络，不再进行随机模拟，而是完全使用神经网络得到的结果替换随机模拟，从而在提升学习速率的同时，增强神经网络估值的准确性。,1.AlphaGo Zero将策略网络和价值网络整合在一起，使用纯粹的深度强化学习方法进行端到端的自我对弈学习，神经网络的权值完全从随机初始化开始，使用强化学习进行自我博弈和提升。,3.AlphaGo Zero神经网络中还引入了残差结构，可使用更深的神经网络进行特征表征提取，从而能在更加复杂的棋盘局面中进行学习。,AlphaGo Zero青出于蓝,AlphaGo最高需要1920块CPU和280块GPU训练，AlphaGo Lee用了176块GPU和48块TPU，而AlphaGo Zero仅仅使用了单机4块TPU便完成了训练任务。,AlphaGo Zero仅用3天的时间便达到了AlphaGo Lee的水平，21天后达到AlphaGo Master的水平。AlphaGo Zero成功证明了在没有人类指导和经验的前提下，深度强化学习方法在围棋领域里仍然能够出色的完成指定的任务，甚至于比有人类经验知识指导时，完成的更加出色。,AlphaGo成功秘诀：蒙特卡洛树搜索,在机器博弈中，每步行棋方案的运算时间、堆栈空间都是有限的，只能给出局部最优解，因此2006年提出的蒙特卡洛树搜索就成为随机搜索算法的首选。,它结合了随机模拟的一般性和树搜索的准确性，近年来在围棋等完全信息博弈、多人博弈及随机类博弈难题上取得了成功应用。理论上，蒙特卡洛树搜索可被用在以状态，行动定义并用模拟预测输出结果的任何领域。,它结合了广度优先搜索和深度优先搜索，会较好地集中到“更值得搜索的变化”（虽然不一定准确），同时可以给出一个同样不怎么准确的全局评估结果，最后随着搜索树的自动生长，可以保证在足够大的运算能力和足够长的时间后收敛到完美解。,AlphaGo成功秘诀：强化学习,目标：从一个已经标记的训练集中进行学习。,目标：从一堆未标记样本中发现隐藏的结构。,目标：在当前行动和未来状态中获得最大回报。在边获得样例边学习的过程中，不断迭代“在当前模型的情况下，如何选择下一步的行动才对完善当前的模型最有利”的过程直到模型收敛。,强化学习的广泛应用,阿里巴巴公司在双11推荐场景中，使用了深度强化学习与自适应在线学习建立决策引擎，对海量用户行为以及百亿级商品特征进行实时分析，提高人和商品的配对效率，将手机用户点击率提升了10-20%。,无人驾驶,广告投放,强化学习在机器博弈以外还有很多应用，例如无人驾驶和广告投放等。,PART4,更多的人机大战,Alpha AI,Libratus,先知1.0,战争策略游戏,人工智能改变世界,随着深度学习、强化学习、人机协同等技术的快速发展，人工智能必将成为未来科技的制高点。以AlphaGo为代表和标志的技术突破，预示着一种具有直觉、认知和自我进化能力的新的人工智能时代的到来。这不仅会给工业界带来巨大的震动，也将对我们的工作生活方式带来本质的改变。,感知和决策能力提高,在通用人工智能领域，感知和决策能力是衡量一个智能体水平的关键指标。深度学习具有较强的感知能力，但是缺乏一定的决策能力；而强化学习具有决策能力，对感知问题束手无策。因此，将两者结合起来，优势互补，能够为复杂系统的感知决策问题提供解决思路。,AlphaGo运用的方法，实际上是一种解决复杂决策问题的通用框架，而不仅是围棋领域的独门秘籍。人工智能程序所具有的的自我学习的能力，使得机器博弈有了进化的可能。,通用人工智能任重道远,由于搜索算法与生俱来的搜索时间与空间的开销，对实时制游戏有着巨大的影响，因此DeepMind团队在星际争霸游戏中使用深度强化学习方法所能达到的效果也与期望相去甚远。因此，通用人工智能问题的研究及解决仍然任重道远。,开发AlphaGo的DeepMind设计团队将下一步挑战目标设定为即时战争策略游戏“星际争霸”，已经开始向军事指挥和战争决策接近，说明这种技术框架未来具有极为广阔的应用前景。,前景广阔,前景广阔,任重道远,即时战略领域人机大战,2016年6月，人工智能飞行员Alpha AI（阿尔法鹰）战胜了美国空军著名战术专家李上校；,2016年8月，卡耐基梅隆大学的Mayhem机器人战队战胜了所有人类战队，夺得美国国防高级研究计划局（DARPA）第24届网络挑战大赛（CGC）冠军；,2017年2月，卡耐基梅隆大学开发的人工智能系统Libratus在人机德州扑克大战中击败了人类顶级职业玩家；,2017年9月，由中国科学院自动化研究所研制的人工智能程序“先知1.0”在全国首届兵棋推演大赛上，以7:1的战绩战胜了经验丰富的人类高手。,即时战略游戏人工智能展望,既然国际象棋领域能够诞生“深蓝”，围棋领域能够诞生AlphaGo，那么以即时战略游戏为代表的更复杂、更灵活、更加不透明的人机协同环境下不完全信息机器博弈，也一定会产生出能够超越人类最高水平的人工智能体，并且很可能在两三年内就可以诞生！,期待人机博弈下一次大战！,
