虚拟现实及其应用(第一章).ppt.ppt

1,张菁-虚拟现实建模及应用,哈尔滨工程大学计算机科学与技术学院教授,博导研究方向:虚拟现实，医学图像处理 Email:个人主页:http:/,2,特 色,课件共分为三大部分:介绍虚拟现实的基础知识与关键技术;研究虚拟现实技术在各个领域应用的主要方法、手段及实现过程;给出两个具体的虚拟现实应用软件,是能够直接投放市场的软件。,3,内 容,课件共分为七章:第一章介绍虚拟现实的基本概念和相关知识，第二章阐述虚拟现实的关键技术，第三章描述虚拟城市系统和实现过程，第四章研究汽车驾驶仿真器系统与实现，第五章论述作战仿真系统与实现，第六章阐述3D游戏制作技术，第七章讨论虚拟手术技术。,4,意 义,虚拟现实技术是计算机图形学技术、人工智能技术、人机接口技术和并行计算技术等的汇集，经过20多年的发展，应用领域越来越广泛。最初主要用于军事仿真，以后则在城市规划、三维游戏、网络教育和工业设计与展示等诸多领域都取得了巨大的发展。渗透到了人们工作和生活的各个领域，越来越受到人们的关注。基于虚拟现实技术应用和需求广泛的原因。,5,价 值(1),本课件是作者总结十多年在虚拟现实领域的研究成果,将虚拟现实技术和具体事例结合起来，采用案例分析的方式进行编写的，既有原理和典型技术又有具体实现事例。本课件是作者编写的教材的配套课件:张菁“虚拟现实技术及应用”,清华大学出版社出版,2011.5。,6,课件的价值(2),本课件涵盖的内容全面,涉及到了虚拟现实各种关键技术和该技术在各个领域的应用。对广大学生来说，是一个不可多得的使人快速深入学习、研究和应用的好课件。每个事例都给出具体的实现方法，帮助读者举一反三，快速全面掌握和具体实践应用。具有很高的学术价值和应用价值。,主讲：张菁哈尔滨工程大学计算机科学与技术学院,第一章 虚拟现实技术概述,2009.10.22,8,课程安排,教材:张菁,虚拟现实技术及应用,清华大学出版社,2011.5参考文献：1.虚拟现实技术基础与应用,胡小强编著,北京邮电大学出版社20092.虚拟现实及其应用,洪炳镕,蔡则苏,唐好选编著,国防工业出版社,20053.虚拟现实技术(美)Grigore C.Burdea,(法)Philippe Coiffet著，电子工业出版社2005考试：平时成绩：20%，大作业(软件设计+综述报告)（80%）,9,本章要点,1.1 虚拟现实的定义和特征 1.2 虚拟现实系统的分类 1.3 虚拟现实研究现状 1.4 虚拟现实系统软、硬件结构 1.5 虚拟现实的设备 1.6 虚拟现实的应用 1.7 虚拟现实建模语言VRML 1.8 本章小节,10,What is virtual reality？,The use of computers to make situations feel and look real.,Task 1 Warm up,11,headsets,glass and special gloves and suits equipped with sensors,the user can directly interact with a 3D(dimension)computer programme by moving inside it.,12,virtual reality holidayslearning to fly using virtual reality technologyplaying virtual reality computer gamesvisiting virtual museums on the Internet,Which of these uses for virtual reality are possible now?,13,Playing virtual reality computer games.,14,Learning to fly using virtual reality simulator.,15,Visiting virtual museums on the Internet.,16,Would you like to visit the Science Museum website?Why or why not?,Would you like to go to a virtual university?,read the dialogue,17,Ok,you will find lots of good information at home.and neednt spend time traveling there.,Wonderful,study in such a world-famous university without going out of your room.,18,Info Island and Cybrary City,19,20,Princeton University Virtual Campus,21,Chancellor Green Library,22,Stanford University Virtual Library,23,24,Infolit iSchool Dept.of Information Studies,University of Sheffield,25,PolyU Library SL,26,The full potential of virtual library needs to be experimented and explored in the coming years,27,Please come to visit PolyU Library in Second Life http:/view the video at YouThttp:/view the video athttp:/,28,什么是虚拟现实技术呢？简单地说,就是人们利用计算机生成一个逼真的三维虚拟环境,通过自然技能使用传感设备与之相互作用的新技术。它与传统的模拟技术完全不同,是将模拟环境、视景系统和仿真系统合三为一,并利用头盔显示器、图形眼镜、数据服、立体声耳机、数据手套及脚踏板等传感装置,把操作者与计算机生成的三维虚拟环境连结在一起。,29,虚拟感应头盔、遥控手柄、数据手套,30,操作者通过传感器装置与虚 拟环境交互作用,可获得视觉、听觉和触觉等多种感知,并按照自己的意愿去改变“不随心”的虚拟环境。比如,计算机虚拟的环境是一座楼房,内有各种设 备和物品，操作者会如同身临其境一样,可以通过各种传感装置在屋内行走查 看、开门关门和搬动物品;对房屋设计上的不满意之处,还可随意改动。,31,1.1 虚拟现实的定义和特征,1.1.1 虚拟现实的定义虚拟现实（Virtual Reality）技术是20世纪80年代末90年代初崛起的一种实用技术。它是由计算机硬件、软件以及各种传感器构成的三维信息的人工环境虚拟环境，可以真实的模拟现实世界可以实现的（甚至是不可实现的）物理上的、功能上的事物和环境。用户投入到这种环境中，立即有“亲临其境”的感觉，并可亲自操作、实践，与虚拟的环境交互作用。,32,什么是虚拟现实（VR）,“虚拟现实”的概念于1989年由美国的J.Lanier提出，也称为“灵境”、“幻真”等。是一种新的人-机界面形式，它为用户（参与者）提供一种沉浸和多感觉通道的体验，试图寻找一种最佳的人-机交互方式。它通常用计算机技术生成一个逼真的三维视觉、听觉、触觉和嗅觉等感觉世界，让用户从自己的视点出发，利用自然的技能和某些设备对这一生成的虚拟世界进行浏览、交互和考察。,33,1.1.2 虚拟现实的特征,34,多感知性(MultiSensory)所谓多感知就是除了一般计算机技术所具有的视觉感知之外，还有听觉感知、力觉感知、触觉感知、运动感知、甚至应该包括味觉感知和嗅觉感知等。理想的虚拟现实技术应该具有一切人所具有的感知功能。由于相关技术，特别是传感技术的限制日前虚拟现实技术所具有的感知功能仅限于视觉、听觉、力觉、触觉和运动等几种，而且无论从感知范围还是从感知的精确程度都还无法与人相比拟。-,35,2沉浸感(presence)又称为临场感(Immersion)，它是指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该达到使用户难以分辨真假的程度(例如，可视场景应随着视点的变化而变化)，甚至比真的还“真”，如实现比现实更逼真的照明和音响效果等。,36,3交互性(Interaction)交互性是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。例如，用户可以用手去直接抓取模拟环境中的物体，这时手有握着东西的感觉。并可以感觉物体和重量(其实这时手里并没有实物)，视觉中被抓的物体也立刻随着手的移动而移动。,37,虚拟现实的特征,4构想性(Imagination)根据想像从定性和定量综合集成的环境中得到感性和理性的认识，从而可以深化概念，萌发新意，在电脑中实现认识上的飞跃。,38,1.1.2 虚拟现实的特征1993 年，Burdea G 在Electro 93 国际会议上发表的“Virtual Reality Systemand Application”一文中，提出了虚拟现实技术三角形。即三“I”特征:Immersion（沉浸）、Interaction（交互）、Imagination（构想）。它是虚拟现实系统的三个基本特征，用以区别相邻技术，如计算机图形学、多媒体技术、仿真技术、科学计算可视化技术等。,39,沉浸（Immersion）又称存在感，是指用户可以沉浸于计算机生成的虚拟环境中和使用户投入到由计算机生成的虚拟场景中的能力，用户在虚拟场景中有“身临其境”之感。他所看到的、听到的、嗅到的、触摸到的，完全与真实环境中感受到的一样。它是VR 系统的核心。交互（Interaction）是指用户与虚拟场景中各种对象相互作用的能力。它是人机和谐的关键性因素。用户进入虚拟环境后,通过多种传感器与多维化信息的环境发生交互作用。构想（Imagination）虚拟现实不仅仅是一个用户与终端的接口，而且可使用户沉浸于此环境中获取新的知识，提高感性和理性认识，从而产生实现新的构思。,40,1.2 虚拟现实系统的分类,简单的虚拟现实系统，也称窗口中VR或桌面虚拟现实系统，主要用于CAD/CAM和建筑设计等领域。沉浸虚拟现实系统分布式虚拟现实系统增强现实系统,41,虚拟现实系统按其功能高低大体可分为四类：1桌面虚拟现实系统，也称窗口中的VR。它可以通过桌上型机实现，所以成本较低，功能也最简单，主要用于CAD（计算机辅助设计）、CAM（计算机辅助制造）、建筑设计、桌面游戏等领域。2沉浸虚拟现实系统，如各种用途的体验器，使人有身临其境的感觉，各种培训、演示以及高级游戏等用途均可用 这种系统。,42,3分布式虚拟现实系统，它在因特网环境下，充分利用分布于各地的资源，协同开发各种虚 拟现实的利用。它通常是浸沉虚拟现实系统的 发展，也就是把分布于不同地方的沉浸虚拟现 实系统，通过因特网连接起来，共同实现某种 用途。,43,4增强现实又称混合现实系统。它是把真实环境和虚拟环境结合起来的一种系统，既可减少构成复杂真实环境的开销（因为部分真实环境由虚拟环境取代），又可对实际物体进行操作（因为部分系统即系真实环境），真正达到了亦真亦幻的境界，是今后发展的方向。,44,1.2.1.1 基于静态图像的虚拟现实技术(360全景)全景图虚拟方式：是把相机环360度拍摄的一组或多组照片拼接成一个全景图像，然后再通过计算机实现定点互动式观看。应用该方式生成的虚拟场景只能对所拍摄的实景进行环绕式的浏览而不能在场景中任意行走，若想浏览场景的其他视角则只能通过某一热键进行切换，如果没有对某一视角进行拍摄则无法对其进行浏览。,1.2.1 桌面级虚拟现实系统,45,1、全景环视技术及其应用全景环视技术也称360全景环视技术，或称基于图像处理的Panorama（全景摄影）技术，就是把相机环绕360拍摄的一组照片拼接成一个全景图像，用一个专用的播放软件在Web浏览器上显示。观看者可以通过鼠标控制环视的方向，好像在一个窗口前浏览一个现实的场景。全景环视摄影的应用领域主要涉及远程教学、商品广告、旅游与娱乐业、新闻业、建筑业等。例如，下图是故宫博物院中一个景点的全景环视展示。（http:/,46,图 全景环视作品：故宫博物院,47,目前有不少工具软件可以制作全景环视图像，例如PixMaker（http:/）就是一个常用的软件。用PixMaker制作全景虚拟作品包括Snap（抓取）、Stitch（拼接）和Publish（发表）3个步骤。下图显示了用PixMaker制作全景虚拟现实作品的过程。,48,图 全景环视制作工具实例,49,50,2、Web3D：这是在Internet网上应用极具前景的技术，它采用描述性的文本语言VRML描述基本的三维物体的造型，通过一定的控制，将这些基本的三维造型组合成虚拟场景，当浏览器浏览这些文本描述信息时，在本地进行解释执行，生成虚拟的三维场景。,51,图1.19 Web 3D,52,3、桌面CAD系统 利用3Dmax、OpenGL和 Direct3D等桌面三维图形绘制技术对虚拟世界进行建模渲染，通过计算机的显示器进行观察，并有能自由地控制的视点和视角。,53,1.2.1.1 桌面级虚拟现实系统,54,55,1.2.1.2 投入的虚拟现实系统 投入型虚拟现实（亦称高级虚拟现实）主要依赖于各种虚拟现实硬件设备，仿真经历要比桌面虚拟现实更可信、更真实。主要包括：1、完全投入型虚拟现实系统 除了戴头盔显示器实现完全投入，还有一种完全投入系统洞穴虚拟现实环境(CAVE)。它使参与者从听觉到视觉都能投入到虚拟环境中去。,56,57,2、座舱 在投入式虚拟现实系统中，座舱是一种最为古老的虚拟现实模拟器，它不属于完全投入的范畴。当参与者进入座舱后就可以通过座舱的窗口观看一个虚拟境界。该窗口有一个或多个计算机显示器或视频监视器组成，用来显示虚拟场景。,58,59,3、远程存在 就是一种远程控制形式，当在某处的操作员操作一个虚拟现实系统时其结果却在很远的另一个地方发生，这种类型的投入需要一个立体显示器和两台摄象机以生成三维图像，这种图像使得操作员有一种深度的感觉。因而在观看虚拟境界时更清晰。例如，异地的医科教授，可以通过网络，对虚拟手术室中的病人进行外科手术。,60,图1.23 远程手术,61,1.2.1.3 增强现实性的虚拟现实系统增强现实性的虚拟现实不仅是利用虚拟现实技术来模拟现实世界、仿真现实世界，而且要利用它来增强参与者对真实环境的感受，也就是增强现实中无法感知或不方便感知感受。这种类型虚拟现实典型的实例是战机飞行员的平视显示器，它可以将仪表读数和武器瞄准数据投射到安装在飞行员面前的穿透式屏幕上，它可以使飞行员不必低头读座舱中仪表的数据，从而可集中精力盯着敌人的飞机和导航偏差。,62,图1.24 增强现实,63,64,分布式虚拟现实的研究基于两类网络平台：一是在Internet上，可追溯到早期基于文本的多参与者游戏MUD，还有基于VRML标准的远程虚拟购物等。虚拟现实建模语言是一种可以发布3D网页的跨平台语言，可提供一种更自然的体验方式，包括交互性、动态效果、延续性以及用户的参与探索。另一类则是在高速专用网上，如采用ATM技术的美国军方的国防仿真互联网。最早的分布式虚拟战场环境则是1983年美国陆军制定的虚拟环境研究计划，这一计划将分散在不同地点的地面坦克、车辆仿真器通过计算机网络联合在一起，进行各种复杂任务的训练和作战演练。,1.2.1.4 分布式虚拟现实系统,65,66,图1.27 美国JSIMS系统示意图2003年美军方耗资800万美元研制的联合模拟训练系统,67,图1.28 我国分布式战场仿真示意图,68,使用计算机及其相关的三维设备的虚拟现实系统，我们的工作、生活、娱乐将更加有情趣。在电脑前就可以实现与大西洋底的鲨鱼嬉戏；参观非洲大陆的天然动物园；感受古战场的硝烟与刀光剑影；发幽古思今之情；还可以体验开国大典的庄严和东方巨人站立起来的壮志豪情我们相信社会的发展和技术的创新使这一切在世界的任何地方都能做到，再不需等待可望而不可及的将来，或许就在今天。,1.2.2 虚拟现实的意义,69,1.2.3 虚拟现实的发展历史,其概念在60年代被提出，80年代逐步兴起，90年代有产品问世(1989年)美国国防部建立TCP/IP标准NASA将VR应用在太空任务LCD显示器互动式手套HMD（head-mounted display）头盔显示器触觉手套NASA发展3D声音1992年第一个虚拟现实开发工具问世1993年大量虚拟现实应用系统出现1996年NPS公司使用惯性传感器和全方位踏车将人的运动姿态集成到虚拟环境中1999年，虚拟现实应用更为广泛，涉足航空航天、军事、通信、医疗、教育、娱乐、图形、建筑和商业等领域,70,71,1.3 虚拟现实研究现状,1.3.1 国外虚拟现实研究现状（1）美国宇航局（NASA）的Ames实验室完善了HMD，并将VPL的数据手套工程化，使其成为可用性较高的产品。NASA研究的重点放在对空间站操纵的实时仿真上，NASA完成的一项著名的工作是对哈勃太空望远镜的仿真。现在正致力于一个叫“虚拟行星探索（VPE）”的试验计划。（2）北卡罗来纳大学（UNC）的计算机系是进行VR研究最早最著名的大学。他们主要研究：分子建模、航空驾驶、外科手术仿真、建筑仿真等。,72,（3）Linda大学医学中心是一所经常从事高难度或者有争议课题的医学研究单位。他们以数据手套为工具，将手的运动实时地在计算机上用图形表示出来；他们还首创了VR儿科治疗法。（4）麻省理工大学（MIT）是一个一直走在最新技术前沿的科学研究机构。它建立了一个名叫BOLIO的测试环境，用于进行不同图形仿真技术的实验。利用这一环境，MIT建立了一个虚拟环境下的对象运动跟踪系统。,73,（5）SRI研究中心建立了“视觉感知计划”，研究现有VR技术的进一步发展。1991年后，SRI进行了利用VR技术对军用飞机或车辆驾驶的训练研究。另外，SRI还利用遥控技术进行外科手术仿真的研究。（6）华盛顿大学华盛顿技术中心的人机界面技术实验室（HIT Lab）在新概念的研究中起着领先作用，同时也在进行感觉、知觉、认知和运动控制能力的研究。HIT现已将VR研究引入了教育、设计、娱乐和制造领域。（7）Dave Sims等人研制出虚拟现实撤退模型来观看系统如何运作。当前，这一模型已在维加斯的虚拟购物商场中得以运用。,74,（8）SOFTIMAGE公司的专家们提出了渗透将有助于扩大虚拟现实的美学感，这是VR未来的一个发展方向。（9）伊利诺斯州立大学研制出在车辆设计中，支持远程协作的分布式VR系统。不同国家、不同地区的工程师们可以通过计算机网络实时协作进行设计。在系统中采用了虚拟原型，从而减少了设计图象和新产品进入市场的时间，而且可以在新产品生产之前就能对其进行估算和测试，这样就大大地提高了产品质量。（10）乔治梅森大学研制出一套在动态虚拟环境中的流体实时仿真系统，在一个分布交互式仿真系统中仿真真实世界复杂流体的物理特性。,75,1.3.2 国内虚拟现实研究现状,（1）北京航空航天大学计算机系是国内最早进行VR研究、最有权威的单位之一，他们在虚拟现实中的视觉接口方面开发出了部分硬件，并提出了有关算法及实现方法；实现了分布式虚拟环境网络设计，建立了网上虚拟现实研究论坛。（2）浙江大学CAD&CG国家重点实验室开发出了一套桌面型虚拟建筑环境实时漫游系统。另外，他们还研制出了在虚拟环境中一种新的快速漫游算法和一种递进网格的快速生成算法。,76,（3）哈尔滨工业大学计算机系已经成功地虚拟出了人的高级行为中特定人脸图象的合成，表情的合成和唇动的合成等技术问题，并正在研究人说话的头势和手势动作，语音和语调的同步等。（4）清华大学计算机科学和技术系对虚拟现实和临场感的方面进行了研究。他们还针对室内环境水平特征丰富的特点，提出借助图象变换，使立体视觉图象中对应水平特征呈现形状一致性，以利于实现特征匹配，并获取物体三维结构的新颖算法.,77,图1.7 清华大学的人体动作跟踪,78,（5）西安交通大学信息工程研究所对虚拟现实中的关键技术立体显示技术进行了研究。他们在借鉴人类视觉特性的基础上提出了一种基于JPEG标准压缩编码新方案，并获得了教高的压缩比、信噪比以及解压速度，并且已经通过实验结果证明了这种方案的优越性。（6）中国科技开发院威海分院主要研究虚拟现实中视觉接口技术，完成了虚拟现实中的体视图象对算法回显及软件接口。他们在硬件开发上已经完成了LCD红外立体眼镜，并且已经实现商品化。,79,（7）北方工业大学CAD研究中心是我国最早开展计算机动画研究的单位之一，中国第一部完全用计算机动画技术制作的科教片相似就出自该中心。关于虚拟现实的研究已经完成了2个“863”项目，完成了体视动画的自动生成部分算法与合成软件处理，完成了VR图象处理与演示系统的多媒体平台及相关的音 频资料库，制作了一些相关的体视动画光盘。（8）国防科技大学开发了基于Internet 的三维漫游环境Universe3D。,80,（9）另外，西北工业大学CAD/CAM研究中心，上海交通大学图象处理及模式识别研究所，华东船舶工业学院计算机系、安徽大学电子工程与信息科学系等单位也进行了一些研究工作和尝试。（10）哈尔滨工程大学 虚拟现实与医学图像处理实验室,自2001起研究虚拟现实技术，到目前为止已经完成了17个项目具体：http:/,81,1.4 虚拟现实系统软、硬件结构,1.4.1 开发平台1.4.2 虚拟现实显示系统1.4.3 虚拟现实交互系统,82,1.4.1 开发平台构建虚拟现实系统的目的是为了开发虚拟现实应用,所以任何一个完整的虚拟现实系统都需要有一套功能完备的虚拟现实应用开发平台,一般包括硬件和软件开发平台两个部分。硬件开发平台，即高性能图像生成及处理系统，通常为高性能的图形计算机或虚拟现实工作站；,83,图1.8 图形工作站,84,软件开发平台，即面向应用对象的虚拟现实应用软件开发平台（VC+）。这其中面向应用对象的虚拟现实应用软件开发平台是最主要的。它在虚拟现实应用开发过程中承担着三维图形场景驱动的建立和应用功能的二次开发，是虚拟现实应用开发的高层API，同时也是连接VR外设、建立数学模型和应用数据库的基础平台，没有它将无法开发出功能完善的虚拟现实应用程序。,85,1.4.2 虚拟现实显示系统（1）虚拟三维投影显示系统 它是整个虚拟现实系统中最重要的3D/VR图形显示输出系统，其核心部分是立体版的高亮度投影机及相关组件。,86,它将VR工作站生成的高分辨率3D/VR场景以大幅立体投影的方式显示出来，让要交互的三维虚拟世界高度逼真地浮现于参与者的眼前，从而为VR用户提供一个团体式参与，集体观看，具有高度临场感的投入型虚拟现实环境。立体投影仪，其构成中包括壳体、投影仪、偏振镜片、投影屏，投影屏和投影仪分别位于壳体前、后方，偏振镜片位于投影仪的投影镜头前面，投影仪和偏振镜片的数量各为2个，2个投影仪的水平轴线相交、投影图像在投影屏上重合。,87,三维投影显示系统,88,(2)多通道环幕（立体）投影系统多通道环幕（立体）投影系统是指采用多台投影机组合而成的多通道大屏幕展示系统，它比普通的标准投影系统具备更大的显示尺寸、更宽的视野、更多的显示内容、更高的显示分辨率，以及更具冲击力和沉浸感的视觉效果。,89,多通道投影系统,90,(3)头盔显示器无论是要求在现实世界的视场上同时看到需要的数据，还是要体验视觉图像变化时全身心投入的临场感，模拟训练、3D游戏、远程医疗和手术，或者是利用红外、显微镜、电子显微镜来扩展人眼的视觉能力，头盔显示器都得到了应用。,91,比如军事上在车辆、飞机驾驶员以及单兵作战时的命令传达、战场观察、地形查看、夜视系统显示、车辆和飞机的炮瞄系统等需要信息显示的，都可以采用头盔显示器。在CAD/CAM 操作上，HMD使操作者可以远程查看数据，比如局部数据清单、工程图纸、产品规格等。波音公司在采用虚拟现实硬件技术进行波音777飞机设计时，头盔显示器就得到了应用。,92,头盔显示器,93,(4)3D立体显示器3D立体显示器是一项新的虚拟现实产品，过去的立体显示和立体观察都是在CRT监视器上戴上液晶光阀的立体眼镜进行观看，并且需要通过高技术编程开发才能实现立体现实和立体观察。而立体显示器则摆脱以往该项技术需求，不需要任何编程开发，只要您有三维模型，就可以实现三维模型的立体显示，只要用肉眼即观察到突出的立体显示效果，不需要带任何立体眼镜设备；同时，它也可以实现视频图像（如立体电影）的立体显示和立体观察，同样也无须戴任何立体眼镜。,94,立体显示器,95,(5)立体眼镜三维眼镜是用于观看立体游戏场景、立体电影、仿真效果的计算机装置，是基于页交换模式(Pagefilp)的虚拟现实立体眼镜，分有线和无线两种，是目前最为流行和经济适用的 VR 观察设备。基于页交换模式(Pagefilp)的立体眼镜，图形工作站用立体眼镜(Shutterglasses),对许多专业软件都支持，如机械CAD、产品可视化、仿真、分子建模、地理信息系统/测绘和医学成象等。彩色图像真实、高分辨率。,96,立体眼镜,97,1.4.3 虚拟现实交互系统6自由度实时交互是虚拟现实技术最本质的特征和要求之一，也是虚拟现实技术的精髓，离开实时交互，虚拟现实应用将失去其存在的价值和意义，这也是虚拟现实技术与三维动画和多媒体应用的最根本的区别。在虚拟现实交互应用中通常会借助于一些面向特定应用的特殊虚拟外设，它们主要是6自由度虚拟交互系统，比如：力或触觉反馈系统、数据手套、位置跟踪器或6自由度空间鼠标、操纵杆等等。,98,(1)三维空间跟踪定位器三维空间跟踪定位器是用于空间跟踪定位的装置，一般与其他VR设备结合使用，如：数据头盔、立体眼镜和数据手套等，使参与者在空间上能够自由移动、旋转，不局限于固定的空间位置，操作更加灵活、自如和随意。产品有六个自由度和三个自由之分。,99,(2)三维空间交互球三维空间交互球是另一重要的虚拟现实设备，用于六个自由度VR场景的模拟交互，可从不同的角度和方位对三维物体观察、浏览、操纵；也可作为3D Mouse来使用；并可与数据手套或立体眼镜结合使用，作为跟踪定位器。也可单独用于CAD/CAM。,100,三维空间交互球,101,(3)数据手套观察者还可借助数据手套等设备来操纵虚拟场景中的对象，数据手套中装有许多光纤传感器，能够感知手指关节的弯曲状态，观察者通过手指的活动来实现与虚拟场暗慕互作用 数据手套是一种多模式的虚拟现实硬件，通过软件编程，可进行虚拟场景中物体的抓取,移动,旋转等动作，也可以利用它的多模式性，用作一种控制场景漫游的工具。,102,数据手套,103,数据手套的出现，为虚拟现实系统提供了一种全新的交互手段，目前的产品已经能够检测手指的弯曲，并利用磁定位传感器来精确地定位出手在三维空间中的位置。这种结合手指弯曲度测试和空间定位测试的数据手套被称为真实手套，可以为用户提供一种非常真实自然的三维交互手段。在虚拟装配和医疗手术模拟中，数据手套是不可缺少的虚拟现实硬件的一个组成部分。,104,1.5 虚拟现实系统的构成,虚拟现实系统的构成 虚拟现实技术的实现，主要分三大块：建模技术、显示技 术、三维场景中的交互技术。具体来说虚拟现实系统主要由以下五个模块构成：图1-2 虚拟现实系统的构成,105,检测模块：检测用户的操作命令，并通过传感器模块作用于虚拟环境。反馈模块：接受来自传感器模块信息，为用户提供实时反馈。传感器模块：一方面接受来自用户的操作命令，并将其作用于虚拟环境；另一方面 将操作后产生的结果以各种反馈的形式提供给用户。控制模块：对传感器进行控制，使其对用户、虚拟环境和现实世界产生作用。建模模块：获取现实世界组成部分的三维表示，并由此构成对应的虚拟环境。,106,1.5.1 实时立体视觉与广角立体显示相比较而言，利用计算机模型产生图形图像并不是太难的事情。如果有足够准确的模型，又有足够的时间，我们就可以生成不同光照条件下各种物体的精确图像，但是这里的关键是实时。例如在飞行模拟系统中，图像的刷新相当重要，同时对图像质量的要求也很高，再加上非常复杂的虚拟环境，问题就变得相当困难。,107,人看周围的世界时，由于两只眼睛的位置不同，得到的图像略有不同，这些图像在脑子里融合起来，就形成了一个关于周围世界的整体景象，这个景象中包括了距离远近的信息。当然，距离信息也可以通过其他方法获得。在VR系统中，双目立体视觉起了很大作用。用户的两只眼睛看到的不同图像是分别产生的，显示在不同的显示器上。有的系统采用单个显示器，但用户带上特殊的眼镜后，一只眼睛只能看到奇数帧图像，另一只眼睛只能看到偶数帧图像，奇、偶帧之间的不同也就是视差就产生了立体感。,108,图1-3 FlyVR实景虚拟现实平台,109,图1-4 环形或球幕投影系统,110,1.5.2 头部及体位追踪,用户（头、眼）的跟踪：在人造环境中，每个物体相对于系统的坐标系都有一个位置与姿态，而用户也是如此。用户看到的景象是由用户的位置和头（眼）的方向来确定的。跟踪头部运动的虚拟现实头套：在传统的计算机图形技术中，视场的改变是通过鼠标或键盘来实现的，用户的视觉系统和运动感知系统是分离的，而利用头部跟踪来改变图像的视角，用户的视觉系统和运动感知系统之间就可以联系起来，感觉更逼真。另一个优点是，用户不仅可以通过双目立体视觉去认识环境，而且可以通过头部的运动去观察环境。,111,在用户与计算机的交互中，键盘和鼠标是目前最常用的工具，但对于三维空间来说，它们都不太适合。在三维空间中因为有六个自由度，我们很难找出比较直观的办法把鼠标的平面运动映射成三维空间的任意运动。现在，已经有一些设备可以提供六个自由度，如3Space数字化仪和SpaceBall空间球等。另外一些性能比较优异的设备是数据手套和数据衣。,112,1.5.3 立体声与虚拟立体声的产生,人能够很好地判定声源的方向。在水平方向上，我们靠声音的相位差及强度的差别来确定声音的方向，因为声音到达两只耳朵的时间或距离有所不同。常见的立体声效果就是靠左右耳听到在不同位置录制的不同声音来实现的，所以会有一种方向感。现实生活里，当头部转动时，听到的声音的方向就会改变。但目前在VR系统中，声音的方向与用户头部的运动无关。,113,1在虚拟环境中的声音生成和显示系统为达到一定的仿真逼真度，应该达到以下一些目标:(1)声音的生成和显示系统应能够在可听范围内体现较高的频率分辨度，声音的生成和显示系统应能反映目标实体的方位、距离等信息及音调变化;(2)能表达多个静止或运动的声源，支持多个听点和听点切换;(3)与其他通道的良好融合、匹配和同步。,114,2扬声器生成虚幻声像原理 图1-5 扬声器生成虚幻声像 如图7-5所示的一对扬声器，分别输出相干的声音信号，通过控制信号的增益、相位可以让听者产生听觉上的虚幻声像，人耳可以自然地根据不同位置的扬声器发出的声音来识别虚拟环境中动态目标的方位。,115,1.5.4 触觉与力觉的技术,从物理学仿真角度看，包括接触觉(Tactile or Touch Sensing)和力觉(Force Sensing)的触觉感知(Haptic Sensing),在基于虚拟现实操作系统中是不可或缺的重要感觉。当前，虚拟环境中大多数数据信息是采用视觉传感器以及非接触型传感器(如超声测距传感器等)采集的。,116,然而，实际工作中很多操作任务的信息要求具备敏捷的控制和接触感觉。在虚拟环境中，由于缺乏触觉感知反馈(Haptic Feedback)手段，而使许许多多的信号源很难反馈和显示给异地的用户，从而难以实现更加全而的人一机交互作用。显而易见，没有基于虚拟现实的触觉感知反馈作用，就很难满足各种工程实际应用的要求。,117,在一个VR系统中，用户可以看到一个虚拟的杯子。你可以设法去抓住它，但是你的手没有真正接触杯子的感觉，并有可能穿过虚拟杯子的“表面”，而这在现实生活中是不可能的。解决这一问题的常用装置是在手套内层安装一些可以振动的触点来模拟触觉。,118,1.5.5 虚拟现实中使用的输出/输入技术,语音、自然语言、手势、视线跟踪及头部跟踪等各种形式的输入技术正在研究中，沉浸式的头盔显示器已经开始使用，新的立体显示设备也正在研制。在VR系统中，语音的输入输出也很重要。这就要求虚拟环境能听懂人的语言，并能与人实时交互。而让计算机识别人的语音是相当困难的，因为语音信号和自然语言信号有其“多边性”和复杂性。例如，连续语音中词与词之间没有明显的停顿，同一词、同一字的发音受前后词、字的影响，不仅不同人说同一词会有所不同，就是同一人发音也会受到心理、生理和环境的影响而有所不同。,119,使用人的自然语言作为计算机输入目前有两个问题，首先是效率问题，为便于计算机理解，输入的语音可能会相当罗嗦。其次是正确性问题，计算机理解语音的方法是对比匹配，而没有人的智能。,120,1.6 虚拟现实的应用,虚拟现实技术最初是用于军事仿真，近年来在城市规划，室内设计,文物保护，交通模拟，虚拟现实游戏，工业设计，远程教育等方面都取得了巨大的发展，虚拟无限相信，这是不可逆转的趋势，并且会运用更加广泛。因为虚拟现实技术的特点，所以它可以渗透到我们工作和生活的每个角落，所以虚拟现实技术对人类社会的意义是非常大的。正因为如此，它和其它很多信息技术一样，当信息技术领域的专家还未把它的理论和技术探讨得十分清楚时，它已渗透到科学、技术、工程、医学、文化、娱乐的各个领域了，受到各个领域人们的极大注意。,121,VR应用极为广泛，Helsel与Doherty 对世界范围内进行的805项VR研究项目作了统计，结果表明：目前在娱乐、教育及艺术方面的应用占主流，达21.4，其次是军事与航空达12.7，医学方面达6.13，机器人方面占6.21，商业方面占4.96，另外在可视化计算、制造业等方面也有相当的比重。,122,123,虚拟现实的用途,124,1.6 虚拟现实的应用米兰虚拟：http:/,125,1.6.1 军事1983年，美国陆军就曾制定了虚拟环境研究计划。它将分散在不同地点的坦克、车辆仿真器通过计算机网络联合在一起，形成一个虚拟战场环境，进行各种复杂任务的训练和作战演练等1994年开始，美国陆军与美国大西洋司令部合作建立了一个包括海陆空所有兵种，有3700多个仿真实体参与的，地域范围覆盖500km750km范围的军事演练环境VR技术应用的典型例子是“联网军事训练系统”,126,1.6.1 军事,127,1.6.2 航空航天（虚拟风洞，失重仿真训练，卫星发射仿真）,图1.31 卫星轨道规划,128,1.6.3 医学可用于解剖教学、复杂手术过程的规划，在手术过程中提供操作和信息上的辅助，预测手术结果等。在远程医疗中，虚拟现实技术也很有潜力。例如在偏远的山区，通过远程医疗虚拟现实系统，患者不进城也能够接受名医的治疗。在虚拟环境中，可以建立虚拟的人体模型，借助于跟踪球、HMD、感觉手套，学生可以很容易了解人体内部各器官结构，这比现有的采用教科书的方式要有效得多。,129,1.6.4 教育游戏艺术VR技术在教育领域，主要是发挥其互动性和生动的表现效果，用于立体几何、物理化学等相关课件的模拟制作。而且在相关专业的培训机构，VR虚拟现实技术能够提供学员更多的辅助，比如虚拟驾驶、各种交通规则的模拟。特种器械模拟操作、模拟装备等等。VR技术在视频应用上，已经相当广泛了，在各大电视台中均有虚拟演播室，而且有的电视台还运用了虚拟主持人。这种虚拟技术的运用无论是CCTV还是各个地方卫视都有应用。,130,1.6.4 教育游戏艺术,131,1.6.5 工业随着VR技术的发展，其应用已进入民用市场。在工业设计中，虚拟样机就是利用VR技术和科学计算可视化技术，根据产品的计算