GPU计算技术发展及在地球物理界的应用.ppt
中国石油勘探开发研究院西北分院2010年12月21日,GPU计算技术及地球物理的应用,一 GPU发展历程 GPU/CPU地球物理应用三 技术展望,汇 报 提 纲,计算机技术的发展,一、GPU发展历程,20世纪70年代,向量机,20世纪90年代初,对称多处理共享存储并行机（SMP，Symmetric Multi-Processor）,20世纪90年代中期,分布式共享存储多处理机（DSM，Distributied Shared Memory）,20世纪90年代后期,大规模并行处理机（MPP，Massively Parallel Processor）,21世纪初期,计算机集群系统（PC Cluster）,并行机需要在CPU、内存、操作系统等进行定制，成本非常昂贵，技术实现难度大，实现周期长。,一、GPU发展历程,1、CPU的发展,单核CPU性能在主频提升受限,多核CPU提供了更强的并行处理能力，并大大减少了散热和功耗,一、GPU发展历程,多核CPU系统的的两大难题,受限的加速比内核数目的线性增加不能带来整体处理性能的线性增长,延时问题系统规模扩展超过数万个处理器、数十万个处理器核时，该问题变得十分突出。,一、GPU发展历程,20世纪80年代，以GE为标志的图形处理器；图形处理功能逐渐从CPU向图形处理器转换；,1999年，NVIDIA推出具有标志意义的图形处理器GeForce 256，第一次在图形芯片上实现了3D几何变换和光照计算,GPU(Graphic Processing Unit)图形处理器，常用于显示（显卡）。,2、GPU发展历程,2003年，可编程的GPU出现，使GPU可用于科学计算,2006年，可进行高级语言编程的GPU，即CUDA（统一计算）架构,GPU实物照片,Tesla S1070 1U 系统,一、GPU发展历程,1、法国网站PC INpact报道称，法国原子能委员会等机构正准备构建一台新的超级计算机，其中有Intel的下一代四核心处理器，同时会加入将近两百颗GT200（Tesla 1060/1070），有望成为世界上第一台GPU超级计算机。2、据2008年11月21日，美国德克萨斯州奥斯汀市SC08大会报道：东京工业大学（Tokyo Tech）正式宣布与NVIDIA展开合作，采用NVIDIA Tesla GPU来提升其TSUBAME超级计算机的计算能力。,GPU国际研究进展及报道,一、GPU发展历程,一、GPU发展历程,2009年10月30日国防科技大学宣布研制成功我国首台千万亿次超级计算机系统“天河一号”。,2010年5月31日中国研制成功世界排名第二的“星云一号”。年内中国即将宣布研制成功世界排名第一的计算机，其硬件架构都是GPU/CPU异构并行模式。,一、GPU发展历程,GPU和CPU架构差异很大，CPU功能模块很多，能适应复杂运算环境；GPU构成则相对简单，运算单元多。,3、GPU技术优势,一、GPU发展历程,目前单个GPU可高达480核,GPU比CPU更适合并行计算！,CPU逻辑运算能力强；GPU则浮点运算能力强，计算速度非常快。,3、GPU技术优势,GPU与CPU浮点计算对比,GPU与CPU存储通道对比,一、GPU发展历程,GPU/CPU计算加速效率,CPU/GPU矩阵运算时间对比研究(毫秒),一、GPU发展历程,CPU/GPU算法FFT计算二维卷积执行时间(毫秒),GPU/CPU计算加速效率,一、GPU发展历程,一、GPU发展历程,GPU/CPU协同发展,一 GPU发展历程 GPU/CPU地球物理应用三 技术展望,汇 报 提 纲,二、GPU/CPU地球物理应用,1、应用现状,地球物理技术发展历史与计算技术发展历史是不可分割的。计算技术在石油物探中的应用起始于二十世纪六十年代，但大规模的应用开始于二十世纪八十年代。总结了过去40年间地球物理计算的发展历程，经历了四次重大变革。（王宏琳教授）,20世纪70年代,20世纪80年代,20世纪90年代,21世纪初期,2007,二、GPU/CPU地球物理应用,1、应用现状,世界超级计算500强地球物理应用图表,国外两大主要地球物理服务公司WesternGeco和CGG地震数据处理中心配置的集群计算机系统的CPU（核）数达到10万，形成强大的地震资料处理能力，尤其是地震叠前偏移成像能力。国内中国石油和中国石化各油田和研究机构、技术服务公司也建立大型地震资料处理解释中心，计算性能规模从数十万亿次到数百万亿次不等。2009年6月29日发布的全球超级计算500强中，地球物理应用占有43套。2009年11月1日发布的中国超级计算100强中，地球物理应用达到20套。（据赵改善）,二、GPU/CPU地球物理应用,石油物探技术发展现状1、石油勘探开发技术的特点：地震成像技术广泛应用，油藏描述技术水平不断提高，地球物理技术应用从勘探走向开发，水平井-丛式井技术广泛应用，智能井-智能油藏技术的发展，交互勘探或实时勘探技术的提出等。2、地震勘探特征：从叠后到叠前，从时间域到深度域，从单分量到多分量，从声波到弹性波，从构造成像到岩性反演、储层特征描述，从单一技术应用到多技术综合，从勘探到开发及勘探开发的一体化，数据量和计算量成指数增加等。3、未来一段时间内地震勘探技术发展：万道以上地震仪得到广泛应用，高密度单点地震技术，高精度或高分辨率地震勘探技术将成为未来一段时间的主流。从地震数据处理方面来看，叠前时间偏移已经成为标准化处理流程中的一个常规处理内容，波动方程叠前深度偏移将更加广泛应用，逆时偏移技术将逐渐成为主流技术。综合利用多分量地震勘探信息的弹性反演技术将成为由地震数据转换为地层、油藏信息主要手段。这些都将带来巨大计算量的需求，是我们未来一段时间面临的重大挑战。,二、GPU/CPU地球物理应用,2、叠前成像对计算性能的要求,地震数据量日益巨增，预计2015年将分别达到100TB；在未来，为适应油气勘探开发精度的要求，地震勘探将采用5m的空间采样密度和三分量技术，而地震勘探项目的数据量将达到PB(1000TB即1015字节)级规模，计算量将达到1023（即100ZFlops）级规模。,典型地震勘探数据规模预测一览表,二、GPU/CPU地球物理应用,二、GPU/CPU地球物理应用,2、叠前成像对计算性能的要求,地震叠前成像始终是地球物理的焦点。自20世纪70年代初至今，波动方程偏移经历了发展停滞再发展的阶段。到20世纪90年代，随着计算技术的发展，再次把偏移技术推向了发展高峰。21世纪，波动方程叠前偏移技术得到较快发展。大规模集群计算机系统的应用，叠前时间偏移技术的应用已经成为常规化；叠前深度偏移由基于射线的克希霍夫积分算法向波动方程算法发展；深度域叠前属性分析技术和各向异性介质叠前偏移技术将成为下一个发展方向。近年来，随着计算技术的发展，在基于单程波波动方程算法的地震成像技术得到应用的同时，基于双程波波动方程算法（逆时偏移）的地震成像技术成为了当前的研究热点。计算量提高了一个数量级至数十倍。,二、GPU/CPU地球物理应用,2、叠前成像对计算性能的要求,2008年，70%左右机时用于叠前深度偏移,2005年，90%左右机时用于叠前时间偏移,CPU多核并行计算与地球物理技术发展,二、GPU/CPU地球物理应用,单个GPU/CPU协同并行计算单元与目前应用的单个CPU核相比，叠前时间偏移运算速度可以达到百倍以上；硬件成本可降低90%以上；机器体积不足原来的3-5%；节电95%以上。,2、叠前成像对计算性能的要求,二、GPU/CPU地球物理应用,3、国内GPU/CPU高性能计算进展,中科院地质与地球物理研究所、同济大学、Geostar公司、中国石化南京石油物探研究院等分别利用CUDA开发工具在GPU计算环境下实现了Kirchhoff三维地震叠前时间偏移和二维波动方程叠前深度偏移，逆时偏移技术，GSS公司推出了支持GPU计算的地震像素法地质成像软件（SVI）；中国石油勘探开发研究院西北分院、大庆油田、胜利油田等单位已进行GPU技术的研发与应用工作。东方地球物理公司研究院，在做应用GPU技术的相关实验，目前已经取得了一定的进展；2009年Villarreal等采用大规模集群并行实现波动方程有限差分法正演模拟；ArayaPolo M等首先用Cell处理器实现了三维逆时偏移；Micikevicius.P 给出了利用GPU 实现高阶有限差分的算法；推动GPU计算在地球物理计算中将发挥重要作用的关键是基于GPU的软件研发。国内地球物理技术在GPU/CPU领域的研发处于国际领先水平。,二、GPU/CPU地球物理应用,基于GPU的非对称走时Kirchhoff叠前时间偏移,该方法突破了“常速层状介质或轻微变速层状介质”假设的限制，在走时公式中，引入速度横向导数，提高走时计算精度，改善在复杂条件下的地震波的聚焦效果；基于GPU实现了不同处理器协同计算的模式“GPUCPU协同并行计算(CPPC)”，提高时效。,4、GPU/CPU高性能计算实测数据时效对比研究,二、GPU/CPU地球物理应用,PC机群叠前时间偏移（左)与GPU非对称走时叠前时间偏移（右）对比,通过对比分析，单节点计算能力（叠前时间域成像）：GPU/CPU=14.1,二、GPU/CPU地球物理应用,PC机群叠前时间偏移与GPU非对称走时叠前时间偏移时效对比研究,二、GPU/CPU地球物理应用,基于GPU单程波叠前深度域成像,三维单程波方程偏移主要计算量在于下行波场和上行波场分别在深度方向上向下延拓过程。该偏移算法其循环结构为：炮循环与每炮内部的深度循环。根据三维单程波方程偏移成像算法的特点，GPU/CPU协同并行算法按如下策略实现：最外层循环单炮循环利用MPI控制在不同节点（CPU核）上通过进程级粗粒度实现。在每炮内部，数据的输入输出、除波场延拓和提取成像值外的其它运算（如输入单炮数据从时间域转换到频率域、单炮成像结果叠加、偏移背景速度场的计算等）均在CPU上完成。,4、GPU/CPU高性能计算实测数据时效对比研究,二、GPU/CPU地球物理应用,模型数据不同偏移算法偏移效果对比,单程波叠前深度偏移效果对比(INLINE1320),二、GPU成像研究进展,二、GPU/CPU地球物理应用,不同偏移算法偏移效果对比,二、GPU/CPU地球物理应用,通过对比分析，单节点计算能力（单程波成像）：GPU/CPU=10.1,PC机群单程波深度偏移与GPU单程波深度偏移时效对比研究,二、GPU/CPU地球物理应用,基于GPU双程波叠前深度域成像,三维双程波方程单炮逆时深度偏移主要计算量在于震源波场和检波器波场分别在时间方向上传播过程。该算法震源波场为正时间传播过程，检波器波场为反时间传播过程，采用零延迟互相关成像条件成像。该偏移算法其循环结构为：炮循环与每炮内部的时间循环，每个时间步骤由三维差分构成。根据逆时偏移算法特点，GPU/CPU并行算法实现策略如下：最外层单炮循环利用MPI控制在不同CPU核上通过进程级实现。,4、GPU/CPU高性能计算实测数据时效对比研究,二、GPU/CPU地球物理应用,理论模型试算,BP 模型RTM试算结果,RTM偏移结果,速度模型,二、GPU/CPU地球物理应用,理论模型试算,SEG 3D盐丘模型RTM试算结果,二、GPU/CPU地球物理应用,NWGI模型RTM试算结果,单程波偏移结果,逆时偏移结果,二、GPU/CPU地球物理应用,BLH地区逆时偏移对比研究,二、GPU/CPU地球物理应用,通过对比分析，单节点计算能力（双程波成像）：GPU/CPU=25.01,PC机群逆时深度偏移与GPU逆时深度偏移时效对比研究,不同偏移算法在CPU、GPU上加速比研究,二、GPU/CPU地球物理应用,PC机群逆时偏移与GPU逆时偏移时效对比研究,二、GPU/CPU地球物理应用,通过实测数据对比分析，1440平方地震数据逆时偏移，512核PC机群需近7个月时间，而12节点GPUCPU协同并行计算只需41天。,一 GPU发展历程 GPU/CPU地球物理应用三 技术展望,汇 报 提 纲,三、技术展望,1、石油勘探开发对于地震勘探精度和准确性需求不断提高，导致地震勘探数据量与计算量呈指数增长。高性能计算技术可能成为石油物探技术发展的制约因素。,2、从技术发展趋势看，异构并行计算系统将成为下一个十年的主要发展方向。基于GPU/CPU协同计算技术运算效率成倍提高。通过对比分析，单节点计算能力：时间域成像：GPU/CPU=14.1；单程波深度成像：GPU/CPU=25.01；双程波深度成像：GPU/CPU=25.01,3、地震成像仍是石油物探中对高性能计算需求最大的技术，因此地震成像算法及其在各种并行计算系统中的实现是需要持续研究的内容。GPU技术在地球物理领域的应用已露头角，值得重点关注。,三、技术展望,1、未来高性能计算技术发展的方向与趋势 传统CPU由多核技术向众核发展；基于FPGA（现场可编程门阵列）的可重构计算技术；基于GPU的通用计算技术即GPGPU技术；2、未来地球物理发展趋势 成像算法的提高（如逆时偏移、各向异性介质、弹性波场等）；正演模拟；岩性反演；油藏动态模拟；多波多分量技术等。3、以CPU+GPGPU混合加速为特征的异构并行计算系统将成为未来十年高性能计算的主流产品。目前仅适用于叠前偏移（尤其是逆时偏移）。4、基于逆时偏移的速度建模技术研发。5、通用地球物理技术在GPU/CPU系统的实现。,谢 谢!请领导专家批评指正！,
