人工神经网络原理、应用课件.ppt
人工神经网络原理、应用及发展趋势,王永骥华中科技大学控制系,研究生论坛讲座,2,2022/12/27,纲要,1. 人工神经网络原理2. 人工神经网络优势3. 人工神经网络的应用4. 人工神经网络研究趋势5. 结束语,研究生论坛讲座,3,2022/12/27,1. 人工神经网络原理,人之所以有智能，是因为大脑中存在一个1000亿个神经元构成的生物神经网络;生物神经网络十分复杂，具有高度智能;人们力图抓住主要特点，构成人工神经网络，形成具有一定智能能力的信息处理工具。,研究生论坛讲座,4,2022/12/27,1.1 神经系统 的复杂性,研究生论坛讲座,5,2022/12/27,研究生论坛讲座,6,2022/12/27,研究生论坛讲座,7,2022/12/27,研究生论坛讲座,8,2022/12/27,研究生论坛讲座,9,2022/12/27,研究生论坛讲座,10,2022/12/27,研究生论坛讲座,11,2022/12/27,What are (artificial) neural networks? It is a network with interactions, in attempt to mimicking the brain UNITs: artificial neuron (linear or nonlinear input-output unit), small numbers, a few hundreds INTERACTIONs: simply by weights, how strong a neuron affects others STRUCTUREs: could be feedforward, feedback or recurrent It is still far too naive, and the development of the field relies on all of us,研究生论坛讲座,12,2022/12/27,1.1.2 生物神经元,人的大脑由1012个神经元构成，神经元互相连接成神经网络神经元组成：细胞体为主体1873年, 意大利 Cajai 银渗透法 发现Golgi 体神经元功能：刺激、兴奋、传导、效应 形状图 突触传递信息特点,研究生论坛讲座,13,2022/12/27,神经元示意图,研究生论坛讲座,14,2022/12/27,突触传递信息特点,(1) 时延性 :（0.31ms）(2) 综合性 ：时间与空间的累加(3) 类型：兴奋与抑制(4) 脉冲与电位转换: （D/A功能）(5) 速度：1150m/s(6) 不应期（死区）：35ms(7) 不可逆性（单向）(8) 可塑性 : 强度可变 ,有学习功能 脉冲,研究生论坛讲座,15,2022/12/27,1.1.3 人脑神经网络,脑神经系统主要组成部分大脑皮层由许多功能区组成（运动、听觉、视觉等） 神经元群 其区域性结构：遗传 其功能：后天对环境的适应于学习得来 （自组织特性Self-Organization） 子功能模块的并行关系 a) 大脑处理信息的特点 b) 生物学研究成果,研究生论坛讲座,16,2022/12/27,a) 大脑处理信息的特点,分布存储与冗余性：记忆在大量元中，每个元存在许多信息的部分内容，信息在神经网络中的记忆反映在神经元间的突触连接强度上(weights）;并行处理：NN既是处理器又是存储器（并行处理不同于并行机）;信息处理与存储合一：每个元兼有二者功能;可塑性与自组织性：可塑性是学习记忆的基础;鲁棒性：高连接度导致一定的误差和噪声不会使网络性能恶化。是智能演化的重要因素。,研究生论坛讲座,17,2022/12/27,b) BNN研究成果,H-H方程 英 A.L.Hodgkin与A.F.Huxley 长枪乌贼鱼电器特性 得到四个变量的非线性微分方程，获Nobel生物医学奖 许多NL问题可用此解释 e.g. 自激振荡 chaos. 多重稳定性等,研究生论坛讲座,18,2022/12/27,HH方程,式中，I为膜电流，V为膜电位相对于静息膜电位Er的变化，VK, VNa, Vl分别为钾离子、钠离子和氯离子与其他离子形成的相对电位。CM为单位面积的膜电容，gk,gNa,gl 分别为钾离子、钠离子通道和漏电流通道的电导。,研究生论坛讲座,19,2022/12/27,1.2 人工神经网络,研究大脑的目的：a）揭示功能造福人类 b）构造ANN用于工程及其他领域（生物神经网络的模型化：ANN） BNN modeling ANN ANN非BNN模型，而是对结构及功能大大简化后保留主要特性的某种抽象与模型。,研究生论坛讲座,20,2022/12/27,神经网络直观理解,神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。,研究生论坛讲座,21,2022/12/27,人工神经网络内容,1.2.1 人工神经元模型 （Artificial Neuron model）1.2.2 人工神经网络的构成 （structure of ANN）1.2.3 人工神经网络的学习 （learning or training of ANN）,研究生论坛讲座,22,2022/12/27,1.2.1 人工神经元模型,BNN 信息传递过程 为 MISO 系统, 信号为脉冲，当脉冲到达突触前膜时，前膜释放化学物质，结果在突触后产生突触后电位，其大小与脉冲密度有关（时间总合效应）。 各通道都对电位产生影响（空间总合效应）。,研究生论坛讲座,23,2022/12/27,神经元模型（1）,神经元是人工神经网络的基本处理单元，它一般是一个多输入/多输出的非线性元件。神经元输出除受输入信号的影响之外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差（bais），有时也称为阀值或门限值。,研究生论坛讲座,24,2022/12/27,神经元模型（2）,。,研究生论坛讲座,25,2022/12/27,抽象可得数学表达式：,wi 数值（weights) b 阀值（threshold） f(s) 用函数（activated transfer function）,研究生论坛讲座,26,2022/12/27,几种常用的作用函数,(1)、阀值型（硬限制型) (2)、线性型 (3)、S型函数（Sigmoid） (4)、辐射基函数,研究生论坛讲座,27,2022/12/27,(1)、阀值型（硬限制型）,生物学背景：神经细胞的兴奋与抑制；单极性,研究生论坛讲座,28,2022/12/27,生物学背景：神经细胞的兴奋与抑制：双极性,研究生论坛讲座,29,2022/12/27,(2)、线性型a) 全线性,生物学背景：神经细胞的比例作用（全方位）,研究生论坛讲座,30,2022/12/27,b) 正线性,生物学背景：神经细胞的线性比例作用（单方向）,研究生论坛讲座,31,2022/12/27,(3)、S型函数（Sigmoid）a) 对数正切 y=1/(e-n+1),生物学背景：神经细胞的非线性比例作用（单向）,研究生论坛讲座,32,2022/12/27,b)双曲正切 y=tanh(n),生物学背景：神经细胞的非线性比例作用（全方位）,研究生论坛讲座,33,2022/12/27,（4）辐射基函数a) 高斯函数,生物学背景：视觉，听觉等类神经细胞的区域性非线性用,研究生论坛讲座,34,2022/12/27,b)三角波函数,生物学背景：视觉，听觉等类神经细胞的区域性非线性用的线性近似,研究生论坛讲座,35,2022/12/27,1.2.2 人工神经网络的构成,基本模型连接的几种基本形式前向网络（feed-forward Networks）回归网络（recurrent Networks）互联网络（全互连与局部互连）也可是以上几种形式的组合,研究生论坛讲座,36,2022/12/27,人工神经网络种类,1). 前馈型 感知器、线性网络（ADALINE), BP网络 RBF 网络， 2). 反馈型 Hopfield 网络3). 竞争型 ART ， SOFM等,研究生论坛讲座,37,2022/12/27,前向网络,结构图,研究生论坛讲座,38,2022/12/27,前向网络特点,1). 神经元分层排列，可又多层 2). 层间无连接 3). 方向由入到出 感知网络（perceptron即为此） 应用最为广泛,研究生论坛讲座,39,2022/12/27,回归网络,全反馈结构图,研究生论坛讲座,40,2022/12/27,Inner RNN结构图,研究生论坛讲座,41,2022/12/27,回归网络特点,Output 与 Input相连（全反馈） 特点：1. 内部前向 2. 输出反馈到输入 例： Fukushima网络Inner recurrent 特点：层间元互相连接,研究生论坛讲座,42,2022/12/27,互联网络,结构图,研究生论坛讲座,43,2022/12/27,互联网络特点,每个元都与其它元相连 例： Hopfield Boltzmann机,研究生论坛讲座,44,2022/12/27,1.2.3人工神经网络的学习,ANN研究中的核心问题 How to determine the weights(加权系数)学习规则简介,研究生论坛讲座,45,2022/12/27,关于学习问题,学习：实例学习 举一反三的能力机器学习: 从数据中归纳出规律,进行预测或者对其性质作出判断神经网络启发式学习支持向量机-统计学习理论,研究生论坛讲座,46,2022/12/27,学习规则,1）直接设计计算 e.g. Hopfield 作优化计算2）学习得到,即通过训练(training),研究生论坛讲座,47,2022/12/27,常用学习规则,a) Hebb学习 D.Hebb1949年提出：两元同时兴奋，则突触连接加强b)学习规则 误差校正规则 梯度方法 （BP即为其中一种）,研究生论坛讲座,48,2022/12/27,c) 相近学习规则,使 ART SOFM 自组织竞争用此规则,研究生论坛讲座,49,2022/12/27,BP网络模型,BP网络模型如图2.4所示:,研究生论坛讲座,50,2022/12/27,Matlab形式,Nnd11nf.m 描述输出与加权系数的关系nndemos（chap11 demo1）network function,研究生论坛讲座,51,2022/12/27,BP学习算法（加权值的修改方法,研究生论坛讲座,52,2022/12/27,BP网络训练的几种模式,批处理模式(batch mode)训练过程以所有样本为一个epoch。训练时计算出所有样本的整体误差后，加权系数才调整。matlab 函数 trainb，非直接调用，用net.trainFcn说明即，每一次输入样本j时，计算该样本j对应的误差ej和相应的权值修正量 dwj，但不进行权值修改，而是等到全部样本输入完毕后，计算所有样本累计对应的权值修正量, dw(k)=dwj 进行一次权值修正。 本方法适用于离线计算。,研究生论坛讲座,53,2022/12/27,模式学习模式(pattern mode) 训练过程输入一个样本，计算学习误差，调整加权系数。matlab 函数 trainc，trains, trainr非直接调用，用net.trainFcn 说明即。每一次计算得到的dwj都应用来修正加权值，下一次输入样本到网络时，利用新修正的加权值计算网络输出。模式学习适用于在线（自适应）修正权值。,研究生论坛讲座,54,2022/12/27,BP算法的改进,BP算法改进的主要目标是为了加快训练速度，避免陷入局部极小值和改善其它能力。 （1）带动量因子算法； （2）自适应学习速率； （3）高阶学习算法； （4）改变性能指标函数,研究生论坛讲座,55,2022/12/27,2022/12/27,神经网络原理与应用,55,RBF网络的Matlab 形式,研究生论坛讲座,56,2022/12/27,RBF网络的学习,中心和宽度：随机选择或优化学习输出权矩阵：反向传播或者最小二乘方法学习,研究生论坛讲座,57,2022/12/27,2. 人工神经网络优势,任何精度逼近任意连接非线性函数（NL系统的统一描述） 对复杂不确定问题具有自适应、学习能力并行机制，解决实时计算问题，具有冗余性容错能力信息融合（Fusion），多媒体技术神经计算：用于优化、矩阵求逆，解方程等计算易于VLSI、光学IC、计算机虚拟实现NN,研究生论坛讲座,58,2022/12/27,统一的建模方法,由于非线性系统的多样性和复杂性，传统方法常常无能为力神经网络提供了一种统一建模的方法，无论是静态或动态非线性系统,研究生论坛讲座,59,2022/12/27,自适应、学习能力,传统方法 对线性系统方法成熟、有效 神经网络 线性、非线性均有效,研究生论坛讲座,60,2022/12/27,并行机制,传统的并行计算机制与神经网络不同神经网络每一单元均为具有计算能力的单元可用于解决实时计算问题，具有冗余性容错能力,研究生论坛讲座,61,2022/12/27,神经计算,用于优化、矩阵求逆，解方程等计算,研究生论坛讲座,62,2022/12/27,神经计算机实现,易于VLSI、光学IC、计算机虚拟实现NN神经芯片相当于FPGA，可实现算法级的通用编程,研究生论坛讲座,63,2022/12/27,3. 人工神经网络的应用,应用十分广泛 模式识别与分类 自动控制 信号处理与滤波 系统优化各类系统：工程、金融、经济、社会,研究生论坛讲座,64,2022/12/27,模式识别与分类,手写数字识别汉字识别分类,研究生论坛讲座,65,2022/12/27,英文字母识别,研究生论坛讲座,66,2022/12/27,肌电信号实时辨识,研究生论坛讲座,67,2022/12/27,肌电信号实时辨识,选择节点上的小波包分解,原始 EMG信号,小波包变换的参数,计算小波包的节点能量,原始特征向量,特征投影,降维后的特征向量,使用ANN进行模式分类,辨识结果,研究生论坛讲座,68,2022/12/27,肌电信号实时辨识,肌电信号实时辨识 虚拟现实显示,视频演示,研究生论坛讲座,69,2022/12/27,优化计算,将Hopfield网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态。这样当网络的能量函数收敛于极小值时，问题的最优解也随之求出。如果联接权矩阵W和输入I，把优化问题中的目标函数、约束条件与Hopfield的能量函数联系起来，电路达到的平衡点就是能量函数的极小点，也是优化中满足约束条件下的目标函数的极小点，达就可以利用人工神经网络来完成优化问题。 例：TSP 问题,研究生论坛讲座,70,2022/12/27,HNN 优化10城市TSP,研究生论坛讲座,71,2022/12/27,NN在AC上的应用,1）系统辨识 2）系统控制 3）优化计算 4）故障诊断及容错控制,研究生论坛讲座,72,2022/12/27,1）系统辨识,系统辨识 NN系统辨识的统一模式 NN非算法性，可用参数为加权 NN模型作为物理实现，可用于在线控制 问题：网络模型、结构选择、快速学习算法、收敛性分析、输入激励信号选择,研究生论坛讲座,73,2022/12/27,倒立摆系统NN辨识,NNARX模型检验结果,研究生论坛讲座,74,2022/12/27,2）系统控制,控制 提供某种模型 充当各类控制器 作为计算部件实现优化计算对不确定问题： NL系统的自适应控制 线性 - NL 无模型直接自适应（single Neuron 控制器）,研究生论坛讲座,75,2022/12/27,应用举例,1）神经网络温度控制2）神经网络智能同期控制3） ,研究生论坛讲座,76,2022/12/27,神经网络PID温度控制,用于控制封闭式电热炉，设定值为500时,研究生论坛讲座,77,2022/12/27,研究生论坛讲座,78,2022/12/27,实时仿真试验,研究生论坛讲座,79,2022/12/27,3）优化计算,神经网络求解代数方程神经网络在预测控制在线求矩阵逆神经网络在LQR问题中解ARE,研究生论坛讲座,80,2022/12/27,4）故障诊断及容错控制,神经网络用于故障诊断 1) 基于模型（BP） 2) 基于自组织网络（SOM）神经网络用于容错控制 1）基于整体性设计 2）基于监督学习控制器,研究生论坛讲座,81,2022/12/27,应用中存在的主要问题,ANN结构确定需一定经验，存在过拟合和欠拟合现象ANN 学习系统为迭代算法，为一非线性优化问题，收敛性分析较困难ANN系统本质为非线性系统，其动态系统分析与设计存在一定困难目前缺少相应的ANN硬件,实现有一定困难。,研究生论坛讲座,82,2022/12/27,神经网络工具箱,1）MATLAB NN toolbox 通用工具箱，有多种模型2）nnsysyid 3）nnctrl 适用于非线性系统建模和控制,研究生论坛讲座,83,2022/12/27,4. 人工神经网络研究趋势,简要回顾发展历程1）用于控制系统时,常常利用稳定性原理设计学习算法;2） 第3代神经网络脉冲神经网络(SNN)，用于处理生物信息有特有优势;,研究生论坛讲座,84,2022/12/27,ANN的发展史,20世纪40年代：兴起与萧条 1943年 M-P model 心理学家W.S.McCulloch和 数学家W.Pitts提出： 形式神经元的数学描述与构造方法 与阀值神经元model基本相同，权值固定 1949年 心理学家D.O.Hebb提出突触强度可调的 假设： 学习过程发生在突触上 Hebb规则：,研究生论坛讲座,85,2022/12/27,20世纪50年代 , 第一次高潮,1957年：F.Rosenblatt提出感知网络（Perceptron）模型，这是第一个完整的ANN 基本构成为阀值单元、网络 初具并行处理、分布存储、学习等功能 用于模式识别、联想记忆 引起NN研究的第一次高潮,研究生论坛讲座,86,2022/12/27,20世纪60年代,低潮,1969年 Minsky和Papert编写的Perceptron 出版，使NN的研究进入低潮 Problems：single lager P.仅可解线性问题， NL XOR无法求解； 求解XOR 应该是MLP， 但MLP是否有意义，理论上不能得到有力证明 当时现状：数字计算机发达，认为可解决一切问题 工业水平上，NNC不存在 但工作并未停止。,研究生论坛讲座,87,2022/12/27,1975年 Albus提出CMAC网络（Cerebella Model Articulation Controller） 1977年 英国 Grossberg提出ART网络 （Adaptive Resonance Theory） Kohonen提出自组织映射理论 福岛邦彦（K.Fukushima）提出认识 机（Neocognitron）模型 甘利俊（S.Amari）：NN数学理论其它NL系统理论 Prigogine 非平衡系统的自组织理论 Haken 协同学,研究生论坛讲座,88,2022/12/27,20世纪80年代 第二次高潮Reasons: 1）AI理论、 Neumann计算机功能受挫（智能、视觉处理等） 2）ANN有新成果、脑科学、神经科学 、 VLSI、光电技术的发展,研究生论坛讲座,89,2022/12/27,J.J.Hopfield 1982年 Hopfield网络模型：网络能量、网络稳定性判据 1984年 HNN用电子线路 实现 HNN用途：联想记忆、优化计算机的新途径1984年 Hilton 引入模拟退火法，提出Boltzmann机网络1986年 Rumelhart提出EBP学习算法，解决了MLP隐含层的 weights 学习问题（error Back-Propagation）,研究生论坛讲座,90,2022/12/27,1987年 Nielson提出了对向传播（Counter Propagation）神经网络1988年 L.O.Chua提出细胞神经网络（CNN）模型，1988 Broomhead and Lowe提出 RBF网络1990 Vapnik 支持向量机SVM自1958年来已有近40种NN model,研究生论坛讲座,91,2022/12/27,History spiking neural networks (Feng, Cogs) Vapnik (1990) -support vector machineBroomhead & Lowe (1988) -Radial basis functions (RBF) Linsker (1988) - Informax principleRumelhart, Hinton - Back-propagation & Williams (1986)Kohonen(1982) - Self-organizing mapsHopfield(1982) - Hopfield NetworksMinsky & Papert(1969) - Perceptrons Rosenblatt(1960) - PerceptronMinsky(1954) - Neural Networks (PhD Thesis)Hebb(1949) -The organization of behaviourMcCulloch & Pitts (1943) -neural networks and artificial intelligence were born,研究生论坛讲座,92,2022/12/27,NN研究学术机构,1987年 国际神经网络学会 定期召开ICNN会议 1988年 IEEE Transaction on Neural Networks创刊 1990.12 CCNN（中国）第一次会议 1991年 中国神经网络学会,研究生论坛讲座,93,2022/12/27,AC需求,处理不断复杂的对象完成不断复杂的设计在对象和环境的知识所知甚少的情况下达到以上两点要求,研究生论坛讲座,94,2022/12/27,AC历史,1932年 Nyquist反馈放大器 20世纪60年代 状态空间理论20世纪70年代 大系统理论20世纪90年代 智能控制方法及理论,研究生论坛讲座,95,2022/12/27,第3代神经网络 SNN,几种主要形式1）SNN2）LSM3）ESN,研究生论坛讲座,96,2022/12/27,Spike Neural Networks,研究生论坛讲座,97,2022/12/27,reach-to-grasp分类,生物实验装置示意图,研究生论坛讲座,98,2022/12/27,reach-to-grasp分类结果,SNN与ANN分类正确率比较,研究生论坛讲座,99,2022/12/27,液体状态机(LSM),研究生论坛讲座,100,2022/12/27,Leaky Integrate Fire(LIF)神经元,LIF示意图,研究生论坛讲座,101,2022/12/27,轨迹建模,实验记录的三维运动轨迹,实验方案示意图,研究生论坛讲座,102,2022/12/27,运动方向分类及轨迹建模,轨迹拟合,研究生论坛讲座,103,2022/12/27,回声状态神经网络(ESN),ESN最先是由Jaeger提出来的，它是一种离散型的神经网络，其中内部网络包含了比传统的递归神经网络多得多的神经元，它们彼此稀疏连接，构成了一个动态存储器适用于时间序列数据的学习。,输出Wout是唯一需要训练的权值矩阵，其他的权值均是根据经验在一定范围内随机给定并且一经给定则保持不变。,研究生论坛讲座,104,2022/12/27,回声特性,当满足一定的条件时，内部神经元的激活状态是对历史输入数据及教师输出信号的一种映射。,研究生论坛讲座,105,2022/12/27,建模结果,训练数据 测试数据,研究生论坛讲座,106,2022/12/27,5. 结束语,神经网络是处理非线性系统的一种有效方法神经网络在工程系统中得到了广泛应用神经网络可以、也应该与其他智能方法相结合，以取得更好的效果,
