【教学课件】第十一章小脑模型(CMAC)神经网络.ppt
第十一章 小脑模型（CMAC）神经网络,北京科技大学 信息工程学院付冬梅 62334967,第十一章 小脑模型（CMAC）神经网络,CMAC网络的基本思想与结构模型 CMAC网络的工作原理 CMAC算法的程序语言描述 CMAC网络的泛化能力 CMAC网络的几个问题 仿真示例,生物学研究表明，人脑在人体运动中起到维持躯体平衡、调节肌肉紧张程度、协调随意运动等功能。因此，模拟人的小脑结构与功能无疑是脑的宏观结构功能模拟的重要组成部分。早在1975年，Albus便根据神经生理学小脑皮层结构特点提出的一种小脑模型关联控制器(Cerebellar Model Articulation Controller)，简称CMAC网络。经过多年的研究，其中包括Miller,Parks和Wong等人的杰出工作，目前CMAC已得到人们越来越多的重视。CMAC是一种局部逼近网络，算法基于LMS(最小均方)，学习速度快，具有局域泛化(generalization)能力，避免了BP网络的局部最优问题，且易于硬件实现。这些优点使得CMAC网络非常适合用于复杂系统的建模和快速辨识。,11-1 CMAC网络的基本思想与结构模型,人的小脑是通过一些神经纤维束跟脑干相联，并进一步同大脑、脊髓发生联系。人主要靠小脑管理运动功能，它通过小脑皮层的神经系统从肌肉、四肢、关节、皮肤等接受感觉信息，并感受反馈信息，然后将这些获得的信息整合到一特定的区域“存储器”记忆起来。当需要的时候，将这些存储器储存的信息取出来，作为驱动和协调肌肉运动的指令控制信号:当感受信息和反馈信息出现差异时，便通过联想加以调整，从而达到运动控制的目的，这一过程便是学习。,11-1 CMAC网络的基本思想与结构模型,Albus根据小脑在生物运动协调方面的重要作用，提出了CMAC网络，其结构模型如图4.1所示：,11-1 CMAC网络的基本思想与结构模型,图 11-1 CMAC结构,CMAC是前馈网，结构见图11-2，有两个基本映射，表示输入输出之间的非线性关系。,11-2 CMAC 网络的工作原理,11-2-1 概念映射（UAC）,11-2-2 实际映射（ACAP）,11-2-3.杂散存储,若输入是n维，每一维有q个量化级，则AC占很大容量。但是，训练样本不可能遍历所有输入空间，在C中被激励的单元是很稀疏的。杂散存储：可将AC压缩到较小的AP中。有多种方法，“除余数法”是其中较好的一种。杂散存储弱点：产生碰撞(冲突)即AC中多个联想单元，被映射到AP的同一单元(见图)，这意味着信息的丢失。,那么CMAC是怎样实现上述各种映射的？碰撞的原因？下面通过一个具体示例来说明（见板书）。,11-3 CMAC算法及程序语言描述,11-3-2 学习算法分析,CMAC的学习算法与自适应线性神经元的相同。但，因有重叠、碰撞，故对学习算法及收敛性，需予以分析（讨论单输出）。分析算法 Gauss-Seidel迭代法;Jacobi迭代法 分析情况、结论（1）输入样本有重叠，杂散编码无碰撞 若重叠少，解收敛（2）输入样本有重叠，杂散编码有碰撞 因碰撞，收敛速度降低、收敛性态变坏、也可能不收敛,11-3 CMAC算法及程序语言描述,0次接收域函数例,11-3 CMAC算法及程序语言描述,11-4 CMAC网络的泛化能力,最早进行泛化理论研究的是Amaril，他认为泛化是将输入集中样本点的给定邻域映射到输出集中映射点(与样本点对应)的某一邻域。由此可见，泛化能力除了由精度决定外，还取决于映射方式和输入的量化级。所以多层感知器的泛化能力是极其有限的，实践也证明了这点。而CMAC神经网络是在对小脑进行神经解剖生理学研究的基础上提出的，它被证明具有局域泛化能力。,CMAC网络中，若两个输入向量相距较近，则它们所触发的神经元有重叠，距离越近，重叠越多；若两个输入向量相距较远，则它们触发的神经元没有重叠。因此CMAC网络具有局域泛化能力，它的泛化能力源自于它的网络结构本身。,影响CMAC泛化精度的主要因素有:训练精度、泛化常数和样本点的选择，但其结论还显得相对简单。,11-4-1 CMAC网络泛化指标,11-4 CMAC网络的泛化能力,对于一个神经网络来说，泛化能力越强，意味着经样本点训练后，对于样本点附近非样本点(即测试点)的输入，网络输出与期望输出间的误差越小。设测试点序列,对应的期望输出为。CMAC输出为,则可用测试点的误差平方和：,作为指标，来衡量网络整体泛化性能的优越。越小，则意味着网络泛化能力越强。,11-4 CMAC网络的泛化能力,11-4-2 CMAC参数对网络性能的影响,CMAC网络的结构本身保证了对于训练样本点邻域内的测试点具有一定的泛化能力。在训练样本采样精度不变的条件下，量化精度越高，CMAC网络整体泛化性能越好，但随着量化精度的提高，CMAC学习收敛要求的最小泛化常数值随之增大。在训练样本采样精度和网络量化精度保持不变的条件下，在一定范围内，泛化常数的增加可以提高CMAC网络整体的泛化性能，但当泛化常数增大到一定程度后，它的变化不再影响网络泛化性能。在训练样本采样精度和网络量化精度保持不变的条件下，CMAC泛化常数存在一个相对最优值，可保证样本点和测试点误差都较小。为保证CMAC收敛，应避免采用网络量化精度小于训练样本采样精度的参数配置训练网络。提高训练样本采样精度，可提高CMAC网络整体泛化性能，但同时必须保证，网络量化精度要等于或大于样本采样精度。,11-4 CMAC网络的泛化能力,11-4-3 样本训练顺序对CMAC网络性能的影响,下面分四种情况以CMAC网络逼近复杂的“海底深度”函数为例，研究训练样本学习次序的变化对CMAC网络性能的影响。,其中 为标准差为0.05的随机误差。,将 等间距取64个点，即样本采样间隔和网络量化间距均约为0.15625,泛化常数 取4,物理存储单元数取400(=100),最大训练次数设为500。实验选取了四种不同的训练顺序：,三种样本训练顺序,格雷码(英文：Gray Code，又称作葛莱码，二进制循环码)是1880年由法国工程师Jean-Maurice-Emlle Baudot发明的一种编码，是一种绝对编码方式，典型格雷码是一种具有反射特性和循环特性的单步自补码，它的循环、单步特性消除了随机取数时出现重大误差的可能，它的反射、自补特性使得求反非常方便。函数真实值如下图所示。,11-4 CMAC网络的泛化能力,11-4-3 样本训练顺序对CMAC网络性能的影响,样本训练的顺序对小脑模型神经网络的训练结果是有影响的。训练时样本间跨度(或坐标变化)较大的那些点网络学习效果较差，因此在样本输入训练过程中，应尽量让样本按照邻近且连续的顺序学习。,1）CMAC的逼近原理：用分段超平面，拟合非线性超曲面。2）因是局部网络，每次学习调整的权数为c个，故学习速 度快，不存在局部极小。3）泛化能力与c有关，c增大，泛化能力增强。相近的输入，有相近的输出（在无碰撞情况下）。4）决定网络性能的主要参数：泛化常数c；相邻输入间的重叠程度；输入的量化级。影响到逼近精度、泛化能力和学习速度。5）为提高量化分辨率和泛化能力，需增加存储容量。它随输入维数的增加而增加。,11-5 CMAC网络的几个问题,6）高阶CMAC：为提高逼近精度，也可提高接收域函数的阶次，若下图2为0次接收域函数，高阶CMAC用1次接收域函数，见下图。,11-5 CMAC网络的几个问题,11-6 仿真示例,CMAC 逼近sin函数,例11-1,演示,Sin函数,输入、输出样本,杂散编码无冲撞,杂散编码无冲撞：c=6 b=5 学习0次,杂散编码无冲撞：c=6 b=5 学习1次,杂散编码无冲撞：c=6 b=5 学习2次,杂散编码无冲撞：c=6 b=5 学习3次,杂散编码无冲撞：c=6 b=5 学习4次,杂散编码无冲撞：c=6 b=5 学习5次,杂散编码无冲撞：c=6 b=5 学习6次,杂散编码无冲撞：c=6 b=5 学习7次,杂散编码无冲撞：c=6 b=5 学习8次,杂散编码无冲撞：c=6 b=5 学习9次,杂散编码无冲撞：c=6 b=5 学习10次,杂散编码无冲撞：c=6 b=5 学习10次,杂散编码有冲撞,杂散编码有冲撞：c=6 b=5 学习0次,杂散编码有冲撞：c=6 b=5 学习1次,杂散编码有冲撞：c=6 b=5 学习2次,杂散编码有冲撞：c=6 b=5 学习3次,杂散编码有冲撞：c=6 b=5 学习4次,杂散编码有冲撞：c=6 b=5 学习5次,杂散编码有冲撞：c=6 b=5 学习6次,杂散编码有冲撞：c=6 b=5 学习7次,杂散编码有冲撞：c=6 b=5 学习8次,杂散编码有冲撞：c=6 b=5 学习9次,杂散编码有冲撞：c=6 b=5 学习10次,杂散编码有冲撞：c=6 b=5 学习10次,杂散编码有冲撞：c=6 b=5 学习10次,杂散编码有、无冲撞,无冲撞 输入输出样本 有冲撞,无冲撞 学习0 次 有冲撞,无冲撞 学习1 次 有冲撞,无冲撞 学习2 次 有冲撞,无冲撞 学习3 次 有冲撞,无冲撞 学习4 次 有冲撞,无冲撞 学习5 次 有冲撞,无冲撞 学习6 次 有冲撞,无冲撞 学习7 次 有冲撞,无冲撞 学习8 次 有冲撞,无冲撞 学习9 次 有冲撞,无冲撞 学习10 次 有冲撞,无冲撞 学习10 次 有冲撞,例11-2 用CMAC逼近非线性函数。,（a）,（b）（c）（d）（e）,例11-2,CMAC 逼近非线性函数,演示,非线性函数,输入样本二维,输出样本一维,杂散编码无冲撞,杂散编码无冲撞：c=6 b=5 学习0次,杂散编码无冲撞：c=6 b=5 学习1次,杂散编码无冲撞：c=6 b=5 学习2次,杂散编码无冲撞：c=6 b=5 学习3次,杂散编码无冲撞：c=6 b=5 学习4次,杂散编码无冲撞：c=6 b=5 学习5次,杂散编码无冲撞：c=6 b=5 学习6次,杂散编码无冲撞：c=6 b=5 学习7次,杂散编码无冲撞：c=6 b=5 学习8次,杂散编码无冲撞：c=6 b=5 学习9次,杂散编码无冲撞：c=6 b=5 学习10次,杂散编码无冲撞：c=6 b=5 学习10次,杂散编码有冲撞,杂散编码有冲撞：c=6 b=5 学习0次,杂散编码有冲撞：c=6 b=5 学习1次,杂散编码有冲撞：c=6 b=5 学习2次,杂散编码有冲撞：c=6 b=5 学习3次,杂散编码有冲撞：c=6 b=5 学习4次,杂散编码有冲撞：c=6 b=5 学习5次,杂散编码有冲撞：c=6 b=5 学习6次,杂散编码有冲撞：c=6 b=5 学习7次,杂散编码有冲撞：c=6 b=5 学习8次,杂散编码有冲撞：c=6 b=5 学习9次,杂散编码有冲撞：c=6 b=5 学习10次,杂散编码有冲撞：c=6 b=5 学习10次,杂散编码有、无冲撞,无冲撞 输入样本 有冲撞,无冲撞 学习0次 有冲撞,无冲撞 学习1次 有冲撞,无冲撞 学习2次 有冲撞,有冲撞 学习3次 无冲撞,无冲撞 学习4次 有冲撞,无冲撞 学习5次 有冲撞,无冲撞 学习6次 有冲撞,无冲撞 学习7次 有冲撞,无冲撞 学习8次 有冲撞,无冲撞 学习9次 有冲撞,无冲撞 学习10次 有冲撞,本章结束，谢谢大家！,
