第5章模型库与其管理系统课件.ppt

1、模型与模型库的基本概念,模型法是认识客观世界的三种方法（逻辑推理、实验方法、模型法）之一；客观世界的实际系统极其复杂的建模要抓住本质属性和因素模型比客观时间更简单、更抽象,1.1 模型的概念,一切客观存在的事物及其运动形态统称为实体。实体是一个复杂的对象、过程或系统。 为了理解、研究实体，人们总是把自己对客观实体的观测及认识加以组织，形成概念体系，这种概念体系被称为模型。 模型(Model)是以某种形式对一个系统的本质属性的抽象描述，以揭示系统的功能、行为及其变化规律。,在决策活动中，实体就是所要解决的问题及该问题的环境。决策模型就是对问题状态和相应对策方案之间关系的描述。 模型是研究复杂实体的一种手段，利用这一手段，可以认识实体的本质和规律，以改造、适应和推动实体的发展。 复合模型由多个子模型组成，子模型本身又可分解成几个更小的模型，小到不能再分的模型称为原子模型。,（1）模型比现实世界容易操作（2）容易理解实际问题（3）易于抓住事物的发展规律（4）降低成本（5）可以找出系统的影响因素,模型特点：,数学模型 表现形式为：方程、算法和程序。计算机中采用模型程序形式，用数值计算语言编制。数据处理模型 对数据库中数据的处理，数据处理模型的基本工作为对数据的选择、投影、旋转、排序和运算等。用数据库语言编制。,模型库中模型的种类及其表示,图形、图象模型 主要用于人机交互 图形模型表示为：向量数据形式或绘图程序形式 图象模型表示为：点阵数据形式报表模型 人机交互的输出形式 报表模型表示为：程序形式智能模型 主要是人工智能的专家系统，通过知识推理达到专家解决问题的能力。,（1）农业模型概念:就是仿各种农业物体或农业过程的一种替代物。如：实物模型（作物或昆虫标本、农机具样品）图形模型（作物、病虫害图片，或作物生长过程中的图片）数学模型、计算机模型。 实质是将数据转换成辅助决策信息的工具，人们通过对模型的认识来增加对农业生产过程的理解。 建立模型绝不能考虑所有因素和属性，否则，不但不能解决实际问题，反而把问题搞复杂化。,1.2 农业模型的概念、分类和特点,按不同的功能特征以及建模的目的和方法大致可以分为以下几种类型：经验(Experiential)模型和机理(Mechanistial)模型 前者建立在数据统计分析的基础上，较少涉及机理性，偏重于模型的预测性和应用性；后者对内在机理有较好的阐释，强调模型的解释性和研究性。 描述性(Descriptive)模型和解释性(Explainatory)模型 前者以简单的方式描述一个系统的行为，而对引起行为的机理，模型较少或根本不予以反映，描述性模型可以通过测定的试验数据推导出来，其建立相对比较简捷；,（2）农业模型的分类,图 表明真实观察值如何被分析和综合引入解释性模型来模拟系统行为的图示,统计(Statistical)模型和过程(Process)模型 前者是一种最常使用的模型，主要通过对数据进行多重回归来预测系统的表现，其解释性较差，并且局限于试验资料所在地特定的大气、土壤条件和品种类型，难以推广到不同的环境条件和品种类型；后者用于定量描述生物与非生物的一些基本过程，具有较好的机理性和解释性，适用于不同环境条件和生产系统。应用(Application)模型和研究(Research)模型 前者主要倾向于应用推广，因而具有便于使用、较粗放和应用方向比较单一的特点；后者主要用于科研，对其机理性要求较高，因而具有操作复杂、参数较多、灵敏度高的特点。,但总体上，所有农业模拟模型从更微观的层次看都可认为是经验性模型，而从更宏观的层次看又都是机理性模型。因此，任何一个模拟模型都体现了经验性和机理性的相对平衡和协调。 如果按不同的学科领域进行分类，农业模拟模型大概有作物生长模型，动物生长模型，农业气象模型，土壤水肥模型，种植制度模型，农业生产力模型，耕地质量评价模型，病虫害预测模型等不同方面。 其中，农作系统模拟模型的研究具有较好的代表性和先进性，目前国际上公认较为优秀且应用广泛的作物生长模拟模型有美国的CERES系列模型和荷兰的SUCROS模型等。,（3） 农业模型的特点,农业模型的特点：(1)复杂性和多元性； 指农业生产的复杂性与影响因素的多样性，建立的模型也是复杂的、多样的。(2)整体性和系统性； 既使一个较小规模的农业模型，如作物病虫害的模型，也应完整地考虑与该病害有关的农业生物（子系统）、农业环境（子系统）、农业技术（子系统）和农业社会经济（子系统）。,(3)动态性和阶段性； 是指动植物生长发育的过程是随时间而变化的；作物从播种到收获，畜禽从出生到死亡，都会经历必需的阶段。(4)连续性和离散性； 农业过程的动态性，决定了农业模型本质上是连续的。但在实际建模时，农业过程驱动因子都是离散地输入（按日或按小时），因此形式上是离散性的。(5)确定性和随机性； 农业过程其本质是随机性的，这首先是由于农业气象因子的影响很大，而气象是变化的，是随机性的。但在一定条件下，农业模型可以用确定性的形式来表达。,2、模型的构建技术,2.1 建模方法面临的主要问题：（1）数据难以获取，或不能满足建模的需要；（2）由模型计算出的模拟值与实测值之间的差异有时很大；（3）复杂的、综合性强的作物或生长过程，建模工作十分困难；,2.1 建模方法面临的主要问题,（4）管理人员难于理解大型的复杂模型，因此往往也就不相信这种模型，也就不愿意接受由其产生的建议或方案。（5）简单的模型可以模拟复杂的问题，但增加了决策者的决策难度，模型并没有起多大作用。（6）传统建模方法没有与决策过程充分交互。 总之，传统的建模过程只能给决策提供有限的帮助，并不能使决策者满意。,2.2 模型的建立,农业模拟模型研制的步骤：模型选择与系统定义资料获取与算法构建模块设计与模型实现模型检验与改进 工作的重点和难点是在深入解析和科学把握系统内涵与特征的基础上，研究和建立农业模拟模型的算法结构。,2.2模型的建立,首先要弄清模拟研究的目的、水平及对象，以明确模拟研究的范围和成分。通过这项工作，可以先建立一个描述系统结构与关系的概念模式或概念模型。如果建模的主要目的是为了研究和机理解释，那么模拟的系统水平和层次就应该低一些，模拟的对象可能包括器官及亚器官对于一个应用性较强或注重宏观预测的模型而言，研究的系统水平就可以高一些，系统的成分简单一些。,（1）模型选择与系统定义,Conceptual model of crop-soil system,Modular structure of cereal crop model,（2）资料获取与算法构建,自己已有的工作积累或文献资料，其中文献资料主要包括国内外在相关领域所取得的科研成果、出版的专著与教材、科技期刊及学术会议上发表的论文等，以及各地的土壤志、品种志、气象资料等。,1)资料获取:大概有3个方面的来源：,通过补充试验或支持研究，围绕某个方面获得全新的资料。,2)算法构建,LAI development,（3）模块设计与模型实现,首先要选择恰当的编程语言来组织系统，包括模拟算法编程语言和界面编程语言。目前应用比较广泛的模拟算法编程语言主要有Visual Basic和Visual C+。,（4）模型检验与改进,模型的检验包括对模型的敏感性分析、校正、核实、测验等四个主要过程； 模型的改进则是在检验模型的过程中，对模型进行必要的改进与完善。敏感性分析 敏感性分析是对模型灵敏度和动态性的测验，分析模型对主要参数和变量反应的灵敏度，测验模型的结构与过程以及系统的成分。结果通常以值来表示模型的反应程度，如表4-1所示小麦阶段发育的敏感性分析。,小麦发育阶段对环境温度和日长及品种春化要求和光周期敏感性的反应,发,育,阶,段,二棱期,顶小穗形成期,抽穗期,参数,变幅,*,（天数）,温度(C),-,2,+25,+10,+10,+2,-,14,-,15,-,11,日长（h）,-,2,+10,+6,+4,+2,-,7,-,5,-,4,春化要求,-,10,-,9,-,3,-,2,+10,+8,+3,+1,光周期敏感性,-,0.002,-,9,-,5,-,4,+0.002,+9,+5,+3,*以小麦在南京种植为模拟对照，春化要求天数为20天，光周期敏感性为0.004,校正校正是调整模型的参数和关系，使得模型符合模拟者特定的环境和资料参数,主要检验模型系统的综合表现及对综合变量的反应。核实核实是指决定模型是否适用于模型研制以外的完全独立的资料，是多年、多点、多试验观测值与模拟值的比较。可采用如下方法：一是将模拟结果与实际结果进行回归分析；二是将实际结果与模拟结果按同一时间坐标绘1:1图进行比较；三是检验模拟与实际值的平均误差。其中模拟值与实际值的平均误差可以通过以下一些统计方法计算得到：,模型模拟值与观察值之间的1:1作图,（1）平均离差（Mean Deviation，MD） 即预测值与实际值之差总和的平均值。 MD（ERRi）/n ERRiYiXi其中，n为为样本数；Yi和Xi为第i次的模拟值和实测值。（2）平均预测误差（Mean Prediction Error，MPE） 即预测值与实际值之差绝对值总和的平均值，反映模型的精度。 MPE=(|DERi|)/n（3）预测均方法（Mean Square Error of Prediction，MSEP） 即预测值与实际值之差平方总和的平均值，是比较模型间精确度较好的指标。 MSEP=（ERRi）/n（4）均方差根（Root Mean Square Error，RMSE） 即预测均方差的开平方，能更直观地反映模拟值与实测值的误差。,测验是比较各种环境下的模拟值与预测值，可看作是一个持续的模型核实过程。如果在测验过程中发现明显的偏差，可能还得重复上述模型校正和核实的整个过程，并对模型算法进行必要的修订和改进。,测验,模型的组合基本方法，用逻辑形式表示有：模型间的关系为“与”（and）关系 例如“模型1 and 模型2”模型间的关系为“或”（or）关系 例如“模型3 or 模型4”模型间的关系为组合“闭包”(and|or)+ 关系 例如“模型1 and模型2”or“模型3 and 模型4”,（5）模型组合技术,1） 模型组合方法,模型的三种程序组合方式,1） 模型组合方法,模型组合的嵌套方法,1） 模型组合方法,模型程序是用计算机语言编制该模型算法程序一个模型可能使用不同的数据为不同的用户服务模型使用的数据可以是数据文件，也可是是数据库模型一般通过调用来运行，一般遵循单入口单出口的原则调用模型的语言和编写模型程序的语言可以不同,2）模型组合程序设计,在计算机中，可以认为一个模型是由许多程序模块组成。模型间就可能存在彼此组合对方的程序模块的情况。 在决策支持系统中，模型存放在模型库中，数据存放在数据库中，而控制模型的运行则在综合部件中。 这就构成了一种特殊的调用关系，即控制模型在综合部件，模型运行在模型部件中，存取的数据在数据部件中。,2）模型组合程序设计,在综合部件中由控制程序发出运行命令，并将运行权交给模型库中的模型进行运行。 运行时调用数据库中的数据1，模型运行完成后将数据送入数据库中数据2，并将控制权交回给综合部件中控制程序的“下步操作”。,2）模型组合程序设计,决策支持系统模型程序运行图,下步操作,2）模型组合程序设计,DW=300GDD+100,模型组合顺序结构运行图示,Run模型A名,模型A,数据1,模型B,数据2,数据3,Run模型B名,（下步操作）,模型组合选择结构运行图示,条件比较,Run模型A名,Go,Run模型B名,模型A,模型B,数据1,数据2,数据3,数据4,（下步操作）,N,Y,模型组合循环结构运行图示,条件比较,N,Y,Run模型A名,模型A,数据1,数据2,修改数据,返回,（下步操作）,对话管理子系统,数据库管理系统,模型库管理系统,数据库,模型库,用户,方法库管理系统,方法库,3 模型管理技术,（1）子程序库（初期阶段） 比较成熟的模型和算法以子程序的形式汇编成册或存放在算机内，用户可以根据自己的需要调用。 即用即编；谁用谁编（2）模型软件包 由专职的程序员来研究模型并编制相应的程序，构造出一系列模型软件包。缺乏灵活性。结构简单；相互独立；数据不共享,3.1 模型管理技术的发展,（3）模型管理系统 最大特点具有生成模型的能力。 共享；可重用；可管理；相关（4）人工智能管理方法 运用产生式知识规则的知识表示方法，作为计算机中的模型表示形式。,模型库和模型软件包区别：,在模型库中模型的存储模式和求解过程并不相连，并不是为某一个目的而建立的独立程序及其集合，而是基本模块和基本要素为存储单位集合。 动态性是模型库的基本特征。,模型库与数据库发展对比,（1）模型库的概念,模型库是用于存储决策模型和表示模式的计算机系统。由模型库管理系统进行管理每个模型都具有辅助决策能力多个模型能有效地组织成系统多个模型的连接需要利用共享的数据库,3.2 模型库的概念、组成及作用,实际上模型库中主要存储的是能让各种决策问题共享或专门用于某特定决策问题的模型基本模块或单元模型，以及它们间的关系。 使用DSS支持决策时，根据具体问题构造或生成决策支持模型，这些决策支持模型如有再用的可能性则也可存储于模型库。 因此，模型库具有动态性特征。,模型库由模型结构库、模型数据库和模型目录库三部分组成。(1)模型目录库 用于记录模型库中的各模型的信息。如模型名、模型类型、模型参数、方法名、开发状态、存储位置、文件名。(2)模型结构库 用于记录模型中各模型的逻辑结构。(3)模型数据库 用于存放模型中各参数的值。,（2）模型库组成,（3） 模型库作用,模型库的作用： 1、直接用于制定决策。对应于结构性比较好的决策问题，其处理算法是明确规定了的，模型参数值是已知的。2、对决策的制定提出建议。对于非结构化的决策问题，有些参数值未知，需要使用数理统计等方法估计这些参数值。由于不确定因素的影响，参数值估计的非真实性，以及变量之间的制约关系，用这些模型计算得出的输出一般只能辅助决策或对决策的制定提出建议。 3、用来估计决策实施后可能产生的后果。对于战略性决策，由于决策模型涉及的范围很广，其参数有高度的不确定性，所以模型的输出一般用于估计决策实施后可能产生的后果。,（1）程序表示法 模型需要利用计算机算法语言来求解。因此，最传统的方法就是将它的求解算法写成程序形式。 该方法将模型作为计算机程序进行存储。模型具有自己的输入、输出、执行次序的完整程序，它可以由主程序灵活调用，且相对独立，只要通过传递数据和控制参数即可运行。优点是：原理简单，易于实现；缺点：不利于修改，还会造成各模型相同部分的存储冗余。,3.2 模型的表示,（2）数据表示法 数据表示法是指通过数据转换来研究模型。 优点：可以应用关系数据库管理技术实现模型的管理。 模型可描述为由一组参数集合和表示模型结构特征的数据集合的框架。输入数据集在关系框架下进行若干关系运算，得出输出数据集。这样模型运算就可转换为数据的关系转换。,3.2 模型的表示,缺点：数据表示法是一种静态表示法，当模型的结构比较复杂而且动态性较强时，采用该方式来存储模型就比较困难。（3）逻辑表示法 又称为模型的知识表示。逻辑关系既可以描述定量模型的输入输出关系，也可以描述定性的、逻辑的以及概念的模型的对应关系。 对于计算量不大的模型，用逻辑形式表示较好，对于计算量大的模型，用程序形式表示较好。,3.2 模型的表示,模型库的存储需求直接在计算机操作系统管理下存储建立子目录存储模型文件 1个模型对应24个文件： 源程序文件（程序文件一种，必含） 目标程序文件（程序文件一种，必含） 模型说明文件（对模型进行说明） 数据描述文件（对输入输出数据进行说明）,3.3 模型库的组织和存储,模型字典用来存放有关模型的描述信息和模型的数据抽象（数据抽象是指模型关于数据存取的说明） 其中包括：模型的内容、功能和用途、编码、在模型库中存放的位置、使用的算法程序和方法的位置,3.3 模型库的组织和存储,作用模型文件的索引(便于建立模型与文件的联系)便利模型的分类（宏观/微观，作用领域）便利对模型的查询和修改组织结构文本形式适用于单个模型菜单形式适用于模型软件包数据库形式适用于DSS,字典库,A.c,源文件,文件库,A.exe,目标文件,3.3 模型库的组织和存储,模型字典的数据库形式,模型文件库模型文件存储方式在操作系统管理下存储模型文件 简单省事、混乱建立子目录存储模型文件 按模型分类、按文件类型分类模型文件的调用 对模型文件的运行，是通过模型字典库，沿着模型文件的存储路径找到该模型文件，启动它运行。,3.3 模型库的组织和存储,3.4 模型库管理系统,1、模型库管理系统概念 是为了生成模型和管理模型提供一个用户友好环境的计算机软件系统。2、功能 模型库管理系统的主要功能是利用与维护模型。,模型的表示：与模型的自身特点相关,数学模型：以程序形式表示数据处理模型：程序文件图形、图像模型：程序文件、数据文件报表模型：程序文件、数据文件,（1）模型的表示：与模型的自身特点相关,（1）文件的存储管理,模型存储的组织结构文件形式（少）数据库形式（多）模型字典：储存模型文件名（索引）模型文件库：存储模型文件，按文件形式存储模型的查询和维护查询、增加、删除、修改需要：模型字典库和文件库同时进行,1）模型程序的输入和编译 输入：需要编辑系统完成对模型源程序的输入 编译：源程序通过相应语言的编译系统编译到目标程序2）模型的运行控制模型程序的运行主要是计算机执行模型的目标程序 单独运行：由操作系统命令完成组合运行：由DSS总控制程序完成3）模型对数据的存储 模型与数据库的接口,（2）模型库的运行管理,（3） 支持模型的组合模型间的组合 多模型的顺序、选择、循环及嵌套模型间数据的共享和传递 通过模型存储数据库的接口,1. 模型管理语言MML（1）完成模型的存储管理（完成字典库和文件库的管理）（2）完成模型的查询和维护2. 模型运行语言MRL（1）单模型的调用、运行（用命令语言完成）（2）模型的组合运行（用集成语言编制程序控制运行）3.数据接口语言DIL 模型程序通过接口操作数据库,模型库管理系统语言体系,