国家环境数据中心建设研究.doc

国家环境数据中心建设研究李顺1,2  王利强2 张波1 孙强2 吴班2 虞朝晖1（1北京师范大学资源学院 北京 100875；2国家环保总局信息中心，北京 100029）lishun摘  要：结合我国环境数据共享现状，对国家环境数据中心的建设思路、目标、总体结构、主要建设内容等进行了研究和探讨。国家环境数据中心依托电子政务内外网、Internet建设，主要为各级环境管理人员、科技工作者、公众等提供数据共享服务。其建设内容主要包括基础软硬件环境建设、共享技术保障体系建设、数据资源建设、相关软件系统开发建设四个部分。关键词：数据中心；环境数据；数据共享；电子政务Research of State Environmental Data Center ConstructionLi Shun1,2, Xu Fuchun2, Li Jing1, Wang Liqiang2, Sun Qiang2, Wu ban2 (1 College of Resources & Technology, Beijing Normal University, Beijing 100875; 2 Environmental Information Center of SEPA, Beijing 100029, China)Abstract: Integrating the status quo of Environmental data sharing in china, the target, frame and major content of SEDC (State Environmental Data Center) Construction have been discussed in this dissertation. Construction of SEDC is based on e-government inside & outside network and internet. It services for different targets, including environmental managers, technicians and public. Major content of SEDC includes four parts: basic hardware and software, technical supporting system, data resources, and core-software development.Key words: Data Center; Environmental Data; Data Sharing; E-Government1前言20世纪80年代以来，环保部门开展了多种环境质量的监测工作和生态环境调查工作，积累了大量数据。整理、规范环境数据，不仅是社会经济发展和科学创新工作的需要，也是我国环境保护工作的一项重要工作。环境数据库建设和共享研究一直没有系统地开展，数据分散于各部门，大多以文档、原始数据的方式存在，没有统一的元数据标准，也缺乏应有的处理和加工，难以进行共享和应用1。另一方面，环境管理业务涉及环境质量、环境统计、污染源管理、生态环境保护、城市考核等多个方面，有些不同的业务所管理的对象存在不同程度的重叠，但对应的信息系统却相互独立，造成系统内数出多门，相互矛盾的事情也时有发生。环境数据资源是国家基础信息资源的重要组成部分,随着全社会对环境问题的日益关注，社会各部门和公众对环境数据共享与服务的需求也越来越迫切，要求也越来越高。环境数据资源的共享和应用也是国家环境信息化工作的重要内容，也是国家环境信息化工作的奋斗目标2。建设国家环境数据中心（State Environmental Data Center，以下简称SEDC），对环境数据进行整理、规范，加强部门间的数据和信息交流，建设国家权威的环境基础数据库，统一、规范的环境元数据库，把分散的环境数据资源转化为可以共享的信息资源，不仅是社会经济发展和科学创新工作的需要，也是我国环境保护工作的必然要求。2建设思路与总体目标2.1建设思路以满足国家、社会公众和各级环境管理工作对环境数据的共享需求为目的，依托国家环境保护总局（以下简称“环保总局”）各业务司、直属单位、地方环境管理部门成熟的业务技术体系，以现有环境数据资源为基础，逐步吸纳国内相关领域和国际数据资源，通过整合集成，标准化处理，形成一批以环境质量、环境统计、污染源管理、生态环境管理为核心，涵盖环境保护范畴的环境基础数据库、环境专题数据库及在此基础上根据不同的应用需求分析、加工而生成的中间数据库、决策数据库等数据集产品；采用大规模分布式数据库技术、数据仓库技术、WEB技术、WebGIS技术、元数据及XML数据交换等技术，建立与部门基础信息库相协调的分布式共享数据库系统，分别建设基于国家环保总局电子政务内网、国家环境保护电子政务外网（2005年下半年建成，）和因特网的环境数据共享服务网络体系；研究并制定各种面向用户的标准数据格式和存储模型，开展环境数据应用服务技术研究，建立持续稳定的环境数据共建共享运行机制；培养一批从事环境科学数据研究、管理和服务的人才队伍。总体建设思路如图1。（注：国家环保总局电子政务内网：环保总局办公内网，与Internet完全物理隔离；国家环境保护电子政务外网：主要连接省、自治区、直辖市、环保总局重要直属单位的全国IP专用网络系统，与Internet逻辑隔离，2005年下半年建成，目前共36个节点。）2.2总体目标通过5年（2006-2010）的努力，初步建成SEDC，形成整个部门的共享网络体系，从而全面提高环境数据管理水平，极大增强环境数据共享服务能力，为环境管理、政府决策、环境信息公开提供全面的多层次的环境数据服务。具体表现在：（1）建立起稳定持续的环境数据共享机制和支持环境，包括全面的支持数据共享的政策法规、环境数据的规范标准和业务化的组织机构、高水平的人才队伍。（2）研制一批高质量紧密结合环境业务的标准数据集，使得SEDC成为环境数据的收集管理中心，也是环境数据的共享发布中心。（3）分别建成依托环保总局电子政务内网、外网和依托因特网的分布式共享服务网络体系，网络在线提供数据占共享总数量比例达到50%以上。（4）环境数据加工处理技术接近国内先进水平，在多元数据综合集成、环境数据组织表现、数据分析挖掘等方面取得长足进步，使得SEDC成为环保总局内部和社会各级用户获取环境数据的“第一选择”。 图1 SEDC总体建设思路3总体结构与管理模式3.1总体结构新建成的电子政务外网是整个环保系统数据采集、传递、共享的网络基础。SEDC主体也依托该网络建设，由国家级数据节点和省级数据节点有机组成（条件成熟时，可以扩展到重点城市），国家级由国家环保总局环境数据中心、国家环境监测数据中心（中国环境监测总站）、环境卫星资料中心（建设中的国家环保总局环境卫星中心）、环境科研资料中心（中国环境科学研究院、国家环境保护总局华南环境研究所等）、国际数据资源共享系统等组成，省级系统包括各个省级节点组成。在电子政务外网数据中心的基础上，各数据节点根据自身的数据内容和特点分别基于各自电子政务内网、Internet建设面向内部用户（内网环境管理用户）和外部用户（社会公众、媒体、其他政府部门、科研单位等）的数据中心和服务门户。SEDC总体结构如图2。图2 SEDC总体结构示意图3.2管理模式SEDC实行统筹规划、分层管理、数据共享的建设模式。其中由国家环保总局组织建设SEDC主节点，重要数据责任单位和省级环保厅局可以申请并经国家环境保护总局电子政务领导小组批准后建立分节点。国家环保总局电子政务领导小组负责SEDC的规划建设与综合管理。SEDC主节点的软硬件平台由国家环保总局信息中心负责建设、运行与维护工作；列入环境保护重要业务数据目录的相关责任单位负责按照规定的时间、频次、格式和规范对数据进行采集、加工、传输、存储和发布；SEDC各分节点由各级责任单位按照主节点统一的标准、规范组织建设实施。SEDC数据共享服务采用分级用户认证授权方式。由主节点系统进行一级用户认证管理和系统访问授权管理，由分布式分节点系统进行各自平台和单位内部的二级用户认证管理和系统访问授权管理。用户可以通过主中心提供的数据共享服务平台系统，对整个共享网络系统内的数据资源进行透明的访问并获得多种共享交换功能服务；用户也可以直接访问某个分平台系统，对分平台系统的数据资源进行透明的访问并获得多种共享交换功能服务。4主要建设内容SEDC建设内容围绕四个方面开展，即：基础软硬件环境建设、环境数据共享技术保障体系建设，环境数据资源建设和相关软件系统开发。4.1基础软硬件环境建设SEDC各级节点的建设都需要基础的软硬件环境支持，不同的节点因为数据规模、安全要求、投资等因素的不同，软硬件建设的内容和规模也不一致。目前市场上可供选择的产品也多种多样，这里只简单介绍基础软硬件环境的建设内容和选型的基本原则，不针对特定的软硬件产品，主要内容见表1。表1 SEDC基础软硬件环境建设内容类别建设内容主要原则硬件环境建设主要包括专用的数据库服务器、数据库备份服务器、Web服务器、工作用PC机，同时配备必要的数据存储设备（SAN，IPSAN，NAS等）具有优质性能、良好的兼容性和可扩展性，性能价格比高、运行稳定、功能完善、高吞吐能力和大内存、售后服务好等。主要从以下几个指标来衡量：开放性，延续性，可扩展性，互连性能，应用软件的支持，性价比，生产厂商的技术支持，可管理性，远程管理，状况跟踪，预故障处理，性能监控，安全管理，可用性，磁盘故障，内存问题，容错性及平台支持。软件环境建设主要包括操作系统、数据库软件、数据仓库数据挖掘软件、报表工具软件、数据备份软件以及相关的应用中间件（如负责数据传输的消息中间件等）等软件产品的选型涉及的因素比较多，与整个数据中心的整个技术架构、数据基础、投资水平、技术人员技术背景、管理水平等密切相关，篇幅所限，此处不在展开表述。4.2共享技术保障体系建设通过对数据分级分类、发布策略、数据格式、质量控制标准的研究和建设规范、运行管理制度的制定，构建SEDC的技术保障体系，形成环境数据共建共享和持续运行机制。主要研究内容见表2。 表2 SEDC技术保障体系主要建设内容类  别主要建设内容总体架构设计数据中心硬件平台架构、软件平台架构、基础通信平台、网络互联互通、数据节点间数据协同方式设计等。通用技术标准研究包括基本环境数据集元数据集标准、数据中心数据库开发设计规范、数据中心数据接口及基础数据交换标准、数据中心数据库数据字典规范、数据中心通用代码标准、数据集加工汇交流程、数据集说明文档格式标准等。数据安全存储数据库存储与数据备份方案、数据保护与灾难恢复制度等。管理与评估规范用户分级方案、环境数据及产品分级共享实施细则、环境数据共享管理办法、数据汇交管理办法、数据产品成本核算办法等。4.3数据资源的建设与组织数据资源的建设和组织是数据中心建设的基础和核心，目前的主要任务是整理整合各类环境业务、环境政务、环境科研数据，形成标准格式的数据库或数据集，并对这些标准的数据库或数据集进行加工处理，形成可用于发布或共享的数据产品（元数据、标准数据集、报表、数据集合、环境专题图等）。为数据共享提供数据资源的同时，为不同的部门和不同的业务系统间提供数据交换服务。4.3.1建设思路SEDC面对的服务对象多样，数据资源的组织以用户需求为导向，针对不同用户的服务定位和数据服务内容有所不同。其中科技工作者对基础性、细节性、长时间序列数据的需求为主，服务目标定位为基础数据支持；社会公众以宏观性、结论性数据为主，服务目标定位为信息服务；环境管理部门的用户应对多变的业务需求对数据的需求更加多样，服务目标既包括基础数据支持，也包括结论数据的决策辅助。数据资源的建设思路根据用户不同主要分为2类。面向公众和各级环境管理人员的数据资源的建设采取分级分类的思路，如图3。数据资源的建设总体上分为基础数据资源、中间数据资源和专题数据资源（决策支持数据资源）建设3个层次。基础数据资源建设包括环境基础数据资源建设和其他相关数据资源整合2部分：环境基础数据资源建设主要针对总局层面环境管理具体业务，按照数据库建设的技术及流程标准对多方面、历史的、动态的环境基础数据资源进行收集、整理、整合，形成一系列总局内部（包括直属系统）标准、权威并可以共享的环境基础数据库（资源）；其他相关基础数据主要包括社会经济数据、自然背景数据、基础空间数据等，它是环境基础数据的必要补充，也是部分环境基础数据资源建设的基础。中间数据资源建设主要包括以下2个部分：l         按照环境信息的特点和分类规则由基础数据资源加工处理而生成的中间结果数据；l         按照环境信息的特点和分类规则收集或由其他数据成果分割或重新组织而成的中间结果数据。中间的数据资源的类型主要包括数据库、数据报表、GIS专题地图、统计图、研究报告等，一般按照多种环境信息分类的规则进行建设和组织。建设的思路是从多个角度对基础数据资源进行初步的加工处理，并逻辑分类，以初步应对复杂多变的环境管理需求。 图3数据资源分级分类的建设思路专题数据资源建设是按照环境管理特点和具体需求对中间结果数据的深入理解和重新组织，并以环境专题数据集的形式进行展现和共享（也包括对环境管理和环境科研工作中心已经形成的环境专题数据的展现和共享），主要用于辅助环境管理和环境决策。环境专题数据主要分为以下几种类别：l         基础环境业务数据专题：如：环境统计数据专题、环境质量数据专题等l         热点环境问题数据专题：如：淮河污染与环境治理数据专题、我国生物多样性数据专题等。l         突发环境事故数据专题：如：松花江污染事故3数据专题、四川沱江污染事故数据专题等。l         环境科研项目数据专题：如：中国西部中东部生态遥感项目4成果数据专题等l         地理实体相关环境数据专题：分流域环境管理数据专题、重点环境保护城市环境管理数据专题等l         其他环境数据专题。基础数据资源的建设主要分布在核心的业务部门，数据中心主要完成中间数据资源和专题数据资源的建设。面向科学家和科技工作者数据资源建设内容主要包括环境系统特有的长时间序列监测数据、重大调查或普查活动的成果数据等。数据资源的建设以长时间序列、基础数据库为主，采用标准数据集5的方式组织，以元数据为管理主线。数据资源获取主要通过元数据、目录体系、数据搜索等实现。数据资源的建设和组织思路如图4。图4 基于标准数据集和元数据的数据资源建设思路4.3.2建设内容SEDC数据资源建设涉及方方面面，建设内容围绕核心环境管理业务功能展开，主要建设内容见表3。 表3 SEDC数据资源主要建设内容类别主要内容环境质量数据地表水（河流、湖库）监测数据、城市空气监测数据、噪声监测数据（交通道路、功能区、区域环境）、饮用水源地（地下水）监测数据、海洋浴场监测数据、土壤监测数据、沙尘暴监测数据、酸雨监测数据等污染源管理相关数据环境统计数据、排污收费数据、排污申报数据、污染源常规监测数据、污染源在线监测数据、危险化学品数据、重点源数据等生态保护相关数据物种资源数据、自然保护区数据、规模化养殖数据等核安全管理相关研究堆核燃料循环设施数据、核材料监管数据、放射性废物数据等环境政务数据环境法规与标准数据、环境文献数据等其他科研成果数据全国生态调查数据、基础环境背景数据等4.4相关软件系统开发SEDC的服务功能主要体现在三个层次，如图5。第一层次是通过数据中心的建设实现整个环保系统各级机构间、不同数据节点间、核心业务系统间的数据交换和共享。第二层次是在数据逻辑集中的基础上，对环保系统内相关的数据资源进行规范化和标准化处理，实现数据资源的整合与集成。第三个层次是在前两个层次的基础上实现对数据的综合和深入的分析应用，对具体的环境问题提供决策支持。图5 SEDC服务功能根据SEDC提供的服务功能，其核心软件系统建设主要包括三部分内容：数据资源交换系统、数据资源整合与集成系统、数据资源共享与服务系统，各部分主要的功能设计见表4，5，6。数据综合与决策支持的功能主要针对具体的环境问题或业务需求，通过现有的软件工具或自行开发的软件系统对数据资源进行深层次的应用。4.4.1数据资源交换系统数据资源交换系统主要是为了解决SEDC不同数据节点间的数据交换，实现数据信息的传输、转换、安全管理与路由。数据交换系统还能实现对数据格式转换的统一控制、数据处理流程的监控、数据交换日志的管理以及消息路由的管理。该系统的基本功能如表。  表4 数据资源交换系统基本功能序号主要功能模块功能要求1数据采集与接收SEDC各数据节点共享数据库的数据同步与更新，数据加载、数据更新、数据暂存、数据提交日志管理以及数据库日常管理维护等功能。2数据交换通用数据交换、文献交换以及对数据进行抽取、分析、综合的功能；系统内与系统间的各种数据交换，包括数据节点间的数据集中与下传、与其他应用系统的数据交换功能；支持支持结构化数据，以及非结构化数据的数据传递； 内外网间数据导入与导出的功能；支持多种数据格式与模型，包括结构化数据、非结构化数据、word、excel数据、XML、HTML等各种类型交换的功能。3数据审核在数据入库时，对数据的合法性、有效性、一致性进行检查，并对数据之间的关系建立关联，检查源及目的数据结构的逻辑对应关系。4数据同步数据库间的数据同步，支持同构和异构数据库间的数据同步的功能。5数据交换目录体系具有建立和维护多角度、多层次目录交换体系得功能。4.4.2数据资源整合与集成系统依据数据产生的特点、结构特性等，可将数据分为：实时采集数据、系统交换数据、业务增量数据、历史背景数据、相关资源数据、统计数据、空间数据、遥感数据、多媒体数据和文献数据等多种形式。不同的数据不仅存储方式不同，而且在采集、整合、使用、维护等数据生命周期中各阶段的相应技术措施也不同。数据整合的重要工作之一是对数据源进行分析，包括，数据的来源、数据的类型、数据存储的形式等进行详尽的分析，使之经过标准化、规范化、层次化处理，形成行业中重要应用系统能共同理解的数据。数据集成与整合系统的开发建设主要就是要通过信息系统完成多种渠道来源数据的加载、整合集成、数据质量控制、基础数据管理等任务。该系统的基本功能如表。表5 数据资源整合与集成系统基本功能序号主要功能模块功能要求1数据加载包括数据的提交与接受（包括覆盖式或增量式）、数据的更新（包括同步更新、定时更新、条件更新、手工更新等）、数据审核、数据提交任务管理（包括任务调度功能、数据提交日志管理等）功能。2数据整合集成主要建立各种不同来源、不同格式间数据的关联，包括目录关联、应用程序数据接口设计、属性数据空间数据关联等。3基础数据管理主要包括数据的逻辑组织与管理、数据字典管理与维护、基础数据的维护（数据报表、视图的定制与管理，批量更新、数据查询等）、数据统计、数据装载与导出、GIS接口管理等功能模块4数据资源查询实现环境数据资源的浏览、多条件查询、复合条件查询、元数据导航和相关知识管理等功能。5元数据管理主要包括元数据模板定义、元数据描述、元数据管理（维护、查询、发布）等功能模块6目录体系管理创建数据中心信息资源目录，包括主题目录、文献目录、分类目录、专题目录等，目录内容至少应包括标题、编码、访问控制、目标路径、指标属性、来源、时间等字段。实现目录服务的创建、维护、检索、管理等功能。4.4.3数据资源共享与服务系统数据资源共享与服务系统是数据中心与用户的接口，目标是建成具有目录管理、元数据查询、数据集导航定位、数据资源查询、浏览和发布功能的数据共享与服务技术平台，开展多层次、多目标的数据资源分析、处理、共享与应用服务，并通过门户网站的方式提供具有综合性、全面性、权威性和实时性的环境数据服务。该系统基本功能如表表6 数据资源共享与服务系统基本功能序号主要功能模块功能要求1共享数据集及元数据汇交系统数据集制作的功能；数据集上载的功能：数据提供者通过上载接口，提交元数据或元数据+数据集到数据中心（数据提供者可以通过在线和离线两种方式上载数据集及元数据，系统提供在线上载的功能）。2结构化数据组织与发布基于元数据与数据集的数据发布与共享；基于报表、数据集合的数据发布与共享；数据集目录管理（按环境业务、产生单位、学科、环境要素等分类）；基于WebGIS技术的数据发布与共享等。3非结构化数据与文献发布快速的查找功能，通过内容关联，实现数据、图表和文献的联动展示；具备自动分类和聚类能力，帮助用户分析与查找主要内容和主题词，并支持多格式文档的处理。4数据资源发现的功能通过学科、环境要素、地区分类等目录体系导航元数据、数据集、数据产品（报表、专题图、报告）、专题的功能；通过元数据、关键词、目录体系检索数据资源的功能；5数据资源获取的功能数据资源权限控制的功能：按照完全公开、受控公开等权限提供数据资源获取的功能。5用户管理组织机构、用户及相关属性维护、角色授权、资源登记及权限分配、认证管理等功能。6门户网站支撑支持单点登录和个性化服务，提供网站维护（栏目管理、内容管理等）和管理工具，能够实现网页风格的定制和更新，网页内容发布与更新控制、网站访问统计等。5结语2004年以来，国家环保总局信息中心先后承担了总局电子政务综合平台6数据中心的建设、科技部科学数据共享工程项目7“环境质量数据库建设与共享”（项目编号：2004DKA20310）、国家环保总局应急反恐项目数据中心建设等一系列项目。在基础软硬件环境建设、数据资源的加工整合、共享服务软件平台开发、保障体系的研究等方面开展了大量研究和实践工作，为SEDC建设奠定了良好基础。同时，环保总局在环境数据资源共享工作开展方面存在环境管理业务体系不够成熟、数据资源相对薄弱；环境数据资源存储管理分散，加工处理能力较弱；还未形成数据资源共享的体制和方式等困难。对SEDC的建设目标、总体结构、管理模式、数据资源建设思路、主要建设内容等进行深入研究，并在此基础上指导实践，对于全面推动我国环境数据共享有着深远意义。参考文献1王桥 徐富春环境信息技术与应用C北京：化学工业出版社，20011851892徐富春,周大力等. 国家环境信息化工作的分析研究 环境信息技术应用于管理实践(论文集)M. 北京：化学工业出版社, 2005, 363松花江水污染通报 （国家环境保护总局政府网站）2006.124王桥 王文杰等中国西部地区生态环境现状遥感调查J遥感学报，2003，7（6）： 4904975科学技术部科学数据共享共享概念与术语 第二部分：术语（征求意见稿） 科学数据共享工程技术标准 SDS/T 1003.2-2004 6徐富春环境信息技术应用于管理实践C北京：化学工业出版社，20051751797科学数据共享调研组科学数据共享工程的总体框架J中国基础科学.2003.16368 更多测绘论文请登录测绘网论文频道查询：http:/