山东省地理国情监测数据管理系统的设计与实现_刘现印.pdf

第 40 卷第 3 期计算机应用与软件Vol.40 No 32023 年 3 月Computer Applications and SoftwareMar 2023山东省地理国情监测数据管理系统的设计与实现刘 现 印(山东省国土测绘院山东 济南 250013)收稿日期:2020 07 14。山东省重大科技创新工程项目(2019JZZY020103);山东省“十三五”基础测绘规划基金资助项目(201605097)。刘现印，高工，主研领域:地理国情监测，信息化测绘体系建设，测绘成果管理及应用，地理信息系统设计与开发。摘要多年份地理国情数据包括多种细分类型数据且数据标准不完全一致，给多年份地理国情监测数据的统一管理与应用带来了较大压力，设计一种地理国情监测数据管理系统。通过构建地理国情数据时空数据模型，利用时间轴进行多年份地理国情数据的管理与展示;通过搭建变化统计分析子系统进行地理国情信息的快速统计及报告制作，大幅提升了地理国情数据的管理水平和应用水平。研究结果表明，通过时空数据模型可以实现标准有差异的多版本地理信息数据的统一管理，通过开发软件系统能够实现对时空数据的智能化管理、展示、统计分析。关键词地理国情监测云平台数据库时间轴统计分析中图分类号TP311文献标志码ADOI:10 3969/j issn 1000-386x 2023 03 018DESIGN AND EALIZATION OF SHANDONG POVINCE GEOGAPHICALNATIONAL CONDITIONS MONITOING DATA MANAGEMENT SYSTEMLiu Xianyin(Shandong Land Surveying and Mapping Institute，Jinan 250013，Shandong，China)AbstractMulti-year geographical national conditions data includes a variety of segmentation type data with incompletelyconsistent standards，which brings substantial pressure on unified management and application of the data The paperdesigns a set of geographical national conditions monitoring data management system By building a spatio-temporal datamodel of geographical national conditions，the time axis was used to control and demonstrate the multi-year geographicalnational conditions data The rapid analysis and report production were performed by construction of the change statisticsanalysis subsystem，which dramatically promoted management and application level The research results show thatversions of geographical information data with different standards can be controlled uniformly with the spatio-temporaldata model，and intelligent management，presentation and statistical analysis can be realized by means of the softwaredevelopment systemKeywordsGeographical national conditions monitoringCloud platformDatabaseTime axisStatistical analysis0引言地理国情普查与监测是我国最近几年开展的一项重要的全国性调查，它采用空间化和可视化的方式描述地表自然和人文现象的相互关系和空间变化特征1 2，能够帮助我们深入了解地表资源分布状况、使用情况并制定合理的使用计划3 4。目前山东省已经具有了 2015 年、2016 年、2017 年、2018 年和 2019 年五期覆盖全省的地理国情数据，数据量达到 39 5 TB。由于数据版本较多且数据量庞大，给数据的管理和应用带来了很大困难。国内不少学者对地理国情数据的数据库及应用系统建设进行了研究5 6，但是研究内容基本都是对于一个年份的地理国情数据进行管理和应用，无法满足多个年份且每个年份数据标准不完全相同的地理国情数据的管理及展示的需要。也108计算机应用与软件2023 年有学者对多版本时空地理信息数据的管理和展示进行了研究7，但是针对的都是数据标准完全相同的情况，没有考虑到生产标准不完全相同的多年份数据的管理方法。另外，地理国情监测的目的是通过对多年份地理国情数据各个地类进行对比分析，并将统计结果和变化情况通过地形图、统计图、统计报表、统计报告等形式进行直观形象化地展现，但是目前缺乏相应的技术手段自动化地完成上述工作，通过人工手段进行上述工作操作流程复杂、效率难以提升，并会浪费大量社会资源8 9。鉴于山东省地理国情数据管理的现状和对于实现时空数据一体化管理的迫切需求，本文提出一种多年份地理国情监测数据管理系统，通过构建时空数据模型实现标准不完全相同的地理国情监测数据的统一存储;通过搭建数据库集成管理系统，实现基于时间轴的多年份地理国情数据的管理与展示;通过搭建变化统计分析系统进行地理国情信息的快速统计及报告制作。系统建成后可实现多年份地理国情监测数据的统一管理，大幅提升地理国情数据的变化统计分析能力，较大幅度地提升地理国情监测数据的管理和应用水平。1系统设计1 1总体设计思路基于 ESI Geodatabase 模型构建地理国情监测时空数据库，库体设计时充分分析各年份地理国情监测数据标准10(包括指标体系、图层划分、属性字段等)的差异，并考虑今后国情监测数据标准可能发生的变化情况，采用灵活制定并创建各年份国情监测数据图层模板的方式，将相应年份的国情监测成果数据导入到对应年份的图层模板中。基于大表分区和并行处理技术，开发入库预处理、入库质检和数据库集成管理软件实现各类数据的快速入库和集中存储管理。对国情数据变化情况进行统计分析时，采用空间分析、时间序列分析、数字统计学中多种技术方法，对地理国情数据的地类空间分布状况、地类变化情况及演变特征等内容进行变化统计分析6。1 2架构设计山东省地理国情监测数据管理系统采用 Oracle 数据库管理系统，通过 Oracle Spatial 和数据库访问接口，实现数据的高效存储与访问11。系统采用分层架构模式12 13，系统总体技术架构如图 1 所示。图 1系统总体技术架构(1)支撑层:由系统使用的基础软件、硬件、网络、专用云平台组成。本研究构建了私有云环境，实现了上述资源的统一管理和按需分配。支撑层是系统正常运行的基础环境。(2)数据层:是整个数据管理系统的数据资源，提供数据的存储和管理能力。数据内容包括普查与监测时期的多年份地理国情数据，如图 1 所示，每一年份的国情数据都包括 9 种数据类型10。(3)接口层:提供功能组件和服务接口，具有灵活性好、使用方便、效率高等特点。(4)应用层:通过可视化的操作界面实现多年份数据时空化建库，多时相数据入库质检、预处理、数据入库、浏览、查询、提取、专题图制作，以及地理国情监测数据变化信息统计等。1 3系统功能设计系统功能设计以完成山东省地理国情监测数据的入库、管理及分析应用为目标，主要由地理国情监测数据入库质检、预处理、数据库集成管理和变化统计分析四个子系统组成。1 3 1入库质检工具在进行预处理和数据入库前，需要对可能影响入库的数据问题进行检查，对数据的组织结构、拓扑正确性、逻辑结构是否合理、空间参考是否符合要求、实体构建是否正确性等进行检查，有些问题会严重影响数据入库，对于查出的问题需要利用软件结合人工进行数据修改。入库质检工具实现了上述检查内容的自动化，功能模块如图 2 所示。第 3 期刘现印:山东省地理国情监测数据管理系统的设计与实现109图 2入库检查工具功能模块构成1 3 2预处理工具为了便于进行统计分析和时空数据管理，还需要进行一系列的数据处理才能进行地理国情监测数据的入库工作。根据国情监测数据特点，预处理工具提供了数据结构调整、要素对象化编码更新处理、要素完整化更新处理、网络数据更新处理、建库字段赋值处理、要素修复处理、变化信息提取等功能。功能模块如图3 所示。图 3预处理工具功能模块构成1 3 3数据库集成管理系统数据库集成管理系统用来实现多年份地理国情监测成果数据、统计分析成果数据、专题数据的集中入库、浏览、查询检索、专题制图和数据提取等14，达到多年份地理国情监测数据一体化存储和管理目的。功能模块如图 4 所示。图 4数据库集成管理系统功能模块构成1 3 4变化统计分析系统变化统计分析系统将监测区域内不同年份的数据进行对比，快速发现它们之间的差异，监测地理国情数据要素级、地类级变化情况。实现变化统计、图表制作、报表制作、图件制作、报告制作等的自动化。功能模块如图 5 所示。图 5变化统计分析系统功能模块构成1 4时空数据库设计1 4 1逻辑结构设计地理国情时空数据库基于 Oracle Spatial 进行构建，数据库中分为矢量数据集(Feature Dataset)、栅格数据集(aster Dataset)、表格数据(Table)、文档数据(Document)等形式进行存储和管理14。其中矢量数据集包括地表覆盖数据(LCA 图层)和地理国情要素数据的 9 个数据集;栅格数据包括数字高程模型(DEM)、坡度和坡向等衍生数据、地表覆盖栅格化数据、正射影像数据(DOM)等 5 类数据5;表格数据包括解译样本表格数据、基本统计数据、软件系统业务管理数据等;文档数据包括遥感影像解译样本照片及影像示例数据6，技术设计、技术规定、技术总结等相关技术文档数据。矢量数据集和栅格数据集用来存储空间数据，采用 Geodatabase 模型进行存储，空间参考使用 CGCS2000 国家大地坐标系。数据库总体逻辑结构如图 6 所示。图 6数据库总体逻辑结构1 4 2表空间设计地理国情数据库使用表空间进行管理，表空间中110计算机应用与软件2023 年采用小数据文件，在空间不足时允许数据文件的自动增加。这种方式特别适合管理海量数据，也便于进行数据库的备份和迁移。根据数据库的逻辑设计和每种数据的特点，如表 1 所示，将地理国情监测时空数据库划分为7 类表空间 5。上述 7 类表空间按年份建立各自表空间，入库之前根据当年国情监测数据的图层划分、属性特征及地类编码建立入库模板，在数据入库后通过版本注册的方式建立各年份之间的图层关联。通过上述操作不仅实现了各期数据独立存储和时空一体化管理，还解决了不同年份数据标准不完全一致的问题。表 1数据库表空间设计子库名称表空间用途不分区矢量数据SDGNC_Feature+年份存储不分区地理国情矢量、交通和水域网络数据等分区矢量数据SDGNC_Feature_Partition+年份存储数据量较大，不分区就会出现加载及显示缓慢的地理国情矢量数据统计分析数据SDGNC_YWK+年份存储非空间数据统计分析数据遥感影像数据SDGNC_DOM+年份存储遥感影像数据地形地貌数据SDGNC_TEAIN+年份存储地形地貌及派生数据数据库空间索引数据SDGNC_SpatialIndex+年份存储矢量数据、镶嵌数据集、网络数据等的空间索引数据数据库属性索引数据SDGNC_AttributeIndex+年份存储属性索引数据，用来提升矢量数据和网络数据的查询速度2关键技术研究(1)地理国情监测时空数据管理技术。本文结合地理国情数据特点，建立集多基态、变化信息与历史变化量于一体的地理国情时空数据模型，实现对多时态数据的集成管理。如图 7 所示，该模型将版本数据与变化数据同时入库。以 2015 年地理国情普查数据作为初始版本数据，以最新一年的基础性监测成果数据作为最新基态数据，其他年份监测数据作为历史基态，增量更新数据(变化数据)为历史变化量，基态数据层存储整个范围数据，变化数据层仅存储较上一基态的变化数据。最新基态数据作为现状数据库，历史基态和变化数据作为历史数据库，按照基态和增量更新数据(历史变化量)回溯地理国情历史数据，现状数据和历史数据相对独立存储，既满足了地理国情现状数据的高效查询应用，也保证了历史数据的快速回溯、查询。如果数据标准增加了新的图层，例如 2018 年新增加了收费停车场图层(V_PKP)，则将 2018 年的该图层设为初始版本数据。图 7时空数据模型(2)栅格数据动态镶嵌与管理技术。如图 8 所示，该技术将影像数据的元数据、影像编目、影像范围线、镶嵌线、影像实时处理的一些设置参数存储在数据库中;将各种不同传感器、分辨率、坐标系统的影像数据文件及各影像金字塔文件，在存储设备中管理。在地图窗口中显示时，将边界线、轮廓线和影像组合显示。通过 ArcGIS 镶嵌数据集进行存储管理，在数据库中只建立影像的索引，影像文件仍采用文件形式进行存储。同时，为了提升浏览过程中影像显示速度，通过原始影像的抽取逐级创建镶嵌数据集的概视图和金字塔。图 8动态镶嵌模型(3)基于数据库驱动的地理国情快速图件制作技术。本研究通过建立数据库表、统计计算指标及图件成果之间的业务关联，实现图件制作与数据库的联动，通过“数据源-模板-成果”关联模型、报告成果模板化、统计成果的一键式输出等技术实现统计分析报告中图件成果的自动生成。如图 9 所示，系统通过建立一套完善的统计分析成果关联模型，将统计数据源、统计成果模板和统计成果之间的关联关系固定下来。同时将统计分析报告中图件、文字、表格等的数据获取条件，通过可配置界面保存到统计分析报告模板中。通过该第 3 期刘现印:山东省地理国情监测数据管理系统的设计与实现111模型可实现统计数据源与报告中图件、文字、表格内容的联动更新和一键化输出。图 9“数据源-模板-成果”关联模型3系统实现3 1系统开发环境四个子系统均采用 C/S 架构，采用 VS2012 作为开发环境，基于 Arcobjects 提供的组件进行二次开发。数据库集成管理系统和变化统计分析系统采用 Ora-cle11g 作为数据库管理平台。3 2系统功能实现3 2 1 入库检查工具入库质检工具以检查任务为中心、质检方案为驱动实现汇交目录和各类汇交成果的自动检查，主要检查内容包括文件与结构一致性检查、属性项值域正确性检查、拓扑正确性检查、网络数据连通性检查、道路连通性检查等，保证数据入库质量。系统运行界面如图 10 所示。图 10入库检查工具3 2 2入库预处理工具按照数据库技术设计建立地理国情监测数据预处理框架，采用工作流的方式进行投影转换、调整属性结构、国情要素实体化处理、元数据合并处理、解译样本图层生成等，预处理后的数据符合建库和变化统计分析的要求。该工具实现了数据处理的自动化批量操作。系统运行界面如图 11 所示。图 11入库预处理工具3 2 3数据库集成管理系统数据库集成管理系统通过构建时空数据模型并利用时间轴进行时空数据的显示，通过矢量切片技术和栅格数据动态镶嵌与管理技术实现了对多年份地理国情数据、基本统计分析数据、行业专题数据的集中入库、高效浏览、查询检索、专题制图和数据提取、数据版本注册等，达到了多年份监测数据集成存储和管理的目的。系统运行界面如图 12、图 13 所示。图 12数据库集成管理系统图 13版本注册界面112计算机应用与软件2023 年3 2 4变化统计分析系统变化统计分析系统采用空间统计、任务并行等方法，实时统计图斑的长度和面积，数据查询效率得到大幅提升，实现了实时统计分析。通过基于数据库驱动的地理国情快速图件制作技术(见图 9)实现了图表、报表、图件、报告等的快速生成。系统运行界面如图14 所示。图 14监测成果变化统计系统3 3实际应用效果利用该系统完成了山东省全省五期地理国情数据的入库工作，构建了地理国情时空数据库，经验证系统能够完成多版本海量数据(数据量 39 5 TB)的数据入库及管理工作。另外，挑选临沂市作为实验区进行了变化统计，完成一个县的变化统计分析报告仅需十分钟左右，系统建设前人工编写需要 10 人/天左右。经验证系统稳定可靠，实现了标准有差异的地理国情监测数据的时空数据一体化管理和高效变化统计分析的目标。4结语本文根据山东省五期地理国情数据的特点，设计时空数据模型和数据库，搭建用于实现地理国情数据管理的软件系统，使山东省具备了对标准有差异的多期地理国情监测数据的统一管理和地理国情信息的快速统计及报告制作能力。本文大幅提升了山东省地理国情数据的管理能力和应用水平，能够为山东省区域变化监测、发展规划制定、新旧动能转换等提供科学依据和技术支撑。参考文献1 宁津生，王正涛 2012 2013 年测绘学科发展综合报告 J 测绘科学，2014，39(2):3 102 陈俊勇 地理国情监测的学习札记J 测绘学报，2012，41(5):633 6353 李德仁，眭海刚，单杰 论地理国情监测的技术支撑J 武汉大学学报(信息科学版)，2012，37(5):505 5124 刘若梅 对地理国情监测的再认识J 地理信息世界，2013，20(1):27 30，375 刘现印，曹新国，宋拥军，等 山东省地理国情普查数据库系统的设计与实现J 山东国土资源，2017，33(8):85 916 廖芳，罗海燕 地理国情普查数据库管理及服务系统建设设计 J 测绘地理信息，2016，41(4):77 79，827 汪汇兵 基础地理信息时空一体化建模与管理方法研究 D 武汉:武汉大学，2011:44 608 毕凯，桂德竹 浅谈地理国情监测与基础测绘 J 遥感信息，2014(4):10 159 高崟 基于 Hadoop 的地理国情监测高性能计算分析研究 J 地理信息世界，2018，25(2):50 55，71 10 地理国情普查内容与指标:GDPJ012013S 北京:国务院第一次全国地理国情普查领导小组办公室，2013 11 宋拥军，王凤娇，刘现印 省域测量标志动态监管信息系统研究 以山东省为例J 测绘通报，2015(7):94 98 12 肖昕，方朝阳 基于 GIS 的土地执法监察系统设计与实现 J 计算机应用与软件，2019，36(7):117 121 13 马钧隆，孟祥印，张钧哲 基于 GIS 的燃气管网 4S 系统的设计与实现 J 计算机应用与软件，2020，37(3):28 31 14 耿丽丽，王飒 地理国情监测数据管理技术研究J 测绘，2018，41(4):157 160(上接第 81 页)13 Fromknecht C，Velicanu D，Yakoubov S A decentralizedpublic key infrastructure with identity retentionEB/OL(2014 11 11)2020 05 16 https:/eprint iacrorg/2014/803 pdf 14 Axon L，Goldsmith MPB-PKI:A privacy-aware block-chain-based PKI C/14th International Conference on Se-curity and Cryptography，2017:311 318 15 Wang W，Hu N，Liu X BlockCAM:A blockchain-basedcross-domain authentication model C/2018 IEEE 3rd In-ternational Conference on Data Science in Cyberspace，2018:896 901 16 Kubilay M Y，Kiraz M S，Mantar H A CertLedger:A newPKI model with certificate transparency based on blockchain J Computers Security，2019，85:333 352 17 罗文华 规则与共识:从电子签名到区块链 J 中国政法大学学报，2019(2):48 59 18 吴品才 电子文件运动异常现象研究及特征分析 J 档案学研究，2010(2):4 8 19 孙芳芳“文件生命周期”到“文件连续体”的演变及其思考 J 档案学通讯，2010(4):25 29 20 高憬宏 人民法院司法标准化理论与实践(二)M 北京:法律出版社，2018:1 36