基于NoSQL数据库的地图瓦片数据存储与管理研究.pdf
《基于NoSQL数据库的地图瓦片数据存储与管理研究.pdf》由会员分享,可在线阅读,更多相关《基于NoSQL数据库的地图瓦片数据存储与管理研究.pdf(4页珍藏版)》请在咨信网上搜索。
1、2023 年第 11 期8计算机应用信息技术与信息化基于 N o S Q L数据库的地图瓦片数据存储与管理研究刘元亮1 李兆杨1 谢中凯1 李 飞1LIU Yuanliang LI Zhaoyang XIE Zhongkai LI Fei 摘要 地图瓦片缓存技术降低了 WebGIS 服务端的压力,不需要进行动态出图,大大提高了地图服务的性能,有力提升了用户体验。从地图瓦片数据存储方式入手,分析了地图瓦片文件存储方式存在的问题,设计了一种基于 MongoDB 集群的分布式瓦片数据存储方案,研发了瓦片快速存储与管理软件,实现了“天地图山东”平台地图瓦片的精细化管理和存储架构的升级。通过对地图瓦片文
2、件存储与 MongoDB 存储的读取效率进行性能测试和对比分析可以发现,基于 MongoDB 的地图瓦片存储方式在高并发访问时有着明显的优势,能够满足实际工作的需要。关键词 地图瓦片;MongoDB;数据存储 doi:10.3969/j.issn.1672-9528.2023.11.0021.山东省国土测绘院 山东济南 250102 基 金 项 目 山 东 省 重 大 科 技 创 新 工 程 资 助 项 目(2019JZZY020103)0 引言随着互联网地图服务的不断升级迭代,各种地图渲染技术层出不穷,服务方式呈现出丰富的多样性。虽然地图渲染技术与方式提高了用户的地图服务体验,但是瓦片地图作
3、为一种底图服务,凭借其自身的特点,在互联网地图中依然发挥着举足轻重的作用,特别是影像地图瓦片服务仍然是影像地图最为高效的服务方式。瓦片地图是包含一系列比例尺、一定地图范围的地图切片文件,按照金字塔结构进行组织,在服务器端进行预生成,通过级别、行列号进行唯一标识,当用户平移、缩放地图时,浏览器根据金字塔模型,计算出所需瓦片,并从瓦片服务器获取、拼接后展现给用户。这种方式由于不需要实时地生成图片,大大提高了网络地图的响应速度,具有良好的用户体验1-4。目前,百度地图、高德地图、Bing Maps、Google Maps 的影像地图服务都采用瓦片数据进行组织5。在国家地理信息公共服务平台设计中,更是
4、明确提出将电子地图瓦片缓存服务作为主要的地图服务标准之一。瓦片地图服务的数据基础是瓦片文件,对瓦片文件的存储与管理方式将直接影响到地图服务效率的高低6-7。目前,地图瓦片大多采用文件目录的形式进行存储,包括散列式瓦片存储和紧凑式瓦片存储,散列式瓦片存储具有“单个文件小、文件个数多”的特点,随着地图瓦片数量的不断增长,这种方式会面临一系列问题,如存在查询性能瓶颈、数据迁移备份耗时长、无法实现分布式部署问题;紧凑式瓦片存储虽然占用空间少,但是面临集群式瓦片地图服务,依旧需要多机器拷贝,且用户并发量大时,会面临较大磁盘读写压力8-11。为了解决这些问题,提高瓦片数据生成发布的效率,实现对瓦片数据的精
5、细化管理,提升山东省地理信息公共服务平台(天地图山东)的地图服务能力,本文基于主流NoSQL 数据库 MongoDB,实现了平台地图瓦片由文件存储到 MongoDB 分布式存储的架构升级,满足了平台地图服务的高并发性和海量数据访问的需求。1 MongoDB 简介MongoDB 是一个免费、开源、跨平台的 NoSQL 文档型数据库,它是介于关系型数据库和非关系型数据之间的产品,使用类似于 json 的 bson 格式进行数据存储,支持的数据结构非常松散,可以存储比较复杂的数据类型;其查询语言非常强大,相较于传统的关系型数据库有着易于使用、易于扩展、功能丰富、性能高效等特点,对于海量数据的存储与管
6、理更具有优势12-13。MongoDB 作为一种文档型非关系数据库系统,它通过分片保证了水平扩展的能力,通过复制组实现了数据的冗余存储,从而保证了其安全性。在实际的生产环境中利用分片和复制组的机制将数据库分布存储在多个片节点上,每个片节点上的数据又通过复制组进行冗余备份存储,通过这种机制,保障 MongoDB 集群的可扩展性和安全性14。2023 年第 11 期9计算机应用信息技术与信息化作为一种 NoSQL 数据库,MongoDB 对于地图瓦片存储具有天然的优势。首先,MongoDB 通过 key-value 形式进行存储,允许保存各种类型的非结构化数据,数据耦合度低,非常适合“(层级、行号
7、、列号)(瓦片)”这种关系的数据存储。其次,MongoDB 集群具有主从复制、副本集、分片三种部署模式,具有故障切换、负载均衡、故障恢复等多种特性,可以实现海量瓦片的分布式存储,保证瓦片地图服务的正常运行和访问效率。最后,MongoDB 支持数据版本信息设置,允许同一数据多次入库更新,实现同一套瓦片数据不同时期版本的多重存储。2 MongoDB 地图瓦片存储与管理2.1 数据分析山东省地理信息公共服务平台瓦片地图数据包括线划电子地图、影像地图、影像注记,其中影像地图包括月度、季度、年度的历史影像。地图瓦片文件均按照山东省地理信息公共服务平台的切图级别和比例尺,基于 ArcGIS 软件切片制作而
8、成,采用紧凑型 bundle 大文件格式进行存储,根据数据类别、级别等进行分组存放。紧凑型 bundle 大文件是 ArcGIS10 中出现的一种切片缓存文件格式,与之前的松散型存储格式相比,具有迁移方便、切片效率高、占用空间小等优点,采用.bundle和.bundlex 两种文件格式存储,其中.bundle 存储切片数据和.bundlex 是.bundle 文件中切片数据的索引文件,一个.bundle 文件中最多可以存储 128128(16 384)个切片,通过.bundlex 文件中的参数可以解析出.bundle 文件中的瓦片数据。本研究中的切图区域为整个山东省陆域范围,处于北纬 34.3
9、8 38.30,东经 114.78 122.72之间,切图级别为 7 18 级。2.2 总体架构为了满足用户的高并发、大数据量请求,保证瓦片地图服务不间断运行,平台部署了三台瓦片服务器,当用户浏览地图发送瓦片获取请求时,会利用负载均衡算法,将请求链接到其中一台瓦片服务器,瓦片服务器通过MongoDB路由,访问到 MongoDB 集群,获取到所需瓦片,并将其返回给用户,总体架构如图 1 所示。其中,3 台瓦片服务器主要用来解析用户的瓦片请求,得到所需瓦片的层级和行列号,通过MongoDB 路由向 MongoDB 库请求该瓦片。MongoDB 路由是一个 Mongos 实例,主要用来屏蔽分布式数据
10、库内部的复杂性,提供集群的单一入口,将瓦片请求转发到对应分片服务器上,当查询请求包含分片片键时,路由将查询请求发送到指定分片,否则,路由将其发送到所有分片,并汇总所有查询结果。图 1 瓦片存储总体架构MongoDB 集群则是存储瓦片数据的位置,本研究采用副本集和分片相结合的部署模式,副本集模式将瓦片数据复制多份保存,不同服务器存储同一份数据,当服务器出现故障时能够自由切换;分片模式则将整个数据集分别存储到不同的分片上,适合处理海量数据15。集群由 5 台节点服务器组成,包括 3 个配置服务(confi g)和 5 个分片服务(shard),其中 confi g 存储集群所有节点、分片数据路由的
11、信息,shard是真正存储瓦片数据的位置,它是 MongoDB 数据库的核心机制,通过将数据库数据分散存贮到不同的服务器上,来缓解高并发访问,实现均衡负载。每个分片服务采用副本集来实现高可用性,包括主节点(ShrM)、从节点(ShrS)、仲裁节点(ShrA),三个节点分别对应不同的服务器,当主节点出现问题宕机时,能够将从节点选取为主节点,保证集群运转正常且数据不会丢失。2.3 MongoDB 瓦片存储流程设计研究中 MongoDB 瓦片存储主要包括数据库健康检查、数据集合创建、层级分析、空间范围分析、异常瓦片检测等多个流程,如图 2 所示。用户登录系统后,首先要自动检查MongoDB 数据库集
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 NoSQL 数据库 地图 瓦片 数据 存储 管理 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。