金融业数据库创新发展报告(2023).pdf
《金融业数据库创新发展报告(2023).pdf》由会员分享,可在线阅读,更多相关《金融业数据库创新发展报告(2023).pdf(132页珍藏版)》请在咨信网上搜索。
1、 I 2023 年 2 月,习近平总书记在中共中央政治局第三次集体学习会议时强调,“基础软件要从底层和源头抓起,打好科学仪器、操作系统和基础软件攻坚战”。数据库作为构建金融信息系统的关键环节,成为当前金融领域创新及数字化转型的一个难点和焦点。近年来,金融机构不断加大我国成熟数据库产品应用力度,引入不同类型数据库产品在多种业务场景实现应用,在支持金融业务创新发展的同时,逐步提升金融业数据库安全可控能力。但由于我国数据库产品还存在需要弥补的不足,随着数据库改造逐渐深入到核心系统,带来了选型难度高、实施运维难度大等挑战,亟需加大产用联合攻坚、创新应用模式、研发生态工具,推动我国数据库由“能用”向“好
2、用、易用”迈进。同时,数据能力建设对数据仓库、非关系型数据库也提出了新需求,需要加大数据仓库技术创新,分类推动不同非关系型数据库应用发展,促进产品成熟落地。此外,金融业大量采用了开源数据库,面临开源协议、安全漏洞、知识产权、代码感染、开源停服断供等风险,亟需通过加大开源数据库治理、安全防范、建设行业开源社区等措施进行风险防范。本报告从行业应用情况入手,围绕当前业界关注的金融核心系统数据库应用、数据能力提升和开源数据库风险防控三个领域,总结发展成效经验,剖析问题与风险,提出发展建议,展望发展趋势,为金融业数据库创新发展提供参考借鉴。I 1.1.概述概述 .1 1 2.2.金融业数据库应用现状金融
3、业数据库应用现状 .2 2 2.1 金融业数据库应用总体情况.2 2.2 我国数据库产品在金融业应用取得积极成效.5 3.3.金融业数据库应用重点领域分析金融业数据库应用重点领域分析 .7 7 3.1 核心系统数据库应用分析.7 3.1.1 核心系统对数据库应用提出更为严格需求.8 3.1.2 当前核心系统数据库应用面临多重挑战.9 3.1.3 围绕关键环节推动核心系统数据库转型升级.11 3.2 数据库支持数据能力建设分析.14 3.2.1 不同类型数据库助力数据能力建设取得积极成效.14 3.2.2 金融业数字化快速发展对数据库提出新需求.15 3.2.3 分类推动各类数据库应用创新促进数
4、据能力提升.17 3.3 开源数据库应用风险分析.18 3.3.1 开源数据库快速发展并在金融业得到广泛应用.19 3.3.2 金融业开源数据库面临诸多风险.20 3.3.3 多措并举防范开源数据库应用风险.23 4.4.金融业数据库应用展望金融业数据库应用展望 .2525 4.1 我国主流数据库产品成熟度将进一步提升.25 4.2 金融核心系统数据库转型升级将稳步推进.26 4.3 新技术与业务场景将推动金融数据库创新发展.26 4.4 金融业开源数据库应用风险防范仍然不容忽视.27 附录:金融业数据库优秀应用案例集附录:金融业数据库优秀应用案例集 .2828 1 国家的战略部署及金融科技发
5、展相关的多个专项规划,都对关键软硬件信息技术的突破应用、构建自立自强的数字技术创新体系提出了明确目标和要求。金融机构在数字化转型创新发展中,纷纷加快了信息技术的迭代升级,不断引入包括数据库在内新的技术产品,并持续扩大应用广度和深度,金融业信息技术供应链安全整体水平不断提升。作为核心基础软件的数据库,始终是金融业关注的焦点,也是难点。近年来,传统集中式、新兴分布式数据库,关系型、非关系型数据库,联机事务处理型(OLTP)、联机分析处理型(OLAP)、混合负载型(HTAP)数据库,商用数据库、开源数据库等在不同业务场景中实现创新应用,推动构建新一代金融 IT 基础设施,在确保安全稳定的同时,有力支
6、持金融业务创新发展。特别是我国成熟的数据库技术产品在金融业实现了广泛应用,并逐步推动在核心系统应用落地,取得显著成效。但金融业数据库应用还面临一些挑战。一是随着我国数据库产品应用向核心系统深入,其性能、功能及稳定性与国际商用主流数据库产品还存在一定差距,尚不能完全满足金融业核心系统应用需求;二是数据仓库、非关系型数据库对金融业数据能力建设有着重要作用,随着金融业数字化转型深入推进,对非关系型数据库的需求越来越多,对数据仓库功能、性能、扩展性和安全 2 性提出更高要求,亟需提升产品能力满足金融业应用需求;三是开源数据库在金融业应用广泛,但存在开源协议、安全漏洞、知识产权、代码感染、开源停服断供、
7、政策不确定性、掌控及服务能力不足等诸多风险。为推动金融数据库创新发展,以应对面临的挑战和问题,金融信息化研究所组织各方力量,在深入调研、交流研讨基础上,编制金融业数据库创新发展报告(2023),对金融业数据库技术应用进行现状梳理、问题分析、建言献策及成果展示,为管理决策提供参考,为金融机构创新发展提供支持,为我国数据库产业发展提供助力,促进金融科技稳步发展和金融数字化转型深入推进。金融业始终走在 IT 技术应用和发展变革的前列,根据创新发展和安全可控的需要,金融机构普遍采取“先外围、后核心”的策略推进我国数据库产品的应用落地。随着多种类型的数据库产品在金融领域加快应用,促进了金融业务创新,同时
8、也有力支持了我国数据库产业的发展。2.12.1 金融业数据库应用总体情况金融业数据库应用总体情况 一是集中式数据库应用占比较高,分布式数据库应用呈现增一是集中式数据库应用占比较高,分布式数据库应用呈现增长趋势。长趋势。从产品架构看,金融业数据库呈现集中式和分布式并存发展态势。其中,集中式数据库以其较强的功能黏性、优秀的系 3 统稳定性、良好的软硬适配能力,目前在金融业的应用仍占据绝大多数份额。但随着金融业数字化转型的不断深入,分布式数据库因具备依托通用硬件、弹性扩展、内臵高可用等特征,可更有效支持海量、高并发、高吞吐量的新型金融业务应用系统,在金融业的应用占比相较 2022 年调研结果实现了
9、5.76%的增长。二是二是 OLTPOLTP 数据数据库应用占比较高,库应用占比较高,OLAPOLAP 和和 HTAPHTAP 应用需求不应用需求不断增加。断增加。金融业务系统的数据处理分为联机事务处理(OLTP)和联机分析处理(OLAP)两类。面向客户交易类、业务办理等系统通常选择 OLTP 类数据库,而报表类、分析类系统通常选择 OLAP类数据库。随着金融业数字化进程加快,海量数据让 OLTP 和 OLAP数据库的边界越来越模糊并不断融合,在同一个系统中同时需要OLTP 和 OLAP 能力,即 HTAP 数据库的需求越来越多。通常 HTAP主要应用分为以 OLTP 为主或以 OLAP 为主
10、的两种 HTAP 场景。目前在金融业非融合的 OLTP 数据库占比仍然较高,为 76.83%。同时,不同细分行业中,银行业和证券业应用 OLAP 和 HTAP 数据库占比相对较高。详细情况如图 1 所示。4 数据来源:金融信息化研究所 图 1 金融业 OLTP、OLAP、HTAP 数据库占比情况示意图 三是非关系型数据库在金融业加快探索实践。三是非关系型数据库在金融业加快探索实践。金融业具有客户量大、业务场景复杂等特点,需要存储处理多种类型数据,如庞大的用户、账户、交易、清算、产品、行情等结构化数据和海量的图像、视频、语音等非结构化数据。金融业务需要挖掘海量基础数据所蕴含的丰富信息资源,如隐藏
11、的用户偏好、消费习惯、交易习惯、社会关系等,为非关系型数据库提供了丰富的应用场景,加快了非关系型数据库创新应用。目前,非关系型数据库在金融业应用占比已达到 14.58%。相对证券业和保险业,银行业应用非关系型数据库占比较高。另外,非关系型数据库中键值数据库和文档数据库应用最广泛,二者之和占所有非关系型数据库比例超过 60%;图数据库、向量数据库、时序数据库开始探索应用,其中时序数据库在证券业首先开始应用,占比为 4.8%。金融业非关系型数据库应用占比情况如图 2 所示。93.93%76.17%77.48%79.48%5.25%12.00%11.83%10.95%0.82%11.83%10.63
12、%9.52%0.00%10.00%20.00%30.00%40.00%50.00%60.00%70.00%80.00%90.00%100.00%保险业 证券业 银行业 金融业 OLTP、OLAP和和HTAP数据库占比情况数据库占比情况 OLTP数据库占比 OLAP数据库占比 HTAP数据库占比 5 数据来源:金融信息化研究所 图 2 金融业关系型、非关系型数据库占比情况示意图 四是开源数据库在金融业得到广泛应用。四是开源数据库在金融业得到广泛应用。与闭源商业数据库相比,开源数据库具有源码公开、使用成本低、获取途径广、对外开放、功能丰富等特点。这些优点使得开源软件得到广大开发人员的青睐,使用人员
13、可在原有代码基础上进行业务适配修改,活跃的社区支持也为日益复杂的业务需求贡献了越来越多的解决方案,从而使得开源数据库在金融业实现了广泛应用。目前,约 90%的金融机构都应用了开源数据库支撑业务发展,其中主要集中应用在一般业务系统和管理类系统。2.22.2 我国数据库产品在金融业应用取得积极成效我国数据库产品在金融业应用取得积极成效 一是我国数据库产品在金融业应用稳妥推进、持续增长。一是我国数据库产品在金融业应用稳妥推进、持续增长。金融业始终走在 IT 技术应用和发展变革的前列,根据创新发展和安全可控的需要,金融机构都在以不同的速度和深度尝试应用我85.42%83.54%89.83%88.23%
14、14.58%16.46%10.17%11.77%0.00%20.00%40.00%60.00%80.00%100.00%金融业 银行业 证券业 保险业 关系型、非关系型数据库占比情况关系型、非关系型数据库占比情况 关系型数据库占比 非关系型数据库占比 6 国数据库产品支持业务发展。为确保安全生产、顺利实施,金融机构普遍采取“先外围、后核心”的策略推进我国数据库产品的应用落地,不断拓展应用广度和深度。调研显示,与 2022 年相比,目前应用我国数据库产品的金融机构数量占比增长约 10%,其中,证券业增幅明显。二是我国数据库在金融业应用优势不断显现。二是我国数据库在金融业应用优势不断显现。金融业应
15、用我国数据库产品,可针对特殊业务场景采取定制化改造,增强业务系统的服务能力,加快业务系统的响应速度,提升业务系统的吞吐量,本地化服务优势明显。同时,我国数据库产品在金融业的应用,一定程度上降低了企业成本,实现了降本增效。相比国外数据库高昂的购买费用和后续的技术服务成本,我国数据库产品后续成本投入相对稳定、成本可控。三是金融业与数据库产业互相促进、发展共赢的成效显著。三是金融业与数据库产业互相促进、发展共赢的成效显著。金融机构在应用我国数据库产品时持续进行产品能力测试,识别产品能力上的缺陷并不断反馈给数据库厂商,推动数据库产品能力提升。而且金融业拥有丰富的业务场景,我国数据库产品在大量的实践应用
16、以及上下游产业的共同发展中,整体数据库能力、兼容性能力都有明显提高。随着我国数据库产品成熟度的不断提升,加快推动了新一代金融 IT 基础设施建设,不断夯实金融业数字化创新发展的基石。7 随着我国数据库产品在金融业的不断推广应用,数据库改造逐渐深入到核心系统,金融机构普遍认为我国数据库产品在核心系统应用还有较大提升空间。当前,数字金融快速发展,数据仓库和非关系型数据库有力支持了金融机构开展数据挖掘和分析,推动数据能力建设,助力金融业务创新。另外,根据调研统计,约 90%的金融机构使用开源数据库支撑业务发展,而开源数据库应用面临着开源停服、协议风险、安全漏洞等多方面的风险,且大部分金融机构仅具备开
17、源数据库的日常管理运维能力,仅少量大型金融机构具备代码级维护及二次开发能力。为此,本章主要从业界关注的核心系统数据库应用、数据仓库和非关系型数据库支撑数据能力建设、开源数据库应用三个重点方向,从深入应用、加大创新、防范风险三个视角来分析金融业数据库应用需求、面临的挑战,并提出下一步发展建议。3.13.1 核心系统数据库应用分析核心系统数据库应用分析 核心系统被喻为金融机构 IT 建设皇冠上的明珠。因其高可用、高可靠,高并发、高实时、高扩展、高安全等特性鲜明,要求提供 7x24 小时不间断服务能力,在信息系统中具有十分重要的地位,事关金融业务实现、金融安全稳定。因此,进行核心系统数据库转型升级牵
18、一发而动全身,需要全面分析转型需求、面临的挑战,总结经验,推动转型实施。8 3.1.13.1.1 核心系统对数据库应用提出更为严格需求核心系统对数据库应用提出更为严格需求 一是功能方面,一是功能方面,核心系统新引入的数据库除了支持传统数据类型、对象类型、SQL 以及 PL/SQL 等基本功能外,特别需要在驱动、语法、架构等方面实现与现有国际主流数据库的兼容。且核心系统需要与交易、结算、风控等不同系统进行无缝集成,所以,需要核心系统数据库支持常用的数据接口和标准协议。同时,对于业务量大、性能要求高的核心系统,需要数据库适配新一代分布式、共享存储集群等架构体系。二是在性能方面,二是在性能方面,核心
19、系统对性能的极致要求,需要数据库具备极强的高并发、高速读写能力,以及满足低延迟、强实时性要求,并具备灵活的扩展性。核心系统数据库交易处理能力需稳定支持 1 至 2 万 TPS,峰值支持 2 至 4 万 TPS。核心系统的 OLTP 场景要求数据库响应时间能够达到毫秒甚至亚毫秒级别,OLAP 场景要求数据库响应时间能够达到秒甚至毫秒级别。此外,在分布式场景下,对数据库弹性扩展能力提出更高要求,实现自动在线横向扩展,扩展后性能呈线性增加,无明显损耗,且根据业务量的变化实现对数据库资源的弹性扩/缩容,以应对业务快速增长和海量数据处理需求。三是鲁棒性方面,三是鲁棒性方面,核心系统数据库需要具备稳定性、
20、高可靠性和高可用性。在负载、数据量或者其它环境因素急剧变化时,核心系统数据库依然能提供稳定的、可预期的服务能力。核心系 9 统数据库需要满足金融核心业务对数据 100%可靠、99.999%以上的可用性极致要求。同时灾备能力要求 RTO 为秒级,RPO 为 0,且要求核心系统数据库能在线修复或者能自检测并自愈,保证金融服务的实时性和连续性。四是安全方面,四是安全方面,核心系统的数据不仅包括业务数据,还涉及到客户的敏感信息,其数据库在安全方面要具备“3A+E”(认证:Authorization、授权:Authentication、审计:Audit、加密:Encryption)的能力。通过提供数据库
21、层的身份认证、访问授权、行为审计,保证正确的人、在正确的时间、以正确的方式访问正确的数据,并留下访问痕迹以供事后审计。随着数据资产化进程的加快,越来越强调精细颗粒度的访问授权。同时,为了防止数据泄露、失窃,多层次、多场景、基于商用密码加密算法的支持,对于多层次、灵活颗粒度的数据脱敏、数据遮蔽的支持也必不可少。3.1.23.1.2 当前核心系统数据库应用面临多重挑战当前核心系统数据库应用面临多重挑战 一是我国数据库产品在核心系统应用还存在多方面能力不一是我国数据库产品在核心系统应用还存在多方面能力不足。足。与国际主流数据产品相比,我国数据库产品在 SQL 优化器、全局事务管理、并发控制、列存和行
22、列混存、共享集群、多读多写等多个关键核心技术上仍然需要打磨和进一步提升;在执行计划、资源利用、任务并行、算法、IO、存算分离等方面与国际商用主流数据库产品仍有一定差距。关键技术能力欠缺不利于我国 10 数据库产品在核心系统的顺利落地应用。另外,核心系统数据库需要有强大的技术支持服务体系,以及时解决运行过程中出现的问题,目前我国数据库相对国际商用主流数据库在该方面也存在不足。二是我国数据库产品灾备和数据同步水平还难以完全满足二是我国数据库产品灾备和数据同步水平还难以完全满足核心系统需求。核心系统需求。根据核心业务系统多活容灾建设需求,我国数据库产品在异地 RPO、故障切换和灾难恢复时间等灾备能力
23、与核心系统要求还有一定距离。同时,在采用新旧系统并轨运行模式,确保核心系统转型的平稳过渡,实现核心系统异地容灾,以及在核心系统数据库作为周边系统为数仓、数据中台、客服系统等提供实时数据时,都需要进行数据同步,这些对数据库的数据同步能力提出了很高要求。三是核心系统数据库创新实施及运维管理难度大。三是核心系统数据库创新实施及运维管理难度大。首先,由于核心系统安全稳定运行是金融机构安全生产的关键,在数据库创新实践中选择新引入的数据库要慎之又慎,加之目前我国数据库产品与现有国际商用主流数据库产品还有一定差距,且数量多、技术路线各异、发展的不平衡等多种因素,给核心系统数据库选型带来很大压力。其次,核心系
24、统已建设多年,在数据处理逻辑方面较多依赖数据库本身,通过数据库的存储过程、函数等实现业务规则中的复杂逻辑计算,而这部分程序可移植性差,一般需经过改造才可以在新的异构数据库上运行,这些改造在切流后容 11 易给系统带来功能和性能上的风险。再次,为确保业务连续性,核心系统数据库创新实践通常采取新老系统并行策略,相关的开发、测试涉及新老两套系统,为确保新老系统的功能一致性,极大增加了开发测试难度。此外,现有数据库中存量数据大,迁移工具有限,导致迁移周期长,且由于技术队伍的不稳定、掌握新技术产品的人员有限,进一步加大了核心系统数据库创新实施难度。最后,由于运维的整体自动化、智能化水平有限,不同类型技术
25、产品还难以做到统一运维管理,核心系统引入新的数据库,特别是分布式数据库架构复杂、集群规模庞大、技术多样化、运维管理复杂,进一步增加了运维保障难度,为核心系统安全稳定运行带来隐患。3.1.33.1.3 围绕关键环节推动围绕关键环节推动核心系统数据库核心系统数据库转型升级转型升级 一是加大产用联合创新力度一是加大产用联合创新力度,基于核心系统应用场景打磨优基于核心系统应用场景打磨优 化产品,化产品,提升服务能力提升服务能力。数据库厂商在自我研发、创新同时,还应进一步加强与金融机构的联合创新力度,充分利用在核心应用中复杂、高压、苛刻的场景,对产品进行反复打磨和优化,补齐在核心技术、灾备能力、技术服务
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 金融业 数据库 创新 发展 报告 2023
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。