随身空间之平淡生活本文介绍了在西北某省医保信息平台架构演进升级过程中,AntDB对于新建平台数据分析能力、数据同步能力、数据运维管理能力的提升。本次AntDB数据库多引擎能力的上线,解决了该医保系统数据同步不准确、数据查询结果不准确、复杂数据查询慢等问题。数据库的高可用架构可以保证业务的连续性及数据安全性,保证用户数据的安全可靠。
省医保局的医保信息系统数据平台以医保数据为核心,以地区资源整合为主线,以提供医保数字服务为导向,实现全量数据互通汇聚,实现企业级数据管理和集成共享,构建医保大数据中心,实现对各类数据资源的统一管理、管控、共享,为医保运营监管和业务发展提供支撑。加快推动医保信息化、标准化、便利化建设,推进医保服务事项“网上办”改革,高频医保服务事项实现跨省通办。
打通“数据流转”路径是数据管理的重要工作之一。某市医保业务平台现有的信息系统架构,采用的是直连底层生产数据库查询的方式,存储了大量的原始业务数据,需要进一步的数据聚合和关联,并建立统一的数据标准以实现互联互通。同时,其经办系统和监督系统对性能有较高要求,现有数据库无法满足大批量的数据查询要求,亟待升级改造。
1.提升业务响应速度:面对大数据量查询、宽表数据查询等场景,需解决现有架构数据查询缓慢的问题,提升整体业务系统响应速度;
2.增加数据分析能力:面对多表关联、聚合分析等复杂查询时,需从架构层面进行规划升级,增加统一架构下的数据分析能力;
3.数据一致性保障:面对多系统多终端的并发查询,需解决同时读写数据查询结果不一致的问题,保障事务提交的准确性。
基于上述需求,客户分别从数据采集能力、数据存储管理能力、数据分析与挖掘能力等方面进行了相关技术及架构的调研,*终在数据库方向,选择了采用亚信安慧AntDB数据库的多引擎、超融合解决方案。
客户的数据平台建设方案,是通过在业务系统和生产数据库中间搭建数据中台,进行数据治理和数据开发等工作,实现数据管理、标准、服务一体化,如下图。数据中台主要由MPP数据库和离线数仓构成,其中MPP(MassivelyParallelProcessing大规模并行处理))数据库由AntDB团队承建,并负责与原有库进行数据与业务对接。
亚信安慧承建的MPP数据库主要包括汇聚库和应用库,汇聚库负责从生产中心同步数据进行预处理,随后离线数仓对生产数据进行抽取及加工,加上增量明细轨迹数据,在离线数据。然后会将在离线数仓数据应用层加工完成的宽表应用类数据,同步到应用库,供上层应用系统查询使用。
亚信安慧AntDB数据库的多引擎产品,能够满足客户多种业务类型的数据处理、分析、查询等需求,提供数据中台中MPP数据库组件的功能。AntDB提供的不仅仅是软件产品,更是一整套完善的数据管理体系,包含各类生态工具,方便企业用户快捷、高效地管理企业数据资产。
通过该数据平台的建设,可以帮助客户有效提高信息系统的准确性和分析效率,保证经办类系统的查询效率,满足监察系统的统计需求。MPP数据库对于数据中台的价值,主要体现在三个方面:1.具备较高的数据入库效率和数据分析处理能力;2.具备配套数据同步工具,支持MPP数据库数据和生产库之间的数据同步;3.具备较高的宽表数据查询分析性能。
该数据平台建设项目中,汇聚库选用了AntDB-T(交易型),同步工具选用自研产品AntDB-MTK迁移工具,应用库选用AntDB-A(分析型),运维管理工具使用自研AntDB-CC运维平台,整体逻辑架构图如下:
1.原生分布式、高效数据处理:汇聚库对于数据库产品的水平扩展能力和数据处理能力,有较高要求。AntDB-T分布式关系数据库内置分布式并行执行引擎,在多个数据节点之间组网传输数据,利用多节点并发处理数据,可以使聚集、排序、关联等操作获得倍数级的性能提升。
2.数据同步及校验工具:汇聚库实时从生产中心提取千万级数据,需要同步数据同源端保持一致性。AntDBMTK数据迁移工具包解决了该项目中数据不能及时、完整同步的问题,实现了数仓数据与生产系统数据的一致性保障。
3.超强数据分析能力:应用库采用的亚信安慧AntDB-A是MPP架构的OLAP数据库,具备高性能和实时分析能力,海量数据下返回查询结果仅需亚秒级响应时间,可满足报表分析、自定义查询、数据湖查询加速等场景。
4.智能运维管控:分布式架构节点数众多,需要运维平台对数据库集群进行统一管理。AntDBCC数据库智能运维管理平台可提供智能化的运维管控和数据库的集群管理,自动监控包括常规数据库服务器、数据库关键指标等数据,并进行预设告警通知,提升了数据库的可维护性。
项目应用场景为典型的分析型场景,应用库共6T左右的数据量。针对大批量宽表数据分析场景,AntDB-A相较于传统行存数据库,SQL性能提升200倍,对比国外同类型产品,关键SQL处理效率*大提升12倍。
项目上线后,AntDB-A基于自身超高的数据压缩技术和数据分析能力,数据存储空间降低87.5%,为用户节省大量存储成本;数据分析查询效率提升接近200倍,数据库查询响应时间提升到毫秒级。AntDBMTK解决了之前数据同步不准确的问题,保证了不同平台之间数据同步的准确性。AntDBCC智能运维平台降低了分布式数据库多节点运维的复杂度,为用户节省近70%运维成本。
|