神州信息数据探查平台起源于数据资产管理,指对金融企业数据资源进行盘点,归纳和形式分析的一系列综合过程,其范围包含了整个数据湖资源涉及类型,作用是辅助企业全面了解自己数据资源的有效性以及相关质量问题,实现摸清金融企业数据家底的过程。
神州信息数据探查平台通过血缘分析、元数据管理、数据质量评估、数据标准梳理等主要核心功能,实现对系统、文件服务器、服务接口、中间日志,以及散落数据的自动探查和摸底。
电子文档
电子数据
......
文件格式与数据归属
文件服务器统计
文件元数据信息梳理
应用系统统计
数据字典整合
数据字典获取
系统数据库类型统计
内部数据引用情况梳理
外部数据引入情况梳理
......
数据库日志
中间件日志
应用系统日志
......
利用探查结果,为金融企业应该如何建立数据标准和数据质量检验规则提供有效建议,使企业数据标准和质量规则的定义变得更加科学有效。有效避免标准规则制定时的生搬硬套和经验主义等情况。
通过数据探查,为金融企业开展后续的数据应用开发分析提供了有效的数据参考依据。使得数据开发分析者更加高效的理解所使用的数据资源,提升了工作效率。
数据探查产品采用线上线下结合的模式,以系统自动化处理为主,配合适量人工校验,完成业务系统信息快速梳理、元数据信息全局搜索、数据质量、数据标准等关键内容的初步评估,使数据管理者更加便捷的了解企业数据家底和现状。
神州信息数据探查产品能够有效帮助金融企业明确数据资源分布、元数据信息,并通过探查实例数据实际形态,使企业对自身数据拥有全面的认知和理解,从而更好的使用和应用数据资产。
利用数据探查分析结果,能够更加科学地评估金融企业数据标准和数据质量,为数据管控治理等工作的展开创造了更有利的起步条件。
数据资源是银行数字化转型的基石,数据资源探查和盘点的目的是为了全面了解数据资源的现状,知道有哪些数据是可以使用的。
· 通过数据探查明确银行数据资源分布情况
· 为数据资源编目(数据目录)规划提供设计依据
· 数据资源的元数据信息梳理整合,为数据线上化管理做准备
· 通过线下信息探查。初步预判元数据的质量问题
· 逐一探查数据表、数据字段的数据形态,如:空值率情况、编码长度分布情况等等
· 为数据建模、标准制定、数据质检规则制定规划提供设计依据
某保险数据治理建设
对保险大数据进行探查摸底,建立保险行业企业级数据资产目录和统一视图,并对其数据质量问题进行有效地评估和管控,大大提升了该企业的数据使用效率。
某农商银行数据中台建设
对核心、信贷等30个业务系统瘦身,历史数据归档,3000+张业务系统数据盘点和入库。从时间维度和跨系统维度进行历史数据的处理与整合。实现交易流水秒级查询。跑批时间,5000+作业,50G+数据处理仅需十几分钟。