2022服贸会 | 神州信息发布“六合上甲”系列数据产品
- 发布时间:2022-09-09
- 来源:
- 大 中 小
- 打印
一直以来,神州信息以满足客户的需求为目标,坚持自主创新,在中国软件领域取得了一定的成绩。这些成绩的取得也离不开我们所有客户的信任和支持,包括建议甚至一些批评,都是促进我们成长发展的助力。
本次发布数据领域的三款产品是:“六合上甲”数据中台一体化开发平台、“银河”数据资产运营平台、“飞流”数据建模平台。以下为三款产品的具体内容。
“六合上甲”数据中台一体化开发平台
从名字就可以看出对它寄予厚望——“六合”,天地宇宙谓之六合;“上甲”代表科举殿试成绩一等。产品的定位是力争做业内最实用最开放的DataOps产品。六合上甲是一个一站式智能的大数据全生命周期开发治理平台,赋予用户通过一站式服务,就可以实现包括需求管理、数据采集、数据开发、建模、数据治理、数据服务安全等复杂场合在内的能力,持续不断地把数据变成资产,并最终反哺业务。
产品的受众首先是就是做相应数据开发的技术人员,我们科技部的同事是最先接触且使用最频繁的。但它的受众不仅仅是技术人员,也包括业务人员,从事业务运营、决策支持、数据分析等岗位的业务人员。我们经常讲数据民主——人人都是数据分析师,指的是大家都有使用数据的能力,希望技术操作不要成为壁垒。它的受众还有从事数据管理、安全合规工作的同事,很多企业也已经成立了相关的数据管理部门。随着数据要素,数据资产等概念的提出,企业越来越意识到数据的重要性,于是分别成立和信息科技部并列的数据管理部门。我们的产品受众主要就是以上这三类人员。
六合上甲的八大特点
第一是贯彻真正实现数据中台一体化研发的DataOps理念。DataOps是2018年Gartner提出的,其理念简单概括就是缩短数据开发周期,让价值在较短时间、较低成本条件下得到发挥,和六合上甲的定位非常一致。
第二是支持场景式开发,创新的需求管理理念。场景式开发是根据自身的需要选取,做数据治理以及相应的开发。创新的需求管理方面,从接到业务需求开始,整个流程就已纳入管理范畴。
第三是产品支持本地化+云部署的方式。
第四是融合数据中台交付的方法论。数据中台的关键是服务共享、复用,六合上甲的很多功能都和这一理念相匹配。
第五是全领域数据的汇集,即我们提供了非常强大的异构数据源之间稳定快速同步集成的能力。
第六是丰富的计算引擎支持。所用的数据中台的数据库适配业界主流大数据存储计算引擎,比如Flink、ES、Kafka、Redis、MySQL、Oracle,GaussDB等,以及华为MRS、星环TDH等大数据平台,我们有非常多的国内合作伙伴和成功落地案例。
第七是全流程质量监控。质量监控就是根据业务需要,配置相应的数据质量检核点。一些情况下,我们可以让调度中的任务中断;有些时候我们可以让数据展示出来,相关业务部门可以看到报表数据,是一种非常灵活的配置方式。
第八是灵活稳定的数据API发布。和资本一样,数据需要共享和高效率的使用,只有这样,它的价值才能得到最大化的发挥。
六合上甲的产品逻辑
第一,需求管理。在业务部门提出需求之后,我们进行相应的登记,包括需求分配给了哪些人,评估过程中间耗费了多少的工时,后续任务开发耗费了多少工时等,对任务成功上线以后所调度产生的存储计算资源统一进行管理。在后续复盘的时候,管理层可以对开展某项业务活动的投入回报有清晰认识,真正实现精细化管理。
第二,数据采集。我们具有提供异构数据源之间快速稳定的数据同步能力,支持接近五十类异构数据源。
第三,数据开发。结合我们的大数据引擎——华为、腾讯、星环等都是我们的合作伙伴——作为后台的存储计算引擎。
第四,数据服务。与数据采集有些类似,一个是数据进来,一个是数据出去。
第五,数据资产。清楚地展示我们的数据,解决企业数据资产有什么、是什么、在哪里、怎么用的问题。数据资产现在也是业内火热的概念,大家都在盘点内部数据资产和建设相关的运营平台。
六合上甲的功能架构
我们的生态设计模式,第一是开发态,其次是测试态,最后是生产态。开发态从需求开始管理,在需求介入之后我们再做相应的数据开发。在数据建模的时候,我们就会考虑到数据标准的灵活使用,以及数据安全相关的要求。这部分更多是指开发过程中用到了哪些源头数据,和对源头表相关权限的把控。开发完毕后,一键发布到测试态,进行冒烟测试或是脱敏,根据实际需要选择测试方式。测试完毕后,同样通过一键发布进入生产态。配置好相应的调度,后续的运营工作就可以通过运营中心看到任务数量,每个任务运行、执行情况。
六合上甲数据采集概览
这部分可以看到整体的任务数运行情况,根据时间维度进行查看。这是数据开发的图形化开发,是非常容易上手的一款产品,不仅仅适合开发人员。举一个拉链算法的例子,做数仓开发人员非常了解,在通过增量获取类似客户表的情况下,只要说明需要内容,进行相应的配置就可以简单地实现一些基础功能。如果对SQL特别了解,还可以开发出更灵活、进行更复杂数据处理的程序。监控首页实际上是对查询,可以查看哪些数据查询得比较频繁,哪些部门正在使用哪些数据,利用这些结果可以指导我们进行数据开发和存储的相关优化。
“银河”数据资产运营平台
银河跟六合上甲的关系可以这么理解,六合上甲是一站式全生命周期产品,讲究的是大而全,银河的方向是小而精,它实际上专注于数据资产运营平台。有一些客户可能不需要六合上甲,如果只是需要一个资产运营平台,那选择银河。银河的名字有这么一个寓意——希望我们数据的资产像星河一样璀璨和丰富。
银河数据资产运营平台是基于我们对多家企业数字化需求的洞察,结合丰富的企业设计经验,最终致力于企业数据资产的盘活——也就是了解我们到底有哪些资产,如何把它真正的使用起来。
银河的主要功能包括资产全景、资产搜索、资产服务、运营、监测、资产评价等模块,也是基于DAMA的数据管理理念,以原数据为载体建立盘、析、治、用的管理理念。盘、析、治、用就是盘点、分析、治理、使用/应用。
可能有些人会认为这个跟元数据管理比较类似。其实还是有一些差别,元数据管理平台很早就有,但以前更多是技术人员在用,技术人员了解到我们到底有哪些表,有哪些数据库,分布在哪些系统。而我们的数据资产运营平台不仅仅是这些内容,它还可以站在更多的维度,比如做数据安全的分类分级,相应的标签打好以后也可以放到我们的数据资产平台里,方便大家去查询了解使用等。
数据资产运营平台的逻辑架构,包括资产的搜索、专项管理、运营、资产目录、资产的属性等,也包括原数据管理里的学员分析等。
这是前两年我们为国内一家股份制银行做的一个项目界面的首页,按照业务条线和数据主题域的方式,首先展示了每个领域资产的数目。这个图实际上是更细化的一个展示,根据它的部门,以及一些管理属性,来查看它的分布以及变化情况。
“飞流”数据建模平台
第三个产品是“飞流”数据建模平台。数据模型是业务和技术之间的桥梁,我们取名飞流实际上也就是希望二者之间的交互非常的顺畅快速。
数据建模在业内存在一些痛点。现在很多的数据治理类项目,在实际过程中很难落地。数据治理建立了很多的数据标准,还有流程制度,但是在实际执行的过程中发现不是那么顺畅,很多时候需要大量的人为的参与。而飞流数据建模工具首先可以统一维护数据标准,在建立相应的逻辑模型的时智能地推荐数据标准,方便把技术属性直接带入到我们的数据模型里,去统一相关的技术属性和企业的参考数据。其次是支持主流的数据库,支持立项工程,可视化建模,操作便捷。最后它打破了国外软件霸权,大家如果在这个领域有研究的话,会知道以前数据建模基本上是被Erwin和Power Desginer垄断的。现在我们这个产品也是企业数字化转型和国产化战略的一个利器。
关于飞流数据建模工具的逻辑架构,主要包含主题域模型、概念模型、逻辑模型、物理模型和数据库对象。在实际建模的过程中,更多的是在逻辑建模这一块。
最后,总结一下飞流数据建模工具的特点:一是友好的建模用户界面;二是查看模型灵活可扩展;三是丰富的数据仓库支持;四是多学科领域支持,它是一个中立的建模工具,支持各种行业;最重要的是协作和共享,我们有BS和CS的模式,大家可以一起共同开发,非常方便的合并在一起。
2021年,飞流数据建模平台获得了国际数据管理协会的数据产品创新奖的荣誉,现在已经在诸多银行和政企单位落地实施。