科技网

当前位置: 首页 >手机

数据仓库中的数据质量改进0

手机
来源: 作者: 2018-12-29 21:07:01

中国建设银行 许忠 穆克胜

几年来,国内金融行业的决策者们已经强烈地意识到银行的竞争力取决于利用数据进行分析和决策的能力。所以各大银行为了提高管理水平,增强风险的控制能力,纷纷开始建立数据仓库管理信息系统,但是这个投入巨资完成的项目却往往由于不能达到预期的回报而不断的遭受到谴责,原因是多方面的,其中数据质量问题是不能忽视的问题之一。

数据仓库管理系统要用到多个数据源,典型的银行系统的数据仓库要用到会计集中核算系统、信贷管理信息系统、资金交易处理系统、个人房贷系统、证券资金系统、上银行处理系统等,每个源系统都存在着不同程度的数据质量问题,对这些问题可以归纳为两类:数据定义的缺陷和数据内容的缺陷。

数据定义的缺陷包括不同的数据源系统的数据定义没有标准化;数据规格说明数据的存储粒度无法满足业务部门分析统计的要求;数据结构存在缺陷,如对数据的惟一性、完整性、有效性没有控制或者数据的参照完整性没有控制等。其中数据定义的非标准化问题往往是非常严重的,在所有的数据仓库项目中,开发人员将付出非常多的精力去完成数据的标准化转换工作;数据结构的缺陷是造成数据内容缺陷的主要原因之一,在数据仓库项目中,开发人员不得不完成数据的重复性、数据的有效性和完整性检查。

数据内容缺陷包括数据不在要求的范围内、数据不完整、缺失数据值、数据不准确、有重复值、数据不符合参照完整性规则、数据不符合商业规则等。该类问题多是由于前台人员的错误录入和系统的升级改造后数据的迁移造成的。在数据仓库的建设初期应该对所需数据的质量作一个总体的评价,确定问题数据影响的严重程度,及时制定改进方案。

众所周知,在一个有着几十年历史的商业银行中,提升数据质量是一项非常困难的工作,需要多个部门和多种技能人员共同工作,并需要一套比较科学的工作方法。笔者根据项目的实施经验和对数据仓库的源系统的分析,认为下面的建议是改进数据质量的关键:

一、源系统中数据质量的改进应该以面向业务目标为原则,在有限的时间和资源的前提下,优先解决有较大影响的重点问题。

数据仓库要想从银行内部的所有应用系统中得到绝对高质量的数据是不现实的,所以要采用“面向业务目标”的原则,先确定要使用哪些数据,明确数据的质量要求,然后对所使用的数据进行检查,找出存在的数据问题并评估问题的影响,最后确定数据问题解决的优先级,安排人员解决优先级高的重点问题。

二、评估源系统中的数据质量和发现有较大影响的重点问题的工作,应该尽早进行。

对源系统中数据的检查和质量的评估是制定数据质量改进方案的基础,也是制定数据仓库的数据清洗规则的基础。数据质量评估的结果可以使数据仓库的设计者更早的考虑如何更有效的解决数据问题。

通过数据质量评估,可以发现哪些数据是缺失的,哪些数据是不准确的,哪些数据是不符合标准的,从而制定更有效的解决方案,如限定时间请相关数据的拥有者在源系统中修改或者补录数据,或者在数据仓库内部设计补录和修改模块,或者制订应急方案以及进行标准化转换等。

三、成立专门的数据质量领导小组和数据质量工作小组,所有关键人员必须参与其中,只有这样才能更有效的推动解决数据质量问题。

要想解决多个部门负责的多个源系统中的数据质量问题,必须要有企业领导的大力支持,要有作为源系统所有者的业务部门领导的支持,也必须有理解源系统的业务专家、技术专家的共同参与。

数据质量领导小组中应该包括源系统数据所有者代表、数据仓库用户、负责维护源系统和数据仓库的IT人员。领导小组负责分配角色、职责和资源,监督解决方案的落实。

数据质量工作小组,应该是由作为数据仓库用户的业务部门和IT部门人员共同组成的团队,他们应该是数据仓库项目中的关键成员,也是参与解决数据质量问题的重要角色。

四、制定完整清晰的实施方案和工作计划是保证数据质量改进的前提。

在实际工作中,很多人都知道数据质量问题的存在和提升数据质量的必要性,但是往往由于没有一个统一的科学的方法而延误了查找问题、解决问题的时机,经验表明制定科学的实施方案和明确的工作计划能够极大地提高解决问题的效率。针对数据仓库建设中源系统的数据质量问题,下面的提升数据质量的工作流程是非常值得借鉴的:

*过程1:明确数据质量管理的领导,成立数据质量管理小组;

*过程2:制定和颁布问题等级划分标准和改进策略;

*过程3:明确业务目标,制定需要评估的数据范围、检查要求和接受标准;

*过程4:依据接受标准以及业务规则符合程度对数据质量进行检查和评估,发现存在的数据质量问题;

*过程5:根据评估报告和问题影响分析,确定问题的优先级;

*过程6:根据数据质量管理策略,制定并评估解决方案;

*过程7:实施数据质量解决方案;

*过程8:评估改进成果和持续改进;

*过程9:质量改进过程存档,内部检查程序形成日常数据质量检查和监控模块交付。

总之,银行的数据质量管理是一项艰巨的的工作,只有制定一套合理科学的提升数据质量的管理流程,明确各部门的职责,加强业务部门和技术部门之间的合作,才能支撑起建立在数据仓库之上的功能强大的各类应用。

方矩管厂家
rohs检测仪
基恩士回收

相关推荐