300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > 数据管理知识体系指南(第二版)-第三章——数据治理-学习笔记

数据管理知识体系指南(第二版)-第三章——数据治理-学习笔记

时间:2020-12-19 18:23:19

相关推荐

数据管理知识体系指南(第二版)-第三章——数据治理-学习笔记

目录

3.1引言

3.1.1业务驱动因素

3.1.2目标和原则

3.1.3基本概念

3.2活动

3.2.1规划组织的数据治理

3.2.2制定数据治理战略

3.2.3实施数据治理

3.2.4嵌入数据治理

3.3工具和方法

3.3.1线上应用/网站

3.3.2业务术语表

3.3.3工作流工具

3.3.4文档管理工具

3.3.5数据治理计分卡

3.4实施指南

3.4.1组织和文化

3.5度量指标

3.1引言

数据治理:是在管理数据资产过程中行使权利和管控,包括计划、监控和实施。

建立正式的数据治理规程及有意向性地行使权利和管控的组织,数据治理能够更好地增加从数据资产中获得的收益。(数据治理的作用

数据治理的职能是指导所有其他数据管理领域的活动。

数据治理的目的是确保根据数据管理制度和最佳实践正确地管理数据。

数据管理的整体驱动力是确保组织可以从其数据中获得价值。

数据治理的聚焦于如何制定有关数据的决策,以及人员和流程在数据方面的行为方式。

数据治理项目的范围和焦点依赖于组织需求,主要包括内容为:

战略。定义、交流和驱动数据战略和数据治理战略的执行。制度。设置与数据、元数据管理、访问、使用、安全和质量有关的制度。标准和质量。设置和强化数据质量、数据架构标准。监督。在质量、制度和数据管理的关键领域提供观察、审计和纠正等措施(职责管理)。合规。确保组织可以达到数据相关的监管合规性要求。问题管理。识别、定义、升级和处理问题。针对如下领域:数据安全、访问、质量、合规、所有权、制度、标准、术语或者数据治理程序等。数据管理项目。增强提升数据管理实践的努力。数据资产估值。设置标准和流程,以一致的方式定义数据资产的业务价值。

为了实现上述目标,数据治理将制定制度和实施细则,在组织内多个层次上实践数据管理,并参与组织变革管理工作,积极向组织传达改进数据治理的好处将数据作为资产管理所必需的行为

多数企业,正式的数据治理需要进行组织变更管理,以及得到高层管理者的支持

产生和分享数据、信息的能力改变了个人及经济的互动。随着将数据作为差异化竞争优势的意识提升,促使组织调整数据管理职责。

各个组织都在努力成为数据驱动型组织,主动将数据需求作为战略发展、项目规划和技术实施的一部分。这样通常会带来企业文化上的挑战。

企业文化可以影响任何战略目标,进行数据治理时需要努力将文化变革部分纳入考虑,以期获得强有力的领导支持。

要从企业资产的数据中受益,必须学会衡量数据和数据管理活动的价值。

如果企业不愿意接受并进行管理变更,即使拥有最佳的数据战略、数据治理和数据管理计划也不可能成功的(企业必须愿意进行管理变更——文化变革)。

文化变革是一种挑战,变更管理的信条是,组织变革需要个人的改变。当数据治理和数据管理要求显著的行为变化时,为了成功,一定需要正式的变革管理。

数据治理和管理职责语境关系图(图3-1)P44

3.1.1业务驱动因素

最常见的驱动因素是法规遵从性,特别是重点监控行业。也有很多组织的数据治理是通过其他业务信息化管理需求所驱动的。如主数据管理(一家公司开发了客户主数据平台,接下来意识到主数据管理是需要数据治理的)。

数据治理需要直接与企业战略保持一致。治理越显著地帮助解决组织问题,人们越有可能改变行为、接受数据治理实践。

数据治理驱动因素大多聚焦于减少风险或改进流程。

1.减少风险

一般性风险管理。洞察风险数据对财务或商誉的影响,包括对法律和监管问题的相应。数据安全。通过控制活动保护数据资产,包括可获得性、完整性、连续性、可审计和数据安全。隐私。通过制度和合规性监控,控制私人信息、机密信息、个人身份信息等。

2.改进流程

法规遵从性。有效持续地相应监管要求的能力。数据质量提升。通过真实可信的数据提升业务绩效的能力。元数据管理。建立业务术语表,定义和定位组织中的数据,确保数据繁多的元数据被管理和应用。项目开发效率。在系统生命周期(SDLC)中改进,解决整个组织的数据管理问题,包括利用数据全周期来管理特定的数据技术债。供应商管理。控制数据处理的合同,包括云存储。外部数据采购、数据产品销售和外包数据运维。

数据治理不是一次性的行为。数据治理是一个持续性的项目集,以保证组织一直聚焦于能够从数据获得价值和降低有关数据的风险。

数据治理要与IT治理分开。

IT治理制定关于IT投资、IT应用组合和IT项目组合的决策,从另一个角度还包括软硬件和总体技术架构。

萨班斯法案则覆盖企业治理、IT治理和数据治理多个领域。

IT治理的作用是确保IT战略、投资与企业目标战略的一致性。

数据治理仅聚焦于管理数据资产和作为资产的数据。

3.1.2目标和原则

数据治理的目标是使组织能够将数据作为资产进行管理。

数据治理提供治理原则、制度、流程、整体框架、管理指标、监督数据资产管理,并指导数据管理过程中的各层级的活动。

数据治理的目标包括:

可持续发展。必须富有吸引力。不是以一个项目为终点,而是一个持续的过程。需要把它作为整个组织的责任。数据治理改变数据的应用和管理方式(但也不代表组织要巨大的更新和颠覆)。可持续的数据治理依靠与业务领导、发起者和所有者的支持。嵌入式。数据治理不是一个附加管理流程,治理活动需要融合软件开发方法、数据分析应用、主数据管理和风险管理。可度量。治理做的好有积极的财务影响。需要了解起始过程并计划可度量的改进方案。

数据治理的原则包括:

领导力和战略。成功的数据治理起始于远见卓识和坚定的领导,同时企业阢战略所驱动。业务驱动。治理是一项业务管理计划。管理与数据相关的IT决策,就像管理与数据相关的业务活动一样。共担责任。业务数据管理专员和数据管理专业人员共同担责。多层面。治理发生在企业层面和各地基层,但通常发生在中间各层面。基于框架。治理活动需进行跨组织职能的协调,必须建立一个运营框架来定义各自的职责和工作内容。原则导向。指导原则是数据治理活动、特别是数据治理策略的基础。有时原则可以从具体策略通过逆向工程反推得到。最好把核心原则的阐述和最佳实践作为策略的一部分工作。

3.1.3基本概念

数据治理确保数据被恰当地管理而不是直接管理数据。

数据治理相当于将监管和执行的职责分离。

数据治理是保证数据是被管理的,数据管理是管理数据以达到既定目标。

1.以数据为中心的组织

为了达到数据为中心,必须改变战略转化为行动的方式,数据不再是作为流程和业务产品的附属。

业务处理的目标是为了得到高质量的数据。

有效数据管理成为企业通过分析获得洞察、制定决策时的高优先级事项。

数据中获得价值的组织可能涉及如下点:

数据应该作为企业资产管理起来在整个组织内鼓励数据管理的最佳实践企业数据战略必须与业务战略一致应不断改进数据管理流程

2.数据治理组织

数据治理项目的核心是治理。

数据治理可以从政治治理的角度来解释。

立法职能(定义策略、标准和企业架构)

司法职能(问题管理和升级)

执行职能(保护和服务、管理责任)

数据治理组织可以具有多个层次,以解决不同级别的问题——本地、部门和企业范围。

图3-3通用的数据治理组织模型——主要说明各个领域如何根据上述趋势共同开展数据治理

首席数据官是从立法和司法视角正确地做事

首席信息官是从执行视角正确地做事

表3-1典型数据治理委员会

数据治理指导委员会。组织中数据治理的主要和最高权威组织,负责监督、支持和资助数据治理活动。可能受更高级别组织或委员会的监督。

数据治理委员会。管理数据治理规划(制度或指标的制定)、问题和升级处理。

数据治理办公室。持续关注DAMA知识领域的企业级数据定义和数据管理标准。

数据管理团队。由聚焦于一个或更多领域或项目成员组成。偏重管理职责。

本地数据治理委员会。大型组织可能有部门级或数据治理指导委员会分部,在治理委员会指导下工作。小型组织应该避免。(太复杂了)

3.数据治理运营模型类型

集中式管理模式——治理组织监督所有业务领域中的活动。1对1分布式管理模式——每个业务单元采用相同的治理模型和标准。多对多联邦式管理模式——治理组织与多个业务单元协同,以维护一致的定义和标准。1对多

4.数据管理职责

主要描述数据管理岗位的职责,以确保数据资产得到有效控制和使用。

管理职责的焦点因组织不同而不同。

数据管理活动主要集中于以下部分:

创建和管理核心元数据。包括业务术语、有效数据值及其他关键元数据的定义和管理。记录规则和标准。包括业务规则、数据标准及数据质量规则的定义和记录。管理数据质量问题。专员参与识别、解决与数据相关的问题,或促进解决的过程。执行数据治理运营活动。专员要确保数据治理制度和计划在日常工作中的每个项目中被遵循执行。

5.数据管理岗位的类型

数据管理专员:代表他人的利益并为组织的最佳利益来管理数据资产

首席数据管理专员。CDO的替代角色,数据治理机构主席高级数据管理专员。数据治理委员会的资深管理者企业数据管理专员。负责监督跨越业务领域的数据职能业务数据管理专员。他们是业务领域专业人士,对一个数据域负责,领域专家数据所有者。某个业务数据管理专员,对其领域内的数据有决策权技术数据管理员。某个知识领域内的IT专员。如数据库管理员、元数据管理员等协调数据管理专员。领导并代表业务数据管理员和技术数据管理员进行跨团队或专员间讨论

通常最好的数据管理专员都是在工作中被发现的,不是靠培养的。

6.数据制度

包括对数据治理管理初衷的简要说明和相关基本规则。数据制度是全局性的。

数据制度描述了数据治理做什么和不做什么,而标准和规程是描述了数据治理的“如何”

7.数据资产估值

是一个理解和计算数据对组织的经济价值的过程。

理解数据价值的关键是理解如何使用它以及它的使用带来的价值。

数据生命周期中,大多数阶段都涉及成本,只有使用时才有价值,并且使用时还产生了风险管理相关的成本。

度量价值的方式:

替换成本——在灾难性数据破坏或中断时,数据替换和恢复的成本。市场价值——兼并或收购企业时作为企业资产的价值发现商机——通过交易数据或售卖数据,从数据中获得的收入价值售卖数据——组织为产品或销售将数据打包从数据中获得的洞察风险成本——基于潜在罚款、补救成本和诉讼费用的估价。来自法律或监管的风险包括:1.缺少必需的数据 2.存在不应留存的数据 3.数据不正确造成客户、公司受损 4.风险下降或风险成本下降(提升和验证数据等操作干预成本的抵消之后的溢出部分)

3.2活动

3.2.1规划组织的数据治理

数据治理工作必须是支持业务战略和目标的。业务战略和目标影响着组织的数据战略以及数据治理和数据管理在组织的运营方式。

成功的数据治理应当清楚地了解需要治理什么怎么治理以及谁来治理

当数据治理是一项企业层面工作时,效果最为显著。

1.执行就绪评估

典型的评估包括:

数据管理成熟度——业务人员对管理和利用数据的优势及客观标准的印象变革能力——治理需要行为上的改变,测量组织适应治理所需改变的能力。有助于识别阻力点。数据治理需要正式的组织变革管理。协作准备——在管理和使用数据的协作能力,治理需跨越不同职能领域,所以需要协作。与业务保持一致——调整数据的使用来支持满足业务战略需求

2.探索与业务保持一致

数据治理必须能够找到并提供特定的价值来为组织作出贡献。例如减少监管的处罚。

数据质量评估洞察现有问题和障碍以及识别低质量数据执行业务流程的影响

数据管理实践的评估是数据治理评估中的另一个关键方面。如找到有能力的用户,为治理创建一个潜在代理的初始列表。

数据治理成功关键就是与业务保持一致,通过探索活动,从发现和校准活动中派生出一个数据治理需求清单。如监管对业务产生的财务问题,这些需求影响这数据治理的战略和战术。

3.制定组织触点

首席数据官除了权利外,是支持企业数据治理和数据管理一致性和凝聚力的组织触点

采购合同——制定和执行数据管理合同的标准文本。包括外包、第三方开发预算和资金——防止重复工作及保证优化获得数据资产的焦点法规遵从性——要开展持续监控活动,保证符合地区、国家和国际的监管SDLC/开发框架——在系统或应用开发生命周期中制定组织策略、流程和标准的控制点

组织触点影响管理数据的凝聚力,增加使用数据的敏捷性。本质上讲,是组织如何理解和看待数据治理的一个态度。

3.2.2制定数据治理战略

数据战略定义了治理工作的范围方法

制定数据治理战略具体内容,交付物包括:

章程运营架构和职责实施路线图为成功运营制定计划

1.定义数据治理运营架构

在构建组织的运营架构需要考虑:

数据对组织的价值——如果数据在组织中起润滑剂的,数据治理就不严肃了,反正如亚马逊等将数据作为最有价值事务的组织业务模式——分散式、集中式、本地化与国际化等应反映在运营框架设计中文化因素——一些组织刚开始会抵制制度和原则的实施监管影响——监管较高的组织具有不同的数据治理心态和运营模式

2.制定目标、原则和制度

通常由数据管理专业人员、业务策略人员,在数据治理组织的支持下共同起草数据治理的目标、原则和制度,由数据管理专员和管理人员审查并完善,最终数据管理委员会进行终审、修订和发布。

管理制度包括:

由数据治理办公室(DGO)认证确认组织用到的数据由数据治理办公室批准成为业务拥有者业务拥有者将在其业务领域委派数据管理专员负责协调数据治理活动提供标准化报告、仪表盘或分卡,满足业务需求认证用户将授权访问相关数据的权限,便于即席查询和使用非标准报告定期复评所有认证数据,以评价其准确性、完整性、一致性、可访问性、唯一性、合规性和效率

3.推动数据管理项目

数据管理项目很难推动,经常被看做“完成工作”的障碍。推动数据治理项目的关键是阐明数据管理提高效率和降低风险的方法。如果想从数据中获得更多的价值,则需要有效优先发展和提升数据管理的能力。

4.参与变革管理

组织变革管理是进行组织管理体系和流程变革的管理工具。组织变革管理不仅仅是“项目中人的问题”,应被视为整个组织层面管理改良的一种途径。

组织经常面临管理项目上的变迁,而不是管理组织体系。

适应数据治理需要人们改变行为和互动方式。

正式的管理变革项目,需要有适合的发起者(至关重要),需要组建一个团队负责以下事项

规划——规划变革管理(包括利益相关方分析、获得支持和克服阻力的方法)培训——建立和执行数据治理培训项目影响系统开发——于项目管理办公室(PMO)合作,在软件开发生命周期中增加数据治理的步骤制度实施——宣传数据制度和对数据管理活动的承诺沟通——提高数据管理专员和数据治理人员对自身角色和数据管理项目的目标和预期的认知

沟通对变更管理过程很重要,沟通重点放在:

提升数据资产价值——教育、告知员工数据在实现组织目标中所起的作用监管数据治理活动的反馈并采取行动——通过沟通计划、反馈,需求利用利益相关方的项目的承诺、实施数据管理培训——对各级组织培训,提高数据管理的认知从以下5个领域衡量变革管理的程度: 1.意识到需要改变2.希望参与并支持变革 3.知道如何改变4.具备实施新技能和行为的能力 5.保持持续变革实施新的指标和关键绩效——重新调整员工激励措施,以支持与数据管理最佳实践相关的行为,还应该鼓励跨部门活动和协作

5.参与问题管理

问题管理是识别、量化、划分优先级和解决与数据治理相关的问题的过程,包括:

授权——关于决策权和程序的问题变更管理升级——升级变更过程中出现问题的流程合规性——满足合规性要求的问题冲突——包括数据和信息中的策略、流程、业务规则、命名、定义、标准、架构、数据所有权、及冲突中利益相关方的关注点一致性——策略、标准、架构和流程一致性的问题合同——协商和审查数据共享协议。购买、销售数据、云存储等数据安全和身份识别——隐私和保密的问题,包括违规调查数据质量——检测和检查数据质量,包括灾难事件或安全漏洞

数据治理需要建立控制机制和流程

识别、收集、记录和更新问题各项活动的评估和跟踪记录利益相关方的观点和可解决方案确定、记录和传达问题解决的方案促进客观、中立的讨论,听取各方意见问题升级到更高权限级别。数据管理团队/业务单元(BU)数据治理解决80-85%。数据治理委员会解决<20%.数据治理指导委员会解决<5%

通过问题管理为数据治理团队建立了信任,减轻了生产支持团队的负担,对数据消费者有直接、积极的影响。通过解决问题也证明了数据管理和质量的提高。

6.评估法规遵从性要求

数据治理的部分功能是监督并确保合规。

合规性通常是实施数据管理的初始原因

对管理信息资产有重大影响的部分全球性法规如下:

会计准则BCBS239(巴塞尔银行监管委员会)CPG235(澳大利亚审慎监管局)PCI-DSS(支付卡行业数据安全标准)偿付能力标准II隐私法

数据治理组织与其他业务和技术的领导一起评估各种法规的影响评估过程中必须确定:

与组织相关的法规有哪些?什么是数据合规性?实现合规性需要什么样的策略和流程?什么时候需要合规?以及什么时候监控合规性?组织能否采用行业标准来实现合规性?如何证明合规性?违规的风险和处罚是什么?如何识别和报告不合规情况?如何管理和纠正不合规情况?

3.2.3实施数据治理

数据治理不可能一夜之间实现。

最佳方式是创建一个实施路线图,说明不同活动间的关系和整体时间框架。例如治理项目的重点是合规性,则优先可能由特定的法规要求驱动。

有一些数据治理的工作是基础性的,基础性的分为初始阶段和持续阶段

高优先级的前期工作包括:

定义可满足优先级目标的数据治理流程建立业务术语表,记录术语和标准协调企业架构师和数据架构师,帮助他们更好地理解数据和系统为数据资产分配财务价值,以实现更好的决策,提高数据在组织中所起作用的理解。

1.发起数据标准和流程

标准被定义为“用来判断其他事物质量的好东西”或由“权威建立和确定,作为衡量数据、重量、范围、价值或质量的规则”。

标准提供了一种比较方法,所以其有助于质量的定义。

数据治理的标准应该是强制性的。

数据标准通常由数据管理专业人员起草。数据标准必须得到有效沟通、监控、并被定期审查和更新。必须有强制手段,对数据可以根据标准进行测量。

数据管理知识领域内标准化的概念如下:

数据架构。它包含企业级数据模型、工具标准和系统命名规范。数据建模和设计。它包括数据模型管理程序、数据模型的命名规范、定义标准、标准域、标准缩写等。数据存储和操作。它包括标准工具、数据库恢复和业务连续性标准、数据库性能、数据留存和外部数据采集。数据安全。包括数据访问安全标准、监控和审计程序、存储安全标准和培训标准。数据集成。它是用于数据集成和数据互操作的标准方法、工具。文件和内容。它包含内容管理标准及程序,包括企业分类法的使用。参考数据和主数据。包括参考数据管理控制流程、数据记录系统、建立标准及授权应用、实体解析标准。数据仓库和商务智能。它包括工具标准、处理标准和流程、包括和可视化格式标准、大数据处理标准。元数据。获取技术和业务元数据,包括元数据集成和使用流程。数据质量。包括数据质量规则、标准测量方法、数据补救和流程。大数据和数据科学。包含数据源识别、授权、获取、记录系统、共享和刷新。

2.制定业务术语表

由于人们说话用词习惯不同,所以建立术语表是必要的。通常由数据管理专员负责整理业务术语表的内容。

术语表是在组织内部共享词汇的一种方法。开发、记录标准数据定义,可以减少歧义混乱,提升沟通效率。

术语表不仅是术语和定义的列表,还要同其他有价值的元数据关联,包括同义词、度量、血缘、业务规则,负责管理术语的人员等。

术语表通常包括:

对核心业务概念和术语表有共同的理解降低由于对业务概念理解不一致而导致数据误使用的风险改进技术资产(包括技术命名规范 )与业务组织一致最大限度地提高搜索能力,并能够获得记录在案的组织知识

3.协调架构团队协作

企业数据模型应与关键业务战略、流程、组织和系统保持一致性。在管理数据资产方面,数据战略和数据架构是在“作正确的事”与“正确地做事”之间协调的核心。

4.发起数据资产估值

数据和信息是具有价值或者可以创造价值的资产。

信息缺口——所需信息和可用信息之间的差异——代表业务负债。

弥补或防止差距的成本可用于估算数据丢失的业务价值,参考这个思路,组织可以开发模型来评估实际存在信息的价值。

可以将价值评估过程构建在数据战略路线图中,为质量问题的解决方案以及其他治理方案的业务案例提供依据。

3.2.4嵌入数据治理

数据治理的一个目标是将数据治理活动嵌入到数据作为资产管理相关的一系列流程中。治理的持续运作需要规划。

运营计划包含实施和运营数据治理活动所需的事件,包括维持成功所需的活动、时间和技术。

可持续性意味着采取行动,保证流程和资金到位,以确保可持续地执行数据治理组织框架。这一要求的核心是组织接受数据治理,实现管理职能,监控和测量其结果,并克服数据治理不稳定或失败的障碍。

3.3工具和方法

数据治理从根本上讲是关于组织行为的,不是一个可以通过技术解决的问题。但仍需要一些工具支持整个过程。工具选择前,应该通过定义总体治理目标和需求来选择适合的工具。

3.3.1线上应用/网站

数据治理规划的网站应包括:

数据治理战略和项目章程数据制度和数据标准数据管理制度的角色和职责说明数据治理相关新闻公告指向相关数据治理社区论坛的链接指向相关数据治理主体执行进展的链接数据质量测试报告问题识别和上报的规程请求服务或获取问题的入口相关在线资源的描述和连接、演示文档和培训计划数据管理实施路线图

3.3.2业务术语表

术语表是数据治理的核心工具(详细见3.2.3中的制定业务术语表)

3.3.3工作流工具

更大的组织可能会考虑使用强大的工作流工具来管理流程,如实施新的数据治理策略。通过这些工具将流程连接到文档,这在策略管理和解决中非常有用。

3.3.4文档管理工具

治理团队经常使用文档管理工具协助管理策略和规程

3.3.5数据治理计分卡

它是跟踪数据治理活动和制度遵从性的指标集合

3.4实施指南

一旦定义了数据治理的规程、制定了运营计划,组织即可启动实施数据治理。

数据治理要么起始于一些重大项目(如MDM主数据管理),要么通过区域或者部门试点大多数推广策略都是渐进式的。

3.4.1组织和文化

数据治理通过改变组织行为来提升价值。有效而持久的数据治理需要组织文化的转变和持续的变革管理,文化包括组织思维和数据行为。

组织变革目标是可持续性的。可持续性是过程的质量监控。以此衡量过程持续增值的难易程度。维持数据治理规程需要对变化做出计划

3.4.2调整与沟通

数据治理团队要有灵活性,并且能够随着条件的变化调整相应的方法。

管理和沟通变更所需的工具包括:

业务战略/数据治理战略蓝图。这些蓝图治理活动与业务需求联系起来。数据治理路线图。路线图不应刻板、僵化,而应适应业务环境或优先级的变化进行调整。数据治理的持续业务案例。业务案例必须定期被调整,以反映组织不断变化的优先级和财务状况。数据治理指标

3.5度量指标

数据治理项目必须要有通过证明数据治理参与者如何增加业务价值和实现目标的指标来衡量进展和成功。

为管理所需行为变化,要着重衡量数据治理的推广进展、与治理需求的符合程度以及数据治理为组织带来的价值。

重点是充实和强化治理价值的指标。

数据治理指标示例包括:

(1)价值

对业务目标的贡献风险的降低运营效率的提高

(2)有效性

目标的实现扩展数据管理专员正在使用的相关工具沟通的有效性培训的有效性采纳变革的速度

(3)可持续性

制度和流程的执行情况(即它们是否正常工作)标准和规则的遵从情况(即员工是否在必要时遵守指导和改变行为)

声明:未经许可,严禁抄袭。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。