數(shù)據(jù)管理能力成熟度評價模型(GB/T36073-2018, DCMM)作為我國首個數(shù)據(jù)管理領(lǐng)域國家標準,將組織內(nèi)部數(shù)據(jù)能力劃分為數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治理、數(shù)據(jù)架構(gòu)、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)應(yīng)用、數(shù)據(jù)生存周期8大能力域及28個能力項。
數(shù)據(jù)質(zhì)量
數(shù)據(jù)質(zhì)量是指在指定條件下使用時,數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。該能力域下有4個能力項:數(shù)據(jù)質(zhì)量需求、數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)質(zhì)量分析、數(shù)據(jù)質(zhì)量提升。
一、數(shù)據(jù)質(zhì)量需求
數(shù)據(jù)質(zhì)量需求明確數(shù)據(jù)質(zhì)量目標,根據(jù)業(yè)務(wù)需求及數(shù)據(jù)要求制定用來衡量數(shù)據(jù)質(zhì)量的規(guī)則,包括衡量數(shù)據(jù)質(zhì)量的技術(shù)指標、業(yè)務(wù)指標以及相應(yīng)的校驗規(guī)則與方法。
數(shù)據(jù)質(zhì)量需求是度量和管理數(shù)據(jù)質(zhì)量的依據(jù),需要依據(jù)組織的數(shù)據(jù)管理目標、業(yè)務(wù)管理的需求和行業(yè)的監(jiān)管需求并參考相關(guān)標準來統(tǒng)一制定、管理。
1.1 過程描述
a) 定義數(shù)據(jù)質(zhì)量管理目標,依據(jù)組織管理的需求,參考外部監(jiān)管的要求,明確組織數(shù)據(jù)質(zhì)量管理目標;
b) 定義數(shù)據(jù)質(zhì)量評價維度,依據(jù)組織數(shù)據(jù)質(zhì)量管理的目標,制定組織數(shù)據(jù)質(zhì)量評估維度,指導(dǎo)數(shù)據(jù)質(zhì)量評價工作的開展;
c) 明確數(shù)據(jù)質(zhì)量管理范圍,依據(jù)組織業(yè)務(wù)發(fā)展的需求以及常見數(shù)據(jù)問題的分析,明確組織數(shù)據(jù)質(zhì)量管理的范圍,梳理各類數(shù)據(jù)的優(yōu)先級以及質(zhì)量需求;
d) 設(shè)計數(shù)據(jù)質(zhì)量規(guī)則,依據(jù)組織的數(shù)據(jù)質(zhì)量管理需求及目標,識別數(shù)據(jù)質(zhì)量特性,定義各類數(shù)據(jù)的質(zhì)量評價指標、校驗規(guī)則與方法,并根據(jù)業(yè)務(wù)發(fā)展需求及數(shù)據(jù)質(zhì)量檢查分析結(jié)果對數(shù)據(jù)質(zhì)量規(guī)則進行持續(xù)維護與更新。
1.2 過程目標
a) 形成明確的數(shù)據(jù)質(zhì)量管理目標;
b) 明確各類數(shù)據(jù)質(zhì)量管理需求;
c) 建立持續(xù)更新的數(shù)據(jù)質(zhì)量規(guī)則庫。
1.3 能力等級標準
第1級:初始級
在項目中分析了數(shù)據(jù)質(zhì)量的管理需求,并進行了相關(guān)的管理。
第2級:受管理級
1) 制定數(shù)據(jù)質(zhì)量需求相關(guān)模板,明確相關(guān)管理規(guī)范;
2) 在組織或業(yè)務(wù)部門識別了關(guān)鍵數(shù)據(jù)的質(zhì)量需求;
3) 設(shè)計滿足本業(yè)務(wù)部門需求的數(shù)據(jù)質(zhì)量評價指標,并建立了數(shù)據(jù)質(zhì)量規(guī)則庫。
第3級:穩(wěn)健級
1) 明確組織層面的數(shù)據(jù)質(zhì)量目標,統(tǒng)一數(shù)據(jù)質(zhì)量需求相關(guān)模板、管理機制;
2) 建立數(shù)據(jù)認責(zé)機制,明確各類數(shù)據(jù)管理人員以及相關(guān)職責(zé),制定各類數(shù)據(jù)的優(yōu)先級和質(zhì)量管理需求;
3) 數(shù)據(jù)質(zhì)量目標的制定考慮了外部監(jiān)管、合規(guī)方面的要求;
4) 設(shè)計組織統(tǒng)一的數(shù)據(jù)質(zhì)量評價體系以及相應(yīng)的規(guī)則庫;
5) 明確新建項目中數(shù)據(jù)質(zhì)量需求的管理制度,統(tǒng)一管理權(quán)限。
第4級:量化管理級
1) 數(shù)據(jù)質(zhì)量需求能滿足業(yè)務(wù)管理的需要,融入數(shù)據(jù)生存周期管理的各個階段;
2) 數(shù)據(jù)質(zhì)量評價指標體系的制定參考了國家、行業(yè)相關(guān)標準;
3) 量化衡量數(shù)據(jù)質(zhì)量規(guī)則庫運行的有效性,持續(xù)改善優(yōu)化數(shù)據(jù)質(zhì)量規(guī)則庫。
第5級:優(yōu)化級
在業(yè)界分享最佳實踐,成為行業(yè)標桿。
二、數(shù)據(jù)質(zhì)量檢查
數(shù)據(jù)質(zhì)量檢查根據(jù)數(shù)據(jù)質(zhì)量規(guī)則中的有關(guān)技術(shù)指標和業(yè)務(wù)指標、校驗規(guī)則與方法對組織的數(shù)據(jù)質(zhì)量情況進行實時監(jiān)控,從而發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題,并向數(shù)據(jù)管理人員進行反饋。
2.1 過程描述
a) 制定數(shù)據(jù)質(zhì)量檢查計劃,根據(jù)組織數(shù)據(jù)質(zhì)量管理目標的需要,制定統(tǒng)一的數(shù)據(jù)質(zhì)量檢查計劃;
b) 數(shù)據(jù)質(zhì)量情況剖析,首先根據(jù)計劃對系統(tǒng)中的數(shù)據(jù)進行剖析,查看數(shù)據(jù)的值域分布、填充率、規(guī)范性等,切實掌握數(shù)據(jù)質(zhì)量實際情況;
c) 數(shù)據(jù)質(zhì)量校驗,依據(jù)預(yù)先配置的規(guī)則、算法,對系統(tǒng)中的數(shù)據(jù)進行校驗;
d) 數(shù)據(jù)質(zhì)量問題管理,包括問題記錄、問題查詢、問題分發(fā)和問題跟蹤。
2.2 過程目標
a) 制定數(shù)據(jù)質(zhì)量檢查計劃;
b) 全面監(jiān)控組織數(shù)據(jù)質(zhì)量情況;
c) 建立數(shù)據(jù)質(zhì)量問題管理機制。
2.3 能力等級標準
第1級:初始級
基于出現(xiàn)的數(shù)據(jù)問題,開展數(shù)據(jù)質(zhì)量檢查工作。
第2級:受管理級
1) 定義了數(shù)據(jù)質(zhì)量檢查方面的管理制度和流程,明確數(shù)據(jù)質(zhì)量檢查的主要內(nèi)容和方式;
2) 業(yè)務(wù)部門根據(jù)需要進行數(shù)據(jù)質(zhì)量剖析和校驗;
3) 在各新建項目的設(shè)計和實施過程中參考了數(shù)據(jù)質(zhì)量規(guī)則的要求。
第3級:穩(wěn)健級
1) 明確組織級統(tǒng)一的數(shù)據(jù)質(zhì)量檢查制度、流程和工具,定義了相關(guān)人員的職責(zé);
2) 根據(jù)組織內(nèi)外部的需要,制定了組織級的數(shù)據(jù)質(zhì)量檢查計劃;
3) 在組織層面統(tǒng)一開展數(shù)據(jù)質(zhì)量的校驗,幫助數(shù)據(jù)管理人員及時發(fā)現(xiàn)各自的數(shù)據(jù)質(zhì)量問題;
4) 在組織層面建立數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn)、告警機制,明確數(shù)據(jù)質(zhì)量責(zé)任人員;
5) 建立了數(shù)據(jù)質(zhì)量相關(guān)考核制度,明確了數(shù)據(jù)質(zhì)量責(zé)任人員考核的范圍和目標;
6) 明確新建項目各個階段數(shù)據(jù)質(zhì)量的檢查點、檢查模板,強化新建項目數(shù)據(jù)質(zhì)量檢查的管理。
第4級:量化管理級
1) 定義并應(yīng)用量化指標,對數(shù)據(jù)質(zhì)量檢查和問題處理過程進行有效分析,可及時對相關(guān)制度和流程進行優(yōu)化;
2) 數(shù)據(jù)質(zhì)量管理納入業(yè)務(wù)人員日常管理工作中,可主動發(fā)現(xiàn)并解決相關(guān)問題。
第5級:優(yōu)化級
在業(yè)界分享最佳實踐,成為行業(yè)標桿。
三、數(shù)據(jù)質(zhì)量分析
數(shù)據(jù)質(zhì)量分析是對數(shù)據(jù)質(zhì)量檢查過程中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題及相關(guān)信息進行分析,找出影響數(shù)據(jù)質(zhì)量的原因,并定義數(shù)據(jù)質(zhì)量問題的優(yōu)先級,作為數(shù)據(jù)質(zhì)量提升的參考依據(jù)。
3.1 過程描述
a) 數(shù)據(jù)質(zhì)量分析方法和要求,整理組織數(shù)據(jù)質(zhì)量分析的常用方法,明確數(shù)據(jù)質(zhì)量分析的要求;
b) 數(shù)據(jù)質(zhì)量問題分析,深入分析數(shù)據(jù)質(zhì)量問題產(chǎn)生的根本原因,為數(shù)據(jù)質(zhì)量提升提供參考;
c) 數(shù)據(jù)質(zhì)量問題影響分析,根據(jù)數(shù)據(jù)質(zhì)量問題的描述以及數(shù)據(jù)價值鏈的分析,評估數(shù)據(jù)質(zhì)量對于組織業(yè)務(wù)開展、應(yīng)用系統(tǒng)運行等方面的影響,形成數(shù)據(jù)質(zhì)量問題影響分析報告;
d) 數(shù)據(jù)質(zhì)量分析報告,包括對數(shù)據(jù)質(zhì)量檢查、分析等過程累積的各種信息進行匯總、梳理、統(tǒng)計和分析;
e) 建立數(shù)據(jù)質(zhì)量知識庫,收集各類數(shù)據(jù)質(zhì)量案例、經(jīng)驗和知識,形成組織的數(shù)據(jù)質(zhì)量知識庫。
3.2 過程目標
a) 建立數(shù)據(jù)質(zhì)量問題評估分析方法;
b) 定期分析組織數(shù)據(jù)質(zhì)量情況;
c) 建立持續(xù)更新的數(shù)據(jù)質(zhì)量知識庫。
3.3 能力等級標準
第1級:初始級
基于出現(xiàn)的數(shù)據(jù)質(zhì)量問題進行分析和評估。
第2級:受管理級
1) 在某些業(yè)務(wù)部門建立數(shù)據(jù)質(zhì)量問題評估分析方法,制定數(shù)據(jù)質(zhì)量報告模板;
2) 對數(shù)據(jù)質(zhì)量問題進行分析,明確數(shù)據(jù)質(zhì)量問題原因和影響;
3) 在某些業(yè)務(wù)部門建立數(shù)據(jù)質(zhì)量報告。
第3級:穩(wěn)健級
1) 制定組織層面的數(shù)據(jù)質(zhì)量問題評估分析方法,制定統(tǒng)一的數(shù)據(jù)質(zhì)量報告模板,明確了數(shù)據(jù)質(zhì)量問題分析的要求;
2) 制定數(shù)據(jù)質(zhì)量問題分析計劃,定期進行數(shù)據(jù)質(zhì)量問題分析;
3) 對關(guān)鍵數(shù)據(jù)質(zhì)量問題的根本原因、影響范圍進行分析;
4) 組織定期編制數(shù)據(jù)質(zhì)量報告,并發(fā)送至利益相關(guān)者進行審閱;
5) 建立數(shù)據(jù)質(zhì)量分析案例庫,提升組織人員對于數(shù)據(jù)質(zhì)量的關(guān)注度;
6) 對產(chǎn)生的信息進行知識總結(jié),建立數(shù)據(jù)質(zhì)量知識庫。
第4級:量化管理級
1) 建立數(shù)據(jù)質(zhì)量問題的經(jīng)濟效益評估模型,分析數(shù)據(jù)質(zhì)量問題的經(jīng)濟影響;
2) 通過數(shù)據(jù)質(zhì)量分析報告及時發(fā)現(xiàn)潛在的數(shù)據(jù)質(zhì)量風(fēng)險,預(yù)防數(shù)據(jù)質(zhì)量問題的發(fā)生;
3) 持續(xù)改善優(yōu)化數(shù)據(jù)質(zhì)量知識庫。
第5級:優(yōu)化級
1) 通過數(shù)據(jù)質(zhì)量分析提升員工數(shù)據(jù)質(zhì)量的意識,建立良好的數(shù)據(jù)質(zhì)量文化;
2) 在業(yè)界分享最佳實踐,成為行業(yè)標桿。
四、數(shù)據(jù)質(zhì)量提升
數(shù)據(jù)質(zhì)量提升是對數(shù)據(jù)質(zhì)量分析的結(jié)果,制定、實施數(shù)據(jù)質(zhì)量改進方案,包括錯誤數(shù)據(jù)更正、業(yè)務(wù)流程優(yōu)化、應(yīng)用系統(tǒng)問題修復(fù)等,并制定數(shù)據(jù)質(zhì)量問題預(yù)防方案,確保數(shù)據(jù)質(zhì)量改進的成果得到有效保持。
4.1 過程描述
a) 制定數(shù)據(jù)質(zhì)量改進方案,根據(jù)數(shù)據(jù)質(zhì)量分析的結(jié)果,制定數(shù)據(jù)質(zhì)量提升方案;
b) 數(shù)據(jù)質(zhì)量校正,采用數(shù)據(jù)標準化、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)整合等手段和技術(shù),對不符合質(zhì)量要求的數(shù)據(jù)進行處理,并糾正數(shù)據(jù)質(zhì)量問題;
c) 數(shù)據(jù)質(zhì)量跟蹤,記錄數(shù)據(jù)質(zhì)量事件的評估、初步診斷和后續(xù)行動等信息,驗證數(shù)據(jù)質(zhì)量提升的有效性;
d) 數(shù)據(jù)質(zhì)量提升,對業(yè)務(wù)流程進行優(yōu)化,對系統(tǒng)問題進行修正,對制度和標準進行完善,防止將來同類問題的發(fā)生;
e) 數(shù)據(jù)質(zhì)量文化,通過數(shù)據(jù)質(zhì)量相關(guān)培訓(xùn)、宣貫等活動,持續(xù)提升組織數(shù)據(jù)質(zhì)量意識,建立良好的數(shù)據(jù)質(zhì)量文化。
4.2 過程目標
a) 建立數(shù)據(jù)質(zhì)量持續(xù)改進策略;
b) 制定數(shù)據(jù)質(zhì)量改進方案;
c) 建立良好的數(shù)據(jù)質(zhì)量文化。
4.3 能力等級標準
第1級:初始級
對業(yè)務(wù)部門或應(yīng)用系統(tǒng)中出現(xiàn)的數(shù)據(jù)問題進行數(shù)據(jù)質(zhì)量校正。
第2級:受管理級
1) 制定數(shù)據(jù)質(zhì)量問題提升的管理制度,指導(dǎo)數(shù)據(jù)質(zhì)量提升工作;
2) 明確數(shù)據(jù)質(zhì)量提升的利益相關(guān)者及其職責(zé);
3) 批量進行數(shù)據(jù)質(zhì)量問題更正,建立數(shù)據(jù)質(zhì)量跟蹤記錄;
4) 根據(jù)數(shù)據(jù)質(zhì)量問題的分析,制定并實施數(shù)據(jù)質(zhì)量問題預(yù)防方案。
第3級:穩(wěn)健級
1) 建立組織層面的數(shù)據(jù)質(zhì)量提升管理制度,明確數(shù)據(jù)質(zhì)量提升方案的構(gòu)成;
2) 結(jié)合利益相關(guān)者的訴求制定數(shù)據(jù)質(zhì)量提升工作計劃,并監(jiān)督執(zhí)行;
3) 定期開展數(shù)據(jù)質(zhì)量提升工作,對重點問題進行匯總分析,制定數(shù)據(jù)質(zhì)量提升方案,從業(yè)務(wù)流程優(yōu)化、系統(tǒng)改進、制度和標準完善等層面進行提升;
4) 明確數(shù)據(jù)質(zhì)量問題責(zé)任人,及時處理出現(xiàn)的問題,并提出相關(guān)建議;
5) 持續(xù)開展培訓(xùn)和宣貫,建立組織數(shù)據(jù)質(zhì)量文化氛圍。
第4級:量化管理級
1) 組織中的管理人員、技術(shù)人員、業(yè)務(wù)人員能協(xié)同推動數(shù)據(jù)質(zhì)量提升工作;
2) 能通過量化分析的方式對數(shù)據(jù)質(zhì)量提升過程進行評估,并對管理過程和方法進行優(yōu)化。
第5級:優(yōu)化級
1) 開展數(shù)據(jù)質(zhì)量提升工作,避免相關(guān)問題的發(fā)生,形成良性循環(huán);
2) 業(yè)界分享最佳實踐,成為行業(yè)標桿。