有效提高物料資料質量：我在專案經驗中總結出了這八個步驟

一、總體規劃

企業物料資料管理部門對物料資料質量的提升制定總體規劃，包括物料資料提升的目標、提升過程以及提升階段規劃。

1. 物料資料質量提升目標

詳細制定物料資料質量提升的具體方面和該方面的具體目標，目標一定要量化、可測量、可實現，下表是物料資料質量提升目標示例。

2. 物料資料質量提升過程

物料資料質量的提升過程主要包括：收集原始資料分析資料質量問題、制定物料資料標準、搭建物料資料管理平臺、清洗物料資料、整合相關係統應用物料主資料、確定物料主資料運維組織和流程、進行物料資料質量檢查、績效考核及資料質量最佳化等。

3. 物料資料質量實現路徑

物料資料質量的提升是一個持續最佳化和改進的過程，因此是在總體規劃目標的基礎上分階段實現的，下圖是物料資料質量提升實現路徑示例。

二、組織建設

制定完總體目標就要進行組織建設，物料資料質量管理組織是提升物料資料質量的重要前提，只有建立高效可控的組織，才能實現資料質量目標的迅速下達和高效執行。

一般物料資料質量組建立在資料治理委員會下的主資料標準化管理辦公室中，這樣保障組織從戰略層面到執行層面的垂直集中管理。

下圖是物料資料質量管理組織架構示例：

三、標準建設

物料主資料標準是保障和提升物料資料質量的法規依據，物料主資料標準定製的科學性將直接導致未來物料資料質量的優劣。因此，在制定物料主資料標準時一定要由不同物料類別的物料專家組成物料專家組進行物料主資料標準的制定工作。

物料主資料標準主要包括：編碼標準、分類標準、描述標準和提報指南。如下圖所示：

1. 編碼標準

根據世界或國內500強大型集團企業物料資料編碼標準最佳實踐，大部分企業採用流水碼作為物料主資料編碼規則，下圖是物料主資料編碼標準示例。

2. 分類標準

物料分類標準是整個物料程式碼體系的基石，從某種程度上說物料分類是否科學決定了物料程式碼體系結構的優劣，因此必須制定科學合理的物料分類原則。

下圖是物料資料分類目的和基本原則示例：

根據物料資料分類原則，確定物料分類的編碼規則。

下圖是物料分類編碼規則示例：

根據物料資料分類原則，組織物料專家進行物料分類標準的編制。

下圖是物料分類標準大類示例：

3. 描述標準

物料描述標準是對某一類物料描述規則的定義，目的在於解決物料描述的規範化問題。

包括物料主要自然屬性、取值範圍和相互關係的確定，主要由特徵量及特徵量相關關係（如連線符、前置符、後置符等）組成。

下圖是物料描述標準的示例：

根據描述標準，形成具體物料資料描述規則，從而形成物料資料質量檢查規則的重要組成部分。

4. 提報指南

為了規範物料編碼應用、提高物料資料質量、縮短物料程式碼提報和稽核實踐，需要組織編碼稽核人員結合業務實際，對物料的分類標準、描述標準以及填寫物料條目提報時的注意事項進行詳細的說明。

同時，還要對稽核過程中發現的問題進行歸納總結，編制《物料程式碼提報稽核指南》，指導企業內所有涉及物料應用的單位和部門。

四、搭建平臺

制訂了物料資料標準後，就要把物料資料標準內建到物料主資料管理平臺，透過物料主資料管理平臺實現物料資料的標準管理、資料清洗、物料主資料從建立、稽核、釋出、修改、凍結、歸檔的全生命週期管理、物料資料質量管理等。

五、清洗資料

搭建平臺後，就能夠根據制定的物料資料標準開展資料清洗工作，物料資料清洗是有效提高歷史物料資料質量的基礎性工作。

1. 歷史物料資料清洗的目的

歷史物料資料清洗就是按照新發布的物料分類標準、描述標準進行梳理，形成標準、規範、準確的物料資料。

下圖說明了物料資料清洗的效果：

2. 物料資料清洗的流程

一般來講，工業企業物料資料量非常大，需要科學有序的組織，才能保障物料資料清洗質量。

1. 首先，明確人員分工，包乾到戶；
2. 然後，正確標定每一個物料的小類；
3. 再後，根據物料資料描述標準進行物料資料清洗；
4. 最後，由稽核組長對清洗後的物料進行稽核。
5. 最終，經過稽核後的物料資料形成可供相應系統共享應用的物料程式碼。

下圖是物料資料清洗流程示例：

3. 物料資料清洗的過程

物料資料清洗的過程主要包括：對收集的歷史物料資料歸類、物料資料有效性分析、識別需要清洗的物料、對物料資料進行規範、進行物料資料清洗、進行物料資料查重、進行物料資料轉換、進行物料資料特徵值調整、進行物料資料應用切換、對無效物料資料進行刪除。

下圖是物料清洗過程的示例：

4. 物料資料清洗的成果

清洗後的物料資料就能達到物料資料質量要求的唯一性、完整性、準確性等要求，同時在物料資料管理系統中生成了物料程式碼，可供需要使用物料資料的資訊系統進行整合共享使用。

下圖是物料資料清洗後規範的物料主資料示例：

六、服務整合

物料資料在清洗後，必須透過系統整合，保整物料主資料來源頭資料質量的基礎上，各相關應用系統必須使用統一的物料資料，才能保證各系統中物料資料的一致性、準確性、及時性。

1. 系統整合方案

企業通常採用透過ESB匯流排（資料整合平臺）實現物料主資料與業務系統的整合，從而實現物料資料在各業務系統中的統一使用。

資料分發策略可以採用人工觸發、定時觸發、批次使用等模式。

2. 資料切換方案

制定合理的物料資料切換方案是物料資料在各系統應用落地的重要策略：

1. 如何處理已建系統中物料資料和標準物料之間的關係；
2. 如何處理在建系統中物料資料和標準物料之間的關係；
3. 如何處理待建系統中物料資料和標準物料之間的關係。

只有處理好三種關係，才能保障物料資料的真正落地。

下圖是物料資料切換方案策略示例：

七、運維支援

建立標準化的運維團隊是保障物料資料質量的堅實保障。

透過物料資料運維團隊，從物料專業化的角度審批提報的物料資料，保障物料資料的準確性；從審批效率的角度及時審批提報的物料，提高物料資料的及時性；從資料質量的角度對物料資料進行審查，保證物料資料的高質量。

下圖是物料資料運維過程的示例：

八、最佳化提升

企業物料資料量大，很難一次性將質量提升到位。因此，就需要建立物料資料質量最佳化提升機制，採取PDCA的方法開展物料資料質量提升工作。

下圖是PDCA質量提升示例：

1. 建立物料資料質量規則

根據物料資料標準，建立物料資料質量規則庫，規則庫要涵蓋：唯一性校驗規則、完整性校驗規則、一致性校驗規則、準確性校驗規則等，保證質量規則的全面性和可擴充套件性。

具體校驗要求包括：空值檢查、邏輯檢查、值域檢查、重複檢查、引用檢查、結果對比等。

2. 實施物料資料質量檢查

將制定的物料資料質量檢查規則內建到物料資料質量管理平臺，抽取不同系統中物料資料形成待檢查清單，啟動物料資料質量規則引擎。

實現待檢查物料資料清單和物料資料管理系統中的標準物料資料進行對標校驗，物料資料質量檢查後形成物料資料質量報告。

3. 實施物料資料質量改進

按照規劃中制定的物料資料質量提升目標，參照物料資料質量報告，開展物料資料質量改進活動。

對不符合物料資料質量規則的物料資料進行處置，以達到資料質量改進目標的要求，同時修正後的資料要進行再次校驗以保障質量改進的結果，尤其注意物料資料質量改進的閉環管理。

本文由 @王建峰 原創釋出於人人都是產品經理，未經許可，禁止轉載

題圖來自 Pexels，基於 CC0 協議