針對吉林油田上述實際需求，美創科技通過自主研發的數據支撐平臺實現數據清洗、轉換、同步和加載工作。該平臺通過對業務系統數據進行標準化，向數據倉庫或大數據平臺提供高質量數據，支持異構數據遷移、基于數據庫日志的數據實時復制、ETL開發、分布式處理等功能。具體如下：
數據清洗人物配置管理模塊
清洗模塊是整個清洗工具的控制中心，實現清洗數據源的連接信息、清洗表的設置，并且記錄清洗信息。
清洗規則管理模塊
包含各類清洗算法的運行參數、數據質量指標等，如重復記錄清洗算法的閾值、異常值檢測的標準、基于業務規則的清洗算法的業務邏輯等。
清洗算法管理模塊
對重復數據檢測算法、不完整數據檢測算法和字段匹配算法、異常值檢測算法等進行靈活定義和配置。
擴展模塊管理
通過擴展模塊允許向數據清洗工具中加入完全定制化的清洗方法和流程，負責將編譯好的擴展清洗方法及描述信息保存到擴展模塊配置中，清洗任務可以靈活的選擇相應的擴展清洗方法。
清洗日志管理
實現清洗動作的可追溯性，清洗任務會自動保存到清洗日志表中，不能自動清洗的為異常。通過清洗日志管理模塊可以對清洗任務進行查詢，并對異常數據進行手工處理。
算法和規則配置管理
通過選擇不同的清洗方法和規則實現數據清洗的需求。算法庫管理：通過配置管理界面，將已實現算法編譯后的類加載到算法庫，并在算法庫中維護算法的描述信息便于以后的配置管理；規則庫管理：工具中的清洗規則都維護在系統規則表中，將規則代碼和規則相對應管理。
擴展清洗模塊
增強數據清洗工具和數據類型的靈活性，在滿足擴展模塊接口的前提下，定制數據清洗流程進行數據清洗工作。
安全測評
系統上線前開展代碼安全測評，并出具第三方測評機構出具評測報告。
浙公網安備 33010502006954號 
