隨著企業各項業務的快速發展，以及IT系統應用的越來越普遍，企業內部的業務生產系統產生并積累了大量的敏感信息和數據，如卡號、客戶姓名、身份證號、交易記錄等。
在日常業務管理、信息系統運行過程中有大量的場景需要使用到這些數據，如業務部門經營分析使用、配合監管部門完成現場與非現場檢查、測試數據的生成和使用等。根據國家監管政策及銀監會等監管部門針對數據安全管理的要求和指引，各單位制定并發布了數據脫敏相關管理辦法，但在具體落實時在技術防范措施方面還有所欠缺。
企業中主要采用從各生產系統手工抽取敏感數據，臨時編寫數據處理腳本進行簡單的字符替換，以遮蓋數據中的敏感內容。此方法存在很大的風險：
一方面，簡單替換部分敏感字段無法滿足數據關聯性和唯一性等業務要求，導致脫敏后的數據無法在測試系統中關聯使用；
另一方面，數據脫敏手工完成，工作效率較低；
此外，有些脫敏規則是可逆的，而敏感信息的可逆將導致敏感數據的泄露。
因此，亟需通過有效技術手段來進行數據脫敏，降低敏感數據泄密風險，保障數據安全。所以，從符合監考要求和實際應用角度需要有相應的技術方案滿足實際需要。
目前，國際及國內市場上的脫敏系統產品主要面向政府、機關及企業客戶，提供對生產環境中數據庫數據的脫敏處理，保護數據在研發、測試及數據分析過程的隱私數據保護。通過部署數據脫敏系統，對脫離生產環境的敏感數據進行變形或屏蔽等不同的脫敏操作，并使脫敏后的數據信息保留其原始數據格式和數據屬性的關聯性，以確保業務數據在數據分析、開發和測試過程中正常的運行，同時提高測試類、分析類數據使用的安全性。
靜態脫敏的應用場景及特點
生產環境中的業務數據到開發測試環境中的數據脫敏處理。脫敏處理方式主要包括：數據庫到數據庫、數據庫到文件、文件到文件、文件到數據庫。
圖示：靜態脫敏方式
根據脫敏系統的實際應用情況，存在兩種普遍的應用模式：工具化應用場景和平臺化應用場景。
工具化場景特點：提供對數據的脫敏處理，來源于ETL工具的處理思路，在實際應用中作為工具使用。基本處理方式是操作人員選擇生產庫數據進行脫敏，脫敏后輸出數據到目標庫中，一個任務執行完成后系統就處于等待狀態，待下一個任務創建和運行。
圖示：工具化應用場景
平臺化場景特點：將脫敏系統作為數據安全處理的一個關鍵環節，將企業內的多個系統進行對接，形成企業內部業務流程驅動的數據處理（數據梳理、數據脫敏）平臺，解決數據處理過程中的數據安全問題。平臺化應用場景中，往往會有系統的流程對接，操作人員通過客戶的IT運維管理系統進行脫敏任務工單的發起，然后經過相關的數據管理部門、安全部門的審批并分配數據訪問權限，將脫敏任務相關的信息推送到脫敏服務器中執行，包括敏感數據的發現、梳理、脫敏、數據輸出、消息推送、輸出報告等。同時，會將脫敏過程的執行狀態信息、異常信息、脫敏結果信息等通過系統消息或者郵件方式通知到相關人員，便于相關人員及時掌握脫敏處理的運行狀態。
圖示：平臺化應用場景
靜態脫敏的部署模式
脫敏系統部署模式：單機部署模式、集群部署模式。
圖示：單機部署模式（含單服務器和成對服務器）
單機部署模式：主要包括單服務器和成對服務器兩種部署模式。
單服務器部署模式，將連接業務部門的生產數據庫，對生產數據進行抽取和數據脫敏，脫敏后的數據輸出到測試部門的測試數據庫中，供測試部門使用數據。單服務器部署模式用于客戶生產環境網絡和測試環境網絡允許通過設備進行連接的使用場景。
成對服務器部署模式，在業務部門數據出口及測試部門數據入口分別部署脫敏服務器，可將業務部門的數據進行有效隔離，通過offline的方式，滿足測試部門使用業務部門脫敏后數據的需求。多服務器模式用于客戶生產環境網絡和測試環境網絡需要隔離的使用場景。
平臺化應用場景下對脫敏系統的綜合處理能力提出了更高的要求，主要體現在：脫敏性能及吞吐量、數據發現的準確性、脫敏數據質量、脫敏系統的使用便捷性等方面。其中，尤其以脫敏性能及吞吐量作為核心評價指標。
目前的應用場景中，客戶的數據量越來越大。單次脫敏任務所涉及到的數據量動輒達到數TB的量級，導致脫敏周期非常久，影響了日常開發、測試工作的開展。
集群部署模式：
架構模式設計思路：
圖示：集群部署結構圖
集群部署架構脫敏，需要一個分布式執行任務的能力。在任意一臺脫敏設備中執行脫敏任務，該任務會運行在壓力最小的機器中(以任務及表為基礎)，從而達到可以同時并行運行多任務的能力。
主要構成說明：調度節點、脫敏節點（1個以上）、策略中心數據庫有同步機制；調度節點負責整體的任務調度及脫敏任務監控，脫敏節點負責執行脫敏任務，脫敏節點對用戶是透明的。整個集群部署結構中必須有調度節點和至少一個脫敏節點，且在調度節點中進行脫敏節點的設置。調度節點可以通過A/B設備實現調度節點的高可用。
案例：
某商業銀行總行數據量在20T左右，單表數據可達5億行以上，由于涉及到壓力測試需要導出全量數據進行脫敏，要求脫敏時間周期在72小時內完成，否則將影響測試部門的數據使用。
按單表脫敏處理，要滿足這樣的要求需要保證脫敏的處理（含數據抽取、脫敏和輸出）平均速度在81M/S以上才能滿足需要。同時，需要支持40個以上業務系統的并發處理。以工控機4核CPU，32G內存的配置計算，單臺脫敏設備顯然無法滿足客戶的高并發大數據量的脫敏需求。
表格：脫敏處理性能參數
單臺設備（環境參數為4核CPU、32G內存）的脫敏性能測試情況，根據以往的測試結果可以看出，單表822G數據量脫敏用時16小時，單位時間的處理能力在14.6M/S。按此配置，增加線程對多表進行同時處理，多表3.2T的數據量理論上處理能力可達43.8M/S。對于81M/S的處理性能，單臺設備遠遠不能達到要求。
通過增加單臺脫敏設備的硬件配置，如采購更高配置的服務器來提高脫敏的處理性能的方式可以解決這一難題，但實際應用中往往因為客戶數據庫及網絡環境的限制，即便是增加脫敏服務器的配置，同樣很難滿足需求。所以，希望有可能通過集群部署模式解決此問題。
表格：脫敏處理能力估算
在集群部署模式下，通過擴展脫敏節點數量可提高脫敏處理的并發能力。在數據總量20T的環境中，集群部署2個并發脫敏節點并行，單位時間的數據處理性能評估可達87.6M/S（此值為評估的理論數據，在實際測試環境中會有一定的偏差），20T的數據需要處理大約67小時左右，基本上能夠滿足72小時內完成20T數據脫敏的需求場景。但考慮實際的數據庫環境及網絡環境差異，會提出3個節點并發脫敏節點并行的方案，單位時間的數據處理性能評估可達131.4M/S（此值為評估的理論數據，在實際測試環境中會有一定的偏差），20T的數據需要處理大約44小時左右，完全能夠滿足72小時內完成20T數據脫敏的需求場景。
集群部署模式的價值體現：
第一，性能大幅度提升。通過集群部署，增加了脫敏處理的吞吐量，滿足了客戶在有限時間周期內大數據量脫敏處理的應用場景。
第二，系統高可用。彌補了單一脫敏設備在數據處理過程中遇到網絡環境異常、設備異常等突發事件帶來的任務中斷無法正常執行的不足，保證系統的高可用性。
第三，適用場景擴大。用戶在各種復雜的應用環境中，涉及與脫敏系統的應用對接滿足流程化脫敏，脫敏后的數據發送及數據校驗等各種場景，通過集群部署，在調度節點的配置管理中可充分考慮脫敏節點對不同的處理場景的處理機制。
靜態脫敏市場未來展望
隨著政府部門、企事業單位的數據量不斷增長，靜態脫敏系統面臨著大數據量的脫敏及高吞吐量的性能要求，未來安華將不斷推出優化解決方案滿足市場的多樣化應用場景需求。
產品咨詢：4000 258 365 
