安華金和全面適配國產(chǎn)化操作系統(tǒng)及芯片CPU
數(shù)據(jù)安全治理關(guān)鍵技術(shù)之?dāng)?shù)據(jù)庫脫敏技術(shù)詳解
數(shù)據(jù)安全治理之API監(jiān)測系統(tǒng) ,解決API接口安全問題【安華金和】
新一代數(shù)據(jù)庫脫敏技術(shù),為敏感數(shù)據(jù)建立保護(hù)盾!
數(shù)據(jù)庫脫敏系統(tǒng)與金融行業(yè)案例解讀
數(shù)據(jù)安全治理建設(shè)思路的著力點——數(shù)據(jù)安全咨詢服務(wù)【安華金和】
數(shù)據(jù)庫防火墻功能有哪些?-數(shù)據(jù)安全-安華金和
數(shù)據(jù)安全關(guān)鍵技術(shù)之?dāng)?shù)據(jù)庫脫敏技術(shù)詳解【安華金和】
中國數(shù)據(jù)安全治理落地指導(dǎo)書籍《數(shù)據(jù)安全治理白皮書5.0》正式發(fā)布(附下載)
目前,國際及國內(nèi)市場上的脫敏系統(tǒng)產(chǎn)品主要面向政府、機(jī)關(guān)及企業(yè)客戶,提供對生產(chǎn)環(huán)境中數(shù)據(jù)庫數(shù)據(jù)的脫敏處理,保護(hù)數(shù)據(jù)在研發(fā)、測試及數(shù)據(jù)分析過程的隱私數(shù)據(jù)保護(hù)。通過部署數(shù)據(jù)脫敏系統(tǒng),對脫離生產(chǎn)環(huán)境的敏感數(shù)據(jù)進(jìn)行變形或屏蔽等不同的脫敏操作,并使脫敏后的數(shù)據(jù)信息保留其原始數(shù)據(jù)格式和數(shù)據(jù)屬性的關(guān)聯(lián)性,以確保業(yè)務(wù)數(shù)據(jù)在數(shù)據(jù)分析、開發(fā)和測試過程中正常的運(yùn)行,同時提高測試類、分析類數(shù)據(jù)使用的安全性。
靜態(tài)脫敏的部署模式非常靈活,脫敏系統(tǒng)部署模式可分為單機(jī)部署模式、集群部署模式。
單機(jī)部署模式:主要包括單服務(wù)器和成對服務(wù)器兩種部署模式。
圖示:單機(jī)部署模式(含單服務(wù)器和成對服務(wù)器)
單服務(wù)器部署模式,將連接業(yè)務(wù)部門的生產(chǎn)數(shù)據(jù)庫,對生產(chǎn)數(shù)據(jù)進(jìn)行抽取和數(shù)據(jù)脫敏,脫敏后的數(shù)據(jù)輸出到測試部門的測試數(shù)據(jù)庫中,供測試部門使用數(shù)據(jù)。單服務(wù)器部署模式用于客戶生產(chǎn)環(huán)境網(wǎng)絡(luò)和測試環(huán)境網(wǎng)絡(luò)允許通過設(shè)備進(jìn)行連接的使用場景。
成對服務(wù)器部署模式,在業(yè)務(wù)部門數(shù)據(jù)出口及測試部門數(shù)據(jù)入口分別部署脫敏服務(wù)器,可將業(yè)務(wù)部門的數(shù)據(jù)進(jìn)行有效隔離,通過offline的方式,滿足測試部門使用業(yè)務(wù)部門脫敏后數(shù)據(jù)的需求。多服務(wù)器模式用于客戶生產(chǎn)環(huán)境網(wǎng)絡(luò)和測試環(huán)境網(wǎng)絡(luò)需要隔離的使用場景。
集群部署模式:
架構(gòu)模式設(shè)計思路:
圖示:集群部署結(jié)構(gòu)圖
集群部署架構(gòu)脫敏,需要一個分布式執(zhí)行任務(wù)的能力。在任意一臺脫敏設(shè)備中執(zhí)行脫敏任務(wù),該任務(wù)會運(yùn)行在壓力最小的機(jī)器中(以任務(wù)及表為基礎(chǔ)),從而達(dá)到可以同時并行運(yùn)行多任務(wù)的能力。
主要構(gòu)成說明:調(diào)度節(jié)點、脫敏節(jié)點(1個以上)、策略中心數(shù)據(jù)庫有同步機(jī)制;調(diào)度節(jié)點負(fù)責(zé)整體的任務(wù)調(diào)度及脫敏任務(wù)監(jiān)控,脫敏節(jié)點負(fù)責(zé)執(zhí)行脫敏任務(wù),脫敏節(jié)點對用戶是透明的。整個集群部署結(jié)構(gòu)中必須有調(diào)度節(jié)點和至少一個脫敏節(jié)點,且在調(diào)度節(jié)點中進(jìn)行脫敏節(jié)點的設(shè)置。調(diào)度節(jié)點可以通過A/B設(shè)備實現(xiàn)調(diào)度節(jié)點的高可用。
平臺化應(yīng)用場景下對脫敏系統(tǒng)的綜合處理能力提出了更高的要求,主要體現(xiàn)在:脫敏性能及吞吐量、數(shù)據(jù)發(fā)現(xiàn)的準(zhǔn)確性、脫敏數(shù)據(jù)質(zhì)量、脫敏系統(tǒng)的使用便捷性等方面。其中,尤其以脫敏性能及吞吐量作為核心評價指標(biāo)。
目前的應(yīng)用場景中,客戶的數(shù)據(jù)量越來越大。單次脫敏任務(wù)所涉及到的數(shù)據(jù)量動輒達(dá)到數(shù)TB的量級,導(dǎo)致脫敏周期非常久,影響了日常開發(fā)、測試工作的開展。下面講一個安華金和的案例。
案例
某商業(yè)銀行總行數(shù)據(jù)量在20T左右,單表數(shù)據(jù)可達(dá)5億行以上,由于涉及到壓力測試需要導(dǎo)出全量數(shù)據(jù)進(jìn)行脫敏,要求脫敏時間周期在72小時內(nèi)完成,否則將影響測試部門的數(shù)據(jù)使用。
按單表脫敏處理,要滿足這樣的要求需要保證脫敏的處理(含數(shù)據(jù)抽取、脫敏和輸出)平均速度在81M/S以上才能滿足需要。同時,需要支持40個以上業(yè)務(wù)系統(tǒng)的并發(fā)處理。以工控機(jī)4核CPU,32G內(nèi)存的配置計算,單臺脫敏設(shè)備顯然無法滿足客戶的高并發(fā)大數(shù)據(jù)量的脫敏需求。
表格:脫敏處理性能參數(shù)
單臺設(shè)備(環(huán)境參數(shù)為4核CPU、32G內(nèi)存)的脫敏性能測試情況,根據(jù)以往的測試結(jié)果可以看出,單表822G數(shù)據(jù)量脫敏用時16小時,單位時間的處理能力在14.6M/S。按此配置,增加線程對多表進(jìn)行同時處理,多表3.2T的數(shù)據(jù)量理論上處理能力可達(dá)43.8M/S。對于81M/S的處理性能,單臺設(shè)備遠(yuǎn)遠(yuǎn)不能達(dá)到要求。
通過增加單臺脫敏設(shè)備的硬件配置,如采購更高配置的服務(wù)器來提高脫敏的處理性能的方式可以解決這一難題,但實際應(yīng)用中往往因為客戶數(shù)據(jù)庫及網(wǎng)絡(luò)環(huán)境的限制,即便是增加脫敏服務(wù)器的配置,同樣很難滿足需求。所以,希望有可能通過集群部署模式解決此問題。
表格:脫敏處理能力估算
在集群部署模式下,通過擴(kuò)展脫敏節(jié)點數(shù)量可提高脫敏處理的并發(fā)能力。在數(shù)據(jù)總量20T的環(huán)境中,集群部署2個并發(fā)脫敏節(jié)點并行,單位時間的數(shù)據(jù)處理性能評估可達(dá)87.6M/S(此值為評估的理論數(shù)據(jù),在實際測試環(huán)境中會有一定的偏差),20T的數(shù)據(jù)需要處理大約67小時左右,基本上能夠滿足72小時內(nèi)完成20T數(shù)據(jù)脫敏的需求場景。但考慮實際的數(shù)據(jù)庫環(huán)境及網(wǎng)絡(luò)環(huán)境差異,會提出3個節(jié)點并發(fā)脫敏節(jié)點并行的方案,單位時間的數(shù)據(jù)處理性能評估可達(dá)131.4M/S(此值為評估的理論數(shù)據(jù),在實際測試環(huán)境中會有一定的偏差),20T的數(shù)據(jù)需要處理大約44小時左右,完全能夠滿足72小時內(nèi)完成20T數(shù)據(jù)脫敏的需求場景。
集群部署模式的價值體現(xiàn):
第一,性能大幅度提升。通過集群部署,增加了脫敏處理的吞吐量,滿足了客戶在有限時間周期內(nèi)大數(shù)據(jù)量脫敏處理的應(yīng)用場景。
第二,系統(tǒng)高可用。彌補(bǔ)了單一脫敏設(shè)備在數(shù)據(jù)處理過程中遇到網(wǎng)絡(luò)環(huán)境異常、設(shè)備異常等突發(fā)事件帶來的任務(wù)中斷無法正常執(zhí)行的不足,保證系統(tǒng)的高可用性。
第三,適用場景擴(kuò)大。用戶在各種復(fù)雜的應(yīng)用環(huán)境中,涉及與脫敏系統(tǒng)的應(yīng)用對接滿足流程化脫敏,脫敏后的數(shù)據(jù)發(fā)送及數(shù)據(jù)校驗等各種場景,通過集群部署,在調(diào)度節(jié)點的配置管理中可充分考慮脫敏節(jié)點對不同的處理場景的處理機(jī)制。