我辦公軟件彈出一條合規(guī)工單“用戶 U-10086 申請刪除自己的全部個人數(shù)據(jù)?！蔽耶敃r的想法是這還不簡單一條 DELETE再把 MySQL、Elasticsearch、Hive 里相關記錄處理掉就完事了。真動手才發(fā)現(xiàn)這個用戶的數(shù)據(jù)散落在十幾個系統(tǒng)、二十多張表、三條備份鏈和兩個機器學習訓練集快照里。我根本沒法用一條 SQL 回答“他在平臺上到底有多少條數(shù)據(jù)”更別說把所有副本真正清干凈。這篇文章不討論 GDPR 的法條口徑也不評價監(jiān)管政策只講一個數(shù)據(jù)平臺工程師在落地“數(shù)據(jù)主體權利”時真正會碰到的技術問題訪問權、被遺忘權、可攜帶權在分布式、多副本、多系統(tǒng)的大數(shù)據(jù)架構里到底怎么實現(xiàn)。適合數(shù)據(jù)平臺負責人、大數(shù)據(jù)工程師、數(shù)據(jù)治理/合規(guī)技術對接人參考。你會發(fā)現(xiàn)難點不在于“執(zhí)行刪除”而在于“你知道數(shù)據(jù)在哪、數(shù)據(jù)長什么樣、以及如何在重建數(shù)據(jù)的各個環(huán)節(jié)里讓它不再回來”。1. 先想清楚GDPR 數(shù)據(jù)主體權利里哪些是真難題1.1 一張權利清單對應一套技術動作數(shù)據(jù)主體權利不是只有“刪除”這一項它是一個權利簇。要從工程角度拆解最好先把權利清單和技術動作對應起來權利數(shù)據(jù)主體可以要求什么傳統(tǒng)數(shù)據(jù)庫難度大數(shù)據(jù)環(huán)境難點訪問權告知平臺收集了哪些個人數(shù)據(jù)并提供副本低一條 SELECT高數(shù)據(jù)分散在多個系統(tǒng)需數(shù)據(jù)地圖支撐更正權修正不準確的個人數(shù)據(jù)低UPDATE中數(shù)倉/湖里歷史快照如何同步修正被遺忘權刪除個人數(shù)據(jù)停止進一步傳播中DELETE高副本、備份、訓練集快照里有殘留可攜帶權以結構化、通用、機器可讀格式獲取數(shù)據(jù)低導出 CSV高跨系統(tǒng)聚合、格式統(tǒng)一、安全交付限制處理權暫停對某些數(shù)據(jù)的處理中加標記過濾高實時鏈路里的流式計算任務要支持暫停反對權反對基于合法利益的特定處理中邏輯開關高推薦/畫像鏈路要實時排除主體數(shù)據(jù)從技術工作量的角度看訪問權、被遺忘權、可攜帶權是大頭。更正權聽起來簡單但在數(shù)據(jù)湖里歷史分區(qū)上的“錯誤字段”很難做到真正的更正只能在當前快照上修正并保留審計記錄。限制處理權和反對權更多是策略和標識問題難點不在存儲而在執(zhí)行鏈路的開關設計。剛才說這些是因為很多團隊拿到需求就直接做“刪除服務”做完了才發(fā)現(xiàn)訪問權要的數(shù)據(jù)還在導出、可攜帶權要的格式還沒統(tǒng)一。先把權利清單映射成技術能力清單后面才不會被法務或審計追著補課。1.2 大數(shù)據(jù)環(huán)境里“一條用戶數(shù)據(jù)”的真實形態(tài)我在傳統(tǒng) OLTP 系統(tǒng)里做刪除時腦子里是“主鍵 行”。來到大數(shù)據(jù)平臺后同樣的用戶 U-10086它的數(shù)據(jù)早就不是“一行”了。在 MySQL 主庫里有users表的一行在 Redis 里有登錄 session 和購物車緩存在 Kafka 的user_click_logtopic 里有過去 90 天的行為消息在 Hive 的dwd_order_detail分區(qū)表里有歷史訂單在 Elasticsearch 里有一個用于前臺搜索的customer_index文檔在 HDFS 上還有一個模型訓練集快照里面包含用戶特征字段另外還有至少三個備份鏈承載著前面所有數(shù)據(jù)的歷史版本。這是我在實際系統(tǒng)里見過的一種典型分布。你可以把它理解為用戶數(shù)據(jù)不是存在一個“文件柜”里而是存在于一張巨大的“數(shù)據(jù)傳播網”里。ETL 任務會從 MySQL 同步到 Kafka從 Kafka 清洗到 Hive從 Hive 加工成特征寬表再從特征寬表生成訓練集。這些鏈路每跑一次用戶數(shù)據(jù)就在新的存儲位置產生一份新的“影子”。所以在做任何數(shù)據(jù)主體權利的技術方案之前第一件事是先承認你面對的不是“一條記錄”而是一條完整的數(shù)據(jù)傳播鏈上的所有節(jié)點。這也是后面所有設計的基礎。1.3 分布式架構下“刪除”為什么是反模式傳統(tǒng)關系型數(shù)據(jù)庫的 DELETE 是行級操作由事務保證一致性刪完立刻生效。但在大數(shù)據(jù)環(huán)境里“刪除”這個概念跟底層存儲系統(tǒng)的設計哲學是沖突的。HDFS 不支持隨機寫它是一個只追加的文件系統(tǒng)。你沒法對 HDFS 上的某個 Parquet 文件說“把第 3 行刪掉”只能重寫文件。HBase 里刪除一行本質是寫入一條 tombstone墓碑標記真正的物理清除要等 Compaction 發(fā)生而 Compaction 什么時候發(fā)生由 RegionServer 決定你只能控制觸發(fā)時機不能保證立即回收。Cassandra 的刪除同樣依賴 tombstone 和 Compaction如果墓碑沒及時清理還會產生讀放大。對象存儲的“刪除”分為軟刪除和版本控制兩種版本控制開啟時刪除實際上創(chuàng)建了一個標記版本舊版本依然物理存在。Kafka 的數(shù)據(jù)有保留期默認按時間或大小清理你無法指定“把某個用戶的所有消息立刻刪掉”只能等過期或用生產端屏蔽。一句話總結分布式系統(tǒng)里“刪除”通常需要異步、批量、重寫、標記和 Compaction 配合才能完成它不是一條 SQL 能搞定的事情。理解了這個底層約束就會發(fā)現(xiàn)以“最終一致”來設計刪除鏈路是完全合理的工程選擇。2. 數(shù)據(jù)發(fā)現(xiàn)與血緣追蹤刪除前先回答“數(shù)據(jù)在哪”2.1 元數(shù)據(jù)管理是地基而不是“以后再說”我在剛接到合規(guī)需求時第一個卡住的不是刪除動作而是不知道數(shù)據(jù)在哪。當時的平臺里有幾百張 Hive 表、幾十個 Kafka topic、十幾個 ES 索引很多表連字段注釋都是空的。如果靠“知道的人記憶 腳本 grep”根本不可能支撐合規(guī)審計的嚴謹性。所以第一步必須做元數(shù)據(jù)管理。開源的 Apache Atlas、DataHub、Amundsen 都可以商業(yè)產品如 Collibra 也常見。如果團隊已經在用 Hive/Spark 體系我建議優(yōu)先考慮 Atlas因為它有成熟的 Hook 機制能自動采集 Hive、Spark、Flink 的元數(shù)據(jù)和血緣信息接入成本最低。我們當時用 Atlas 做數(shù)據(jù)資產目錄把所有庫表字段、Topic、索引都登記進去并且強制新表上線時必須注冊元數(shù)據(jù)否則不給開通任務權限。這一步沒有捷徑。元數(shù)據(jù)管理是合規(guī)技術鏈路的底座它解決的是“可發(fā)現(xiàn)性”一項數(shù)據(jù)主體請求進來你需要能在合理時間內產出一份該主體相關的數(shù)據(jù)清單而不是靠開會問一圈。2.2 字段級血緣從 PII 字段追蹤到下游任務有了元數(shù)據(jù)下一步是血緣。血緣分表級和字段級在合規(guī)場景里字段級血緣更有價值。舉個例子ods_user_click_log里有device_id、user_id、page_url經過清洗任務后數(shù)據(jù)進入dwd_user_session又 JOIN 了dim_user的email再經過特征工程email的 hash 值出現(xiàn)在feature_user_profile的某個特征列里。如果用戶要求刪除個人數(shù)據(jù)你必須知道feature_user_profile這個“看起來已經脫敏”的hash字段其實也是個人數(shù)據(jù)的派生產物需要一并處理。Atlas 能通過 SQL parser 自動解析 Hive/Spark SQL 里的字段映射生成字段級血緣圖。對存儲過程、Shell 腳本里嵌 SQL、或者用 Flink SQL 寫的實時任務也要想辦法補充采集。實在采集不到的老任務就人工在血緣系統(tǒng)里補錄關系至少把關鍵 PII 字段的流通路徑畫清楚。血緣的價值在刪除場景里體現(xiàn)得非常直接它能告訴你“這條鏈路里還有哪些下游數(shù)據(jù)需要同步剔除”也能告訴你“如果我在源頭表里刪了這個用戶的數(shù)據(jù)哪些 ETL 任務會在下一個調度周期又把它寫出來”。后者往往是最容易踩坑的地方。2.3 分類分級用標簽體系代替人肉記憶知道數(shù)據(jù)在哪之后還要知道哪些字段是“個人數(shù)據(jù)”。這就需要分類分級。分類分級不要只做“整表打標”要做字段級。因為一張表里可能既有用戶數(shù)據(jù)也有員工數(shù)據(jù)甚至還有設備數(shù)據(jù)。字段級標簽可以設計成這種形態(tài){ table_name: dwd_order_detail, field_name: buyer_phone, data_classification: PII, identifier_type: direct_identifier, subject_role: customer, retention_policy: 36_months }identifier_type區(qū)分直接標識符手機號、郵箱、身份證號、姓名和準標識符出生日期、性別、郵編、設備ID。直接標識符可以單獨關聯(lián)到用戶主體準標識符需要通過組合才能定位到人刪除時的處理優(yōu)先級和策略會不同。標簽體系建好后可以自動生成“個人數(shù)據(jù)資產清單”。合規(guī)請求進來時系統(tǒng)根據(jù)標簽自動查詢該用戶關聯(lián)的所有數(shù)據(jù)集生成數(shù)據(jù)范圍。這個清單既用于刪除也用于訪問權和可攜帶權的數(shù)據(jù)范圍界定。如果團隊剛起步不用追求一次把所有數(shù)據(jù)都打標可以先覆蓋核心交易鏈路和用戶行為鏈路把最重要的幾十張表打標完成再逐步擴大。打標過程中同步做數(shù)據(jù)發(fā)現(xiàn)能一并把很多臟數(shù)據(jù)、重復表、僵尸表清掉這也是數(shù)據(jù)治理的額外收益。3. 被遺忘權的工程鏈路從邏輯刪除到物理刪除3.1 邏輯刪除先快速切斷服務再慢慢物理處理合規(guī)要求刪除要及時響應但物理重寫大表很耗時。所以工程上一律先做邏輯刪除再異步做物理刪除。邏輯刪除不是糊弄審計它是有明確業(yè)務含義的從這一刻起任何面向用戶的查詢、推薦、營銷、客服系統(tǒng)都不再使用該用戶的個人數(shù)據(jù)。實施方式很簡單在用戶主表增加is_deleted、deleted_at兩個字段下游讀取統(tǒng)一走數(shù)據(jù)訪問層訪問層強制帶過濾條件。ES 里可以直接按user_id刪除文檔或加一個deletedtrue標記并重建索引Redis 里直接 DEL key。對于實時推薦鏈路可以加一個“排除名單”緩存每次召回后過濾掉已刪除用戶。邏輯刪除最大的好處是快一條命令或幾個分布式調用就能完成。但它不是終點你還要建立一張“刪除任務狀態(tài)表”記錄每個邏輯刪除請求對應的物理刪除進度。否則很容易出現(xiàn)“業(yè)務上以為刪了存儲里還躺著數(shù)據(jù)”的情況。3.2 物理刪除重寫文件的三種典型場景物理刪除才是真正意義上把數(shù)據(jù)從存儲介質里抹掉。最核心的操作就是“重寫文件”。第一種場景表是按user_id哈希分桶的。這時刪除某個用戶只需要對該用戶所在的分桶做過濾重寫影響范圍很小。用 Spark 可以這樣寫from pyspark.sql import SparkSession spark SparkSession.builder.appName(gdpr-physical-delete).enableHiveSupport().getOrCreate() delete_user_id U-10086 df spark.read.table(dwd_order_detail) filtered df.filter(df.user_id ! delete_user_id) ( filtered.write .mode(overwrite) .format(parquet) .bucketBy(64, user_id) .sortBy(order_time) .saveAsTable(dwd_order_detail_bak) )注意覆蓋寫時要注意小文件問題。Spark 默認寫出的文件可能很小尤其過濾后數(shù)據(jù)量驟減建議寫完以后做一次合并控制每個 Parquet 文件在 256MB 左右避免后續(xù)查詢性能下降。第二種場景表是按時間分區(qū)的。用戶數(shù)據(jù)散落在很多天里你不知道他具體出現(xiàn)在哪些分區(qū)。可以先跑一個查詢基于user_id在分區(qū)元數(shù)據(jù)上裁剪只重寫包含該用戶的分區(qū)而不是全表掃描。如果列式文件里已經按 user_id 做了 sort orderParquet 的 row group 統(tǒng)計信息能幫你跳過大量不含該用戶的行組作業(yè)效率會高很多。第三種場景不能原地覆蓋的存儲系統(tǒng)。比如對象存儲上的文件通常只能“上傳新文件 刪除舊文件”。這時候要用多云/多 Bucket 切換的方式先寫到臨時目錄驗證數(shù)據(jù)完整后再切換目錄再清理舊目錄。整個過程要防止“只刪了新版、舊版還在”需要核對對象 ETAG 和文件清單。3.3 副本與備份最容易被忽略的“數(shù)據(jù)殘骸”物理刪除最容易出問題的不是主表而是副本和備份。HDFS 默認三副本寫入時數(shù)據(jù)塊會復制到三個 DataNode。重寫文件后舊文件被刪除NameNode 會通過塊報告逐步清理所有副本。但如果刪除后沒有執(zhí)行hdfs fsck驗證你無法確認副本清理是否完整。建議刪除任務跑完后對涉及路徑執(zhí)行一次hdfs fsck -files -blocks -locations確認待刪文件塊已經全部失效。備份鏈是更大的坑。很多團隊的全量備份保留 90 天增量備份保留 180 天快照保留 30 天。用戶刪除請求進來時舊備份里一定還存有他的數(shù)據(jù)。處理方案有三種第一種是調短備份保留期讓舊數(shù)據(jù)集盡快過期。簡單但不一定滿足合規(guī)時限因為保留期內刪除請求依然無法立刻滿足。第二種是對備份文件做重寫和主鏈路一樣過濾掉目標用戶成本高但徹底。第三種是密鑰銷毀也叫 crypto-shredding。如果備份文件在寫入時已經加密刪除該用戶的合規(guī)請求到來時可以先確認備份文件里除該用戶外還有大量其他數(shù)據(jù)不值得全量重寫就銷毀該備份使用的加密密鑰讓密文在物理上不可讀。密鑰銷毀方案要求 KMS/HSM 和備份數(shù)據(jù)存儲分離否則密鑰和數(shù)據(jù)躺在一起銷毀就沒意義。另外密鑰銷毀前要跟審計確認這個方案在監(jiān)管實踐中通常被認可為刪除動作的一種。冷存儲里的歸檔數(shù)據(jù)比如磁帶庫沒有隨機刪除能力只能走密鑰銷毀或者等歸檔生命周期到期。所以在冷存儲寫入前就要做好加密和分區(qū)設計否則后期合規(guī)處理會非常痛苦。3.4 異步刪除隊列與最終一致性物理刪除任務不能同步等待因為涉及多個系統(tǒng)、多個重寫作業(yè)可能耗時幾十分鐘甚至幾小時。工程上應該用“刪除協(xié)調器 消息隊列 執(zhí)行器”的架構。合規(guī)請求進來后協(xié)調器生成一個全局唯一的request_id把刪除任務按系統(tǒng)拆分成多個子任務推入 Kafka 或其他 MQ。各系統(tǒng)的執(zhí)行器訂閱消息執(zhí)行對應的邏輯刪除或物理刪除再把執(zhí)行結果回寫狀態(tài)表。這里要注意三個點冪等性。同一個刪除請求可能因網絡重試被重復推送執(zhí)行器必須根據(jù)request_id去重重復執(zhí)行不會產生副作用?？梢越ㄒ粡坉elete_task_dedup表記錄已處理的 request_id處理前先查一下。失敗重試。重寫大表可能因為資源不足、數(shù)據(jù)傾斜而失敗。執(zhí)行器要帶重試機制指數(shù)退避最多重試 N 次超過上限就進入人工處理隊列并通知平臺值班人員。狀態(tài)可視化。給每個請求維護一條狀態(tài)記錄展示“邏輯刪除已完成、Hive重寫中、ES清理完成、備份處理待執(zhí)行”。這一步對審計演示和運維排查都很關鍵管理者能隨時答復“刪除進展到哪了”。最終一致性不需要所有系統(tǒng)在同一秒刪完但要保證在約定的 SLA 內完成并且所有系統(tǒng)都不能出現(xiàn)“永久失敗卻不被感知”的情況。4. 訪問權與可攜帶權把數(shù)據(jù)安全地交還用戶4.1 身份確認是第一道閘門訪問權和可攜帶權都涉及把個人數(shù)據(jù)交給用戶所以第一步必須是身份確認否則就是數(shù)據(jù)泄露。GDPR 里允許平臺采取“合理步驟驗證身份”。工程上常見做法是用戶在 App 里發(fā)起數(shù)據(jù)導出請求必須先完成登錄態(tài)的二次驗證比如短信驗證碼、郵箱驗證碼、TOTP 動態(tài)口令高敏場景還要做人臉識別或者證件信息比對。Web 端要防自動化腳本批量調用加驗證碼、頻率限制、IP 風控。有一個細節(jié)容易被忽略用戶可能同時是多個業(yè)務線的用戶有的業(yè)務線用的是手機號有的用的是郵箱有的只存了設備 ID。身份確認后系統(tǒng)要把該用戶的所有標識符關聯(lián)起來形成一個“主體標識集合”。這個集合是后續(xù)數(shù)據(jù)范圍界定的基礎漏了一個標識符就意味著漏了一塊數(shù)據(jù)。我們曾經因為只按手機號拉數(shù)據(jù)漏了用戶用郵箱注冊的另一個賬號結果被抽檢發(fā)現(xiàn)了。后來專門做了一個“標識融合”模塊把手機號、郵箱、設備 ID、第三方 OpenID 做置信度關聯(lián)在合規(guī)請求時全部納進來。4.2 數(shù)據(jù)范圍界定除了“訂單”還有“聊天記錄”和“推斷標簽”很多團隊做導出時只想到賬戶資料和訂單數(shù)據(jù)實際上需要覆蓋的類型遠不止這些。賬戶基礎資料姓名、手機號、郵箱、頭像、地址、交易數(shù)據(jù)訂單、支付、發(fā)票、退款、行為數(shù)據(jù)瀏覽記錄、點擊流、搜索歷史、收藏、客服交互記錄在線聊天、工單、投訴錄音轉寫、設備信息IMEI、OAID、IP、User-Agent還有算法系統(tǒng)生成的畫像標簽比如“高消費意愿”“育兒人群”。這些標簽看起來是平臺推斷出來的但它基于個人數(shù)據(jù)生成指向的是可識別的人處理時需要謹慎。數(shù)據(jù)范圍界定要基于第 2 章的數(shù)據(jù)地圖和字段級標簽來做。系統(tǒng)根據(jù)主體標識集合去數(shù)據(jù)目錄里匹配所有關聯(lián)表生成一份“導出數(shù)據(jù)范圍清單”。清單里每一類數(shù)據(jù)都要有明確的存儲位置、字段列表、時間范圍。這里有個工程技巧數(shù)據(jù)地圖里建議存一個“join key 映射”標明每張表用什么字段關聯(lián)到用戶主體。有的表用user_id有的表用device_id有的表只有phone_md5。刪除和導出前系統(tǒng)自動根據(jù) join key 生成查詢計劃而不是靠人肉拼接。4.3 導出格式與安全交付機器可讀、加密、可追溯數(shù)據(jù)可攜帶權要求“結構化、通用、機器可讀”目前最常用的是 JSON 和 CSV。JSON 適合層級復雜的數(shù)據(jù)CSV 適合表格型數(shù)據(jù)。無論哪種格式字段名要有明確語義建議附一個 data dictionary不然用戶拿到的是一堆無說明的field_1、field_2。一份典型的數(shù)據(jù)包清單{ export_id: EXP-20250115-001, request_id: GDPR-20250115-000123, generated_at: 2025-01-15T10:00:00Z, data_scope: [ account_profile, order_history, click_log_90d, customer_service_chat ], files: [ { file_name: account_profile.json, format: json, checksum: sha256:... }, { file_name: order_history.csv, format: csv, checksum: sha256:... } ] }交付方式不要用郵件明文發(fā)送常見做法是生成一個加密的壓縮包上傳到對象存儲生成一個帶有效期和一次性 token 的預簽名 URL用戶收到下載鏈接后限時 7 天內下載過期自動銷毀。整個過程要記錄導出日志包括導出的時間、操作人、數(shù)據(jù)范圍、下載次數(shù)、文件校驗和方便審計追查。如果導出數(shù)據(jù)量大比如幾十 GB要考慮異步生成機制。用戶提交請求后后臺任務去各系統(tǒng)聚合數(shù)據(jù)生成數(shù)據(jù)包后通知用戶。這個任務的資源優(yōu)先級要放到低隊列避免影響核心業(yè)務同時設置超時和重試。4.4 性能優(yōu)化避免全表掃描的索引與分片策略大數(shù)據(jù)環(huán)境下導出和刪除往往需要掃描全表而全表掃描在大表上是不可接受的。優(yōu)化思路主要有三個。表設計階段就按user_id做哈希分桶是最有效的一招。查詢時只需要掃user_id % N對應的桶數(shù)據(jù)量直接降到 1/N。沒分桶但有時間分區(qū)時盡量把過濾條件推到分區(qū)裁剪。行為類數(shù)據(jù)和訂單類數(shù)據(jù)一般都會落在最近一段時間內按時間范圍裁剪后再做 user_id 過濾掃描量可以下降一個數(shù)量級。用 BloomFilter 和位圖索引輔助過濾。在 Parquet 文件的某些高基數(shù)字段上建立 BloomFilter查詢時能提前跳過大部分不含目標值的 row group。這在 Spark/Presto 里都是原生支持的只要在建表/寫入時開啟對應參數(shù)即可。導出和刪除任務要使用獨立的資源隊列。Yarn 或 K8s 里分配一個“合規(guī)作業(yè)池”限制最大并發(fā)數(shù)和 CPU/內存資源避免一個重寫大表的作業(yè)把核心鏈路拖垮。調度時間放在業(yè)務低峰期會更好。我在實戰(zhàn)中遇到過一個問題某張寬表 2 億行沒有按 user_id 分桶用戶刪除請求命中后跑了整整 40 分鐘。后來加了按 user_id 分桶重建表同樣的刪除作業(yè)降到 3 分鐘。對于高頻被查的被遺忘權用例分桶設計幾乎是必須的。5. 自動化合規(guī)引擎把流程沉淀成平臺能力5.1 合規(guī)事件接入統(tǒng)一封裝而不是每個系統(tǒng)各做各的當合規(guī)請求少的時候靠人工協(xié)調還能撐住。一旦日請求量上來必須有一個統(tǒng)一的合規(guī)引擎來承接。接入層要支持三種方式API 接入業(yè)務系統(tǒng)調用比如用戶在 App 隱私中心點擊“刪除我的數(shù)據(jù)”Webhook 接入工單系統(tǒng)推送比如法務從 CRMS 系統(tǒng)導入SDK 接入用戶中心等核心系統(tǒng)內嵌自動觸發(fā)。不管從哪個渠道進來統(tǒng)一轉換成標準的ComplianceRequest事件{ request_id: REQ-20250115-000123, request_type: ERASURE, subject_type: CUSTOMER, identifiers: [ {type: user_id, value: U-10086}, {type: phone_md5, value: a1b2c3...} ], priority: HIGH, source_system: USER_CENTER, received_at: 2025-01-15T08:00:00Z }統(tǒng)一封裝的目的是讓所有下游執(zhí)行器只認這一套協(xié)議不需要各自對接不同格式的請求。priority字段很重要緊急刪除比如數(shù)據(jù)泄露事件中的主體請求可以跳過部分排隊邏輯優(yōu)先執(zhí)行。5.2 任務編排用 DAG 組織跨系統(tǒng)動作合規(guī)請求的處理不是一個單體任務而是一個工作流。我習慣用 DAG 表達節(jié)點是具體動作邊是依賴關系。典型的數(shù)據(jù)刪除 DAG 是身份確認 → 數(shù)據(jù)范圍發(fā)現(xiàn) → 生成數(shù)據(jù)快照用于審計 → 邏輯刪除各系統(tǒng)并行 → 物理刪除異步重寫 → 通知結果。編排引擎可以直接用 Airflow、DolphinScheduler或者自研的工作流服務。每個節(jié)點都是一個獨立任務任務之間通過狀態(tài)傳遞request_id和子任務結果?？缦到y(tǒng)的分布式事務是大問題。你不能用兩階段提交去要求所有系統(tǒng)同時完成刪除因為各系統(tǒng)的存儲特性根本做不到。工程上用 Saga 模式每個節(jié)點成功就進入下一個節(jié)點失敗就執(zhí)行補償。物理刪除基本無法補償所以我在流程里強制加了一步“刪除前數(shù)據(jù)快照”把該用戶的待刪數(shù)據(jù)導出一份加密存到審計專區(qū)既滿足“可驗證”也給了誤刪一個補救空間。5.3 審計日志與可驗證性合規(guī)動作必須有證據(jù)鏈不管技術做得多完善審計和監(jiān)管問詢時拿不出證據(jù)等于沒做。審計日志至少要包含request_id、請求類型、操作人、操作時間、請求來源、數(shù)據(jù)范圍清單、每個子任務的狀態(tài)、執(zhí)行作業(yè) ID、異常信息。日志要存到可以防止篡改的存儲里比如對象存儲開啟版本控制或使用 WORMWrite Once Read Many存儲。不允許普通開發(fā)人員修改只允許審計角色讀取。定期生成合規(guī)報告包含每日請求量、成功率、平均處理時長、超時任務列表。還要把“數(shù)據(jù)快照”妥善保存。數(shù)據(jù)快照不是給用戶看的是給審計看“這個人刪除前系統(tǒng)里存了哪些數(shù)據(jù)、我們刪了哪些”。物理刪除完成后數(shù)據(jù)快照繼續(xù)封存按企業(yè)安全策略設置保留期。它不能泄露給無關人員訪問要有審批。5.4 集成方式別推翻重來復用現(xiàn)有平臺很多團隊一聽“合規(guī)引擎”就覺得要自建一個大系統(tǒng)其實不是。我的建議是復用現(xiàn)有基礎設施。數(shù)據(jù)目錄用 Atlas/DataHub 的 API不要自己再造一套元數(shù)據(jù)任務調度用現(xiàn)有的 Airflow/DolphinScheduler 集群消息傳遞用 Kafka數(shù)據(jù)訪問層加一個合規(guī)過濾 ShardingSphere/自研插件統(tǒng)一攔截查詢。 合規(guī)引擎本身只需要實現(xiàn)四塊能力請求接入、DAG 編排、狀態(tài)管理、審計日志。其余都通過 API 和消息去調用已有平臺。這樣做的好處是維護成本低團隊容易上手。合規(guī)請求量本身不大百萬用戶每月可能只有幾十條不需要單獨建一套高并發(fā)系統(tǒng)輕量、可靠、可觀測才是關鍵。6. 實測里的坑和驗收指標6.1 低頻操作也要定期演練合規(guī)請求是典型低頻操作可能一天只有幾條但出問題的影響非常大。低頻系統(tǒng)最怕“平時不跑一跑就掛”。我們做了兩件事。一是定期“合規(guī)演練”每個月隨機抽取一個測試用戶全流程執(zhí)行刪除和導出檢查所有系統(tǒng)的實際處理結果形成演練報告。二是“殘留數(shù)據(jù)巡檢”每天凌晨跑一個抽樣任務從隨機表里檢查上一批刪除請求涉及的用戶是否已徹底消失一旦發(fā)現(xiàn)殘留就告警。這兩件事花不了太多資源但能在問題釀成事故之前暴露它。被遺忘權最怕的不是刪不掉而是自以為刪掉了幾個月后審計抽查發(fā)現(xiàn)數(shù)據(jù)還在。6.2 數(shù)據(jù)目錄會滯后血緣也會過期數(shù)據(jù)目錄和血緣是靜態(tài)快照業(yè)務是動態(tài)變化的。新表上線沒注冊元數(shù)據(jù)、老表字段被人改過、某個臨時分析任務繞過數(shù)據(jù)平臺直連數(shù)據(jù)源都會讓數(shù)據(jù)地圖失真。對策是雙軌制血緣采集每 6 小時增量拉一次每周末全量刷新一遍元數(shù)據(jù)注冊走強制流程不注冊的新表禁止分配計算資源同時保留“人工補錄”通道允許數(shù)據(jù)負責人對無法自動采集的任務手動維護血緣關系。血的教訓某張寬表由分析團隊直接建在 HDFS 上沒有進數(shù)據(jù)目錄刪用戶時漏掉了導致一個用戶畫像特征還在實時推薦鏈路里用。后來做全量掃描才發(fā)現(xiàn)花了很久才清理干凈。從那以后我對“不在目錄里的數(shù)據(jù)”容忍度為零。6.3 SLA 指標定義“刪除完成”的標準合規(guī)工程要跟法務、審計對齊 SLA否則技術目標無從談起。我分享一套我們實際用的指標僅供參考指標目標值說明邏輯刪除完成時效24 小時內從受理請求到所有在線系統(tǒng)停止提供該用戶數(shù)據(jù)服務物理刪除完成時效30 天內覆蓋 HDFS、對象存儲、ES、MySQL 主備、備份鏈導出請求交付時效72 小時內從驗證身份到用戶拿到可下載鏈接刪除成功率99.9%按 request_id 統(tǒng)計失敗需有人工介入閉環(huán)數(shù)據(jù)殘留率小于 0.01%通過殘留巡檢任務抽樣驗證審計日志完整率100%所有請求和子任務必須有可追溯記錄這些指標不是拍腦袋定的。邏輯刪除 24 小時是因為大多數(shù)在線系統(tǒng)可以在這個時間內完成標記物理刪除 30 天是考慮到全量備份的保留周期和重寫成本如果團隊資源充足可以壓到更短。指標定義清楚后合規(guī)工程才有一個可驗收的交付物。6.4 幾個實用的避坑經驗刪除前一定先建快照。不是所有誤刪都能恢復數(shù)據(jù)快照是最后的后悔藥。快照要加密存儲訪問審批但絕不能省。重寫作業(yè)前要在預發(fā)環(huán)境驗證。大表重寫的 SQL 邏輯錯了可能把整張表寫壞代價遠超想象。預發(fā)驗證時可以先用抽樣數(shù)據(jù)確認過濾條件和文件大小符合預期。刪除不只是“刪存儲”還要“斷源頭”。如果 Kafka 里還有該用戶的新消息沒有消費ETL 任務又會把數(shù)據(jù)寫回來。所以在邏輯刪除階段就要在數(shù)據(jù)攝入源頭做過濾比如在 Flink 清洗任務里加載刪除名單實時剔除已刪除用戶的數(shù)據(jù)。否則就會出現(xiàn)“白天刪了、晚上又被 ETL 寫回來”的詭異現(xiàn)象。加密密鑰和存儲必須分離。備份數(shù)據(jù)加密后密鑰放 KMS/HSM和備份文件不在同一個賬號或集群。需要做密鑰銷毀時才能保證刪了密鑰不會因為“還有一份備份里的密鑰副本”而失效。刪除作業(yè)要限流預留資源池。大表重寫非常耗資源在白天業(yè)務高峰期跑很容易把核心分析鏈路拖垮。一定要把合規(guī)作業(yè)調度到低峰期或使用獨立資源隊列限制并發(fā)數(shù)。我在實際項目里還有一個體會不要把合規(guī)技術實現(xiàn)當成一個“刪除工具”來做。刪除、導出、更正、限制處理本質上都是“數(shù)據(jù)生命周期管理”的具體動作。如果一個平臺能把數(shù)據(jù)資產盤點、分類分級、血緣追蹤、生命周期策略做好數(shù)據(jù)主體權利的實現(xiàn)只是這些基礎能力上的一個應用層而已。這也是我認為最值得投入的方向與其堆一個臨時腳本不如把數(shù)據(jù)治理的底子打好讓合規(guī)能力變成一個可持續(xù)演進的平臺能力而不是每次審計來了才臨時抱佛腳。