一文讀懂OpenAI Privacy Filter本地部署的開源PII脫敏模型5分鐘全解【免費(fèi)下載鏈接】privacy-filterOpenAI Privacy Filter項(xiàng)目地址: https://gitcode.com/gh_mirrors/pr/privacy-filterOpenAI Privacy Filter 是一個可本地部署的開源 PII 脫敏模型用于在文本中自動檢測并遮蓋個人信息姓名、郵箱、電話、地址等 8 類敏感片段。它體積小巧1.5B 總參數(shù) / 50M 激活參數(shù)、支持 128K 長上下文且采用 Apache 2.0 協(xié)議可自由用于生產(chǎn)環(huán)境。本文將帶你 5 分鐘跑通安裝、脫敏、評估與微調(diào)全流程。一、它是什么為什么值得關(guān)注Privacy Filter 是一個雙向 token 分類模型不像大語言模型那樣逐字生成文本它一次前向傳播就能給整段文本的每個詞元打上隱私標(biāo)簽再用受約束的 Viterbi 解碼拼出連貫的敏感片段。相比傳統(tǒng)的正則匹配或迭代生成式方案它的優(yōu)勢在于?快單次前向完成標(biāo)注吞吐量高適合大規(guī)模數(shù)據(jù)清洗流水線小能在筆記本甚至瀏覽器中運(yùn)行CPU/GPU 均可長上下文128,000 token 窗口處理長文檔無需分塊?可調(diào)運(yùn)行時可配置精確率/召回率的權(quán)衡operating points可微調(diào)用你自己的標(biāo)注數(shù)據(jù)適配特定隱私策略架構(gòu)上它基于類 gpt-oss 的自回歸預(yù)訓(xùn)練檢查點(diǎn)改造而來將語言模型輸出頭替換為隱私標(biāo)簽分類頭采用 8 層 Transformer、分組查詢注意力14 個 Q 頭 / 2 個 KV 頭和 128 專家的稀疏 MoE 前饋層top-4 路由。核心實(shí)現(xiàn)在 opf/_model/model.py解碼邏輯在 opf/_core/decoding.py。二、8 類隱私標(biāo)簽?zāi)Ｐ湍茏R別什么模型輸出 8 個隱私片段類別每個類別在 token 級再展開為 BIOES 邊界標(biāo)簽B/I/E/S 背景 O共 33 個輸出類別標(biāo)簽含義示例account_number賬號銀行卡號private_address私人地址14 Beautiful Courtprivate_email私人郵箱userexample.comprivate_person人名Aliceprivate_phone私人電話(415) 555-0102private_url私人鏈接含 token 的 URLprivate_date私人日期1990-01-02secret密鑰/憑證sk-test-XYZ987倉庫自帶的示例數(shù)據(jù)集 examples/data/sample_eval_five_examples.jsonl 就演示了這些標(biāo)簽的標(biāo)注格式注意示例數(shù)據(jù)均為合成數(shù)據(jù)不涉及真實(shí)人員。三、快速安裝與一鍵脫敏5分鐘上手1. 安裝 Python 包pip install -e .安裝后你會得到一個名為opf的命令行工具默認(rèn)在 GPU 上運(yùn)行加--device cpu可切換到 CPU。首次運(yùn)行時模型權(quán)重會自動下載到~/.opf/privacy_filter或OPF_CHECKPOINT環(huán)境變量指定的目錄下載邏輯見 opf/_common/checkpoint_download.py。2. 一句話脫敏opf Alice was born on 1990-01-02.輸出會變成類似PRIVATE_PERSON was born on PRIVATE_DATE.的結(jié)構(gòu)化結(jié)果。還支持三種實(shí)用輸入方式opf -f /path/to/file # 整文件脫敏 cat file.txt | grep pattern | opf # 管道處理 opf # 不帶參數(shù)進(jìn)入交互模式不加參數(shù)直接運(yùn)行opf會進(jìn)入交互模式逐條輸入文本即可獲得 JSON 結(jié)構(gòu)化輸出終端支持時會帶 ANSI 彩色預(yù)覽。輸出格式詳見 OUTPUT_SCHEMAS.md。四、評估模式用標(biāo)注數(shù)據(jù)集測模型準(zhǔn)不準(zhǔn)如果你有帶標(biāo)注的數(shù)據(jù)集可以一條命令跑評估opf eval examples/data/sample_eval_five_examples.jsonl評估支持兩種模式?jīng)Q策思路參考 EVAL_AND_OUTPUT_MODES.md--eval-mode typed標(biāo)注體系與 OPF 一致時輸出分類別精確率/召回率/F1--eval-mode untyped標(biāo)注體系不同時只比對片段位置是否命中并額外報告ground_truth_label_recall指標(biāo)計算在 opf/_eval/metrics.py運(yùn)行器在 opf/_eval/runner.py。五、微調(diào)讓模型適配你的隱私策略 ?這是 Privacy Filter 最有價值的能力——當(dāng)你公司的什么算敏感與模型默認(rèn)策略不一致時例如想把某類憑證歸為secret而非account_number可以用少量標(biāo)注數(shù)據(jù)重新訓(xùn)練。最小微調(diào)命令opf train /path/to/train.jsonl --output-dir /path/to/output訓(xùn)練數(shù)據(jù)格式與 eval 相同text字段 label/spans標(biāo)注。--output-dir會寫出config.json、model.safetensors、finetune_summary.json和USAGE.txt完整流程見 FINETUNING.md。兩個開箱即用的微調(diào) Demo倉庫提供了可復(fù)現(xiàn)的演示腳本非常適合新手理解微調(diào)前后對比Demo 腳本演示場景examples/scripts/finetuning/finetune_secret_demo.sh把基線識別為ACCOUNT_NUMBER的字符串重訓(xùn)為secret類別examples/scripts/finetuning/finetune_custom_label_demo.sh自定義標(biāo)簽空間只識別新類別custom_secret自定義標(biāo)簽空間通過--label-space-json指定示例見 examples/data/finetuning_custom_label_demo/label_space.json。微調(diào)運(yùn)行器源碼在 opf/_train/runner.py。六、項(xiàng)目結(jié)構(gòu)速覽路徑作用opf/main.pyCLI 統(tǒng)一入口redact / eval / trainopf/_api.pyPython API 接口opf/_core/運(yùn)行時加載、span 轉(zhuǎn)換、解碼邏輯opf/_eval/數(shù)據(jù)集加載與評估opf/_train/本地微調(diào)opf/_model/Transformer 實(shí)現(xiàn)與權(quán)重加載examples/data/示例評估數(shù)據(jù)與微調(diào) demo 數(shù)據(jù)集依賴極少torch、numpy、safetensors、tiktoken、huggingface_hub 等Python ≥ 3.10見 pyproject.toml。七、注意事項(xiàng)別過度依賴 ?官方明確提醒見 README.md 的 Bias, Risks, and Limitations 章節(jié)Privacy Filter 是數(shù)據(jù)最小化輔助工具不是匿名化或合規(guī)保證應(yīng)作為隱私設(shè)計中多層防線的一環(huán)標(biāo)簽策略是靜態(tài)的變更策略需重新微調(diào)無法運(yùn)行時動態(tài)配置在非英文文本、罕見姓名、跨域憑證等場景下可能漏檢或誤遮蓋醫(yī)療、法律、金融等高敏場景務(wù)必保留人工審核通道結(jié)語OpenAI Privacy Filter 把高吞吐 可本地化 可微調(diào)三件事做到了一個 1.5B 的小模型里對需要在自有環(huán)境中做 PII 脫敏的團(tuán)隊(duì)來說是一個難得的 Apache 2.0 開源選擇。從pip install -e .到opf一句話脫敏5 分鐘內(nèi)即可驗(yàn)證效果再用自帶的微調(diào) Demo 逐步把隱私策略調(diào)成你自己的樣子就是完整的落地路徑?！久赓M(fèi)下載鏈接】privacy-filterOpenAI Privacy Filter項(xiàng)目地址: https://gitcode.com/gh_mirrors/pr/privacy-filter創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 一文讀懂OpenAI Privacy Filter：本地部署的開源PII脫敏模型5分鐘全解
一文讀懂OpenAI Privacy Filter本地部署的開源PII脫敏模型5分鐘全解【免費(fèi)下載鏈接】privacy-filterOpenAI Privacy Filter項(xiàng)目地址: https://gitcode.com/gh_mirrors/pr/privacy-filterOpenAI Privacy Filter 是一個可本地部署的開源 PII 脫敏模型用于在文本中自動檢測并遮蓋個人信息姓名、郵箱、電話、地址等 8 類敏感片段。它體積小巧1.5B 總參數(shù) / 50M 激活參數(shù)、支持 128K 長上下文且采用 Apache 2.0 協(xié)議可自由用于生產(chǎn)環(huán)境。本文將帶你 5 分鐘跑通安裝、脫敏、評估與微調(diào)全流程。一、它是什么為什么值得關(guān)注Privacy Filter 是一個雙向 token 分類模型不像大語言模型那樣逐字生成文本它一次前向傳播就能給整段文本的每個詞元打上隱私標(biāo)簽再用受約束的 Viterbi 解碼拼出連貫的敏感片段。相比傳統(tǒng)的正則匹配或迭代生成式方案它的優(yōu)勢在于?快單次前向完成標(biāo)注吞吐量高適合大規(guī)模數(shù)據(jù)清洗流水線小能在筆記本甚至瀏覽器中運(yùn)行CPU/GPU 均可長上下文128,000 token 窗口處理長文檔無需分塊?可調(diào)運(yùn)行時可配置精確率/召回率的權(quán)衡operating points可微調(diào)用你自己的標(biāo)注數(shù)據(jù)適配特定隱私策略架構(gòu)上它基于類 gpt-oss 的自回歸預(yù)訓(xùn)練檢查點(diǎn)改造而來將語言模型輸出頭替換為隱私標(biāo)簽分類頭采用 8 層 Transformer、分組查詢注意力14 個 Q 頭 / 2 個 KV 頭和 128 專家的稀疏 MoE 前饋層top-4 路由。核心實(shí)現(xiàn)在 opf/_model/model.py解碼邏輯在 opf/_core/decoding.py。二、8 類隱私標(biāo)簽?zāi)Ｐ湍茏R別什么模型輸出 8 個隱私片段類別每個類別在 token 級再展開為 BIOES 邊界標(biāo)簽B/I/E/S 背景 O共 33 個輸出類別標(biāo)簽含義示例account_number賬號銀行卡號private_address私人地址14 Beautiful Courtprivate_email私人郵箱userexample.comprivate_person人名Aliceprivate_phone私人電話(415) 555-0102private_url私人鏈接含 token 的 URLprivate_date私人日期1990-01-02secret密鑰/憑證sk-test-XYZ987倉庫自帶的示例數(shù)據(jù)集 examples/data/sample_eval_five_examples.jsonl 就演示了這些標(biāo)簽的標(biāo)注格式注意示例數(shù)據(jù)均為合成數(shù)據(jù)不涉及真實(shí)人員。三、快速安裝與一鍵脫敏5分鐘上手1. 安裝 Python 包pip install -e .安裝后你會得到一個名為opf的命令行工具默認(rèn)在 GPU 上運(yùn)行加--device cpu可切換到 CPU。首次運(yùn)行時模型權(quán)重會自動下載到~/.opf/privacy_filter或OPF_CHECKPOINT環(huán)境變量指定的目錄下載邏輯見 opf/_common/checkpoint_download.py。2. 一句話脫敏opf Alice was born on 1990-01-02.輸出會變成類似PRIVATE_PERSON was born on PRIVATE_DATE.的結(jié)構(gòu)化結(jié)果。還支持三種實(shí)用輸入方式opf -f /path/to/file # 整文件脫敏 cat file.txt | grep pattern | opf # 管道處理 opf # 不帶參數(shù)進(jìn)入交互模式不加參數(shù)直接運(yùn)行opf會進(jìn)入交互模式逐條輸入文本即可獲得 JSON 結(jié)構(gòu)化輸出終端支持時會帶 ANSI 彩色預(yù)覽。輸出格式詳見 OUTPUT_SCHEMAS.md。四、評估模式用標(biāo)注數(shù)據(jù)集測模型準(zhǔn)不準(zhǔn)如果你有帶標(biāo)注的數(shù)據(jù)集可以一條命令跑評估opf eval examples/data/sample_eval_five_examples.jsonl評估支持兩種模式?jīng)Q策思路參考 EVAL_AND_OUTPUT_MODES.md--eval-mode typed標(biāo)注體系與 OPF 一致時輸出分類別精確率/召回率/F1--eval-mode untyped標(biāo)注體系不同時只比對片段位置是否命中并額外報告ground_truth_label_recall指標(biāo)計算在 opf/_eval/metrics.py運(yùn)行器在 opf/_eval/runner.py。五、微調(diào)讓模型適配你的隱私策略 ?這是 Privacy Filter 最有價值的能力——當(dāng)你公司的什么算敏感與模型默認(rèn)策略不一致時例如想把某類憑證歸為secret而非account_number可以用少量標(biāo)注數(shù)據(jù)重新訓(xùn)練。最小微調(diào)命令opf train /path/to/train.jsonl --output-dir /path/to/output訓(xùn)練數(shù)據(jù)格式與 eval 相同text字段 label/spans標(biāo)注。--output-dir會寫出config.json、model.safetensors、finetune_summary.json和USAGE.txt完整流程見 FINETUNING.md。兩個開箱即用的微調(diào) Demo倉庫提供了可復(fù)現(xiàn)的演示腳本非常適合新手理解微調(diào)前后對比Demo 腳本演示場景examples/scripts/finetuning/finetune_secret_demo.sh把基線識別為ACCOUNT_NUMBER的字符串重訓(xùn)為secret類別examples/scripts/finetuning/finetune_custom_label_demo.sh自定義標(biāo)簽空間只識別新類別custom_secret自定義標(biāo)簽空間通過--label-space-json指定示例見 examples/data/finetuning_custom_label_demo/label_space.json。微調(diào)運(yùn)行器源碼在 opf/_train/runner.py。六、項(xiàng)目結(jié)構(gòu)速覽路徑作用opf/main.pyCLI 統(tǒng)一入口redact / eval / trainopf/_api.pyPython API 接口opf/_core/運(yùn)行時加載、span 轉(zhuǎn)換、解碼邏輯opf/_eval/數(shù)據(jù)集加載與評估opf/_train/本地微調(diào)opf/_model/Transformer 實(shí)現(xiàn)與權(quán)重加載examples/data/示例評估數(shù)據(jù)與微調(diào) demo 數(shù)據(jù)集依賴極少torch、numpy、safetensors、tiktoken、huggingface_hub 等Python ≥ 3.10見 pyproject.toml。七、注意事項(xiàng)別過度依賴 ?官方明確提醒見 README.md 的 Bias, Risks, and Limitations 章節(jié)Privacy Filter 是數(shù)據(jù)最小化輔助工具不是匿名化或合規(guī)保證應(yīng)作為隱私設(shè)計中多層防線的一環(huán)標(biāo)簽策略是靜態(tài)的變更策略需重新微調(diào)無法運(yùn)行時動態(tài)配置在非英文文本、罕見姓名、跨域憑證等場景下可能漏檢或誤遮蓋醫(yī)療、法律、金融等高敏場景務(wù)必保留人工審核通道結(jié)語OpenAI Privacy Filter 把高吞吐 可本地化 可微調(diào)三件事做到了一個 1.5B 的小模型里對需要在自有環(huán)境中做 PII 脫敏的團(tuán)隊(duì)來說是一個難得的 Apache 2.0 開源選擇。從pip install -e .到opf一句話脫敏5 分鐘內(nèi)即可驗(yàn)證效果再用自帶的微調(diào) Demo 逐步把隱私策略調(diào)成你自己的樣子就是完整的落地路徑?！久赓M(fèi)下載鏈接】privacy-filterOpenAI Privacy Filter項(xiàng)目地址: https://gitcode.com/gh_mirrors/pr/privacy-filter創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考