拓冰网站定制 
OpenAI Privacy Filter架构原理1.5B参数MoE双向分类器如何实现单次前向PII检测【免费下载链接】privacy-filterOpenAI Privacy Filter项目地址: https://gitcode.com/gh_mirrors/pr/privacy-filterOpenAI Privacy Filter是 OpenAI 开源的一个面向PII个人身份信息检测与脱敏的轻量级模型它通过 1.5B 参数的稀疏 MoE混合专家架构与双向注意力机制在单次前向传播中完成整段文本的隐私标记配合约束式 Viterbi 解码输出连贯的隐私跨度让团队可以在本地高速运行数据清洗流水线。本文将从架构原理出发带你拆解这个小而快的隐私检测模型是如何工作的 一、模型概览为什么它能在笔记本上跑起来传统 PII 检测有两条路一是正则表达式/规则引擎易漏检、难维护二是大语言模型逐 token 生成慢、贵。OpenAI Privacy Filter 选择了第三条路——把语言模型改造成序列标注模型不再是逐 token 生成而是一次前向传播同时给所有 token 打分双向注意力让每个 token 都能看到上下文边界判断更准MoE 稀疏激活总参数 1.5B但每个 token 只激活约 50M 参数推理成本极低128K 上下文窗口长文档无需切块关键规格数值总参数量1.5B每 token 激活参数约 50M专家总数 / 每 token 激活128 / top-4注意力窗口双向带限有效 257 token上下文长度128,000 token检测类别8 类隐私标签许可协议Apache 2.0可商用 这意味着它可以跑在浏览器、笔记本或普通 GPU 上适合高吞吐的私有化数据清洗场景。二、训练路径从自回归语言模型到双向分类器的三段式改造模型并不是一开始就为 PII 检测设计的它的诞生分三个阶段详见 README.md自回归预训练先训练出一个与 gpt-oss 同架构、但规模更小的自回归检查点获得通用语言能力架构改造把预测下一个词的输出头替换为隐私标签分类头并启用双向带限注意力监督后训练用带 BIOES 边界标签的数据做 token 级分类训练损失函数从下一词预测变为分类交叉熵。这个预训练 → 换头 → 后训练的流水线是理解整个项目的钥匙模型保留了语言模型对上下文的理解力却只需一次前向传播就能完成标注。三、双向带限注意力每个 token 如何看到 257 个邻居普通自回归模型是单向的——token 只能看到左边的内容。而 PII 检测是双向任务判断138-0000-0000是不是电话既需要左边的我的手机号是也需要右边的请加微信。Privacy Filter 的解决方案是带限双向注意力banded attention每个 token 的注意力范围限制在左右各 128 个 token加上自身共 257 个这避免了全连接双向注意力的 O(n²) 开销同时保证局部上下文充分实现位于 opf/_model/model.py 的sdpa函数当bidirectional_contextTrue时注意力掩码被裁剪成一条斜向带宽超出[−left_ctx, right_ctx]区间的位置直接置为 −∞。注意力本身采用分组查询注意力GQA14 个 query 头共享 2 个 KV 头组大小 7配合 RoPE 旋转位置编码进一步压缩 KV 缓存。token i 的注意力视野 ◀──────── 128 ────────▶◀─ i ─▶◀──────── 128 ────────▶ 左上下文 自身 右上下文四、稀疏 MoE 专家层1.5B 参数只花 50M 的算力模型每层的前馈网络被替换成混合专家Mixture-of-Experts模块这是小模型大能力的核心技巧一个轻量gate 路由器为每个 token 打分选出128 个专家中的 top-4只有这 4 个专家参与该 token 的计算其余 124 个沉睡专家输出按路由权重加权求和再经残差连接回到主干。对应源码见 opf/_model/model.py 的MLPBlockF.linear(t, self.gate.weight, ...)计算路由分数torch.topk(g, k4)选出专家GPU 上还可切换 Triton 分组矩阵乘法内核加速opf/_model/triton_moe.py。 效果模型容量有 1.5B 参数能记住各种 PII 模式但每次前向只付 50M 参数的电费——吞吐量因此远超同尺寸稠密模型。整个 transformer 主干由8 个重复块组成每块 RMSNorm 双向 GQA 注意力 MoE 前馈opf/_model/model.py主干宽度d_model 640。五、单次前向分类8 类隐私标签如何变成 33 个 logits这是单次前向承诺的落地方式。模型把 8 个隐私类别展开为BIOES 边界标签类别展开后 token 级标签private_email、private_phone、private_person、private_address、private_url、private_date、account_number、secret共 8 类每类B-开始、I-内部、E-结束、S-单 token背景类O非隐私即1 8 × 4 33 个输出类别。一次前向后长度为 T 的序列得到[T, 33]的 logit 矩阵——每个 token 都同时拥有 33 个类别的分数无需任何循环。标签空间由 opf/_common/label_space.py 定义序列切窗逻辑见 opf/_core/sequence_labeling.py。六、约束式 Viterbi 解码保证不出现半个跨度如果直接对 33 个 logits 逐 token 取 argmax很容易出现I-phone前面没有B-phone这类边界破碎问题。Privacy Filter 用线性链 Viterbi 解码器做全局路径优化约束转移只允许合法的 BIOES 边界跳转如I-x必须跟在B-x/I-x之后转移偏置校准解码器内置 6 个转移偏置参数——背景保持、进入跨度、延续跨度、闭合跨度等由校准文件viterbi_calibration.json按预设操作点加载定义见 opf/_core/decoding.py精度/召回可调加大背景保持偏置 → 更保守高精度加大进入/延续跨度偏置 → 掩码更宽高召回。也就是说每个 token 的最终决策依赖整条序列的结构而不是孤立看局部分数。这正是长文本、混合格式下边界依然稳定的原因。七、三步上手安装、脱敏与微调✅ 安装仓库为本地代码 CLI权重首次运行时自动下载到~/.opf/privacy_filterpip install -e .✅ 单条 / 整文件 / 管道脱敏默认 GPU--device cpu可切 CPUopf Alice was born on 1990-01-02. opf -f /path/to/file cat data.txt | grep -e pattern | opf✅ 用自己的标注数据微调数据高效、改动标签政策必须走微调因为标签体系不支持运行时动态配置opf train /path/to/train.jsonl --output-dir /path/to/finetuned_checkpoint示例数据与演示脚本可直接参考 examples/data/finetuning_secret_demo/README.md 与 examples/scripts/finetuning/finetune_secret_demo.sh完整流程见 FINETUNING.md输出 JSON 格式见 OUTPUT_SCHEMAS.md。八、核心模块路径速查模块职责opf/_model/model.pyTransformer 主干、注意力与 MoE 实现opf/_core/decoding.pyViterbi 解码器与转移偏置校准opf/_core/spans.pytoken 标签 → 连贯跨度转换opf/_common/label_space.py标签空间与 BIOES 映射opf/_api.pyPython API 入口opf/_eval/数据集加载、指标与评估运行器opf/_train/本地微调参数解析与训练器九、总结与使用建议OpenAI Privacy Filter 用三个架构决策换来了单次前向 PII 检测双向带限注意力保证上下文感知128 专家 top-4 的 MoE把 1.5B 参数的算力压到 50M33 类 token 分类头 约束 Viterbi把原始分数变成边界完整的隐私跨度。⚠️ 最后记住它的定位它是数据最小化的辅助工具而非匿名化或合规保证。建议——把它作为隐私设计privacy-by-design的多层防线之一生产前先在域内数据上用opf eval评估示例见 examples/data/sample_eval_five_examples.jsonl标签策略与默认边界不符时走微调而非期待运行时调整医疗、法律、金融等高敏场景保留人工复核环节。对于非英语文本、小众命名习惯和新型凭证格式误检/漏检概率会上升请结合自己的分布做校准 【免费下载链接】privacy-filterOpenAI Privacy Filter项目地址: https://gitcode.com/gh_mirrors/pr/privacy-filter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 OpenAI Privacy Filter架构原理：1.5B参数MoE双向分类器如何实现单次前向PII检测
OpenAI Privacy Filter架构原理1.5B参数MoE双向分类器如何实现单次前向PII检测【免费下载链接】privacy-filterOpenAI Privacy Filter项目地址: https://gitcode.com/gh_mirrors/pr/privacy-filterOpenAI Privacy Filter是 OpenAI 开源的一个面向PII个人身份信息检测与脱敏的轻量级模型它通过 1.5B 参数的稀疏 MoE混合专家架构与双向注意力机制在单次前向传播中完成整段文本的隐私标记配合约束式 Viterbi 解码输出连贯的隐私跨度让团队可以在本地高速运行数据清洗流水线。本文将从架构原理出发带你拆解这个小而快的隐私检测模型是如何工作的 一、模型概览为什么它能在笔记本上跑起来传统 PII 检测有两条路一是正则表达式/规则引擎易漏检、难维护二是大语言模型逐 token 生成慢、贵。OpenAI Privacy Filter 选择了第三条路——把语言模型改造成序列标注模型不再是逐 token 生成而是一次前向传播同时给所有 token 打分双向注意力让每个 token 都能看到上下文边界判断更准MoE 稀疏激活总参数 1.5B但每个 token 只激活约 50M 参数推理成本极低128K 上下文窗口长文档无需切块关键规格数值总参数量1.5B每 token 激活参数约 50M专家总数 / 每 token 激活128 / top-4注意力窗口双向带限有效 257 token上下文长度128,000 token检测类别8 类隐私标签许可协议Apache 2.0可商用 这意味着它可以跑在浏览器、笔记本或普通 GPU 上适合高吞吐的私有化数据清洗场景。二、训练路径从自回归语言模型到双向分类器的三段式改造模型并不是一开始就为 PII 检测设计的它的诞生分三个阶段详见 README.md自回归预训练先训练出一个与 gpt-oss 同架构、但规模更小的自回归检查点获得通用语言能力架构改造把预测下一个词的输出头替换为隐私标签分类头并启用双向带限注意力监督后训练用带 BIOES 边界标签的数据做 token 级分类训练损失函数从下一词预测变为分类交叉熵。这个预训练 → 换头 → 后训练的流水线是理解整个项目的钥匙模型保留了语言模型对上下文的理解力却只需一次前向传播就能完成标注。三、双向带限注意力每个 token 如何看到 257 个邻居普通自回归模型是单向的——token 只能看到左边的内容。而 PII 检测是双向任务判断138-0000-0000是不是电话既需要左边的我的手机号是也需要右边的请加微信。Privacy Filter 的解决方案是带限双向注意力banded attention每个 token 的注意力范围限制在左右各 128 个 token加上自身共 257 个这避免了全连接双向注意力的 O(n²) 开销同时保证局部上下文充分实现位于 opf/_model/model.py 的sdpa函数当bidirectional_contextTrue时注意力掩码被裁剪成一条斜向带宽超出[−left_ctx, right_ctx]区间的位置直接置为 −∞。注意力本身采用分组查询注意力GQA14 个 query 头共享 2 个 KV 头组大小 7配合 RoPE 旋转位置编码进一步压缩 KV 缓存。token i 的注意力视野 ◀──────── 128 ────────▶◀─ i ─▶◀──────── 128 ────────▶ 左上下文 自身 右上下文四、稀疏 MoE 专家层1.5B 参数只花 50M 的算力模型每层的前馈网络被替换成混合专家Mixture-of-Experts模块这是小模型大能力的核心技巧一个轻量gate 路由器为每个 token 打分选出128 个专家中的 top-4只有这 4 个专家参与该 token 的计算其余 124 个沉睡专家输出按路由权重加权求和再经残差连接回到主干。对应源码见 opf/_model/model.py 的MLPBlockF.linear(t, self.gate.weight, ...)计算路由分数torch.topk(g, k4)选出专家GPU 上还可切换 Triton 分组矩阵乘法内核加速opf/_model/triton_moe.py。 效果模型容量有 1.5B 参数能记住各种 PII 模式但每次前向只付 50M 参数的电费——吞吐量因此远超同尺寸稠密模型。整个 transformer 主干由8 个重复块组成每块 RMSNorm 双向 GQA 注意力 MoE 前馈opf/_model/model.py主干宽度d_model 640。五、单次前向分类8 类隐私标签如何变成 33 个 logits这是单次前向承诺的落地方式。模型把 8 个隐私类别展开为BIOES 边界标签类别展开后 token 级标签private_email、private_phone、private_person、private_address、private_url、private_date、account_number、secret共 8 类每类B-开始、I-内部、E-结束、S-单 token背景类O非隐私即1 8 × 4 33 个输出类别。一次前向后长度为 T 的序列得到[T, 33]的 logit 矩阵——每个 token 都同时拥有 33 个类别的分数无需任何循环。标签空间由 opf/_common/label_space.py 定义序列切窗逻辑见 opf/_core/sequence_labeling.py。六、约束式 Viterbi 解码保证不出现半个跨度如果直接对 33 个 logits 逐 token 取 argmax很容易出现I-phone前面没有B-phone这类边界破碎问题。Privacy Filter 用线性链 Viterbi 解码器做全局路径优化约束转移只允许合法的 BIOES 边界跳转如I-x必须跟在B-x/I-x之后转移偏置校准解码器内置 6 个转移偏置参数——背景保持、进入跨度、延续跨度、闭合跨度等由校准文件viterbi_calibration.json按预设操作点加载定义见 opf/_core/decoding.py精度/召回可调加大背景保持偏置 → 更保守高精度加大进入/延续跨度偏置 → 掩码更宽高召回。也就是说每个 token 的最终决策依赖整条序列的结构而不是孤立看局部分数。这正是长文本、混合格式下边界依然稳定的原因。七、三步上手安装、脱敏与微调✅ 安装仓库为本地代码 CLI权重首次运行时自动下载到~/.opf/privacy_filterpip install -e .✅ 单条 / 整文件 / 管道脱敏默认 GPU--device cpu可切 CPUopf Alice was born on 1990-01-02. opf -f /path/to/file cat data.txt | grep -e pattern | opf✅ 用自己的标注数据微调数据高效、改动标签政策必须走微调因为标签体系不支持运行时动态配置opf train /path/to/train.jsonl --output-dir /path/to/finetuned_checkpoint示例数据与演示脚本可直接参考 examples/data/finetuning_secret_demo/README.md 与 examples/scripts/finetuning/finetune_secret_demo.sh完整流程见 FINETUNING.md输出 JSON 格式见 OUTPUT_SCHEMAS.md。八、核心模块路径速查模块职责opf/_model/model.pyTransformer 主干、注意力与 MoE 实现opf/_core/decoding.pyViterbi 解码器与转移偏置校准opf/_core/spans.pytoken 标签 → 连贯跨度转换opf/_common/label_space.py标签空间与 BIOES 映射opf/_api.pyPython API 入口opf/_eval/数据集加载、指标与评估运行器opf/_train/本地微调参数解析与训练器九、总结与使用建议OpenAI Privacy Filter 用三个架构决策换来了单次前向 PII 检测双向带限注意力保证上下文感知128 专家 top-4 的 MoE把 1.5B 参数的算力压到 50M33 类 token 分类头 约束 Viterbi把原始分数变成边界完整的隐私跨度。⚠️ 最后记住它的定位它是数据最小化的辅助工具而非匿名化或合规保证。建议——把它作为隐私设计privacy-by-design的多层防线之一生产前先在域内数据上用opf eval评估示例见 examples/data/sample_eval_five_examples.jsonl标签策略与默认边界不符时走微调而非期待运行时调整医疗、法律、金融等高敏场景保留人工复核环节。对于非英语文本、小众命名习惯和新型凭证格式误检/漏检概率会上升请结合自己的分布做校准 【免费下载链接】privacy-filterOpenAI Privacy Filter项目地址: https://gitcode.com/gh_mirrors/pr/privacy-filter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考