敏感信息泄露资料来源genai.owasp.org资料整理韦胖是什么意思AI 大模型在回答问题时可能无意中说出它不应该说的内容——比如用户的个人信息、公司的商业机密、系统的内部配置甚至是其他用户的私密数据。这类泄露可能来自模型的训练数据如果训练集里包含了隐私信息用户自己无意间输入的敏感内容系统配置不当把不该暴露的信息放进了 AI 的上下文可能泄露的信息包括个人身份信息姓名、身份证号、联系方式等财务数据、健康记录商业机密、内部算法系统凭据密码、API 密钥等法律文件对于企业自有的专有模型训练方式和模型架构本身也属于需要保护的敏感信息。常见问题示例个人信息泄露用户在对话中提到了自己的隐私信息AI 后续可能在回答其他用户时不经意间引用这些数据。专有算法外泄配置不当的模型可能将内部算法或训练数据暴露出来。历史上曾有Proof Pudding漏洞CVE-2019-20634通过训练数据泄露逆向出了机器学习模型攻击者得以绕过安全控制。商业机密泄露模型在生成回答时可能无意中包含内部业务数据或客户信息。如何防范数据清理训练数据要脱敏在用数据训练模型之前对其中的姓名、联系方式、密码等敏感内容进行清理或替换为占位符。严格验证输入对用户输入进行检查过滤掉可能被模型记忆或泄露的敏感信息。访问控制最小权限原则严格控制谁能访问哪些数据不需要的权限一概不开放。限制外部数据来源控制模型在运行时能访问哪些外部数据源防止意外读取到不该看到的内容。隐私保护技术联邦学习不把数据集中到一处而是让模型在各自的设备或服务器上独立训练减少数据集中带来的泄露风险。差分隐私在训练数据或模型输出中加入适量噪声让攻击者即使得到数据也无法还原出具体的个人信息。用户教育告诉用户不要输入敏感信息在产品界面或文档中明确提示不要把密码、身份证号等隐私内容发给 AI。数据处理要透明公开说明用户数据如何被保存、使用和删除并允许用户选择不让我的数据参与模型训练。系统安全配置隐藏系统初始配置限制用户查看或覆盖系统提示减少内部配置被意外暴露的风险。遵循安全配置规范参考 OWASP API8:2023 的指南避免通过错误提示或配置细节泄露内部信息。高级技术同态加密让数据在加密状态下就能被模型处理全程无需解密进一步保护隐私。令牌化与数据遮掩在数据进入模型之前先用占位符替换敏感字段如把手机号变成[PHONE]处理结束后再还原。真实攻击场景场景 1无意数据泄露由于平台缺乏有效的数据隔离某用户在查询时收到了另一个用户留下的个人信息。场景 2目标性提示词注入攻击者通过精心设计的输入绕过过滤机制诱导模型输出系统内部的敏感数据。场景 3训练数据里的遗留信息模型训练时使用了包含真实用户数据的数据集即使数据理论上被清理过攻击者仍可通过构造特定查询把原始数据问出来。
