差分隐私:让数据有用,也让个体隐身

        AI产品上线之后,通常不会停在第一个版本。产品团队会关心:用户最常使用哪些功能?哪些回答经常失败?语音输入在哪些场景下识别不准?一个AI助手,是更多被用来总结会议、改写文案,还是查询知识、处理日程?

  这些问题都属于正常的产品优化。没有统计,产品很难进步;没有反馈,AI也很难变得更好。

  但AI时代的“使用数据”,往往不只是点击次数。一次提问,可能暴露健康焦虑;一次搜索,可能透露财务困境;一段语音,可能包含家庭、工作和情绪状态;一张图片,也可能泄露位置和身份。用户只是想让AI帮自己解决问题,却未必希望这些问题变成可以被反复分析的记录。

  于是,一个问题变得重要起来:AI产品想变得更好,是否一定要看清每一个用户到底做了什么?

  很多人会觉得,只要不公开原始记录,只发布统计结果,应该就安全了。比如平台不展示某个用户问过什么,只统计“今天有多少人使用了语音总结功能”;不公开具体聊天内容,只看“某类问题的回答失败率”。

  这听起来已经克制了很多。但统计结果并不天然等于匿名。风险常常出现在两种情况里:样本量太小,或者切分太细。

  假设一个系统统计某个AI功能的使用人数。如果只看全站数据,风险通常不高。但如果继续按照城市、时间段、设备型号、功能入口一层层切分,范围就会越来越小。到了某些小众场景里,一个数字本身就可能接近具体用户。

  更麻烦的是,攻击者不一定只看一次结果。他可以反复换角度提问,对比不同统计口径之间的差异。每一次看起来都只是统计,但拼起来之后,可能就能推回某个人是否出现过、做过什么。

  所以,隐私泄露不止数据库整体被盗这一种形式,有时候,它就藏在过于精确的统计结果里。

  要给这种风险划出边界,就要引入差分隐私。

  差分隐私(Differential Privacy)的核心逻辑可以说得很直白:单独一位用户的数据是否出现在系统里,不应该明显改变最终发布的统计结果。

  在密码学的世界里,有两位万能的常驻嘉宾——Alice和Bob。这一次,Alice是某个普通用户,可能用AI助手问过私密问题,也可能上传过一段敏感语音。Bob是服务方,他想了解整体使用情况,比如某个功能今天被用了多少次、某类回答失败率有多高。

      Bob真正需要的是群体趋势,不是Alice个人的具体行为。

  我们可以把所有用户数据看成一个数据集D。如果把Alice的记录拿掉,就得到另一个数据集D′。D和D′几乎一样,只差Alice一个人。差分隐私关心的就是:基于D得到的统计结果,和基于D′得到的统计结果,应该足够接近。

      M(D) ≈ M(D′)

  这里的M是统计发布机制。这个式子不是说两个结果必须完全相同,而是说它们不能因为Alice一个人的存在而出现明显差异。外界看到结果后,不应该轻易判断出Alice到底在不在这个数据集里。

  为了让这两个结果足够接近,差分隐私通常会引入一点随机性。

  差分隐私最容易被误解的一点,正是“加噪声”。很多人会想:统计结果不就应该准确吗?为什么还要故意加一点随机扰动?

  问题在于,过于精确的结果有时恰恰危险。假设Bob想知道“今天使用某个AI功能的用户数”。如果系统直接发布真实数字,攻击者就可能通过改变统计范围、反复比较结果,判断某个用户是否贡献了这一次计数。

  差分隐私的思路是,不直接发布完全精确的结果,而是发布“统计结果 + 一点随机噪声”。这个噪声不是随便乱加,而是经过设计的随机扰动,目的是让单个用户的影响不那么突出。

图差分隐私如何保护单个用户的存在痕迹

  如果噪声太小,隐私保护不够;如果噪声太大,结果又会失去参考价值。差分隐私真正做的,是在“统计可用”和“个体保护”之间找到一个平衡。

  可以把它想成拍照时的一层柔焦:整体轮廓还在,趋势还能看见,但某个人的细节不再被锐利地暴露出来。

  不过,只加一次噪声并不意味着万事大吉。

  这就涉及差分隐私里的另一个重要概念:隐私预算。它背后的直觉很简单:一次统计泄露一点点,多次统计加起来,泄露风险就会变高。

  如果一个系统允许不断追问:“今天使用AI写作功能的人数是多少?”“其中移动端用户有多少?”“某个城市有多少?”“晚上10点之后有多少?”即使每次回答都加了一点噪声,只要问题足够多、切分足够细,仍然可能把个人信息拼出来。

  所以,差分隐私不是给每个答案撒一点噪声就结束了。它还要管理总的统计次数和隐私消耗。隐私不是一个开关,而是一种会被消耗的资源。

  这也是为什么到了AI时代,差分隐私会变得更加重要。

      AI处理的内容越来越贴近真实生活。用户可能让AI总结会议、润色简历、分析体检报告,也可能让它查看照片、识别语音、理解日程。很多时候,AI不只是知道用户点了哪个按钮,而是知道用户正在想什么、担心什么。

  产品当然需要改进。AI助手如果经常答非所问,开发者需要知道问题出在哪里;语音识别如果对某些场景表现不好,系统也需要统计失败情况。但产品改进不应该自动等于个体追踪。

  差分隐私提供的是一种更克制的统计方式:系统可以知道某个功能是否好用、某类问题是否普遍失败、某种场景是否需要优化,但不必把注意力落到具体用户身上。

  如果把前面讲过的几类隐私技术连起来看,会发现它们都在处理同一个问题:数字系统怎样完成任务,同时少知道一点。OPRF关心输入,PSI 关心名单交集,PIR 关心查询意图。差分隐私则把目光放在出口:结果要发布出去了,里面会不会顺手带出某个人?

  也就是说,系统不仅要少拿,也要少说。

  当然,差分隐私也不能被神化。

  差分隐私不是把数据随便打乱。真正的差分隐私有严格定义,需要根据统计问题、数据规模和隐私参数来设计。

  它也不是万能匿名。样本太小、查询太多、参数太宽松,都会削弱保护效果。它更不能替代访问控制、加密存储、权限管理和审计机制。

  它更像是一道守在“统计发布”环节的边界。不是整座城墙,但守住的是一个很关键的出口。

  更大的背景是,AI正在让数据使用变得越来越自然。过去,分析数据可能需要写查询、跑报表。现在,人们只要用自然语言问一句,AI就能总结、比较、归纳,甚至给出建议。

  这当然提高了效率,也让隐私泄露变得更隐蔽。泄露不一定来自一份被下载的表格。它可能藏在一次普通统计、连续追问后的差值,或一个过于精确的小样本结论里。

  差分隐私提醒我们:系统可以理解群体,但不必暴露个体;可以发现趋势,但不该把某个人从趋势里拽出来。AI产品当然需要变得更好。但真正成熟的技术,不只是让系统更聪明,也要让它更有分寸。

参考文献:

[1] Dwork C. Differential Privacy[C]//International Colloquium on Automata, Languages, and Programming. 2006.

[2] Dwork C, Roth A. The Algorithmic Foundations of Differential Privacy[J]. Foundations and Trends in Theoretical Computer Science, 2014.

 

 

//关于我们//

  杭州量安科技有限公司是由浙江大学和之江实验室联合孵化,核心创始团队汇聚中国工程院院士、国家特聘专家、国家重点研发计划首席科学家等多位顶尖人才。公司专注于人工智能赋能量子安全的研发,聚焦抗量子密码、高性能国密改造及智能安全三大核心领域,为电力、能源、政务、金融、军工、医疗等关键行业,提供新一代密码及安全产品与服务。公司发展势头强劲,已完成 B 轮融资,2024年入选杭州市准独角兽企业,2025年跻身浙江省未来独角兽企业 TOP 100,2026年入选中国未来独角兽企业。技术研发成果显著,牵头主持国家重点研发计划1项,获批浙江省领军型创新创业团队,深度参与国家重点研发计划、国家自然科学基金重点项目、浙江省尖兵领雁研发攻关计划等项目6项;核心知识产权成果丰硕,授权发明专利17项,受理发明专利42项,登记软件著作权40项;资质认证完备,获批国家高新技术企业、浙江省企业研究院、浙江省专精特新中小企业、浙江省科技型中小企业,担任华东江苏大数据交易中心理事长单位。公司产品竞争力突出,斩获多项重要荣誉:2025 年日内瓦国际发明展金奖、2025 中国科技产业化促进会科技创新一等奖、2022 年首届全球数字贸易博览会先锋奖年度最高奖、第三届中国数字经济科技大会年度最具竞争力产品创新奖及数据安全金盾奖等。相关产品已通过国家密码管理局商用密码产品认证、工信部信通院专业评测,具备成熟的市场化应用基础。

首页  ꄲ  知识科普  ꄲ  差分隐私:让数据有用,也让个体隐身