Table of Contents
背景
随着大语言模型(LLM)与工具使用能力的结合,“深度研究助手”成为趋势——Agent 可以同时读取企业私有文档并调用外部工具(如搜索引擎)回答问题。这种“内外结合”的能力带来了巨大的隐私风险:即使单个外部查询看起来无害,但攻击者通过累积的查询日志,可以利用“马赛克效应”拼凑出完整的敏感信息。例如,一家医疗企业的 Agent 在回答问题时,可能无意间泄露了云迁移进度、安全披露日期等私有信息,而查询日志中单独每个查询都不直接包含机密,组合起来却足以揭露全部事实。
ServiceNow 研究团队在 2026 年 6 月发表了 MosaicLeaks 基准,系统性地评测和研究这种隐私泄露问题,并提出带有隐私感知的强化学习训练方法 PA-DR,显著降低泄露风险。
核心内容分析
三种泄露度量:从意图到全部信息
MosaicLeaks 将泄露分为三个递进层次:
- 意图泄露:仅凭查询日志,攻击者能推断出 Agent 正在研究的私有问题或目标。
- 答案泄露:结合查询日志和一个具体的私有问题,攻击者能在不访问私有文档的情况下正确回答该问题。
- 全信息泄露:仅凭查询日志,攻击者能陈述可验证的私有事实,即使事先不知道问题。
这三种度量覆盖了从“知道对方在查什么”到“直接获知私有事实”的不同风险级别,为评估 Agent 的隐私安全性提供了细化指标。
实验发现:训练只关注任务性能会让泄露更糟
团队在多个模型上进行测试,发现 Agent 频繁泄露私有信息。更关键的是,如果训练只优化任务完成率(比如准确回答问题),泄露率反而会上升——因为 Agent 学会了利用外部查询辅助推理,但未学会过滤敏感信息。
Privacy-Aware Deep Research (PA-DR) 方法
为解决这一问题,研究者提出了一套隐私感知强化学习训练方案 PA-DR。其核心是在强化学习奖励中引入泄露惩罚,同时保留任务表现。经过 PA-DR 训练后:
- 严格链成功(每一跳都正确回答)率从 48.7% 提升到 58.7%;
- 答案/全信息泄露率从 34.0% 大幅降低至 9.9%。
这表明泄露与性能并非必然的零和博弈,通过精心设计的训练目标,可以同时提升能力和安全性。
行业影响与专业点评
MosaicLeaks 提出的问题具有高度现实意义。企业部署 Agent 时,往往只关注输出结果是否准确,而忽视了 Agent 在外部的“数字脚印”。该研究首次构建了针对深度研究助手的隐私安全基准,并给出了可操作的方法。
对于行业而言,这意味着设计 Agent 的推理策略时必须将“查询安全”作为一等公民。未来,Agent 可能需要类似差分隐私的机制,确保外部查询不会泄露内部上下文。PA-DR 方法虽然目前针对强化学习场景,但其思路(在目标函数中包含隐私惩罚)具有普适性。
此外,该工作也为监管提供了参考:当企业宣称 Agent “完全合规”时,需要检查的不仅是最终输出,还包括整个查询历史的多跳泄露风险。