论文信息
unsenixsecurity26，香港大学、香港理工大学、香港科技大学
关注概念
- VFMs（视觉基础模型）是一种专门用于处理和理解视觉数据的基础模型，基于深度学习架构，在特定计算机视觉任务中表现出色
文章的key insights
- 核心的隐私保护指标：敏感信息和任务所需信息之间的重叠程度。通过估算每一帧中敏感信息和任务的相关性来确定privacy protectability，如果“可保护性”高，则进行加密推理，反之则轻量扰动
- 可保护性：需要保护水平的等级，可保护性越高则保护程度越高
- 听着有点像隐私保护推理。这篇文章的核心概念是“一帧图像中的敏感信息，有多大程度可以被保护而不影响任务”，其理念贴近数据最小化
MEPS系统的完整设计：
Offline阶段： - 训练出预测可保护性的模型，基于U-Net（一种图像分割的卷积网络），经过对比学习和fine-tuning两个阶段，目标是特征到特征的预测
- 确定扰动的配置（加合适的噪声）：使用此配置文件，我们可以快速在运行时找到使用相应配置的扰动方案让给定视频帧实现最大任务精度。
- 确定加密的配置，用私钥加密后送给VFMs
- 主要贡献：
- 观察到虽然常见视频理解任务中的大多数视频帧包含敏感数据，但只有少数包含对任务至关重要的敏感信息，从而暴露了当前保护方法在resource-constrained边缘设备上的低效性从而启发了这项研究(§2).
- 构建了隐私可保护性这个新的指标，用于量化帧对给定视频理解任务的保护程度。该指标唯一地描述了应用加密与扰动方案的适当条件(§3).
- 开发了MEPS，这是一种新颖的边缘云视频理解系统，它基于帧级隐私保护能力动态调整其隐私保护策略，选择适当的配置以最小化视频任务延迟(§4).
- 进行了理论隐私分析并证明MEPS满足严格的隐私保证（§5）。实施了MEPS原型，并根据既定baseline进行综合评估，并通过案例研究验证其有效性(§6)
- 攻击模型：使用ArcFace[10]用于Face，这是一种基于YOLOv8的车牌检测器[50]用于车牌，FairFace[28]用于性别、明显的种族/民族和明显的年龄组，YOLOv8车辆检测[25]用于车辆颜色的主色分类。
再去思考在哪种攻击模型上突破
文章结构
1 Introduction
- VFM的广泛应用场景
- 场景下存在的隐私风险泄露和过去工作的不足
- 提出关键insights：不是所有帧的所有部分都有sensitive information
- challenge：如何确定隐私保护性？
- 我们从信息论视角去建立了隐私保护性的理论基础
- 同时我们提出了MEPS系统：在边云场景下混合加密扰动从而保护视频，guided by 2 principles；在docker上构建了一个MEPS实例并进行了一系列baseline对比
- 总结出4条contributions
2 Background And Motivtaion
2.1 介绍了VFMs然后进一步拓展到了边-云视频分析系统和目前视频的隐私保护手段
2.2 介绍威胁模型，从攻击者的目标和能力出发
2.3 启发，观察到了“虽然常见视频理解任务中的大多数视频帧包含敏感数据，但只有少数包含对任务至关重要的敏感信息”，初步介绍设置和定义3 可保护性的定义
4 MEPS系统的设计
从Offline和Online两个阶段详细介绍
扰动相关工作的具体角色如下：
暂时无法在飞书文档外展示此内容
这里还有一个引用问题：[13] 和 [14] 是重复收录的同一篇 DP-Forward，不是两种方法。完整实验比较对象是 Plain、ConcreteML、DP-Forward 和 PECAM。5 隐私性分析（数学）
6 实验实施和评估
隐私实验实际使用了四组来源，对应六种敏感属性：
暂时无法在飞书文档外展示此内容
Fig. 6 主要报告人脸与车牌泄漏；Fig. 7 扩展到全部六种属性。论文明确说明，族裔和年龄组是从画面推断的视觉属性，并非经过核实的人口统计标签。
阅读后总结的不足
- 我看下来它们都没能很好地达到可逆的效果，如果保护后不能恢复原视频那么在交通执法场景将极大阻碍。凭什么假设那些与任务无关的隐私就是可以进行轻量扰动的部分呢，隐私不该由任务来定义吧。以及没说清楚为什么轻量扰动的保护程度就更差了
- “扰动或加密”的二元选择过于粗糙
MEPS 的策略主要是：高 protectability扰动；低 protectability加密。
但现实中保护机制不应该只有两个离散选项。还可以有：区域级加密；对象级加密；局部扰动；特征级加密；低分辨率传输；多帧聚合；TEE；secure aggregation；split inference；访问控制和审计。
目前 MEPS 选择的是“整帧扰动”或“整帧加密”，因此可能出现：
- 只是一小块区域敏感，却保护整帧；
- 只有某个目标与任务相关，却加密全部像素；
- 加密带来很高的计算和通信成本；
- 均匀扰动损伤大量非敏感区域。
- 论文自己也承认，当前使用的 homogeneous perturbation 对局部人脸和车牌并不理想。
- 没验证重构攻击
- 在这个有生成式大模型的年代或许还需要加入大模型对云端扰动后的分析
- 扰动的部分不可逆