ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

The Man Behind the Sound: Demystifying Audio Private Attribute Profiling via Multimodal Large Lan...

The Man Behind the Sound: Demystifying Audio Private Attribute Profiling via Multimodal Large Lan... 文章主要内容总结本文聚焦多模态大语言模型(MLLMs)在音频隐私安全领域的风险,首次系统研究了MLLMs通过音频数据推断敏感个人属性的能力(称为“音频隐私属性分析”),并提出了相应的数据集、框架和防御策略。具体内容如下:研究背景与问题:MLLMs的发展带来了跨模态任务的突破,但也引发新的隐私风险。相比文本和图像,音频具有易被隐蔽采集、包含语调/音高等独特信息的特点,但其隐私属性分析尚未被充分研究。核心挑战:缺乏带敏感属性标注的音频基准数据集;当前MLLMs直接从音频推断敏感属性的能力有限(ALMs缺乏世界知识和推理能力,LLMs依赖音频转文本易丢失关键信息)。解决方案:构建了AP2数据集,包含两个子集(AP2-Com来自公共数据集,AP2-TV来自最新电视剧),均标注敏感属性;提出Gifts混合多智能体框架,结合音频语言模型(ALMs)和大语言模型(LLMs)的优势:LLM引导ALM进行推断,通过追问解决ALM长文本生成的幻觉问题,最终整合结果提升准确性;探索了防御策略:模型级采用“上下文遗忘”(In-context Unlearning),数据级采用“反窃听干扰”(Anti-Eavesdropping Jamming),均能有效降低推断精度。
返回列表