Decompiling the Synergy: An Empirical Study of Human–LLM Teaming in Software Reverse Engineering

论文重点

本文是首个系统性探究LLM如何与人类分析师在软件逆向工程（SRE）中协同工作的实证研究。通过对153名从业者的在线调查和48名参与者（24名新手+24名专家）累计109小时的细粒度实验，研究发现LLM辅助能使新手的代码理解率提升约98%，追平专家水平，但同时也带来幻觉、无用建议等显著问题。

核心研究内容

问题定义

软件逆向工程（SRE）是一项复杂且高度依赖人工的认知密集型任务。尽管LLM在符号恢复、类型推断、漏洞识别等孤立子任务上已展现潜力，但没有任何工作从人类视角系统性地评估LLM是否真正有益于SRE整体流程。人与LLM之间的交互动态（dynamics）直接影响LLM增强下人工驱动SRE的绩效。本文旨在填补这一空白。

创新方法

1. 两阶段混合方法设计：先通过153名从业者的在线问卷调查当前LLM在SRE中的使用现状，再据此设计细粒度的人机实验。
2. 全流程行为追踪：对IDA Pro进行深度插桩，记录函数访问、点击、变量重命名等几乎所有可追踪行为。
3. LLM功能插件化：基于调查发现的六大核心功能（如函数总结、重命名、类型推断等），开发了集成GPT-4o、Claude-3.5-Sonnet、Gemini-Pro等多模型的IDA插件。
4. 代表性CTF挑战设计：与领域专家合作设计了两个代表真实软件的挑战（RPC和Secrets），涵盖编码、压缩、加密、认证、路径遍历等多种真实逆向场景。

研究成果

通过18项研究发现，核心量化成果包括：

实际落地应用的可能性

• 新手培训与赋能：LLM可大幅缩短新手逆向工程师的学习曲线，使其快速达到专家级理解水平，适合用于安全团队的人才培养。
• 自动化逆向辅助工具：将LLM能力集成到IDA Pro、Ghidra等主流反编译器中，辅助分析师完成符号恢复、函数注释等重复性劳动。
• 人机协同工作流设计：研究揭示的协同模式可为安全运营中心（SOC）和恶意软件分析团队设计更高效的人机分工流程提供依据。

技术细节

1. 六大LLM功能设计

基于153名从业者调查，论文识别并实现了六大核心功能：

• 函数总结（Summarization）：为反编译函数生成自然语言描述
• 变量/函数重命名（Renaming）：根据上下文建议语义化命名
• 类型推断（Type Inference）：推测变量和参数的数据类型
• 注释生成（Commenting）：为关键代码段添加解释性注释
• 漏洞识别（Vulnerability Identification）：标记潜在安全风险
• 自由对话（Chatbox）：允许分析师与LLM自由交互

2. Prompt工程方法

论文采用结构化的Prompt设计范式：

1. 任务描述：说明具体任务（如summarization、renaming）
2. 输出格式：要求JSON格式输出，便于解析
3. 示例输入输出：提供最小化的正确示例
4. 目标函数反编译文本：将被处理的函数代码作为输入

3. 行为追踪架构

基于BinSync框架对IDA Pro 9进行深度插桩：

• 记录数据：函数访问序列、鼠标点击、变量重命名、反编译视图切换等
• 平台架构：浏览器内VNC → IDA Pro（含LLM插件）+ 文本编辑器 + 浏览器
• 模型选择：参与者可自由选择GPT-4o、GPT-4o-Mini、GPT-4-Turbo、Claude-3.5-Sonnet、Gemini-Pro，默认GPT-4o

4. 挑战设计的技术指标

两个CTF挑战（RPC和Secrets）的软件度量高度匹配，确保难度相当：

研究设定

参与者构成

• 总计48人：24名新手 + 24名专家
• 新手定义：较少或没有SRE经验的学生/初级从业者
• 专家定义：3年以上SRE经验的资深逆向工程师
• 累计实验时长：109小时

实验流程

1. 背景调查：收集参与者的SRE经验、LLM使用习惯等
2. 挑战进行：参与者通过浏览器VNC访问插桩版IDA Pro，完成两个CTF挑战（分时进行以降低认知负担）
3. LLM辅助：可随时调用六大LLM功能或使用聊天框自由交互
4. Writeup提交：完成挑战后提交书面分析报告
5. 评分：基于7个检查点的结构化评分体系（0-8分）

统计方法

• 效应量：采用Cohen’s guidelines分类（小≤0.1，中0.1-0.8，大>0.8）
• 非参数检验：样本量<11或非正态分布时使用Mann-Whitney U检验 + Cliff’s Delta效应量
• 相关性分析：正态分布用Pearson，否则用Spearman

硬件/软件配置

• 反编译工具：IDA Pro 9（插桩版）
• LLM插件：自研，集成多模型API
• 行为追踪：BinSync框架
• 实验平台：基于VNC的浏览器内在线平台
• 外部工具限制：参与者除IDA Pro和LLM插件外不得使用调试器或其他工具

综合分析

核心发现的深层含义

1. 能力“拉平”效应的双面性

新手理解率提升98%看似是巨大的成功，但这实质上揭示了LLM的“认知捷径”效应——它让新手绕过了大量本该通过实践积累的基础能力训练。从人才培养角度看，这究竟是加速了成长还是制造了“虚假的 competence”？论文并未深入探讨这一教育维度的问题。

2. 专家的“零收益”现象值得警惕

专家从LLM中几乎无收益，这说明当前LLM的能力上限尚未超越人类专家的认知水平。对于高难度、非标准的逆向任务（如混淆代码、未知协议），LLM可能不仅无用，甚至会因幻觉而误导专家。这提示我们：LLM在SRE中的定位应该是“初级助手”而非“高级协作者”。

3. 幻觉问题的严重性被低估

论文提到LLM存在“harmful hallucinations, unhelpful suggestions, and ineffective results”。在安全攸关的逆向工程场景中，一个错误的类型推断或函数语义解释可能导致分析师在错误方向上花费数小时。这种“信任但验证”（trust but verify）的成本在论文中未被充分量化。

4. 研究方法论的价值

本文最大的贡献不在于发现“LLM有用”或“LLM有害”这样的二元结论，而在于建立了一套可复现的人机协同SRE评估框架。从行为追踪、结构化评分到统计方法，这套方法论为后续研究提供了黄金标准。

局限性

• 挑战仅涵盖静态分析，排除动态分析和混淆代码
• 两个CTF挑战虽经度量匹配，但样本量有限（仅2个二进制）
• LLM模型为2024年版本，随着模型迭代结论可能变化

实践应用

对安全团队的建議

1. 分层赋能策略：将LLM工具作为新手的“学习加速器”，但需配套基础能力训练，避免过度依赖。对专家级分析师，LLM应定位为“自动化书记员”（处理符号恢复、注释生成等机械劳动），而非决策辅助。

2. 建立LLM输出验证机制：鉴于幻觉问题的普遍性，建议团队建立“LLM建议→人工复核→知识库沉淀”的三级流程，将验证后的LLM输出纳入团队知识库。

3. 工具链集成：参考论文的插件设计思路，将LLM能力深度集成到IDA Pro/Ghidra工作流中，而非作为独立的外部工具使用——这能显著降低认知切换成本。

4. 定制化Prompt工程：论文的结构化Prompt范式可直接复用到内部工具开发中，核心是“任务描述+格式约束+示例+目标代码”的四段式结构。

对研究者的建議

• 本文建立的行为追踪和评估框架可直接用于后续人机协同研究
• 未来工作应扩展至动态分析、混淆代码、更大规模二进制样本等更具挑战性的场景

参考资料

• 原始论文：Decompiling the Synergy: An Empirical Study of Human–LLM Teaming in Software Reverse Engineering
• 会议：NDSS Symposium 2026