拓冰网站定制 ![[论文分析]CRAKEN：基于知识执行的网络安全LLM智能体的深度分析](http://pic.xiahunao.cn/yaotu/[论文分析]CRAKEN：基于知识执行的网络安全LLM智能体的深度分析)
CRAKEN: Cybersecurity LLM Agent with Knowledge-Based Execution论文重点CRAKEN是由纽约大学团队提出的一种基于知识库的LLM智能体框架通过上下文分解、迭代自反思知识检索和知识提示注入三大核心机制将CTF解题报告中的安全知识嵌入到LLM智能体的工作流中。在NYU CTF Bench基准测试上取得了22%的准确率SOTA在MITRE ATTCK技术覆盖上比前人工作多解决25-30%的技术手法。核心研究内容问题定义LLM智能体在网络安全任务中面临两个关键瓶颈一是训练数据存在截断日期无法获取最新的网络安全专业知识二是缺乏将新知识整合到复杂多步任务规划中的能力。即使通过RAG等方式注入知识现有方法也往往是“一股脑”地提供所有信息而非让智能体根据当前任务需求动态决定需要什么信息。这导致LLM智能体在处理需要多阶段漏洞发现与利用的复杂场景时表现受限。创新方法CRAKEN的核心创新体现在三个层面1. 上下文分解Contextual Decomposition将冗长的对话上下文进行分解从中提取任务关键信息将任务描述拆解为聚焦的子任务。这一机制有效缓解了信息过载问题让智能体能够聚焦于当前步骤最相关的信息。2. 迭代自反思知识检索Iterative Self-Reflected Knowledge Retrieval采用Self-RAG机制通过检索、评分和精炼的迭代流程确保检索到的知识和最终输出与任务目标保持一致不会误导执行器。智能体可以自主决定何时检索、检索什么信息。3. 知识提示注入Knowledge-Hint Injection将检索到的洞察转化为自适应的攻击策略以提示的形式注入到智能体的推理过程中。在架构层面CRAKEN采用基于D-CIPHER的规划器-执行器多智能体系统规划器负责整体解题流程和任务委派执行器专注于完成分配的子任务。知识检索系统结合了Self-RAG和Graph-RAG——Graph-RAG在向量检索基础上增加了基于知识图谱的结构化推理让智能体能够沿着概念关联进行推理。研究成果NYU CTF Bench评测CRAKEN在包含200道CTF题目的NYU CTF Bench上取得了22%的准确率比前人工作D-CIPHER19%提升了3个百分点达到SOTA。评测涵盖密码学、数字取证、二进制利用、逆向工程、Web安全和杂项六个类别。MITRE ATTCK评估CRAKEN比前人工作多解决25-30%的ATTCK技术手法。成本分析CRAKEN的性能提升伴随着适度的成本增加。以Claude 3.5 Sonnet为例CRAKEN达到21.0%的解题率成本约$0.80而D-CIPHER为19.0%成本$0.52。Graph-RAG配置在几乎不增加额外计算成本的情况下进一步提升性能。实际落地应用的可能性落地可行性较高。CRAKEN的代码已在GitHub上开源且架构设计具有模块化和可扩展性可与任何智能体系统集成。团队此前已发布NYU CTF Bench数据集和EnIGMA智能体等开源成果有持续的开源贡献记录。主要限制22%的CTF解题率意味着在真实复杂场景中仍有大量任务无法完成。目前主要依赖Claude等商业LLM的API成本虽可控但大规模部署仍需优化。论文尚未在真实企业网络环境而非CTF比赛环境中进行验证。技术细节核心算法流程CRAKEN的工作流程可概括为以下步骤任务分解规划器接收CTF任务描述将其分解为多个子任务知识检索触发在任务委派过程中检索器被调用混合检索结合向量相似度检索和Graph-RAG的结构化知识图谱推理自反思精炼对检索结果进行评分和精炼确保与任务目标一致知识注入将精炼后的洞察转化为提示注入执行器的推理过程执行与反馈执行器完成任务后返回结果规划器根据反馈决定下一步Graph-RAG机制Graph-RAG是该框架的技术亮点之一。传统RAG仅依赖向量相似度进行文本检索而Graph-RAG在知识图谱上进行结构化推理让智能体能够沿着概念关联进行推理。这种混合方法让智能体同时受益于结构化知识表征和文本参考。提示设计论文附录中详细列出了规划器、执行器和RAG系统使用的提示模板。提示工程在CRAKEN中扮演了关键角色——不仅是简单的指令而是将检索到的知识转化为可执行的攻击策略的“桥梁”。研究设定硬件与软件配置LLM选择基于D-CIPHER的发现选择模型包括Claude 3.5 Sonnet、Claude 3.7 Sonnet和GPT-4o检索与智能体大多数实验中使用同一个LLM同时承担检索和智能体功能知识数据库默认使用CTF解题报告writeups数据库API使用Anthropic和OpenAI的API评测基准NYU CTF Bench200道CTF题目来自CSAW CTF比赛涵盖6个类别MITRE ATTCK框架评估智能体在真实攻击技术手法上的覆盖能力实验配置论文对不同配置进行了全面评估包括不同LLM模型、不同检索策略纯向量检索 vs. Graph-RAG、不同知识数据库等维度的对比实验。综合分析作者团队背景——可信度极高CRAKEN的作者团队由12位研究人员组成来自纽约大学NYU、纽约大学阿布扎比分校NYU Abu Dhabi和印度坎普尔理工学院IIT Kanpur。核心成员背景扎实Minghao Shao第一作者NYU阿布扎比分校全球博士研究员2025年Google博士奖学金获得者隐私、安全方向。此前已主导NYU CTF Bench数据集和EnIGMA智能体的开发。Brendan Dolan-GavittNYU Tandon计算机科学与工程系副教授曾获NSF CAREER奖。在软件漏洞测试和系统安全领域有深厚积累。Ramesh KarriNYU Tandon电子与计算机工程系教授兼系主任NYU网络安全中心联合创始人IEEE HOST名人堂成员。Muhammad ShafiqueNYU阿布扎比分校计算机工程正教授eBRAIN和iCAS实验室主任2025年AI 2000最具影响力学者奖得主。这不是“象牙塔里的纯理论团队”。该团队此前已发布NYU CTF Bench、EnIGMA、D-CIPHER等多个开源项目和数据集。Shao本人明确表示其研究目标是“短期內产生更智能的AI安全工具长期推动可信赖AI的发展”。团队与Google、Amazon等企业有直接合作。技术真实性——方法扎实结果可信CRAKEN的三个核心机制上下文分解、自反思检索、知识提示注入都是RAG和智能体领域已有技术的有机组合没有“魔法般”的创新但组合方式合理且有针对性。22%的CTF解题率看似不高但需注意NYU CTF Bench是高难度基准——此前NYU CTF基线仅5%。从19%提升到22%的3个百分点在CTF这样的复杂任务中并非 trivial 的提升。成本方面从$0.52增加到$0.80获得3个百分点的提升trade-off合理。局限性评估范围有限CTF比赛虽能模拟真实场景但与真实企业环境仍有差距依赖商业LLM目前最佳表现依赖Claude 3.5 Sonnet等闭源模型22%的解题率说明仍有大量复杂任务无法完成知识库依赖性能高度依赖CTF writeups的质量和覆盖范围实践应用适合的应用场景安全培训与教育CRAKEN可作为CTF训练的辅助工具帮助学员理解解题思路漏洞评估辅助在渗透测试中作为“副驾驶”提供攻击路径建议安全研究自动化分析已知漏洞的利用链加速安全研究不适合的场景生产环境的自动化渗透22%的成功率远不足以替代人工零日漏洞挖掘知识库依赖已知漏洞信息对成本极度敏感的场景每次解题$0.80左右的成本在大规模场景下不可忽视部署建议从开源代码入手GitHub仓库已公开可直接部署测试构建专属知识库根据自身需求构建特定领域的知识数据库模型选择根据成本预算在Claude 3.5 Sonnet和GPT-4o之间权衡考虑Graph-RAG论文显示Graph-RAG在几乎不增加成本的情况下带来性能提升关注后续迭代该团队有持续产出成果的记录可关注后续版本参考资料原始论文CRAKEN: Cybersecurity LLM Agent with Knowledge-Based ExecutionGitHub仓库NYU-LLM-CTF/nyuctf_agents_crakenNYU CTF BenchNYU-LLM-CTF/NYU_CTF_Bench [论文分析]CRAKEN：基于知识执行的网络安全LLM智能体的深度分析
CRAKEN: Cybersecurity LLM Agent with Knowledge-Based Execution论文重点CRAKEN是由纽约大学团队提出的一种基于知识库的LLM智能体框架通过上下文分解、迭代自反思知识检索和知识提示注入三大核心机制将CTF解题报告中的安全知识嵌入到LLM智能体的工作流中。在NYU CTF Bench基准测试上取得了22%的准确率SOTA在MITRE ATTCK技术覆盖上比前人工作多解决25-30%的技术手法。核心研究内容问题定义LLM智能体在网络安全任务中面临两个关键瓶颈一是训练数据存在截断日期无法获取最新的网络安全专业知识二是缺乏将新知识整合到复杂多步任务规划中的能力。即使通过RAG等方式注入知识现有方法也往往是“一股脑”地提供所有信息而非让智能体根据当前任务需求动态决定需要什么信息。这导致LLM智能体在处理需要多阶段漏洞发现与利用的复杂场景时表现受限。创新方法CRAKEN的核心创新体现在三个层面1. 上下文分解Contextual Decomposition将冗长的对话上下文进行分解从中提取任务关键信息将任务描述拆解为聚焦的子任务。这一机制有效缓解了信息过载问题让智能体能够聚焦于当前步骤最相关的信息。2. 迭代自反思知识检索Iterative Self-Reflected Knowledge Retrieval采用Self-RAG机制通过检索、评分和精炼的迭代流程确保检索到的知识和最终输出与任务目标保持一致不会误导执行器。智能体可以自主决定何时检索、检索什么信息。3. 知识提示注入Knowledge-Hint Injection将检索到的洞察转化为自适应的攻击策略以提示的形式注入到智能体的推理过程中。在架构层面CRAKEN采用基于D-CIPHER的规划器-执行器多智能体系统规划器负责整体解题流程和任务委派执行器专注于完成分配的子任务。知识检索系统结合了Self-RAG和Graph-RAG——Graph-RAG在向量检索基础上增加了基于知识图谱的结构化推理让智能体能够沿着概念关联进行推理。研究成果NYU CTF Bench评测CRAKEN在包含200道CTF题目的NYU CTF Bench上取得了22%的准确率比前人工作D-CIPHER19%提升了3个百分点达到SOTA。评测涵盖密码学、数字取证、二进制利用、逆向工程、Web安全和杂项六个类别。MITRE ATTCK评估CRAKEN比前人工作多解决25-30%的ATTCK技术手法。成本分析CRAKEN的性能提升伴随着适度的成本增加。以Claude 3.5 Sonnet为例CRAKEN达到21.0%的解题率成本约$0.80而D-CIPHER为19.0%成本$0.52。Graph-RAG配置在几乎不增加额外计算成本的情况下进一步提升性能。实际落地应用的可能性落地可行性较高。CRAKEN的代码已在GitHub上开源且架构设计具有模块化和可扩展性可与任何智能体系统集成。团队此前已发布NYU CTF Bench数据集和EnIGMA智能体等开源成果有持续的开源贡献记录。主要限制22%的CTF解题率意味着在真实复杂场景中仍有大量任务无法完成。目前主要依赖Claude等商业LLM的API成本虽可控但大规模部署仍需优化。论文尚未在真实企业网络环境而非CTF比赛环境中进行验证。技术细节核心算法流程CRAKEN的工作流程可概括为以下步骤任务分解规划器接收CTF任务描述将其分解为多个子任务知识检索触发在任务委派过程中检索器被调用混合检索结合向量相似度检索和Graph-RAG的结构化知识图谱推理自反思精炼对检索结果进行评分和精炼确保与任务目标一致知识注入将精炼后的洞察转化为提示注入执行器的推理过程执行与反馈执行器完成任务后返回结果规划器根据反馈决定下一步Graph-RAG机制Graph-RAG是该框架的技术亮点之一。传统RAG仅依赖向量相似度进行文本检索而Graph-RAG在知识图谱上进行结构化推理让智能体能够沿着概念关联进行推理。这种混合方法让智能体同时受益于结构化知识表征和文本参考。提示设计论文附录中详细列出了规划器、执行器和RAG系统使用的提示模板。提示工程在CRAKEN中扮演了关键角色——不仅是简单的指令而是将检索到的知识转化为可执行的攻击策略的“桥梁”。研究设定硬件与软件配置LLM选择基于D-CIPHER的发现选择模型包括Claude 3.5 Sonnet、Claude 3.7 Sonnet和GPT-4o检索与智能体大多数实验中使用同一个LLM同时承担检索和智能体功能知识数据库默认使用CTF解题报告writeups数据库API使用Anthropic和OpenAI的API评测基准NYU CTF Bench200道CTF题目来自CSAW CTF比赛涵盖6个类别MITRE ATTCK框架评估智能体在真实攻击技术手法上的覆盖能力实验配置论文对不同配置进行了全面评估包括不同LLM模型、不同检索策略纯向量检索 vs. Graph-RAG、不同知识数据库等维度的对比实验。综合分析作者团队背景——可信度极高CRAKEN的作者团队由12位研究人员组成来自纽约大学NYU、纽约大学阿布扎比分校NYU Abu Dhabi和印度坎普尔理工学院IIT Kanpur。核心成员背景扎实Minghao Shao第一作者NYU阿布扎比分校全球博士研究员2025年Google博士奖学金获得者隐私、安全方向。此前已主导NYU CTF Bench数据集和EnIGMA智能体的开发。Brendan Dolan-GavittNYU Tandon计算机科学与工程系副教授曾获NSF CAREER奖。在软件漏洞测试和系统安全领域有深厚积累。Ramesh KarriNYU Tandon电子与计算机工程系教授兼系主任NYU网络安全中心联合创始人IEEE HOST名人堂成员。Muhammad ShafiqueNYU阿布扎比分校计算机工程正教授eBRAIN和iCAS实验室主任2025年AI 2000最具影响力学者奖得主。这不是“象牙塔里的纯理论团队”。该团队此前已发布NYU CTF Bench、EnIGMA、D-CIPHER等多个开源项目和数据集。Shao本人明确表示其研究目标是“短期內产生更智能的AI安全工具长期推动可信赖AI的发展”。团队与Google、Amazon等企业有直接合作。技术真实性——方法扎实结果可信CRAKEN的三个核心机制上下文分解、自反思检索、知识提示注入都是RAG和智能体领域已有技术的有机组合没有“魔法般”的创新但组合方式合理且有针对性。22%的CTF解题率看似不高但需注意NYU CTF Bench是高难度基准——此前NYU CTF基线仅5%。从19%提升到22%的3个百分点在CTF这样的复杂任务中并非 trivial 的提升。成本方面从$0.52增加到$0.80获得3个百分点的提升trade-off合理。局限性评估范围有限CTF比赛虽能模拟真实场景但与真实企业环境仍有差距依赖商业LLM目前最佳表现依赖Claude 3.5 Sonnet等闭源模型22%的解题率说明仍有大量复杂任务无法完成知识库依赖性能高度依赖CTF writeups的质量和覆盖范围实践应用适合的应用场景安全培训与教育CRAKEN可作为CTF训练的辅助工具帮助学员理解解题思路漏洞评估辅助在渗透测试中作为“副驾驶”提供攻击路径建议安全研究自动化分析已知漏洞的利用链加速安全研究不适合的场景生产环境的自动化渗透22%的成功率远不足以替代人工零日漏洞挖掘知识库依赖已知漏洞信息对成本极度敏感的场景每次解题$0.80左右的成本在大规模场景下不可忽视部署建议从开源代码入手GitHub仓库已公开可直接部署测试构建专属知识库根据自身需求构建特定领域的知识数据库模型选择根据成本预算在Claude 3.5 Sonnet和GPT-4o之间权衡考虑Graph-RAG论文显示Graph-RAG在几乎不增加成本的情况下带来性能提升关注后续迭代该团队有持续产出成果的记录可关注后续版本参考资料原始论文CRAKEN: Cybersecurity LLM Agent with Knowledge-Based ExecutionGitHub仓库NYU-LLM-CTF/nyuctf_agents_crakenNYU CTF BenchNYU-LLM-CTF/NYU_CTF_Bench