ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

Manus 揭秘自己的7大核心技术:上下文工程架构设计与落地经验

Manus 揭秘自己的7大核心技术:上下文工程架构设计与落地经验 前言随着 AI 智能体技术的快速发展如何高效构建和优化 AI 智能体系统已成为业界关注的焦点。本文是对 7月19日 Manus 联合创始人兼首席科学家季逸超Yichao ‘Peak’ Ji在撰写的《Context Engineering for AI Agents: Lessons from Building Manus》一文的整理。Manus 团队在构建 AI 智能体过程中关于上下文工程的宝贵经验包括KV 缓存优化设计、动态动作空间管理设计以及利用文件系统作为扩展上下文等7大核心技术架构设计。这些经验不仅揭示了当前 AI 智能体开发的技术架构设计的挑战和解决思路也为未来 AI 智能体技术的发展提供了重要参考。下文我们详细剖析之1、Manus 智能体6大核心技术剖析1、围绕 KV 缓存进行设计如果必须选择一个关键指标KV 缓存命中率无疑是生产环境中 AI 智能体最重要的指标。KV 缓存是 Transformer 模型中用于存储注意力计算结果的机制高命中率意味着可以重用之前的计算结果从而显著降低延迟和成本。第一、KV 缓存的重要性典型 AI 智能体的运作流程如下用户输入后AI 智能体通过一系列工具调用来完成任务。在每次迭代中模型根据当前上下文从预定义的动作空间中选择一个动作并在环境中执行比如Manus 的虚拟机沙盒环境用于确保代码安全运行从而产生观测结果。动作和观测结果被附加到上下文中形成下一次迭代的输入循环直到任务完成。由于 AI 智能体的上下文随着每一步增长而输出通常是结构化的函数调用相对较短因此 AI 智能体的预填充prefilling一次性处理输入 token 的阶段和解码decoding逐个生成输出 token 的阶段比例与聊天机器人相比高度倾斜。比如在 Manus 中平均输入与输出 token 比例约为100:1。幸运的是具有相同前缀的上下文可以利用 KV 缓存这大大减少了首 token 时间TTFTTime-To-First-Token和推理成本。比如使用Claude Sonnet 时缓存的输入 token 成本为0.30美元/百万 token而未缓存的成本为3美元/百万 token相差10倍。第二、提高 KV 缓存命中率的关键实践保持提示词前缀稳定由于 LLMs 的自回归特性模型按顺序生成 token每个 token 的生成都依赖于之前的所有 token即使是单个 token 的差异也可能使该 token 之后的缓存失效。一个常见错误是在系统提示词的开头包含时间戳特别是精确到秒的时间戳这虽然能让模型告诉你当前时间但会直接降低缓存命中率。使上下文仅追加append-only避免修改之前的动作或观测结果确保序列化过程是确定性的。许多编程语言和库在序列化 JSON 对象时不保证稳定的键排序这可能会悄无声息地破坏缓存。明确标记缓存断点一些模型提供商或推理框架不支持自动增量前缀缓存而是需要在上下文中手动插入缓存断点。分配这些断点时要考虑潜在的缓存过期时间并确保断点包含在系统提示词的末尾。此外如果你使用 vLLM一个高性能的 LLM 推理框架等框架自托管模型请确保启用前缀/提示词缓存并使用会话 ID 等技术在分布式工作节点间一致地路由请求。2、遮蔽Mask而非移除随着 AI 智能体能力的提升其动作空间action space会变得愈发复杂工具数量也会呈爆炸式增长。最近 MCP 的流行更是加剧了这一问题。如果允许用户配置工具总有人会将大量不明来源的工具塞入精心设计的动作空间中导致模型更容易选错行动或采取低效路径从而使 AI 智能体变得迟钝。一种自然的想法是设计一个动态的动作空间按需动态加载工具在 Manus 中也尝试过这种方法。但实验表明除非绝对必要否则应避免在迭代中途动态增删工具原因主要有以下两点在大多数大模型中工具定义在序列化后通常位于上下文的靠前位置通常在系统提示词之前或之后。因此任何更改都会导致后续所有动作和观测的 KV 缓存失效。当此前的动作和观测仍然引用着当前上下文中不再定义的工具时模型会感到困惑。如果没有约束解码constrained decoding这通常会导致模式违规或产生幻觉动作。为了解决这个问题同时又能优化动作选择Manus 使用一个上下文感知的状态机来管理工具的可用性。它并不移除工具而是在解码阶段遮蔽掉 token logits从而根据当前上下文阻止或强制模型选择某些动作。在实践中大多数模型提供商和推理框架都支持某种形式的响应预填充这允许你在不修改工具定义的情况下约束动作空间。函数调用通常有以下三种模式以 NousResearch 的 Hermes format 为例自动Auto模型可以选择调用函数也可以不调用。通过仅预填充回复前缀实现|im_start|assistant。必需Required模型必须调用一个函数但具体调用哪个不受限制。通过预填充至工具调用token实现|im_start|assistanttool_call。指定Specified模型必须从一个特定的子集中调用函数。通过预填充至函数名的开头实现|im_start|assistanttool_call{name: browser_}。利用这一点我们通过直接遮蔽 token logits 来约束动作选择。比如当用户提供新输入时Manus 必须立即回复而不是执行动作。我们还设计了具有一致性前缀的动作名称比如所有浏览器相关的工具都以browser_开头而命令行工具则以shell_开头。这使得我们能够在特定状态下轻松地强制 AI 智能体只能从某一类工具中进行选择而无需使用有状态的 logits 处理器。这些设计有助于确保 Manus 的 AI 智能体 loop 在模型驱动的架构下依然保持可靠稳定。3、将文件系统作为上下文尽管现代前沿大模型已经能够支持高达 128K 甚至更长的上下文窗口但在实际的 AI 智能体应用场景中这往往仍然不够甚至有时会成为负担。以下是三个常见的痛点观测结果过于庞大当 AI 智能体与网页、PDF 等非结构化数据交互时观测结果可能极其庞大很容易超出上下文长度的限制。模型性能下降即使模型在技术上支持长上下文窗口其性能通常会在上下文长度超过一定阈值后显著下降。成本高昂长输入的成本非常高即使有前缀缓存你仍然需要为每个 token 的传输和预填充支付费用。为了解决这些问题许多 AI 智能体系统采用了上下文截断或压缩策略。然而过于激进的压缩不可避免地会导致信息丢失。这是一个根本性问题因为 AI 智能体需要基于所有先前的状态来预测下一个动作而你无法可靠地预测哪些观测结果在未来会变得至关重要。从逻辑上讲任何不可逆的压缩都伴随着风险。第一、文件系统作为终极上下文因此我们将文件系统视为 Manus 的终极上下文解决方案。文件系统具有以下优势无限容量文件系统的容量几乎是无限的。天然持久文件系统是持久化的数据不会因为上下文的限制而丢失。直接操作AI 智能体可以直接操作文件系统按需读写文件。模型不仅将文件系统用作存储更是将其视为一个结构化的外部记忆体。通过这种方式模型可以按需读写文件而不是将所有信息都保留在上下文中。第二、可恢复的压缩策略我们的压缩策略始终被设计为可恢复的比如网页内容只要保留了网页的 URL其内容就可以从上下文中丢弃。文档路径只要文档在其沙箱中的路径可用其内容也可以被省略。通过这种方式Manus 可以在不永久丢失信息的前提下有效缩减上下文长度。第三、对状态空间模型的思考在开发此功能时我常常思考如何让一个状态空间模型SSM在 AI 智能体场景中有效工作。与 Transformer 不同SSM 缺乏全局注意力难以处理长程的回溯依赖。但如果它们能够掌握基于文件的记忆——将长期状态外化而不是保留在上下文中——那么它们的速度和效率或许能开启一类全新的 AI 智能体。具备 AI 智能体能力的 SSM或许才是 Neural Turing Machines 真正的继承者。4、通过“复述”来操控注意力如果你使用过 Manus可能已经注意到一个有趣的现象在处理复杂任务时Manus 会创建一个名为todo.md的文件并随着任务的进展逐步更新它勾掉已完成的项。这并非只是为了看起来“可爱”而是一种精心设计的注意力操控机制。在 Manus 中一个典型任务平均需要约50次工具调用。这是一个相当长的循环由于 Manus 依赖大模型进行决策很容易出现偏离主题或忘记早期目标的问题尤其是在长上下文或复杂任务中。通过不断更新待办事项列表Manus 实际上是在将任务目标“复述”到上下文的末尾。这将全局计划注入到模型的近期注意力范围从而避免“中间遗忘”lost-in-the-middle问题并减少目标偏离。实际上这是一种用自然语言引导自身注意力的方式使其聚焦于任务目标而无需依赖特殊的架构。5、保留出错记录AI 智能体会犯错这不是一个缺陷而是现实的一部分。语言模型可能会产生幻觉运行环境可能会返回错误外部工具可能会出现故障各种意想不到的边界情况也屡见不鲜。在多步骤任务中失败并不是例外而是整个流程的组成部分。然而一个常见的做法是隐藏这些错误清理错误痕迹、重试动作或者重置模型状态然后将其交给所谓的“温度Temperature”参数来调整。这种做法看似更安全、更可控但却有代价它消除了失败的记录也就抹去了过往行动的证据。而没有这些证据模型就无法从中学习和适应。根据我们的经验提升 AI 智能体行为表现最有效的方法之一其实非常简单将失败的尝试保留在上下文中。当模型看到一个失败的动作——以及由此产生的观测结果或堆栈跟踪stack trace——它会隐式地更新其内部认知改变对相似动作的先验判断从而减少重复犯同样错误的可能性。事实上我们认为错误恢复能力是真正 AI 智能体行为最明确的标志之一。然而在大多数学术研究和公开基准测试中这一点仍然没有得到充分的体现它们往往只关注理想条件下的任务成功率。6、不要陷入 Few-Shot 陷阱Few-shot Prompting是一种常用技术用于通过少量示例提升大语言模型的输出表现。然而在构建 AI 智能体系统时它可能会带来一些意想不到的问题。语言模型本质上是出色的模仿者它们会学习并模仿上下文中呈现的行为模式。如果上下文中充斥着大量相似的“动作-观测结果”对模型往往会倾向于遵循这些模式即使这些模式已经不再是最优选择。这在涉及重复性决策或动作的任务中尤其危险。比如 在使用 Manus 协助审阅 20 份简历时AI 智能体可能会陷入一种惯性节奏仅仅因为它在上下文中看到了类似的行为就不断重复相似的动作。这不仅会导致行为漂移和过度泛化有时甚至会产生幻觉。为了解决这一问题Manus 在动作和观测结果中引入了少量结构化的变动比如使用不同的序列化模板、变换措辞、在顺序或格式上引入微小的噪音。这种受控的随机性有助于打破单一的模式调整模型的注意力使其更加灵活。简而言之不要让自己陷入“少样本”的思维定势中。上下文的模式越单一AI 智能体的行为就越脆弱。多样化是提升 AI 智能体稳定性和适应性的关键。7、上下文工程AI 智能体系统的核心上下文工程虽然还是一门新兴学科但对于 AI 智能体系统来说它已经变得至关重要。无论模型变得多么强大、快速或低成本都无法替代对记忆、环境和反馈的需求。你如何塑造上下文最终决定了AI 智能体的行为方式它的运行速度、恢复能力和扩展潜力。第一、Manus 的经验在 Manus我们通过不断的重构、失败的尝试以及面向数百万用户的真实世界测试才逐步积累了这些宝贵的经验。我们分享的这些经验并非放之四海而皆准的真理但它们对 Manus 来说是行之有效的。如果这些经验能帮助你减少哪怕一次痛苦的迭代那么我们的分享就达到了目的。第二、AI 智能体的未来AI 智能体的未来将由一个个精心设计的上下文构建而成。希望你能精心设计它们让AI 智能体发挥出最大的潜力。最后为什么要学AI大模型当下⼈⼯智能市场迎来了爆发期并逐渐进⼊以⼈⼯通⽤智能AGI为主导的新时代。企业纷纷官宣“ AI ”战略为新兴技术⼈才创造丰富的就业机会⼈才缺⼝将达 400 万DeepSeek问世以来生成式AI和大模型技术爆发式增长让很多岗位重新成了炙手可热的新星岗位薪资远超很多后端岗位在程序员中稳居前列。与此同时AI与各行各业深度融合飞速发展成为炙手可热的新风口企业非常需要了解AI、懂AI、会用AI的员工纷纷开出高薪招聘AI大模型相关岗位。最近很多程序员朋友都已经学习或者准备学习 AI 大模型后台也经常会有小伙伴咨询学习路线和学习资料我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频全系列的学习资料这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】AI大模型系统学习路线在面对AI大模型开发领域的复杂与深入精准学习显得尤为重要。一份系统的技术路线图不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点还能提供一条高效、有序的学习路径。但知道是一回事做又是另一回事初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性在这基础上找到高质量的学习资源不浪费时间、不走弯路又是重中之重。AI大模型入门到实战的视频教程项目包看视频学习是一种高效、直观、灵活且富有吸引力的学习方式可以更直观地展示过程能有效提升学习兴趣和理解力是现在获取知识的重要途径光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。海量AI大模型必读的经典书籍PDF阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。600AI大模型报告实时更新这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。AI大模型面试真题答案解析我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
返回列表