当AI模型能回答“珠穆朗玛峰有多高”时我们觉得它很聪明。但当它需要自己发现“如何用厨房里的材料制作一个简易的净水装置”时它可能就“卡壳”了。这背后是当前AI能力评估体系的一个巨大盲区我们擅长测试AI的“复述”和“推理”能力却难以衡量其“发现”和“创造”能力。最近一个名为TRACES的基准测试正式发布目标直指这个盲区。它不再问AI已知答案的问题而是要求AI像科学家或探险家一样在未知环境中主动探索、提出假设、设计实验并验证最终“发现”新的知识或解决方案。这被研究者称为“发现式智能”。如果你认为AI的未来不只是聊天和写代码而是成为科学发现、技术创新的伙伴那么TRACES基准的发布就是一个必须关注的关键信号。它标志着一个转折点AI评测正从“开卷考试”转向“开放式研究项目”。本文将深入解析TRACES基准是什么、它如何工作、对开发者意味着什么并提供一个实操指南帮助你理解如何让AI模型具备“发现”能力。1. TRACES基准要解决的核心问题从“知道”到“发现”在深入技术细节前我们必须先理解一个根本性问题为什么现有的AI基准不够用了当前主流的AI评测如MMLU大规模多任务语言理解、GSM8K数学推理、HumanEval代码生成本质上都是“已知答案”的测试。题目和答案范围是预设的模型的任务是在其训练数据中匹配、组合或推理出那个“标准答案”。这更像是一场开卷考试考察的是模型的记忆、理解和模式匹配能力。然而人类智能中最璀璨的部分——科学发现、艺术创作、技术发明——往往发生在“没有标准答案”的领域。牛顿发现万有引力不是因为他背下了公式而是他观察到了苹果下落并主动设计思想实验去探索背后的规律。这种从观察现象到形成理论的能力就是“发现式智能”。TRACES基准的核心使命就是为这种“发现式智能”建立一个可量化、可复现的评测标准。它试图回答一个AI系统能否在给定的、结构不良的环境中通过自主交互和实验发现隐藏的规律、原理或解决方案对开发者而言这意味着两件事技术风向标它指明了下一代AI特别是AI Agent和科学AI的研究重点。如果你的项目涉及自主智能体、强化学习、科学计算TRACES是你必须了解的“考题”。能力分水岭未来能通过TRACES挑战的模型与只能通过传统基准的模型将代表两种不同层级的智能。前者可能真正成为科研助手和创意引擎。2. 核心概念拆解什么是“发现式智能”与TRACES2.1 发现式智能 vs. 传统智能我们可以用一个简单的对比来理解维度传统智能当前主流评测发现式智能TRACES关注问题类型封闭式有明确答案开放式答案未知或需探索评估目标答案的准确性、完整性探索过程的效率、假设的质量、发现的正确性模型角色答题者、执行者探索者、研究者、实验设计者典型任务QA、数学解题、代码补全科学规律发现、游戏策略探索、新材料设计依赖数据高度依赖训练数据中的模式依赖与环境交互产生的新数据和内在推理发现式智能强调主动性与生成性。模型不能只做选择题它需要自己“出题”并“解题”。2.2 TRACES基准的构成TRACES不是一个单一的数据集而是一个评测框架和一系列任务环境。其名称可能代表了“Tracking Research and Creative Exploration in Systems”追踪系统中的研究与创造性探索此为推测需以官方为准。其核心设计包含以下几个关键部分环境提供一个模拟的、可交互的“世界”。这个世界有内在的、对模型隐藏的规则或规律。例如一个简单的物理模拟器隐藏了牛顿力学定律。一个化学反应模拟环境隐藏了反应方程式。一个探索类游戏的简化版本隐藏了通关策略。目标给模型一个高级目标而非具体指令。例如“找出这个物理世界中的运动规律”或“设计一种能产生特定现象的化合物”。交互接口模型可以通过API或自然语言向环境发出“动作”如“施加一个力”、“混合A和B物质”、“向左移动”并接收环境的“观察”反馈。评估指标这是TRACES最精妙的部分。它不只评估最终结果更评估发现过程探索效率模型用了多少步或多少次实验发现了关键规律假设质量模型提出的中间假设是否合理、可检验结论正确性最终发现的规律或解决方案是否正确报告清晰度模型能否用清晰的语言或模型描述其发现3. 环境准备如何为“发现式智能”研究搭建基础要理解或参与TRACES相关的研究你需要一个能支持AI与环境进行多轮、复杂交互的开发环境。这不仅仅是安装一个Python库那么简单。3.1 核心软件栈Python 3.8AI研究的主流语言。强化学习/交互环境库这是模拟“世界”的基础。Gymnasium(OpenAI Gym的维护分支)提供标准化的环境接口是入门首选。PettingZoo适用于多智能体环境。Unity ML-Agents如果你需要更复杂、可视化的3D环境。自定义环境对于特定的科学模拟如化学、物理你可能需要基于pygame、PyBullet或专业模拟库如RDKitfor化学自行构建。AI模型框架PyTorch或TensorFlow用于构建和训练神经网络模型。Transformers 库 (Hugging Face)如果你想基于大语言模型LLM构建具备规划能力的Agent核心。LangChain / LlamaIndex用于构建基于LLM的Agent工作流处理工具调用、记忆等。TRACES基准本身通常以Python包或GitHub仓库的形式提供。你需要克隆其代码库并安装依赖。3.2 基础环境搭建步骤假设我们从一个最简单的自定义环境开始模拟TRACES的思想。# 1. 创建项目目录并进入 mkdir traces_demo cd traces_demo # 2. 创建虚拟环境推荐 python -m venv venv # Windows venv\Scripts\activate # Linux/Mac source venv/bin/activate # 3. 安装核心依赖 pip install gymnasium numpy torch3.3 理解环境接口Gymnasium范例TRACES类环境通常遵循或扩展Gymnasium的接口。理解这个接口是第一步。# 文件understanding_env.py import gymnasium as gym # 创建一个简单的预置环境例如“悬崖漫步” env gym.make(CliffWalking-v0, render_modehuman) # render_mode可选 human, rgb_array, None # 重置环境获取初始状态 observation, info env.reset() print(f初始观察: {observation}, 初始信息: {info}) done False total_reward 0 while not done: # 智能体这里我们随机选择动作需要根据observation决定action action env.action_space.sample() # 随机动作实际应由模型决策 # 执行动作与环境交互 observation, reward, terminated, truncated, info env.step(action) total_reward reward print(f动作: {action}, 新观察: {observation}, 奖励: {reward}, 结束: {terminated}, 中断: {truncated}) # 判断回合是否结束 done terminated or truncated print(f回合结束总奖励: {total_reward}) env.close()在这个范例中observation是模型对世界的“观察”action是模型对世界的“干预”reward是环境给出的即时反馈在发现任务中奖励可能很稀疏直到发现关键规律才有大奖励。TRACES的任务就是让模型学会在复杂的observation中通过一系列action最终“发现”那个能获得高reward即完成任务的策略或规律。4. 核心流程拆解构建一个具备“发现”能力的AI Agent要让AI完成TRACES任务不能只用一个静态的LLM。我们需要构建一个能感知-思考-行动-学习的循环系统即一个AI Agent。下图展示了一个典型的研究型Agent架构[环境] --(观察/状态)-- [感知模块] -- [世界模型/记忆] | v [环境] --(动作)-------- [行动模块] -- [规划与推理核心LLM策略] ^ | [学习与更新模块]4.1 步骤一定义任务与环境首先我们需要一个比“悬崖漫步”更贴近“发现”本质的简单环境。假设我们设计一个“隐藏数字规律”的环境环境状态一个数列的前几项如[2, 4, 8, 16]。隐藏规律a_n 2^n模型不知道。Agent动作可以“猜测”下一个数字或“提出”一个规律公式。环境反馈如果猜错下一个数字给出“错误”如果猜对给出“正确”如果提出公式环境会验证其是否能正确推导出已给出的数列。4.2 步骤二构建Agent的规划与推理核心使用LLM我们将使用一个LLM例如通过OpenAI API或本地模型作为Agent的“大脑”负责解读观察、制定计划。# 文件agent_brain.py import openai # 或使用 llama_cpp, transformers 等本地调用 import os # 假设使用OpenAI API你需要设置你的API密钥 # os.environ[OPENAI_API_KEY] your-api-key class LLMReasoner: def __init__(self, modelgpt-3.5-turbo): self.model model # 在实际项目中这里会初始化本地模型如Llama、Qwen等 def generate_plan(self, observation_history, available_actions): 根据历史观察和可用动作生成一个计划或下一个动作。 prompt f 你是一个正在探索数字规律的科学家。你观察到的数列历史如下 {observation_history} 你可以执行以下操作 1. 预测下一个数字。 2. 提出一个可能的数学公式来描述这个数列。 请分析已观察到的数列并决定下一步做什么。请用以下JSON格式回复 {{ reasoning: 你的思考过程分析数列可能存在的规律。, action: predict_next 或 propose_formula, value: 如果是predict_next这里填预测的数字如果是propose_formula这里填公式字符串如a_n n^2 }} # 调用LLM # 注意此处为示例实际调用需处理API错误、上下文长度等 # response openai.ChatCompletion.create(...) # result parse_response(response) # 为演示我们返回一个硬编码的“智能”响应 # 假设观察历史是 [2,4,8,16] fake_response { reasoning: 观察到的数列是2, 4, 8, 16。每个数字似乎是前一个数字乘以2也可能是2的幂次2^1,2^2,2^3,2^4。规律很可能是2的n次方。, action: propose_formula, value: a_n 2^n } return fake_response4.3 步骤三整合Agent循环将环境、推理核心、记忆历史整合在一起形成交互循环。# 文件discovery_agent_demo.py import json from agent_brain import LLMReasoner class DiscoveryEnv: 一个极简的“发现数字规律”环境。 def __init__(self): self.sequence [2, 4, 8, 16] self.hidden_rule lambda n: 2 ** n self.step_count 0 self.max_steps 10 self.observation_history [] def reset(self): self.step_count 0 self.observation_history [f观察到数列: {self.sequence}] return self.get_state() def get_state(self): return {sequence: self.sequence, history: self.observation_history} def step(self, action_type, value): 执行动作。 self.step_count 1 reward 0 done False info {} if action_type predict_next: predicted value correct_next self.hidden_rule(len(self.sequence) 1) if predicted correct_next: reward 10 self.observation_history.append(f第{self.step_count}步: 成功预测下一个数字为 {predicted}。) info[message] 预测正确 else: reward -1 self.observation_history.append(f第{self.step_count}步: 预测 {predicted} 错误正确答案应是 {correct_next}。) info[message] f预测错误。 elif action_type propose_formula: proposed_formula value # 简单验证检查公式对前4项是否成立 try: correct all(self.hidden_rule(i1) eval(proposed_formula.replace(a_n, str(self.hidden_rule(i1))).replace(n, str(i1))) for i in range(4)) # 注意这里eval仅用于演示生产环境极度危险 if correct: reward 50 # 发现规律的奖励最高 self.observation_history.append(f第{self.step_count}步: 成功提出正确公式 {proposed_formula}) info[message] 恭喜你发现了隐藏的规律 done True else: reward -2 self.observation_history.append(f第{self.step_count}步: 提出公式 {proposed_formula} 与观察不符。) info[message] 公式不正确。 except: reward -2 self.observation_history.append(f第{self.step_count}步: 提出的公式 {proposed_formula} 无法解析。) info[message] 公式格式错误。 if self.step_count self.max_steps: done True info[message] info.get(message, ) 步数用尽。 return self.get_state(), reward, done, info def run_discovery_trial(): 运行一次发现试验。 env DiscoveryEnv() agent LLMReasoner() state env.reset() total_reward 0 done False print( 探索开始 ) print(f初始状态: {state[sequence]}) while not done: # Agent根据历史观察做决策 history_text \n.join(env.observation_history) decision agent.generate_plan(history_text, [predict_next, propose_formula]) print(f\n[Agent思考] {decision[reasoning]}) print(f[Agent行动] 类型: {decision[action]}, 值: {decision[value]}) # 执行动作 next_state, reward, done, info env.step(decision[action], decision[value]) total_reward reward print(f[环境反馈] 奖励: {reward}, 信息: {info[message]}) print(f[当前历史] {env.observation_history[-1] if env.observation_history else 无}) state next_state print(f\n 探索结束 ) print(f总奖励: {total_reward}) print(f最终发现的历史记录:) for record in env.observation_history: print(f - {record}) if __name__ __main__: run_discovery_trial()运行上述代码将agent_brain.py中的假响应逻辑替换为真实LLM调用后你将看到一个极简的“发现式智能”Agent工作流程。它通过分析观察、提出假设预测或公式、接收反馈来学习最终目标是发现那个隐藏的公式a_n 2^n。5. 从Demo到真实TRACES关键挑战与实现思路上面的Demo过于简单。真实的TRACES基准任务要复杂得多涉及以下关键挑战也是开发者需要攻克的方向5.1 挑战一状态表示与感知问题真实环境如物理模拟、分子结构的状态非常复杂如何将其有效编码成LLM或模型能理解的表示思路多模态编码器使用视觉编码器ViT、图神经网络GNN处理图像或图结构数据。符号化抽象将连续状态离散化为符号描述如“物体A在物体B左边”。LLM摘要用LLM将原始观察转化为自然语言描述。5.2 挑战二规划与探索策略问题动作空间可能巨大如何高效探索而非随机尝试思路基于模型的规划让Agent学习一个“世界模型”在模型内进行模拟和规划如DreamerV3。大语言模型规划利用LLM的常识进行高层次任务分解“思考链”CoT的扩展。强化学习使用PPO、DQN等算法通过奖励信号学习策略。5.3 挑战三假设生成与检验问题如何让Agent生成合理的、可检验的科学假设思路程序合成让Agent生成可执行的代码如Python函数作为假设通过运行代码来检验。形式化语言定义一种受限的、无歧义的假设描述语言。交互式验证设计环境接口允许Agent提出“如果-那么”式的问题环境给予是/否回答。5.4 挑战四奖励设计问题“发现”的奖励非常稀疏且滞后如何设计奖励函数引导学习思路内在好奇心奖励Agent对预测误差大的状态进行探索。课程学习从简单规律开始逐步增加难度。模仿学习提供一些人类专家的探索轨迹作为示范。6. 运行与评估如何参与TRACES基准测试由于TRACES是一个新发布的基准其具体的代码库和参赛流程可能仍在演化中。但通常参与一个AI基准测试的流程是通用的获取基准访问TRACES的项目页面通常是在GitHub或专门的评测平台上克隆代码库。阅读文档仔细阅读README.md和论文理解每个任务的环境定义、动作空间、观察空间和评估指标。安装环境按照requirements.txt或setup.py安装所有依赖。注意版本兼容性。运行基线模型大多数基准会提供一些基线模型如随机Agent、规则型Agent。首先运行这些基线确保你的环境搭建正确并理解预期的输入输出格式。git clone https://github.com/traces-benchmark/traces.git cd traces pip install -e . python run_baseline.py --task hidden_physics_01开发你的Agent基于你对任务的理解构建你自己的AI Agent。你可以选择纯强化学习、LLM驱动、混合架构等不同技术路线。集成与测试将你的Agent按照基准要求的接口进行封装通常需要实现一个step(observation)或act(observation)方法并在本地进行充分测试。# 你的agent需要实现的接口示例 class MyDiscoveryAgent: def __init__(self, config): self.model load_your_model(config) self.memory [] def reset(self): self.memory.clear() def act(self, observation): # 你的核心逻辑根据observation和历史memory决定action action self.model.predict(observation, self.memory) self.memory.append((observation, action)) return action提交评估按照基准平台的指引提交你的Agent代码或模型权重。评估服务器会在隐藏的测试集上运行你的Agent并生成分数排行榜。7. 常见问题与排查思路在开发和评估“发现式智能”Agent时你会遇到一些典型问题。问题现象可能原因排查方式解决方案Agent完全随机行动毫无进展奖励函数设计不合理或探索策略过于随机。检查奖励值是否在合理范围如-1到1之间。可视化Agent探索的轨迹。引入内在好奇心奖励。使用更智能的探索策略如基于不确定性的探索。从简单的课程任务开始。LLM驱动的Agent陷入循环或输出无意义动作Prompt设计不佳或LLM上下文混乱。打印出每次调用LLM的输入Prompt和输出结果。检查历史上下文是否过长、包含矛盾信息。优化Prompt明确角色、任务和输出格式。实现上下文窗口管理只保留关键历史。对LLM输出进行后处理校验。训练不稳定分数波动大强化学习算法超参数不合适或环境随机性太强。记录每次训练周期的回报曲线。检查梯度爆炸/消失。调整学习率、折扣因子。使用梯度裁剪。增加环境随机种子进行多次运行取平均。Agent在训练集上表现好在测试集上差过拟合。Agent可能记住了训练环境的特定“捷径”而非学会了通用发现策略。对比训练和测试环境的差异。检查Agent的策略是否过于依赖训练环境中的偶然特征。增加训练环境的多样性更多随机种子、参数化环境。在Agent架构中加入正则化如Dropout。使用更通用的状态表示。计算资源消耗过大环境模拟、模型推理尤其是LLM或训练过程非常耗时。使用性能分析工具如cProfile,nvprof定位瓶颈。对环境模拟进行简化或缓存。对LLM使用量化、蒸馏的小模型。采用分布式训练或更高效的RL算法。8. 最佳实践与工程建议如果你想在“发现式智能”或TRACES类任务上进行严肃的研究或开发请遵循以下建议从简单到复杂不要一开始就挑战最难的TRACES任务。从经典的强化学习环境如CartPole或极其简化的自定义发现环境开始确保你的Agent基础架构训练循环、日志、模型保存是稳固的。模块化设计将你的系统清晰地分为环境模块、感知模块、记忆模块、规划/策略模块和学习模块。这便于调试、替换和迭代。例如你可以轻松地将规划模块从规则系统切换到LLM再切换到强化学习策略。强化日志与可视化“发现”过程是黑盒的必须通过丰富的日志和可视化来理解Agent在“想”什么。记录每一步的观察、动作、奖励、内部信念如LLM的思考链、价值估计等。重视可复现性固定所有随机种子Python, NumPy, PyTorch, 环境。使用配置文件如YAML管理所有超参数。将实验代码和参数一起提交到Git。安全与边界尤其是在使用LLM生成代码或命令来检验假设时如我们的Demo中危险的eval必须在一个严格隔离的沙箱环境中执行防止任意代码执行漏洞。永远不要在生产环境或联网机器上直接运行未经审查的LLM生成代码。理解评估指标仔细研读TRACES的评估协议。它可能不仅看最终是否“发现”还看发现过程的效率、假设的简洁性等。针对性地优化你的Agent。TRACES基准的发布是AI研究从“表现智能”迈向“发现智能”的关键一步。对于开发者而言它不仅仅是一个新的排行榜更是一份清晰的研究路线图。它告诉我们下一个前沿是构建能够主动探索、提出假设并验证的AI系统。要迈入这个前沿你需要掌握的不仅仅是调参和微调模型更需要理解强化学习、规划算法、世界模型以及如何将大语言模型安全、有效地嵌入到一个自主行动的循环中。本文提供的从概念到简易实现的路径希望能成为你探索这个激动人心领域的起点。真正的挑战在于如何让你构建的Agent不仅能在我们设计的数字谜题中找到规律未来某天或许能在真实的实验室中帮助人类发现全新的科学规律。建议收藏本文当你开始构建自己的第一个发现式AI Agent时这些概念、框架和代码示例将成为你宝贵的参考资料。