Benchmarking the AI Scientist——这个标题看起来像是给某个论文跑了一轮指标但真正站在实验室里做过研究的人大概率会先愣一下“AI 也能当 Scientist 了还需要我去 benchmark 它”我第一次接触这类自动化科研系统时也带着同样的疑问。当时我们正在复现一个长期研究的基线实验真正消耗时间的不是某个灵光一现的想法而是整整一周的重复劳动读文献、设计 idea、写代码、起服务、跑训练、记录指标、画图、再对着空白的论文页面发愁。后来看到 AI Scientist 这类项目出现又看到各种 benchmark 测试数据在网上被反复引用我感觉它真正值得讨论的不是“AI 能不能替代科学家”这个宏大叙事而是另一件更具体的事它把科研流程里那些适合复制、适合验证、适合标准化的环节变成了可以批量执行的工程流水线。这篇文章我想从 Benchmarking the AI Scientist 这个主题出发拆开三层来聊这类系统到底在 bench 什么benchmark 跑得好能不能等于科研生产力以及真正把它放进日常研究流程时最容易卡住你的那几个环节在哪儿。1. AI Scientist 不是给你一个灵感而是把研究流程拆成了可执行的管道很多人第一次听到“AI Scientist”第一反应是“它是不是能帮我想论文点子”这个理解不算错但把它的价值看小了。从公开项目描述和典型实现来看AI Scientist 类系统通常把科研过程拆成四个环节idea 生成、实验执行、论文写作、自动评审。这四个环节连成一条流水线后系统的目标不是替人类拍板“这个研究有没有价值”而是把“从 idea 到论文初稿”的流程变成一份可以反复运行、可以记录日志、可以审计结果的标准作业。1.1 idea 生成环节反而最容易被误解很多人以为 idea 生成是最“智能”的一步实际做下来会发现它更像是“站在已有论文的肩膀上做模板化组合”。系统会把已有论文、数据集、模型结构、实验记录当成输入再按照项目设定的方向生成候选 idea。这个环节真正难的地方不在“生成”而在“过滤”。因为一个语言模型可以轻松想出一百个“看起来合理”的研究问题但其中值得做的可能只有三五个。判断 idea 有没有研究价值需要的不是生成能力而是对领域脉络的理解。所以在我看过的多数工程化案例里idea 生成都被设计成“批量候选 人工筛选”而不是让系统一口气决定研究方向。这也解释了为什么它适合自动化真正重复的是把“候选 idea 基于模板生成”这件事本身真正不可替代的是研究者对候选方向的判断。1.2 实验自动化和论文生成才是最有工程价值的部分如果说 idea 生成还带有一点“探索”的性质那么实验自动化和论文生成就是典型的“把重复劳动固化下来”。在常规研究里从“确定实验方案”到“看到指标表格”中间隔着大量琐碎步骤写训练脚本、设置参数、检查数据路径、处理日志、画曲线、保存 checkpoint。这些步骤技术含量未必高但出错率极高。AI Scientist 类系统把这一串动作封装成可执行的 agent 流程后研究者就不用每次手动重复“改路径、跑脚本、看日志、改参数”的循环。论文生成的情况类似。它并不是从头创造一篇有洞察的论文而是把实验结果、图表、标准论文结构、参考文献这些零件拼成一份结构完整、语言通顺的初稿。研究者拿到初稿后真正要做的是检查逻辑、补充分析、修正论证而不是面对一张空白页面。这里也顺带澄清一个容易引发争论的点这类系统的论文生成目的是辅助初稿而不是替你署名发表。把它理解为“学术写作的脚手架”会更准确。1.3 整条流水线真正改变的是研究过程的可见性单独看每一个环节好像都可以找到对应的传统工具idea 用头脑风暴实验用 shell 脚本写作用 LaTeX评审靠同行。但把它们串成一条管道后发生了一个质变研究过程第一次可以被完整记录、回放和复查。传统研究里很多判断藏在研究者的脑子里——为什么取这个学习率为什么用这个种子为什么删掉某组结果。这些信息在论文里常常不会出现。而使用 AI Scientist 类系统时你被迫把约束条件、输入输出、评价指标都写清楚否则系统无法执行。于是研究过程中的隐性知识被一部分一部分转为显性配置。这也是我认为这类系统真正值得长期关注的原因它不是“帮你想一个 idea”而是逼你把研究方法论工程化。2. Benchmark 结果不能连着看84% 和 14% 分别意味着什么既然叫 Benchmarking the AI Scientist那核心问题就是我们到底在评测它的什么能力从公开资料中经常被引用的一组 benchmark 结果来看有两个数字值得关注在继续预训练这类实验中大约 84% 的实验可以做到全自动跑通大约 14% 的论文生成可以做到部分自动化。这两个数字如果只看表面很容易得出“AI 已经会做科研了”的错误印象。要理解它们得先分辨“全自动”和“真正做出研究成果”之间的差距。2.1 “实验全自动”不等于“实验结论正确”84% 这个数字放在自动化流水线里含义是从实验配置、数据加载、模型训练、指标采集到日志保存整个流程可以在没有任何人工干预的情况下走完。这确实是个有用的能力。因为这意味着当你有一批 idea 需要验证时不需要一个人坐在终端前陪着每个实验跑完。你可以把实验队列丢给系统让它自己跑自己记录自己产出指标表。从工程效率看这是巨大的解放。但要注意“全自动跑通”和“实验结论正确”是两个维度。一个实验能跑通只说明代码路径没有断不代表 idea 本身有研究价值更不代表指标背后的统计差异是有意义的。我见过不少刚接触自动化管线的人看到系统跑完一堆实验后很兴奋结果检查时发现有一半实验的数据预处理逻辑写错了整个指标表都不能用。所以 84% 更准确的读法是流程可靠性高但结论仍然需要人工审计。指标真实含义实际价值最容易误解的地方84% 实验全自动从配置到结果采集无需人工干预批量实验节省大量人力不代表实验结论正确不代表 idea 有效14% 论文部分自动化论文的模块级内容可以自动生成提供结构完整、语言通顺的初稿论文逻辑、贡献表述仍需要深度人工修改2.2 论文自动化为什么这么低因为“会写”和“写得对”差距很大相比 84% 的实验全自动14% 的论文部分自动化显得低调很多。这个对比本身就传递了一个信息论文写作的自动化难度比很多人想象的高。一篇合格的论文不只是把实验结果写成句子。它需要保证逻辑链条一致需要确保实验数据支撑论述需要评估贡献的新颖度还需要处理引用、图表、附录等大量细节。语言模型擅长的是“生成看起来通顺的文字”但“看起来通顺”和“作为科学论证成立”之间隔着对实验细节的精确理解。所以在实际使用中论文生成更适合被视为“从实验结果到初稿的翻译器”。它可以把散落的表格、日志、生成图表快速组织成一篇结构完整的草稿。研究者要做的事不是从零开始写而是拿着这份草稿做逐段校对、补分析、改论证。14% 这个数字提醒我们这条路才刚刚开始远没到可以放手的程度。2.3 Benchmark 覆盖率有限最容易漏掉的是“这个问题值不值得做”做 benchmark 时我们看到的大多数指标都围绕“能不能跑完”“论文像不像”来设计。这类指标容易量化便于跨版本比较但有一个明显的盲区它测不出 idea 的新颖性和研究品味。用一个比喻来说这就像给一个厨师做测评只测他做菜的速度和摆盘的标准程度却不测菜的味道和创意。速度确实重要但一家餐厅能不能长久靠的是味道。AI Scientist 的 benchmark 能告诉你“系统跑得多快、多稳”却很难告诉你“它生成的 idea 里哪一个真正值得投入三个月时间”。这并不意味着 benchmark 没有意义。它更像是一个工程成熟度测试先确认管道能流畅运转再讨论上游的智慧和审美。理解了这一层你就不会把“benchmark 分数高”直接等同于“科研能力变强”。3. 真正卡住自动化科研的不是模型而是环境、数据和复现如果你以为把一个 AI Scientist 类系统跑起来最难的是选模型和写 prompt那大概率是还没真正落地。从我和不少用过类似管线的人的共同体验来看模型能力反而是其中最不稀缺的部分。真正消耗时间的是环境、数据、参数和输出之间那些看不见的摩擦。这类系统的典型运行流程是给定一个研究方向系统自动生成 idea然后调用代码环境执行实验最后根据实验结果写论文。听起来很顺但每一步都可能因为一个很小的问题中断。3.1 先看输入idea 是否明确数据是否准备好第一步最容易踩坑的地方在输入侧。AI Scientist 类系统不像搜索引擎你给它一个模糊主题它很难自己判断“这个问题到底要验证什么”。你需要把研究问题、数据集、基座模型、评价指标、计算资源约束尽量写成明确的条件。否则系统生成的 idea 会五花八门导致实验队列失控。我建议在实际使用前先检查这四项基础输入实验目标这个阶段是要验证某一个假设还是要在多个idea里做筛选数据集数据是否已下载、是否格式化正确、路径是否稳定基座模型使用哪个模型、哪个版本、权重文件是否已就位评价指标用什么指标判断实验结果好坏是准确率、损失值还是某个自定义分数这些条件不明确后面无论模型多强都会被无效消耗。3.2 再看环境和依赖一次路径错误可以卡掉整晚的批量任务接下来是环境侧。自动化科研系统为了生成论文和实验通常会动态调用多个 Python 包、训练脚本、数据分析工具。依赖版本一旦不匹配或者某个库更新了接口就会在实验中途抛出异常。从常见的错误类型看排在前面的是这几类路径问题训练脚本里写死了绝对路径换机器后找不到数据。编码问题实验日志里混入了非 UTF-8 字符导致失败。版本问题某个库的接口在新版本里变了但系统配置里还是老版本。资源问题显存不足、磁盘空间不够、进程被系统 kill。排查这类问题我一般会按“输入 - 环境 - 参数 - 输出”的顺序来先看现象是中途崩溃还是运行结束但结果为空日志最后输出了什么再看输入数据集路径、prompt、idea 描述、字段名是否匹配再看环境依赖版本、权限、端口、GPU、内存是否有变化再看参数batch size、学习率、early stopping、seed 是否被意外覆盖最后看工具边界这个实验类型是否真的适合当前系统比如它可能只适配某种固定数据集结构。注意不要一上来就把批量数和并发数拉满先用一条样例确认输入、输出和日志都正常再考虑大规模执行。3.3 最后看输出论文生成最脆弱的不是语法是实验和叙述的逻辑对齐当实验跑通、日志保存后系统会进入论文生成阶段。这个阶段最需要人工守住的不是英文语病而是“实验数字”和“论文叙述”之间的逻辑关系。我在检查这类系统生成的初稿时一般会做三件事对照表格论文里引用的每个指标是否能在实验日志里找到出处检查因果关系论文里“因为 A 导致 B 提升”的表述是否有实验支撑还是模型自己脑补的抽查图表图片是否实际生成图注和正文是否真的对应如果这三项都能通过这篇论文初稿才谈得上可以进入人工修改流程。否则即使生成出来的段落读起来再流畅也只能当草稿里的“废稿”。4. 把它当工程工具用从单条链路到批量产出的三条建议聊完原理和坑最后落到实操。如果你的目标不是看热闹而是想在实际研究或公司内部把 AI Scientist 类系统用起来那我建议不要一开始就追求“完全自动化的科研流水线”。这个目标不仅困难而且容易失控。4.1 先跑通“最小闭环”再谈扩展最小闭环的意思是选一个你已经知道答案或很容易验证的小任务让系统从 idea 生成开始跑完实验、论文生成、自动评审最后输出一份结果。这个闭环的目的不是做出新发现而是验证系统在你的环境里能不能正常工作。我建议按这四步来选一个小数据集、一个固定基座模型。手动写好实验目标和评价指标不走宽泛的 idea 搜索。跑一条实验确认日志、指标、输出目录都符合预期。把生成结果和人工结果对照确定系统输出质量的下限。这四步都稳定之后再考虑把多个 idea 放进队列做批量筛选。4.2 把“系统成功率”和“研究方向质量”分开评估使用这类系统时最容易犯的一个错误是用系统跑出了几个看起来不错的实验指标就误以为找到了值得研究的方向。实际上“实验跑通”和“研究方向值得投入”是两件事。我建议在项目里建立两套评估标准系统成功率多少实验能自动跑完多少论文能部分自动生成平均耗时多少。研究方向质量生成的结果是否有新颖性是否可复现是否值得继续深化。前者用于衡量工程效率后者用于衡量研究价值。两者同时看才不会被单方面的高分带偏。4.3 分清适合场景和不适合场景使用 AI Scientist 类系统的边界其实比很多人想得清楚。我用一张表来总结自己的判断适合的场景不太适合的场景在已有基座模型上做增量改进的候选实验需要提出全新的问题定义在固定数据集上批量复现 baseline 效果需要深度理解复杂系统的底层机制生成结构完整的论文初稿完成需要长期实验摸索、多轮推翻重来的研究快速建立一个方向的可视化预览作为最终提交版本而不做任何人工修改训练学生的研究流程规范替代研究者对错误结论的最终判断一言以蔽之它适合用在大规模、标准化、可批量验证的实验场景不适合用在你还没有想清楚“问题是什么”的探索阶段。4.4 做长期使用准备日志、缓存和资源配额如果你决定不只在演示环境里跑一次而是要把它纳入日常研究工具链那有三项工程基础需要提前准备日志系统。每个实验的输出日志要有固定目录、命名规则方便回溯。缓存策略。训练好的模型、生成中间结果、论文草稿都需要配置缓存避免重复计算。资源配额。为自动化任务设置 GPU 使用时间、最大并发数、超时时间防止某个失败任务把整个资源池拖垮。这些看起来不“智能”的部分恰恰是决定一套自动化科研系统能不能长期运行的关键。5. 自动化科研的下一步不是代替人而是把人的时间留给更难的判断每次讨论 AI Scientist 这类系统总会有人问“它会不会让研究员失业”我的判断是它会改变研究员的日常但不会让研究员消失。它会替代的是那些可以称为“流程执行者”的部分——反复调参、整理日志、生成图表、写论文初稿、整理参考文献。这些事情过去占用了研究者大量时间但它们并不是研究的核心。研究的核心始终是提出好问题、设计能回答问题的方法、在证据不足时做出判断以及在所有人说“做不到”时仍然决定试一试。5.1 自动化取代的是流程不是判断我们可以把研究工作分成两层一层是执行层另一层是判断层。执行层包括读论文、找基线、跑代码、记录结果、画图、写段落。它们高度重复适合自动化。判断层包括判断哪个问题更重要、决定哪些结果可信、发现结果和自己的预期不符时决定继续还是放弃。这些环节暂时很难交给系统完成。AI Scientist 类系统本质上是把执行层压缩了但判断层的难度不会因此降低。它反而会变得更显眼——当所有实验都能快速跑完后你会在更短的时间里被问到同一个问题这些结果里哪个值得你继续花三个月5.2 长期来看研究者的核心能力会变成提问和验证当工具承担了更多执行工作后我认为研究者的竞争力会更集中在三类能力上提问能力能不能从现象里提炼出一个可以被实验验证的问题。验证能力会不会设计实验让结论在有限资源下依然可信。品味能力能不能判断一个结果是否重要而不是只判断它是否“显著”。这三类能力恰恰是 AI Scientist 的 benchmark 指标很难量化的东西。这也意味着自动化科研系统真正拉高的是研究的“下限”——让标准实验、标准写作、标准审稿意见生成变得更加高效而研究的“上限”依然取决于人的判断和想象力。5.3 最后回到那个 benchmarking 问题回到标题本身Benchmarking the AI Scientist最重要的不是那个 84% 和 14%而是你在跑完 benchmark 之后有没有意识到——这套系统值得被当作工具认真对待但不值得被当成全能研究者崇拜。它会帮你把从 idea 到初稿之间的那段路走得快一点、稳一点。但在这条路的两端站着的仍然是人一端是你要提出值得验证的问题另一端是你要对生成的结论负责。如果把 AI Scientist 比作一辆车benchmark 测的是它的加速、刹车和油耗。真正决定这辆车能带你去哪里的永远还是握着方向盘的人。别急着把所有自动化开关都打开也别因为一次跑通就放松对结果的核对。先跑一条最小链路确认输入、环境、输出都稳定再逐步扩展边界。这个节奏比任何工具本身都更重要。