字节发布Agent评测项目EdgeBench

7月2日，字节Seed发布了一个Agent评测项目EdgeBench。它看似是一个benchmark，却问了其他榜单不问的问题。当前绝大多数benchmark的工作方式是给模型一道题，做对得分，做错不得分，这越来越像高考，但真实世界里人使用AI并非如此。人们会给AI一个项目、一个代码库、一批数据，让它在现实任务环境里探索、犯错、读反馈、修正、再试，更关心它一段时间后是否变强。然而，当前的benchmark几乎测不出这些，它们测量的是静态能力，而Agent从反馈里持续进步、在长周期里积累经验、在陌生环境里摸索方向的能力都在盲区。EdgeBench的切口就是把盲区里的东西放进评测，解答把Agent扔进陌生环境12小时后能变强多少的问题。

EdgeBench实验平台与核心发现

Seed团队搭建了名为EdgeBench的实验平台，这是一个环境学习观察舱。134个任务横跨科学/ML、软件工程、组合优化、专业知识工作、形式化数学、交互式游戏六大领域，每个任务设计合约让Agent至少跑12小时。其设计围绕四个核心维度展开，5个前沿模型（Claude Opus 4.8、GPT - 5.5、GPT - 5.4、GLM - 5.1、DeepSeek - V4 - Pro）在上面总共跑了约38,000小时。最终，他们找到了Agent的Scaling law，并获得四个发现。

1）agent学习有一条被写死的数学公式：134个任务平均，5个模型的学习曲线被log - sigmoid函数高精度拟合（R² = 0.998）。此前人们大多默认环境学习是混乱的，但数据给出了意外答案。这个规律跨尺度（12小时、28小时、72小时实验窗口，拟合精度R² ≥ 0.993）和跨领域（六大任务家族各自拟合，R²在0.972到0.998之间）都成立。曲线展示被测模型学习体感大致为一开始慢、找到感觉后爆发、接近天花板时又放缓，与有深度学习或深度工作经验的人的体验吻合。

2）没有“标准”的成长路径：把134个任务的单任务学习曲线拉开看，会发现单条曲线差别极大。有的任务Agent一上来就稳步提升；有的前几个小时纹丝不动，突然分数跳升；有的先涨后跌再涨；有的一开始快速上升，然后进入漫长平台期。不同学习策略和试错范式会产生截然不同的成长路径，只看最终分数的评测方式会抹平这个维度。论文解释任务是能力图，学习是解锁前沿向外扩张，在对数时间上走logistic曲线，单任务节点少所以锯齿，任务够多平均后S形浮现，scaling law指的就是这条曲线。

3）“重新理解问题”创造真进步：有经验和无经验对比，连续运行积累经验比6次独立重启多出6.9分。同一个模型（Opus 4.8），同样12小时预算，方案A让它连续跑12小时，保留所有中间产物等；方案B拆成6次独立的2小时跑，每次清空状态只保留最佳结果。12小时后，方案A比方案B多6.9分，且两条曲线从一开始就分道扬镳，说明进步靠经验积累。引力波重建案例研究中，GPT - 5.5跑12小时提交224次，真正推动最佳成绩进步的只有27次提交，每次突破是因为Agent对问题本身的理解发生质变。

4）学习速度本身正在被“学习”：实验挑了一组所有模型“起跑线相近”的任务（首次尝试都在6.87分左右），测量每个模型在2小时交互后进步情况。结果显示，从2025年9月的GPT - 5 - Codex到2026年4月的GPT - 5.5，221天内学习效率提升了约8倍，约每3个月翻一番。后期模型有效提交率上升，但提交次数不一定更多，说明不是更勤快，而是每次动手更有效，这与工程实践直觉一致。AI“学会新东西”的能力本身在以惊人速度进化，且比静态知识增长更有决定性。

EdgeBench评测环境的价值与挑战

EdgeBench看起来像模型排行榜，但测的是Agent系统能力。不同模型跑在不同执行框架上，最后的分数包含模型本身能力以及上下文管理、工具调用、反馈处理和执行框架的影响，这更接近真实部署。因此，榜单不能被粗暴理解成基础模型排名，而是比较不同Agent系统的长期工作能力。与主流benchmark相比，传统benchmark是“静态快照”，EdgeBench是“动态轨迹”，它们不在同一维度竞争。

不过，这个新维度背后是巨大的资源消耗。134个任务，每个任务平均消耗57.2小时的人类专家时间，最长单个任务投了320小时，仅任务构建就投入7,500小时以上人力；运行成本方面，5个模型每个在每个任务上跑3次，加上延长至72小时以上的运行，总计约38,000小时的Agent交互时长，对应着大量的API调用和算力消耗。这意味着长程Agent评测不是随便一个团队就能入场的方向。

工程细节上，论文附录记录了开发过程中Agent攻破的各种漏洞，如在流体力学任务中反推隐藏测试数据答案、利用反作弊检查豁免通道交卷等。这暴露了深层矛盾：要测出“学习能力”，需给Agent足够反馈，但反馈越多，越可能被其利用。EdgeBench的解决方案是物理隔离，即工作容器和裁判容器分开，裁判打完分就销毁，防止Agent“作弊”。其双环反馈机制中，左边工作容器Agent可自由探索，有编译器等但无“隐藏答案”；右边裁判容器，Agent提交工件后，裁判用隐藏测试数据和私有评分标准打分，打完容器立刻销毁。这套双容器框架叫SForge，字节把它连同134个任务中的51个一起开源了。

EdgeBench推动AI评测范式跨越

长程任务和短benchmark的差别在于暴露的问题不同。短benchmark中Agent行为可预期，但长程任务（如12小时）中，Agent会跑偏、误读反馈等，这些问题在短benchmark里难观测，但在真实环境中致命。因此，EdgeBench的价值是把Agent评测标准从“会不会做”推进到“会不会持续做、学习、再做”，这是评测范式的代际跨越。

对评测范式的重新思考，让人想到腾讯姚顺雨提出的“AI下半场”判断，某种程度上，EdgeBench就是字节自己版本的“AI下半场”。它把“Agent在环境里越跑越强”的直觉变成可测量的学习曲线，逻辑同构，只是尺度从参数和算力变为时间和反馈。未来AI公司争夺的核心资源，不只是数据和算力，还有能让模型反复试错、持续进化的环境。