ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

2026上海开源大赛:openKylin邀你为智能体记忆能力打造“标尺”!

2026上海开源大赛:openKylin邀你为智能体记忆能力打造“标尺”! 【导语2026年大模型智能体走进办公等场景其长期记忆能力成关键。2026上海开源软件应用创新大赛的「开源AI工具赛道」中openKylin提出评测命题为智能体记忆能力设“标尺”吸引相关团队参赛。】智能体记忆能力成应用关键2026年大模型智能体逐渐从实验室走向办公、研发和个人助理等场景。此时能否长期、稳定、可控地记住用户信息成为影响智能体可用性的关键因素。既要记住偏好、路径、模板等稳定信息又要排除临时信息、敏感信息、风险指令。记不住会导致每次对话从头开始记太死则会使不该留的信息留存系统。openKylin命题评测智能体记忆在2026上海开源软件应用创新大赛的「开源AI工具赛道」中openKylin提出《面向openKylin操作系统的智能体长期记忆自动化评测Benchmark设计》命题。OpenAtom openKylin由开放原子开源基金会孵化及运营已有多个智能体框架因此需要一套系统级的自动化评测工具对不同智能体在openKylin操作系统上的记忆能力进行量化比较。该命题源于三个现实问题目前评测依赖人工检查难以规模化简单问答式验证项无法覆盖真实使用中的复杂情况自动评分易出现语义偏移难以准确判断记忆情况。题目要求参赛者设计一套自动化、低人工介入、可复现、可扩展的评测方案重点评估智能体的六项记忆能力。交付与评审标准明确交付方面方案说明文档要写清测试目标、数据生成方式等内容数据集设计要给出可扩展的数据结构自动评测要输出可解释的评分原因还要提供样例数据与结果等并将评测流程封装为一键运行的CLI工具建议产出.deb软件包。演示需在openKylin桌面环境下对至少两款智能体运行评测产出多维对比雷达图的3 - 5分钟完整录屏。评审按六项维度打分包括任务定义与通用性15%、数据设计质量25%、自动评分能力25%、稳定性与可复现性15%、指标完整性10%、创新性与工程可落地性10%。相关团队可挑战命题参赛有做LLM应用、智能体或评测体系经验的团队可挑战这道命题。参赛报名截止10月11日总决赛10月24日在上海举办。获奖项目可获得现金、算力与Token、大模型API等资源奖励还有机会入选上海市开源项目培优工程。详情可查看大赛官网。编辑观点openKylin的命题聚焦智能体关键能力评测有望推动智能体技术发展为行业提供标准化评测方案相关团队参赛或能收获技术与资源双重回报。
返回列表