编写高质量 Skill 系列 -- 如何设计需求分析与用例生成的 SKILL
「需求评审」和「手工用例生成」的知识库要如何构建
下面先展示一下需求评审的多 SKILL 串联的工作流结构
- 需求评审：
req-review（主）+req-review-associator（关联分析子 Skill）+req-review-challenger（审查挑战子 Skill）- 手工用例生成：
req-test-cases三个重点：
- 知识库如何构建——需求文档沉淀 + 两类人工维护文档（通用规则、业务规则）
- Skill 是自学习的——评审通过的需求、生成的用例都会回流知识库，供以后复用
- 工作流如何设计——主从编排、人工卡点、分层加载
这里我们没有使用多 Agent，而是用了单 Agent+ 多 SKILL 的结构，这也是考虑到大多数同学对 token 的消耗有要求，所以我们尽量用更为节省的方式来完成工作。
在这套工作流里，我们的思路是是先审查需求的合理性，需求是否有缺失，或者有考虑不周的地方。 只有需求足够完善了，用例的生成才能足够的准确。比如我给了一个类似一句话需求：产品增加了连接器的功能，其实与 mcp 插件是一样的。 填写服务名称， 描述， 选择接入类型（sse 和 streambleHttp），输入服务 url。 在 Agent 模式中可以添加连接器并在对话中使用。
上面明显是一个很不负责任的需求说明， 产品人员默认开发和测试人员能理解他的意思， 但事实上这里有很多还未澄清的东西。 所以在生成用例之前，我们需要先让 AI 来审查，这里面还缺少的产品信息。 这里我列一下 SKILL 分析结果的一部分片段（全文太长了）：
## 🚨 阻塞问题（Blocker） ### B1. 连接器与已有 MCP 插件的关系未定义 - **问题**: 需求说"与 MCP 插件是一样的"，但平台已存在功能完全覆盖的 MCP 插件（SSE/HTTP 双协议、Agent 集成、`cases/plugin_marketplace/mcp_plugin_create_test.py` 已稳定运行）。两者是替换、并存还是子集？不明确则无法确定测试范围。 - **引用证据**: `产品文档/工作流文档/工作流/工作流节点分类说明/信息处理节点/插件节点.md#常见问题` - **给 PM 的追问**: 「连接器」与已有「MCP 插件」是什么关系？(a) 替换 MCP 插件并废弃旧入口？(b) 并存为独立新类型？(c) MCP 插件的子集？现有 MCP 插件用户的迁移路径是什么？旧 API（CreateMcpPlugin / mcp_type 字段）是否保留？插件搜索 create_types 枚举如何变化？ ### B2. 服务名称长度和字符集未明确 - **问题**: 只说"填写服务名称"，未给最小/最大字符数、字符集、空字符串处理、超长处理。 - **给 PM 的追问**: 连接器名称的最小/最大字符数是多少？支持哪些字符（中文/英文/数字/符号/emoji）？空字符串和纯空格如何处理？超长输入截断还是拒绝？ ### B3. 描述字段长度和格式未明确 - **问题**: 只说"填写描述"，未给字符数范围、是否允许换行/URL/Markdown。 - **给 PM 的追问**: 描述字段的最大字符数是多少？是否支持换行、URL、Markdown？在 Agent 工具列表中展示时是否截断？ ### I4. 审计日志格式扩展 - **问题**: 现有日志 Content 格式为"编辑-Multi-Agent 模式-Agent\"name\"添加工具\"x\""，Agent 中添加连接器是否走同一路径？ - **引用证据**: `cases/platform_management/audit_log/agent/agent_add_plugin_audit_log_test.py` - **给 PM 的追问**: 创建/编辑/删除连接器以及在 Agent 中添加/移除连接器是否记录审计日志？Content 文案格式是什么？ ### I5. 计费/用量统计口径 - **问题**: 用户自带 URL 的连接器属于自调用，是否纳入插件用量统计？ - **引用证据**: `产品文档/公共模块/数据报表-资源看板.md` - **给 PM 的追问**: 连接器调用是否纳入资源看板插件用量统计？是否计费？统计颗粒度（调用次数/Token/流量）？ ### I6. 工作流插件节点是否支持引用连接器 - **问题**: 需求只说 Agent 模式可用，未提工作流。工作流插件节点已支持 API/代码/MCP/应用四类。 - **引用证据**: `产品文档/工作流文档/工作流/工作流节点分类说明/信息处理节点/插件节点.md` - **给 PM 的追问**: 连接器是否支持在工作流的插件节点中引用？若不支持，UI 上是否明确告知用户"仅 Agent 模式可用"？
从上面的分析片段可以看出，SKILL 结合了产品其他模块的功能，来对新加的连接器需求进行了思考。 即便需求里没有写审计，计费，工作流，但模型还是从知识库中分析出来了关联性。所以在这里，需要测试人员跟产品经理补全这些缺失的信息，才可以进入下一步的测试用例生成的步骤。
PS：需求分析这一步是非常重要的，很多同学都是简单的把需求文档扔给 AI 后就开始生成用例，这种操作的效果会非常差。
下面再看一下生成的测试用例是什么样的：
## 测试点清单 ### 🟥 P0 - 核心主流程 - [x] TP01 创建连接器（SSE 类型）成功 - [x] TP02 创建连接器（Streamable HTTP 类型）成功 - [x] TP03 在 Agent 应用中添加已创建的连接器 - [x] TP04 评测端对话中连接器被成功调用，返回正常响应 - [x] TP05 发布含连接器的 Agent 应用，用户端对话正常调用连接器 - [x] TP06 删除连接器 ### 🟧 P1 - 边界值 & 异常路径 - [x] TP07 服务名称：最大字符数边界值 - [x] TP08 服务名称：超出最大字符数 - [x] TP09 服务名称：空字符串 / 纯空格 - [x] TP10 服务名称：包含特殊符号 - [x] TP11 服务 URL：填入内网地址（SSRF 防护） - [x] TP12 服务 URL：填入 localhost / 127.0.0.1 - [x] TP13 服务 URL：格式非法 - [x] TP14 服务 URL：超出最大长度 - [x] TP15 连接器调用外部服务超时，对话降级行为符合预期 - [x] TP16 连接器调用外部服务返回 5xx，对话异常处理符合预期 - [x] TP17 删除已被 Agent 引用的连接器 - [x] TP18 重复创建同名连接器 ### 🟨 P2 - 兼容性 & 权限 & 多环境 - [x] TP19 含连接器的 Agent 应用版本回退，连接器配置不丢失 - [x] TP20 无权限角色尝试创建连接器 - [x] TP21 无权限角色尝试在 Agent 中添加连接器 - [x] TP22 Private 环境：创建连接器并在对话中调用 - [x] TP23 International 环境：创建连接器并在对话中调用 - [x] TP24 审计日志：Agent 中添加连接器的操作日志 Content 格式正确 - [x] TP25 连接器调用次数在资源看板中正确统计 ### ⬜ 暂不测试 / 待澄清 - [ ] TP-X1 工作流插件节点引用连接器（待 PM 澄清 finding I6） - [ ] TP-X2 共享/导出含连接器的应用，凭证处理正确（待 PM 澄清 finding I3） - [ ] TP-X3 连接器鉴权方式（待 PM 澄清 finding B6） - [ ] TP-X4 连接器与已有 MCP 插件的迁移兼容性（待 PM 澄清 finding B1） --- ## 手工测试用例 ### TC01 创建连接器（SSE 类型）成功 - **优先级**: P0 - **测试点**: TP01 - **前置条件**: - 已登录系统，具备"创建连接器"权限 - 当前空间连接器数量未达上限 - **测试步骤**: 1. 进入连接器管理页面，点击"新建连接器" 2. 填写服务名称：`test-connector-sse`（合法值，中英文均可） 3. 填写描述：`测试用 SSE 连接器` 4. 接入类型选择 `SSE` 5. 服务 URL 填写：`https://mcp.example.com/sse`（合法 https 地址） 6. 点击"保存" - **预期结果**: 1. 连接器创建成功，页面跳转回连接器列表 2. 列表中可见新建的连接器，名称、类型（SSE）、URL 均正确显示 3. 连接器状态显示为正常/可用 - **关联用例参考**: `cases/plugin_marketplace/mcp_plugin_create_test.py` --- ### TC02 创建连接器（Streamable HTTP 类型）成功 - **优先级**: P0 - **测试点**: TP02 - **前置条件**: - 已登录系统，具备"创建连接器"权限 - **测试步骤**: 1. 进入连接器管理页面，点击"新建连接器" 2. 填写服务名称：`test-connector-http` 3. 填写描述：`测试用 HTTP 连接器` 4. 接入类型选择 `Streamable HTTP` 5. 服务 URL 填写：`https://mcp.example.com/mcp` 6. 点击"保存" - **预期结果**: 1. 连接器创建成功 2. 列表中可见新建的连接器，类型显示为 `Streamable HTTP`（或其正确文案） - **待澄清**: 接入类型文案以 PM 确认为准（finding B5：需求原文"streambleHttp"疑似拼写错误） --- ### TC03 在 Agent 应用中添加连接器 - **优先级**: P0 - **测试点**: TP03 - **前置条件**: - 已完成 TC01，连接器创建成功 - 已创建一个 Agent 模式应用 - **测试步骤**: 1. 进入 Agent 模式应用的配置页面 2. 找到"工具/连接器"配置区域，点击"添加连接器" 3. 在连接器列表中选择 TC01 创建的连接器 4. 点击"确认添加" 5. 保存 Agent 应用配置 - **预期结果**: 1. 连接器成功添加到 Agent，工具列表中可见该连接器 2. 连接器名称、类型显示正确 3. 应用配置保存成功 - **关联用例参考**: `cases/plugin_marketplace/mcp_plugin_create_test.py`（AgentModelService.add_plugin 步骤） --- ### TC04 评测端对话中连接器被成功调用 - **优先级**: P0 - **测试点**: TP04 - **前置条件**: - 已完成 TC03，连接器已添加到 Agent 应用 - 评测端可用 - **测试步骤**: 1. 进入 Agent 应用评测端 2. 输入能触发连接器调用的问题（如："调用 [连接器名称] 执行查询"） 3. 等待 Agent 响应