AI工具链的测试策略：Prompt回归测试、回答质量评估与自动化CI集成

发布时间：2026/7/24 15:04:15

AI工具链的测试策略：Prompt回归测试、回答质量评估与自动化CI集成

一、AI产品的测试盲区：改了Prompt，用户骂了一周才知道

传统软件测试覆盖了代码逻辑、API接口和UI交互，但AI产品有一个独特的盲区：Prompt变更的影响不经过编译器和类型检查，直接作用于一端。在AI日记润色工具中，一次Prompt中"增加文学性"的微调导致输出中虚构对话的比例从2%飙升至18%——这个"bug"没有触发任何测试告警，因为传统测试框架不理解"虚构对话"这个概念。

AI工具链的测试需要三层覆盖：Prompt回归测试（变更前后输出质量对比）、回答质量评估（代理指标+人工抽检）和端到端测试（从用户输入到最终输出的完整链路）。

二、AI测试的三层金字塔

三、CI集成的Prompt回归测试实现

# .github/workflows/prompt-test.yml name: Prompt回归测试 on: pull_request: paths: - 'prompts/**' # 仅在Prompt文件变更时触发 jobs: prompt-regression: runs-on: ubuntu-latest steps: - uses: actions/checkout@v4 - name: 检测Prompt变更 id: changes run: | CHANGED=$(git diff origin/main...HEAD --name-only -- prompts/) echo "files=$CHANGED" >> "$GITHUB_OUTPUT" - name: 执行Prompt回归测试 env: OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }} run: | python scripts/prompt_regression.py \ --changed-files "${{ steps.changes.outputs.files }}" - name: 输出质量评估 run: | python scripts/quality_eval.py \ --threshold 0.7 \ --report output/quality_report.md - name: 评论PR if: failure() uses: actions/github-script@v7 with: script: | const fs = require('fs'); const report = fs.readFileSync('output/quality_report.md', 'utf8'); await github.rest.issues.createComment({ owner: context.repo.owner, repo: context.repo.repo, issue_number: context.issue.number, body: `## Prompt变更质量评估报告\n\n${report}\n\n:warning: 质量评分低于阈值，请检查后再合并。`, });

# scripts/prompt_regression.py """Prompt回归测试执行器 设计意图： 1. 检测到Prompt文件变更时自动运行 2. 使用固定测试用例集比较变更前后的输出差异 3. 通过embedding相似度判断输出是否发生了实质性变化 """ import json import sys from pathlib import Path from openai import OpenAI import numpy as np class PromptRegressionTester: def __init__(self, threshold: float = 0.85): self.client = OpenAI() # 余弦相似度阈值：低于此值表示输出发生了实质性变化 self.similarity_threshold = threshold def test_prompt_change( self, old_prompt: str, new_prompt: str, test_cases: list[str] ) -> dict: """对比新旧Prompt在测试用例上的输出差异""" results = [] degradation_count = 0 for case in test_cases: old_output = self._generate(old_prompt, case) new_output = self._generate(new_prompt, case) # 通过embedding相似度量化输出差异 similarity = self._cosine_similarity(old_output, new_output) is_degraded = similarity < self.similarity_threshold if is_degraded: degradation_count += 1 results.append({ "input": case[:100], "old_output": old_output[:200], "new_output": new_output[:200], "similarity": round(similarity, 3), "degraded": is_degraded, }) return { "total_cases": len(test_cases), "degradations": degradation_count, "pass": degradation_count == 0, "details": results, } def _generate(self, system: str, user: str) -> str: response = self.client.chat.completions.create( model="gpt-4o-mini", messages=[ {"role": "system", "content": system}, {"role": "user", "content": user}, ], temperature=0.3, ) return response.choices[0].message.content or "" def _cosine_similarity(self, text1: str, text2: str) -> float: embeddings = self.client.embeddings.create( model="text-embedding-3-small", input=[text1, text2], ) a = np.array(embeddings.data[0].embedding) b = np.array(embeddings.data[1].embedding) return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)))