为什么大模型项目必须写自动化测试cgft-llm Pytest代码测试完整教程【免费下载链接】cgft-llmcgft-llm 是一个学习大语言模型LLM开发的开源资源。它提供代码、文档和视频教程帮助用户通过实践掌握前沿核心 LLM 技术项目地址: https://gitcode.com/echonoshy/cgft-llm大模型项目写自动化测试本质是把模型输出的不确定性变成可验证的稳定性。本文以 cgft-llm 大模型实战项目为例讲清楚 LLM 开发为什么必须写自动化测试并给出一份完整的 Pytest 代码测试教程涵盖断言、Fixture 夹具、参数化、Mark 分类等核心概念以及大模型项目质量保障必备的 pytest 命令行参数新手也能快速上手。为什么大模型项目必须写自动化测试1. 模型输出不稳定人肉测试永远测不全传统 Web 项目里同样输入几乎总有同样输出而 LLM 项目不是同一 prompt 多次调用结果不同靠人工抽查必然漏掉坏 case采样参数temperature、top_p微调就会改变输出分布手动回归测试跟不上依赖版本、上下文长度变化都会悄悄影响表现。自动化测试用断言持续校验结构、格式、边界条件每次改动后一键回归是应对不确定性的唯一可靠方式。2. 大模型链路长越复杂越需要测试兜底典型的 LLM 应用不是一次模型调用而是一条长链路。以 cgft-llm 中的 Function Calling 自动发邮件项目为例用户意图 → 模型生成函数调用 → 解析参数 → 执行发送任何一环出错问题都会在生产环境才暴露对应代码可参考 02-llm-core/function-calling/app.py 与 02-llm-core/function-calling/README.md。RAG 知识库系统同理文档加载 → 切分 → 向量化 → 检索 → 拼装 Prompt → 模型作答链路更长更需要对每个环节做独立的单元测试相关实现见 02-llm-core/llama-index/README.md。Pytest 代码测试5 个核心概念一次看懂pytest 是 Python 自动化测试的首选框架也是 cgft-llm动手加入开源系列中的代码测试工具。完整教程文档03-open-source/docs/pytest.md断言一行 assert 代替整个断言库pytest 直接使用 Python 原生assert无需额外引入断言库# 验证正常逻辑 assert 1 1 2 # 验证错误输入时是否正确抛出异常 import pytest def test_divide_zero(): with pytest.raises(ValueError): divide(1, 0)对 LLM 项目来说错误输入抛出异常这类边界测试空 prompt、超长上下文尤其重要。测试发现pytest 如何自动找到你的测试文件不需要手动注册按命名约定即可被自动发现规则约定文件名test_*.py或*_test.py函数/方法以test_开头类以Test开头在项目根目录直接运行pytest即可自动搜索当前目录及子目录详见 pytest.md 发现规则。Fixture 夹具大模型测试准备与清理的规范写法大模型测试经常需要昂贵的准备初始化模型客户端、连接向量库。Fixture 让准备工作只执行一次并在会话结束时自动清理pytest.fixture(scopesession) def llm_client(): yield create_client(...) # 整个测试会话只初始化一次作用域选择建议作用域适用场景function默认每条用例独立的测试数据session模型客户端、数据库连接池等全局资源Mark 标记冒烟测试单独跑慢测试按需跳过真实调用大模型的测试又慢又花钱。用 Mark 给测试分类就能灵活筛选pytest -m smoke # 只跑核心冒烟测试 pytest -m not slow # 跳过涉及真实模型调用的慢测试这是 LLM 项目 CI 流水线里最常用的技巧。参数化数据驱动批量验证多组 Promptpytest.mark.parametrize让一个测试函数跑多组输入输出非常适合批量校验不同 Prompt 的响应pytest.mark.parametrize(prompt, must_contain, [ (天气如何, 天气), (写一段代码, 代码), ]) def test_reply_contains(prompt, must_contain): reply call_llm(prompt) assert must_contain in reply大模型项目测试必备命令行参数命令作用典型用途pytest -v显示详细输出查看每个测试函数结果pytest -s显示 print 输出调试 fixture 与模型日志pytest -m按 Mark 标记运行pytest -m smokepytest -k按名称关键字筛选pytest -k rag or promptpytest -n 4多进程并行需 pytest-xdist加速大批量用例完整参数表见 03-open-source/docs/pytest.md。学习路径与延伸资源 建议按以下顺序上手大模型项目自动化测试通读 Pytest 核心概念文档03-open-source/docs/pytest.md为自己的 LLM 项目写 3 个用例输出格式断言、异常边界、参数化 Prompt引入smoke/slow标记CI 中先跑冒烟测试配套工程化实践形成完整质量闭环依赖管理03-open-source/docs/uv.md代码规范检查03-open-source/docs/ruff.md提交前自动检查03-open-source/docs/pre-commit.md把测试当作大模型项目的一等公民你会收获一个每次改动都敢点提交的项目。【免费下载链接】cgft-llmcgft-llm 是一个学习大语言模型LLM开发的开源资源。它提供代码、文档和视频教程帮助用户通过实践掌握前沿核心 LLM 技术项目地址: https://gitcode.com/echonoshy/cgft-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考