LLM和Agent——专题5： LLM Ops 入门（4）

开源 LLMOps 工具盘点：LangFuse / MLflow / Weave 怎么选？

每个月都有新的 LLMOps 工具冒出来，调研一轮下来心力交瘁。这篇文章帮你梳理 5 款主流开源工具的功能定位、适用场景和选型逻辑，附决策树。

一、引言

选 LLMOps 工具是一件很折磨人的事。工具出得快、变化也快——Github Star 数在涨，功能在加，兼容性在变。今天觉得 A 工具不错，过两周 B 工具发布了新版本你又动摇了。

但如果你回归本质，问自己三个问题，选型其实没那么纠结：

1. 我最需要的是什么？（Trace？评估？Prompt 管理？还是全都要？）
2. 我的团队规模和预算？（2 个人？20 个人？）
3. 我用的技术栈是什么？（LangChain？原生 OpenAI？自研框架？）

这篇文章的目标是：花 15 分钟读完，做出 80 分的选型决策。

二、工具全景概览

在进入逐一分析之前，先给一张速览表：

三、逐一深度拆解

3.1 LangFuse——当之无愧的全能选手

一句话总结：如果你想用一个工具搞定 Trace、评估、Prompt 管理、成本追踪，LangFuse 是当前最优选择。

核心能力：

LangFuse ├── Trace & Span：完整的 LLM 调用链追踪 │ ├── 自动采集（通过 SDK/Callback） │ ├── 树状 Span 结构（支持 Agent 多跳） │ └── 任意自定义 Metadata ├── Scores（评估） │ ├── 人工打分（点赞/点踩） │ ├── 自动评分（LLM-as-Judge） │ └── 多维度评分（准确性、流畅性、安全性...） ├── Prompt Management │ ├── Web UI 编辑 Prompt │ ├── 版本化管理 │ ├── 变量模板 │ └── SDK 拉取线上 Prompt ├── Dashboard │ ├── 成本/Token 用量 │ ├── 延迟/错误率 │ └── 评分趋势 └── 集成生态 ├── LangChain / LlamaIndex / Haystack ├── OpenAI / Anthropic SDK └── 自定义集成（REST API）

架构亮点：

LangFuse 的架构设计很干净——数据采集走异步队列（ClickHouse + Redis），不会阻塞你的应用。这意味着即使是高吞吐场景也能扛住。

基础接入示例：

# Python SDK - 装饰器方式fromlangfuse.decoratorsimportobserve,langfuse_context@observe(as_type="generation")defgenerate_response(messages,model="gpt-4o"):response=openai.chat.completions.create(model=model,messages=messages)langfuse_context.update_current_observation(usage={"input":response.usage.prompt_tokens,"output":response.usage.completion_tokens},model=model,input=messages[-1]["content"],output=response.choices[0].message.content)returnresponse

适合谁：

• 中小团队想要一站式方案
• 需要 Prompt 管理和可观测在同一平台
• 技术栈不限（LangChain 和非 LangChain 都能接入）

不适合谁：

• 只做模型训练、不需要 LLM 推理监控的团队（MLflow 更合适）
• 有强定制需求又不想维护开源项目的大厂（考虑自研或商业版）

3.2 MLflow——MLOps 老兵的新战场

一句话总结：MLflow 的 LLM 能力是"做加法"加上去的，核心仍然是实验追踪和模型管理。如果你们同时在做微调和推理，MLflow 是一个自然的延续。

核心能力：

MLflow ├── MLflow Tracking（实验追踪） │ └── 记录参数、指标、Artifact ├── MLflow Models（模型管理） │ └── 模型注册、版本管理、模型签名 ├── MLflow Evaluate（新增 LLM 能力） │ ├── 内置 LLM 评估指标（毒性、忠实度等） │ ├── 自定义评估函数 │ └── 评测结果可视化 ├── MLflow AI Gateway（新增） │ ├── 统一模型路由 │ └── 限流和认证 └── MLflow Tracing（新增，Experimental） └── LLM 调用链追踪

与 LangFuse 的关键区别：

MLflow 的优势在于它连接了"训练侧"和"推理侧"。如果你微调了一个 Llama 模型，MLflow 可以管理从训练实验 → 模型注册 → 部署 → 推理监控的完整链路。LangFuse 不关心模型怎么来的，只关心推理侧。

# MLflow 评估 LLM 示例importmlflowwithmlflow.start_run():results=mlflow.evaluate(model="gpt-4o",data=eval_dataset,model_type="question-answering",targets="reference_answer",predictions="generated_answer",evaluators=["toxicity","faithfulness","correctness"])

适合谁：

• 同时做模型微调 + LLM 推理的团队
• 已经在用 MLflow 管理传统 ML 模型的团队
• 需要完整的模型生命周期管理

不适合谁：

• 纯 LLM 推理、不做训练的团队（MLflow 太重）
• 需要深度 Agent Trace 的场景（MLflow 的 Tracing 还不成熟）

3.3 Weave (W&B)——评测能力最亮眼

一句话总结：如果你最核心的需求是对 LLM 输出做结构化评估和对比，Weave 的 Dataset + Evaluation 组合拳是几个工具里体验最好的。

核心能力：

Weave ├── Trace：函数级别的自动追踪 │ └── 自动记录函数 IO、耗时、嵌套关系 ├── Dataset：评估数据集管理 │ ├── 版本化数据集 │ └── 内置样本标注 UI ├── Evaluation：强大的评测引擎 │ ├── 内置 Scorer（准确性、相似度等） │ ├── 自定义 LLM-as-Judge Scorer │ └── 平行对比多个 Prompt/模型版本 └── UI：评测结果可视化 ├── 评分分布图 ├── 版本间对比 └── 错误案例下钻

评测流程示例：

importweavefromweaveimportEvaluation# 初始化weave.init("my-llm-project")# 定义评测数据集dataset=weave.Dataset(name="qa-benchmark",rows=[{"question":"什么是 Python GIL？","expected":"全局解释器锁..."},{"question":"如何优化 Django 查询？","expected":"使用 select_related..."},# ...50+ 条])# 定义评测指标@weave.op()defcorrectness_score(model_output,expected):judge_prompt=f""" 参考标准答案：{expected}AI 回答：{model_output}请打分（1-5）："""score=awaitllm_judge(judge_prompt)return{"correctness":score}# 跑评测evaluation=Evaluation(dataset=dataset,scorers=[correctness_score])results=awaitevaluation.evaluate(my_model_function)

适合谁：

• 评估和 Prompt 迭代是核心工作流的团队
• 已经有 W&B 账号的团队
• 需要精细化的评估和对比

不适合谁：

• 需要生产级监控和告警的团队（Weave 偏开发侧）
• 需要全栈 LLMOps 的团队（Weave 缺少 Prompt 管理 UI、模型网关）

3.4 Phoenix (Arize)——生产监控的专家

一句话总结：Phoenix 的 Embedding 可视化分析和漂移检测能力在几个工具里最强，适合已经上线、关注质量稳定性的团队。

核心能力：

Phoenix ├── Trace：OpenTelemetry 兼容的 Trace 采集 │ └── 兼容 LangChain、LlamaIndex、OpenAI SDK ├── Embedding 分析（独有优势） │ ├── UMAP/t-SNE 降维可视化 │ ├── 聚类分析 │ └── 数据漂移检测 ├── 检索分析（RAG 场景） │ └── 检索到的文档与 query 的相关性分析 ├── 评估 │ ├── 幻觉检测 │ ├── QA 正确性 │ └── 摘要事实一致性 └── 告警 └── 漂移告警、质量阈值告警

Phoenix 最独特的价值——Embedding 漂移检测：

当用户输入的分布悄悄变化时（比如用户突然开始问全新领域的问题），LLM 的输出质量会下降。Phoenix 通过实时分析输入/输出的 Embedding 向量分布来发现这种漂移。

适合谁：

• RAG 应用的生产监控（检索质量分析是刚需）
• 需要漂移检测和 Embedding 级别分析的团队
• 已经有 OpenTelemetry 基础设施的团队

不适合谁：

• 需要 Prompt 管理功能的团队（Phoenix 不覆盖）
• 不需要 Embedding 分析的简单 LLM 应用

3.5 DeepEval——轻量级评估框架

一句话总结：DeepEval 是所有工具里最轻量的——不需要部署服务，一个pip install+ 几行代码就能在 CI 里跑起来。

核心能力：

fromdeepevalimportevaluatefromdeepeval.metricsimport(AnswerRelevancyMetric,FaithfulnessMetric,HallucinationMetric,ToxicityMetric)fromdeepeval.test_caseimportLLMTestCase# 定义测试用例test_cases=[LLMTestCase(input="Python 中的装饰器是什么？",actual_output="装饰器是一个接受函数作为参数并返回新函数的可调用对象...",expected_output="装饰器是一种修改函数行为的语法糖，使用 @ 符号...",retrieval_context=["Python 装饰器是一种设计模式..."]),# 更多用例...]# 跑评估results=evaluate(test_cases=test_cases,metrics=[AnswerRelevancyMetric(threshold=0.7),FaithfulnessMetric(threshold=0.8),HallucinationMetric(threshold=0.9),])# 直接在 CI 中断言fromdeepevalimportassert_test assert_test(test_cases,metrics)

适合谁：

• 只需要评估、不需要 Trace/监控的团队
• 强 CI 集成需求（pytest 风格）
• 不想部署额外服务的轻量需求

不适合谁：

• 需要 Trace、Prompt 管理、Dashboard 的团队
• 需要生产监控而非离线评估的场景

四、核心维度横评

五、选型决策指南

决策树

你的核心需求是什么？ │ ├── 我需要全栈 LLMOps（Trace + 评估 + Prompt 管理 + 成本） │ └── → LangFuse（几乎唯一的选择） │ ├── 我主要做模型微调，顺带需要 LLM 推理管理 │ └── → MLflow（训练+推理一条龙） │ ├── 我最关心的是评估质量和 Prompt 对比迭代 │ └── → Weave（最强评估体验）+ LangFuse（做 Trace 和成本） │ ├── 我的应用已经上线，主要需要生产监控和漂移检测 │ └── → Phoenix（最强生产监控）+ LangFuse 或自研（做 Trace） │ ├── 我只需要评估，最好能在 CI 里跑，不想部署额外服务 │ └── → DeepEval（最轻量） │ └── 以上都需要，团队 > 20 人 └── → LangFuse（核心）+ Phoenix（监控补充）或直接上商业版 LangSmith

典型组合推荐

六、总结

• 只选一个就用 LangFuse：全栈能力最完整，社区最活跃，LangChain 和非 LangChain 栈都能用
• MLflow 适合训练+推理都做的团队：在 LLM 可观测性上不如 LangFuse，但模型生命周期管理无可替代
• Weave 和 DeepEval 专注评估：Weave 适合需要 UI 和协作的团队，DeepEval 适合 CI 集成和极简需求
• Phoenix 专注生产监控：Embedding 漂移分析独树一帜，适合 RAG 应用的生产阶段
• 实际场景中，组合使用是常态：LangFuse 做 Trace/成本/Prompt，DeepEval 做 CI 评估，Phoenix 做漂移监控——各取所长

最后提醒：LLMOps 工具迭代速度非常快，以上的 Star 数、功能描述都以 2025 年中为基准。建议在做最终选型前，去各工具的 GitHub Releases 看看最近三个月的变化——如果某个工具迭代很慢，可能说明它正在失去社区动力。

标签:LLMOpsLangFuseMLflowWeavePhoenixDeepEval工具盘点开源工具LLM 可观测性