llama-cpp-python：llama.cpp 的 Python 绑定库

llama-cpp-python：llama.cpp 的 Python 绑定库

llama-cpp-python 是 llama.cpp 的 Python 封装项目，由 abetlen 维护，目前获得 10,363 Star。它为在 Python 环境中运行本地大语言模型提供了完整工具链。

这个项目解决的核心问题是调用门槛。llama.cpp 本身用 C/C++ 编写，性能很好但接口偏底层。llama-cpp-python 通过 ctypes 做了底层绑定，再往上封装了高级 Python API，让开发者用几行代码就能加载并运行 GGUF 格式的模型。

功能覆盖比较全面。文本补全和聊天对话是基础，输出格式兼容 OpenAI API 规范。高级功能包括 JSON/JSON Schema 约束输出、Function Calling、多模态输入（支持 llava、moondream2、qwen2.5-vl 等）、文本嵌入生成、推测解码。项目还提供了 OpenAI 兼容的 Web Server，可以接入现有工具链。

硬件支持是重点之一。安装时可以通过 CMAKE_ARGS 环境变量启用不同后端加速：CUDA、Metal（Apple Silicon）、OpenBLAS、ROCm、Vulkan、SYCL、RPC。官方也提供了部分预编译 wheel，覆盖 CPU、CUDA 和 Metal 场景，省去从源码编译的时间。对 Windows 用户，项目文档里专门列出了常见编译错误的处理方法，比如找不到 nmake 或 CMAKE_C_COMPILER 的情况。

API 设计分两层。底层是 ctypes 直接映射 llama.cpp 的 C API，适合需要精细控制的场景。高层是Llama类，封装了模型加载、推理、对话管理、上下文窗口调整等操作。模型可以直接从 Hugging Face Hub 拉取，一行代码完成初始化和运行。聊天对话接口内置了多种预设格式（chatml、llama-2、gemma 等），会根据模型元数据自动匹配。

Web Server 基于 FastAPI 构建，启动后暴露与 OpenAI 兼容的 REST 端点，支持聊天补全、代码补全、视觉模型、多模型并发。配合本地客户端或 IDE 插件，可以搭建离线开发环境。Server 也支持通过huggingface-hub直接加载 Hub 上的模型，不用手动下载。

这个项目同时服务两类用户。写 Python 脚本的开发者可以直接 import 调用，需要 API 服务的团队可以用 Web Server 做替换。LangChain 和 LlamaIndex 的兼容层进一步扩展了使用场景，现有的 RAG 或 Agent 项目可以低成本迁移到本地模型。

开发活跃度尚可。文档部署在 ReadTheDocs 上，覆盖安装、API 参考和常见问题。项目采用 MIT 协议，社区贡献流程比较规范。对于需要在本地运行大模型的 Python 开发者来说，这是一个比较成熟的选项。

on 开发者来说，这是一个比较成熟的选项。