收藏夹里多了一整套 AI 大模型教程不代表你已经会了。真正缺的不是资料而是一条能把“零基础”带到“能跑能调能部署”的学习主线。这篇文章不推荐你一口气刷完某个资源包而是用一篇能保存、能照着操作的路线图把 AI 大模型的学习拆成几个阶段先搞懂概念再跑通模型然后调 API、做应用最后根据自己方向选择深入 RAG 或微调。全文会围绕一个核心目标展开让你在尽量少的硬件环境下真正把大模型跑起来并验证“输入-输出”这一条链路。我们会聊环境准备、本地部署、提示词工程、接口 API、批量任务、RAG 和微调方向、资源占用观察以及常见问题排查。所有命令和代码都可以直接复制修改但模型名、端口、路径需要按实际环境替换。先给结论学习 AI 大模型不是必须先有 4090。CPU 机器完全可以完成入门阶段的大部分工作例如跑通小模型、调 API、做提示词实验。到了微调和更大模型本地部署阶段才需要认真考虑显存和 GPU 算力。所以第一步不是担心硬件而是先把“运行链路”打通。1. AI 大模型零基础学习核心能力速览维度说明学习目标从零开始能理解大模型基础概念能部署开源模型能调用模型 API能完成一个简单应用适合人群学生、开发工程师、产品经理、准备转 AI 方向的技术人员主要工具链Python、Anaconda、pip、Git、Hugging Face Transformers、Ollama、LangChain、向量数据库硬件门槛学习阶段 CPU 16G 内存可以起步本地跑大模型建议有 NVIDIA 显卡显存越大越从容系统要求Windows 10/11、Linux、macOS 均可是否支持 CPU支持速度比 GPU 慢但可完成功能验证是否支持一键启动取决于所选工具Ollama 等工具可以做到很简化的启动是否支持 API多数本地推理服务提供 HTTP API常见格式为 /v1/chat/completions是否支持批量任务支持通过脚本循环调用接口即可但要注意并发和限流学习周期7 天可以完成入门和第一个 Demo工程化能力和原理深度需要持续积累快速判断一下如果你的目标是“会调用大模型接口做一个能跑起来的小工具”那 1 到 3 天足够。如果你的目标是“本地跑开源模型根据需求微调”那需要额外投入硬件准备和算法基础。这里最大的误区是把全部时间花在收藏教程上而不是动手跑通一个最小示例。2. 适用场景与使用边界2.1 适合的学习场景入门大模型理解大模型能做什么Token、上下文、指令遵循等概念。工具应用开发通过 API 把大模型接到自己的程序里例如文本总结、分类、问答、知识库检索。本地部署测试使用开源模型在本地跑通验证隐私数据不出内网。批量文本处理例如批量生成摘要、批量打标、批量翻译属于工程化应用。垂直领域探索结合 RAG 或微调在特定业务数据上做落地实验。2.2 不适合或需要谨慎的场景追求“7 天从小白到大神”从实际经验看7 天可以入门并跑通 Demo但距离处理生产级问题还有较大距离。没有明确业务目标地刷教程今天看提示词明天看微调后天看 Agent最后容易什么都懂一点但什么都没跑通。直接拿未授权数据训练模型涉及版权、隐私和个人信息时必须极其谨慎。在公网直接暴露模型服务容易产生滥用和安全风险应限制访问范围。将生成内容直接商用而不做人工复核大模型输出存在“幻觉”必须建立审核流程。2.3 合规与安全边界涉及大模型本地部署、API 调用、RAG 知识库、微调等场景时以下几条必须遵守只使用有合法授权、可商用或明确允许的开源模型权重。输入到模型的数据要先脱敏尤其涉及用户隐私、商业机密时。涉及人脸、声音、肖像、版权素材时必须确认授权范围。生成内容用于发布或商用前应当进行人工复核和事实核对。本地推理服务如果开放到网络中应做好鉴权避免被滥用。3. 零基础学习路线总览不建议按“748 集”顺序从第一集看到最后一集。更高效的方式是按阶段投入每个阶段有一个可验收的成果。阶段用时目标验收标准第一阶段概念建立第 1 天理解大模型基本术语和运行逻辑能解释 Token、上下文窗口、预训练、微调、幻觉第二阶段环境搭建第 2 天搭建 Python 环境和推理工具能成功运行一个最小调用示例第三阶段跑通模型第 3-4 天本地跑或云上跑通一个小模型能通过交互或 API 获得模型回复第四阶段提示词与 API第 5-6 天掌握提示词设计能调用接口用 Python 完成一次结构化输出第五阶段应用闭环第 7 天做一个带端到端流程的小应用能输入一段文本输出总结或问答结果第六阶段方向进阶第 8 天以后选择 RAG、微调、部署优化或 Agent 深入完成一个综合项目这里有个现实判断7 天能完成的“入门成果”是指你能运行模型、调用 API、写一个基础应用。所谓“大神”还需要大量项目积累。所以学习时不要被“七天速成”的说法带偏把标准设为“能做出一个可演示的结果”这样每一步都有正反馈。4. AI 大模型本地部署环境准备4.1 操作系统与基础软件操作系统Windows 10/11、Ubuntu 20.04、macOS 都可以。Git用于克隆项目和拉取代码。Python建议 3.9 以上优先 3.10 或 3.11。部分库对 Python 小版本敏感遇到不兼容时优先调整 Python 版本而不是强行安装。Anaconda 或 Miniconda用于创建独立虚拟环境避免依赖冲突。创建虚拟环境并安装基础依赖。下面是通用命令具体包名按项目要求调整。conda create -n llm python3.10 -y conda activate llm pip install -U pip pip install transformers accelerate sentencepiece pip install torch这里没有指定 torch 版本因为不同机器的 CUDA 环境不一样。可以先装 CPU 版本跑通流程再根据显卡情况选择带 CUDA 的版本。4.2 pip 国内镜像配置如果你在国内网络环境建议把 pip 源切换到国内镜像能明显加快依赖下载速度。pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simplemacOS 和 Linux 上同样适用。如果你所在环境可以正常访问官方源则不需要这步。4.3 硬件要求怎么判断入门学习CPU 机器即可。比如在 CPU 上跑一个小尺寸模型观察输出理解调用逻辑。本地部署 7B 参数级别模型建议尽量有 NVIDIA 显卡显存越大越从容。实际能不能跑取决于模型量化方式、上下文长度、推理框架。没有 GPU可以选择云 GPU 服务或者使用小型模型加 CPU 推理速度慢但能验证流程。Apple Silicon Mac部分框架支持 MPS 后端体验比纯 CPU 好但生态兼容性需要按具体工具确认。4.4 目录与项目结构建议学习阶段就要养成习惯至少把模型文件、输入数据、输出结果分开管理。下面是一个通用目录结构llm-learning/ ├── models/ # 本地模型文件 ├── data/ │ ├── inputs/ # 待处理数据 │ └── outputs/ # 模型输出结果 ├── scripts/ # 脚本代码 ├── logs/ # 运行日志 └── README.md5. 跑通第一个大模型5.1 方式一使用 Ollama 本地运行Ollama 是目前很顺手的本地推理工具安装后可以直接拉取开源模型并启动本地服务。它对硬件的判断和命令封装做得比较到位适合零基础入门。安装完成后先启动服务再拉取模型。以常见的开源系列为例# 启动 Ollama 服务 ollama serve如果服务已经运行则直接拉取模型。具体模型名以 Ollama 官方模型库为准常见选择是 Qwen、Llama、DeepSeek 等开源系列ollama pull qwen2.5:7b拉取完成后直接运行ollama run qwen2.5:7b进入交互界面后输入一句话模型会返回回复。能正常对话说明本地推理链路已经打通。以后写脚本调用时可以直接访问 Ollama 提供的 HTTP 接口。5.2 方式二使用 Transformers 加载模型如果你想更接近模型底层可以用 Hugging Face Transformers 来加载开源模型。下面是通用示例模型名和路径必须按实际环境替换。from transformers import AutoTokenizer, AutoModelForCausalLM import torch model_name your-model-name tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name) prompt 请用一句话介绍大模型 inputs tokenizer(prompt, return_tensorspt) with torch.no_grad(): outputs model.generate(**inputs, max_new_tokens128) result tokenizer.decode(outputs[0], skip_special_tokensTrue) print(result)第一次运行要下载权重速度取决于网络环境。建议先选择一个体积较小的模型用于验证。如果显存不足可以尝试加载量化版本例如带 Q4 之类的量化权重。5.3 如何判断模型是否跑通能否正常输出中文或英文内容。是否有明显报错比如显存不足、模型路径错误、依赖缺少。记录启动时间和生成速度作为后续调优的基准。观察任务管理器或nvidia-smi确认显存占用情况和推理进程是否正常。6. 提示词工程与接口 API 调用模型跑通之后接下来的重点不是调更多参数而是学会给模型布置任务。提示词工程是零基础同学性价比最高的一课。6.1 提示词测试维度测试维度说明示例方向角色设定让模型扮演特定角色“你是一名数据分析师……”结构化输出强制限定输出格式以 JSON 格式返回结果Few-shot给 1-3 个示例再让模型生成“参考如下示例回答……”思维链要求模型先推理再给结论“请一步步思考再回答”负向约束明确告诉模型不要做什么“不要编造数据”建议用同一个问题对比不同提示词的输出差异这是最快理解大模型行为方式的方法。6.2 Ollama API 调用示例Ollama 服务启动后默认监听在本机端口。下面用 curl 请求生成接口curl http://localhost:11434/api/generate \ -H Content-Type: application/json \ -d { model: qwen2.5:7b, prompt: 用一句话说明什么是 RAG, stream: false }如果 Ollama 版本支持 OpenAI 兼容接口也可以访问/v1/chat/completions。不同版本配置略有差异建议先看对应版本的接口文档。6.3 Python 调用 API 模板无论你接的是本地 Ollama、云厂商 API 还是自建推理服务只要接口是 OpenAI 兼容格式就可以用下面的通用模板。base_url 和 api_key 按实际服务配置调整。from openai import OpenAI client OpenAI( base_urlhttp://localhost:11434/v1, api_keynot-needed ) response client.chat.completions.create( modelqwen2.5:7b, messages[ {role: system, content: 你是一个简洁的助手。}, {role: user, content: 用一句话解释什么是 API} ], temperature0.7, max_tokens512 ) print(response.choices[0].message.content)如果本地服务不支持 OpenAI 兼容接口需要按实际接口字段调整请求格式。不要照抄字段生产环境中要以目标服务的 API 文档为准。6.4 批量任务脚本框架学会接口调用后批量任务就是加一层循环、日志和重试。下面是一个通用脚本框架目录和请求参数按实际需求替换。import json import time import requests from pathlib import Path input_dir Path(./data/inputs) output_dir Path(./data/outputs) log_file Path(./logs/batch.log) output_dir.mkdir(parentsTrue, exist_okTrue) log_file.parent.mkdir(parentsTrue, exist_okTrue) for idx, text_file in enumerate(input_dir.glob(*.txt)): prompt text_file.read_text(encodingutf-8) payload { model: qwen2.5:7b, prompt: prompt, stream: False } for retry in range(3): try: response requests.post( http://localhost:11434/api/generate, jsonpayload, timeout180 ) data response.json() output_path output_dir / f{text_file.stem}_result.txt output_path.write_text(data.get(response, ), encodingutf-8) with log_file.open(a, encodingutf-8) as f: f.write(f{idx} OK {text_file.name}\n) break except Exception as e: with log_file.open(a, encodingutf-8) as f: f.write(f{idx} ERROR {text_file.name} {e}\n) time.sleep(2 ** retry)批量任务的三个关键点超时要给足大模型推理速度多样过长或过短都不好。失败重试要加退避时间避免服务刚报错就被反复请求打挂。输出必须落盘并记录日志批量任务跑完以后能定位哪条失败、哪条成功。7. RAG 知识库与模型微调两条进阶主线入门跑通并掌握 API 后下一步通常面对两个选择做 RAG 知识库还是做模型微调。很多新手一上来就想微调但大多数业务场景先用 RAG 会更合适。7.1 RAG 适合什么时候用知识库内容会频繁更新。需要引用私有文档例如公司制度、产品手册、技术文档。需要降低模型幻觉让回答有出处。没有足够数据和算力做微调。RAG 的基本流程是文档解析 - 文本切分 - Embedding 向量化 - 存入向量数据库 - 检索相似片段 - 将片段作为上下文拼入提示词 - 模型生成回答。整个链路中最影响效果的是文本切分质量和检索召回质量。对应工具可以选工作流平台Dify、RAGFlow适合快速搭建。开发框架LangChain 或 LlamaIndex适合代码集成。向量数据库Chroma、FAISS 适合入门Milvus 或 Qdrant 适合更大规模。一条精简的 RAG 流程如下加载文档 - 切分成 chunk - 用 Embedding 模型转向量 - 存入向量库 - 用户提问 - 检索 top-k 片段 - 拼接提示词 - 交给大模型生成注意 Embedding 模型要选择和主模型能配合的版本并且要考虑语言适配。中文场景优先选择中文效果好的开源 Embedding 模型。7.2 微调适合什么时候用模型输出格式需要严格固定。需要持续学习特定领域术语和表达习惯。提示词和 RAG 都无法稳定满足效果要求。已有相对稳定的训练数据。微调不是零基础第一阶段就做的事情。对新手来说建议先掌握 LoRA 和 QLoRA 这类参数高效微调方式而不是直接全参微调。全参微调对显存、数据和实验能力要求都更高。微调常用的数据格式是 JSONL每条数据通常包含 instruction、input、output 三类字段{ instruction: 请对以下评论进行情感分类, input: 这款产品发货很快但质量一般, output: 正面 }提示一句数据质量比数据量更重要。几万条干净数据的效果往往好于几十万条重复或冲突的数据。8. 资源占用与性能观察大模型部署后观察资源占用是判断服务稳定性和成本的重要能力。8.1 查看显存占用如果你使用 NVIDIA 显卡运行以下命令nvidia-smi重点看两个地方GPU Memory显存占用情况。Processes当前占用显存的进程。如果在 Docker 中运行模型也可以进入容器执行同样的命令。显存数字高低本身不代表好坏关键是模型能不能稳定运行、生成速度是否可接受。8.2 CPU 推理与 GPU 推理CPU 推理部署简单不依赖显卡驱动但生成速度通常比 GPU 慢很多。适合入门验证、小并发场景。GPU 推理生成速度快并发能力强但需要适配 CUDA、驱动、显存容量。观察指标首 token 延迟、生成速度、显存峰值、是否出现显存溢出。影响性能的主要因素包括模型参数量、量化精度、上下文长度、并发请求数、推理框架、以及是否使用缓存。想降低显存占用常用的方式有使用 INT4 或 INT8 量化模型。缩短上下文长度。换用更小的模型版本。控制请求并发数。8.3 服务稳定性排查端口被占用启动服务时如果提示端口占用换一个端口或清理旧进程。进程残留开发阶段反复启动服务可能留下僵尸进程导致新版服务无法生效。长时间运行内存增长可能是并发队列堆积也可能是缓存未释放需要定期观察进程内存。9. 常见问题与排查方法问题现象可能原因排查方式解决方案依赖安装失败Python 版本不匹配或包名拼写错误检查 pip 报错、确认 Python 版本新建虚拟环境按报错调整 Python 版本模型文件不存在模型名打错或未完成下载查看模型目录检查模型名重新执行拉取命令换成可用模型名导入模型后显存不够模型体积大于显存容量运行 nvidia-smi 查看显存占用换更小模型、使用量化版本、缩短上下文接口请求超时模型推理速度慢或并发过多查看日志确认请求是否排队增加超时时间、降低并发、升级硬件输出内容质量差提示词不清晰或模型选择不合适对比不同提示词和不同模型优化提示词增加示例换模型API 返回 401/403鉴权信息错误或服务限制访问检查 api_key、IP 白名单按服务文档重新配置鉴权批量任务卡住某一请求长时间未返回查看日志和进程状态增加单条超时、加失败重试、人工中断恢复遇到问题时最有效的操作顺序是先看日志再复现最小样例最后再改配置。不要一次改多个参数否则很难定位到真正的问题。10. 总结与下一步回到最初的问题748 集教程、七天速成、一条龙资源包这些都不重要。真正重要的是你现在打开终端把 Python 环境装好跑通一次模型输出。只要“输入问题-模型回答”这个链路通了你已经超过大多数只收藏不实践的人。建议接下来的路径先装好 Anaconda创建虚拟环境安装依赖。用 Ollama 拉取一个开源模型并运行体验一次真实对话。调通 API 接口至少跑通一次 Python 调用。做一个极小的批量任务把输入输出落盘并记录日志。根据业务方向决定继续学习 RAG 还是微调。最容易踩的坑有三个环境依赖冲突、模型名配置错误、批量任务没有日志。前两个会让你在启动阶段反复碰壁第三个会在任务跑完时让你无从排查。把这些基础功打牢后面无论是接入业务系统还是做垂直领域应用都会顺畅很多。