拓冰网站定制 
让AI Agent替你管理DGX Spark集群spark-vllm-docker的AGENT_RUNBOOK智能运维指南【免费下载链接】spark-vllm-dockerDocker configuration for running VLLM on dual DGX Sparks项目地址: https://gitcode.com/gh_mirrors/sp/spark-vllm-docker还在手动搭建 vLLM 推理集群吗spark-vllm-docker是专为 NVIDIA DGX Spark 设计的开源 Docker 编排项目支持单节点到多节点集群的一键部署。更棒的是它内置了AGENT_RUNBOOK运维手册让 AI Agent 能替你完成主机检查、集群发现、镜像构建、模型分发和服务验证全流程——只需一句自然语言指令剩下的交给 Agent 即可。什么是 spark-vllm-dockerspark-vllm-docker 提供了一套 Docker 配置和启动脚本用于在 DGX Spark 上运行 vLLM 大模型推理服务核心能力包括单节点与集群双模式从单机到 8 节点 Spark 集群支持 Ray 或 PyTorch 原生分布式模式高速互联支持 InfiniBand/RDMANCCL、直连双机、QSFP/RoCE 交换机和 3 节点网状mesh组网Recipe 配方系统几十个 YAML 配方覆盖 DeepSeek、Qwen、GLM、MiniMax、Gemma 等热门模型一条命令完成构建镜像 → 下载模型 → 启动服务AI Agent 友好仓库内置专门面向 Agent 的运维手册与开发指南天然适合让 AI 助手接管操作项目结构非常清晰关键入口如下文件作用run-recipe.sh配方执行入口支持--setup、--dry-run、--discoverlaunch-cluster.sh单节点/多节点容器编排启动器autodiscover.sh自动发现集群节点与网络拓扑docs/AGENT_RUNBOOK.md AI Agent 运维手册本文主角docs/AGENT_DEVELOPMENT.mdAI Agent 开发指南AGENTS.mdAgent 任务路由总入口AGENTS.md给 AI Agent 的交通指挥中心很多项目对 AI Agent 来说是一片混沌而 spark-vllm-docker 在仓库根目录放了 AGENTS.md 作为 Agent 的调度中枢核心逻辑是二选一路由操作仓库运维准备主机、选择配方、发现集群、构建镜像、启动服务、验证 API —— 一律遵循 docs/AGENT_RUNBOOK.md开发仓库检查、修复、扩展代码或配方 —— 遵循 docs/AGENT_DEVELOPMENT.md它还划定了清晰的安全边界先检查再变更、不泄露.env凭据、不擅自清理或覆盖已有资源、运维任务不授权改源码、开发任务不授权真实部署。这套规则让 Agent 的行为可预期、可审计是智能运维能落地的关键。AGENT_RUNBOOK 八大运维步骤详解docs/AGENT_RUNBOOK.md 将 Agent 的日常运维工作拆解为 8 个标准化阶段每一步都有明确的命令模板和检查项。下面带你快速过一遍这条流水线。第 1 步主机体检只读检查Agent 接手任务后先做一轮无副作用的体检确认 Python 版本 ≥ 3.10、PyYAML 是否可用、Docker 与 GPU 驱动状态nvidia-smi、磁盘空间和 git 工作区是否干净。集群场景下还会核对网卡与免密 SSH 是否符合 docs/NETWORKING.md 的要求。 这一原则贯穿始终Inspect before changing先检查再变更。第 2 步选择并审查配方./run-recipe.sh --listAgent 会列出可用配方并审查目标 YAML 中的模型、镜像、并行度、内存参数等关键字段。手册特别强调不要在用户意图模糊时代为挑选大型模型或拓扑因为配方选择直接决定下载量、存储占用和集群资源。第 3 步集群配置自动发现双机或多机场景下Agent 会运行./run-recipe.sh --discoverautodiscover.sh 会自动检测 CX7 网卡拓扑区分 mesh 与标准组网、扫描 SSH 可达且带 NVIDIA GB10 GPU 的邻居节点经用户逐节点确认后把CLUSTER_NODES、COPY_HOSTS和网络参数写入.env之后的所有命令自动复用这份配置——无需手动填写任何 IP。第 4 步dry-run 预览不改变任何状态./run-recipe.sh RECIPE_NAME --dry-run这是整条流程中最体现智能的一步Agent 先生成将要执行的 vLLM 命令核对节点数、张量/流水线并行度、模型长度、显存占用、端口等参数是否与硬件匹配确认无误才允许进入真实执行。第 5 步执行与资源分发./run-recipe.sh RECIPE_NAME --setup--setup会一站式完成镜像拉取/构建、模型下载、跨节点并行分发--copy-parallel和容器启动。Agent 还能灵活传递环境变量-e、挂载卷-v以及--port、--gpu-mem、--max-model-len等覆盖参数长耗时操作会主动汇报进度。第 6 步结果验证容器启动不等于服务就绪。Agent 会用 API 做最终确认curl --fail --show-error http://127.0.0.1:8000/v1/models docker logs --tail 100 vllm_node确保 API 真正就绪且返回预期模型而非反复重启容器。第 7 步保守的故障处理遇到失败时手册要求 Agent 走保守路径用相同参数重跑--dry-run捕获预期命令检查镜像版本、模型访问权限、磁盘/内存、端口冲突、SSH 连通性集群故障时对比每个节点的镜像与连通性再重启绝不擅自改源码、削弱安全设置或清理 Docker 数据保留现场日志并报告具体失败阶段最后Agent 会以结构化的运维交接报告收尾配方名、模式与节点数、镜像/模型、各阶段完成情况、API 端点与就绪结果、遗留问题——全程不泄露任何 token 或.env内容。新手快速上手三步让 Agent 干活以双 Spark 集群为例人类用户要做的其实只有三件事# 1. 克隆仓库在集群头节点执行 git clone https://gitcode.com/gh_mirrors/sp/spark-vllm-docker cd spark-vllm-docker # 2. 首次集群发现Agent 按 RUNBOOK 执行 ./run-recipe.sh --discover # 3. 一键部署配方构建镜像 下载分发模型 启动 ./run-recipe.sh deepseek-v4-flash-vision-exp --setup对 AI Agent 来说这三步会被它按 RUNBOOK 的原则自动拆解、预览、执行和验证。你只需要用自然语言下达类似帮我用双机集群跑起这个配方先 dry-run 给我看的指令即可。✨常见问题 FAQQ1Agent 会乱动我的主机吗不会。RUNBOOK 明确要求 Agent 以检查优先为原则只执行用户请求中包含的动作且不得 prune、覆盖或停止已有容器、镜像、缓存和模型除非你明确要求。Q2solo 单机模式也需要配置集群吗不需要。单机操作直接--solo --setup即可--dry-run --solo先预览更安全。Q3我的密钥会被 Agent 看到或外泄吗手册明文规定--show-env可能暴露 tokenAgent 永远不得在聊天、日志、diff 或命令中打印凭据与.env内容受限模型gated的 HF_TOKEN 也仅注入容器而不落地展示。Q4运维手册和开发指南要同时读吗AGENTS.md 建议只读与任务相关的那份。纯运维任务读 docs/AGENT_RUNBOOK.md 即可涉及改配方、脚本或 Dockerfile 时再配合 docs/AGENT_DEVELOPMENT.md。总结spark-vllm-docker 把在 DGX Spark 上跑 vLLM这件原本繁琐的事封装成了配方驱动 自动发现 一键 setup的工作流而 AGENT_RUNBOOK 更进一步为 AI Agent 提供了一本边界清晰、步骤严谨的运维操作手册。从主机体检、dry-run 预览到保守故障处理每一个环节都为人机协作做了安全设计——你负责描述目标Agent 负责按手册执行集群服务就此一键上线。延伸阅读recipes/README.md 了解全部配方与参数覆盖玩法docs/NETWORKING.md 掌握双机直连与 mesh 组网细节。【免费下载链接】spark-vllm-dockerDocker configuration for running VLLM on dual DGX Sparks项目地址: https://gitcode.com/gh_mirrors/sp/spark-vllm-docker创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 让AI Agent替你管理DGX Spark集群：spark-vllm-docker的AGENT_RUNBOOK智能运维指南
让AI Agent替你管理DGX Spark集群spark-vllm-docker的AGENT_RUNBOOK智能运维指南【免费下载链接】spark-vllm-dockerDocker configuration for running VLLM on dual DGX Sparks项目地址: https://gitcode.com/gh_mirrors/sp/spark-vllm-docker还在手动搭建 vLLM 推理集群吗spark-vllm-docker是专为 NVIDIA DGX Spark 设计的开源 Docker 编排项目支持单节点到多节点集群的一键部署。更棒的是它内置了AGENT_RUNBOOK运维手册让 AI Agent 能替你完成主机检查、集群发现、镜像构建、模型分发和服务验证全流程——只需一句自然语言指令剩下的交给 Agent 即可。什么是 spark-vllm-dockerspark-vllm-docker 提供了一套 Docker 配置和启动脚本用于在 DGX Spark 上运行 vLLM 大模型推理服务核心能力包括单节点与集群双模式从单机到 8 节点 Spark 集群支持 Ray 或 PyTorch 原生分布式模式高速互联支持 InfiniBand/RDMANCCL、直连双机、QSFP/RoCE 交换机和 3 节点网状mesh组网Recipe 配方系统几十个 YAML 配方覆盖 DeepSeek、Qwen、GLM、MiniMax、Gemma 等热门模型一条命令完成构建镜像 → 下载模型 → 启动服务AI Agent 友好仓库内置专门面向 Agent 的运维手册与开发指南天然适合让 AI 助手接管操作项目结构非常清晰关键入口如下文件作用run-recipe.sh配方执行入口支持--setup、--dry-run、--discoverlaunch-cluster.sh单节点/多节点容器编排启动器autodiscover.sh自动发现集群节点与网络拓扑docs/AGENT_RUNBOOK.md AI Agent 运维手册本文主角docs/AGENT_DEVELOPMENT.mdAI Agent 开发指南AGENTS.mdAgent 任务路由总入口AGENTS.md给 AI Agent 的交通指挥中心很多项目对 AI Agent 来说是一片混沌而 spark-vllm-docker 在仓库根目录放了 AGENTS.md 作为 Agent 的调度中枢核心逻辑是二选一路由操作仓库运维准备主机、选择配方、发现集群、构建镜像、启动服务、验证 API —— 一律遵循 docs/AGENT_RUNBOOK.md开发仓库检查、修复、扩展代码或配方 —— 遵循 docs/AGENT_DEVELOPMENT.md它还划定了清晰的安全边界先检查再变更、不泄露.env凭据、不擅自清理或覆盖已有资源、运维任务不授权改源码、开发任务不授权真实部署。这套规则让 Agent 的行为可预期、可审计是智能运维能落地的关键。AGENT_RUNBOOK 八大运维步骤详解docs/AGENT_RUNBOOK.md 将 Agent 的日常运维工作拆解为 8 个标准化阶段每一步都有明确的命令模板和检查项。下面带你快速过一遍这条流水线。第 1 步主机体检只读检查Agent 接手任务后先做一轮无副作用的体检确认 Python 版本 ≥ 3.10、PyYAML 是否可用、Docker 与 GPU 驱动状态nvidia-smi、磁盘空间和 git 工作区是否干净。集群场景下还会核对网卡与免密 SSH 是否符合 docs/NETWORKING.md 的要求。 这一原则贯穿始终Inspect before changing先检查再变更。第 2 步选择并审查配方./run-recipe.sh --listAgent 会列出可用配方并审查目标 YAML 中的模型、镜像、并行度、内存参数等关键字段。手册特别强调不要在用户意图模糊时代为挑选大型模型或拓扑因为配方选择直接决定下载量、存储占用和集群资源。第 3 步集群配置自动发现双机或多机场景下Agent 会运行./run-recipe.sh --discoverautodiscover.sh 会自动检测 CX7 网卡拓扑区分 mesh 与标准组网、扫描 SSH 可达且带 NVIDIA GB10 GPU 的邻居节点经用户逐节点确认后把CLUSTER_NODES、COPY_HOSTS和网络参数写入.env之后的所有命令自动复用这份配置——无需手动填写任何 IP。第 4 步dry-run 预览不改变任何状态./run-recipe.sh RECIPE_NAME --dry-run这是整条流程中最体现智能的一步Agent 先生成将要执行的 vLLM 命令核对节点数、张量/流水线并行度、模型长度、显存占用、端口等参数是否与硬件匹配确认无误才允许进入真实执行。第 5 步执行与资源分发./run-recipe.sh RECIPE_NAME --setup--setup会一站式完成镜像拉取/构建、模型下载、跨节点并行分发--copy-parallel和容器启动。Agent 还能灵活传递环境变量-e、挂载卷-v以及--port、--gpu-mem、--max-model-len等覆盖参数长耗时操作会主动汇报进度。第 6 步结果验证容器启动不等于服务就绪。Agent 会用 API 做最终确认curl --fail --show-error http://127.0.0.1:8000/v1/models docker logs --tail 100 vllm_node确保 API 真正就绪且返回预期模型而非反复重启容器。第 7 步保守的故障处理遇到失败时手册要求 Agent 走保守路径用相同参数重跑--dry-run捕获预期命令检查镜像版本、模型访问权限、磁盘/内存、端口冲突、SSH 连通性集群故障时对比每个节点的镜像与连通性再重启绝不擅自改源码、削弱安全设置或清理 Docker 数据保留现场日志并报告具体失败阶段最后Agent 会以结构化的运维交接报告收尾配方名、模式与节点数、镜像/模型、各阶段完成情况、API 端点与就绪结果、遗留问题——全程不泄露任何 token 或.env内容。新手快速上手三步让 Agent 干活以双 Spark 集群为例人类用户要做的其实只有三件事# 1. 克隆仓库在集群头节点执行 git clone https://gitcode.com/gh_mirrors/sp/spark-vllm-docker cd spark-vllm-docker # 2. 首次集群发现Agent 按 RUNBOOK 执行 ./run-recipe.sh --discover # 3. 一键部署配方构建镜像 下载分发模型 启动 ./run-recipe.sh deepseek-v4-flash-vision-exp --setup对 AI Agent 来说这三步会被它按 RUNBOOK 的原则自动拆解、预览、执行和验证。你只需要用自然语言下达类似帮我用双机集群跑起这个配方先 dry-run 给我看的指令即可。✨常见问题 FAQQ1Agent 会乱动我的主机吗不会。RUNBOOK 明确要求 Agent 以检查优先为原则只执行用户请求中包含的动作且不得 prune、覆盖或停止已有容器、镜像、缓存和模型除非你明确要求。Q2solo 单机模式也需要配置集群吗不需要。单机操作直接--solo --setup即可--dry-run --solo先预览更安全。Q3我的密钥会被 Agent 看到或外泄吗手册明文规定--show-env可能暴露 tokenAgent 永远不得在聊天、日志、diff 或命令中打印凭据与.env内容受限模型gated的 HF_TOKEN 也仅注入容器而不落地展示。Q4运维手册和开发指南要同时读吗AGENTS.md 建议只读与任务相关的那份。纯运维任务读 docs/AGENT_RUNBOOK.md 即可涉及改配方、脚本或 Dockerfile 时再配合 docs/AGENT_DEVELOPMENT.md。总结spark-vllm-docker 把在 DGX Spark 上跑 vLLM这件原本繁琐的事封装成了配方驱动 自动发现 一键 setup的工作流而 AGENT_RUNBOOK 更进一步为 AI Agent 提供了一本边界清晰、步骤严谨的运维操作手册。从主机体检、dry-run 预览到保守故障处理每一个环节都为人机协作做了安全设计——你负责描述目标Agent 负责按手册执行集群服务就此一键上线。延伸阅读recipes/README.md 了解全部配方与参数覆盖玩法docs/NETWORKING.md 掌握双机直连与 mesh 组网细节。【免费下载链接】spark-vllm-dockerDocker configuration for running VLLM on dual DGX Sparks项目地址: https://gitcode.com/gh_mirrors/sp/spark-vllm-docker创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考