拓冰网站定制 
1. 为什么要在 Docker 里跑 Qwen3-Next-80B-A3B-InstructQwen3-Next-80B-A3B-Instruct 是 Qwen3-Next 系列里第一个正式版本总参数 80B但每个 token 只激活约 3B属于高稀疏度 MoE 架构。它把标准注意力换成了 Gated DeltaNet 加 Gated Attention 的混合布局原生上下文 262,144 tokens还能继续外推到百万级。对做长文档问答、代码库理解、Agent 记忆这类场景的人来说这个模型的意义在于用 3B 级别的激活开销拿到接近 235B 级别模型的指令跟随能力。但部署它有两个现实门槛。第一是显存80B 权重即使 bf16 也要 160GB 左右单卡放不下必须张量并行第二是工具接入你本地起了一个 OpenAI 兼容服务可手头的 AI 工具、IDE 插件、Agent 框架各自要填不同的 base_url 和 key管理起来很碎。这篇就按「Docker 起 vllm 服务 → 本地验证 → 通过 TaoToken 统一 Key 接入工具」这条链路走一遍交付可以直接抄的config.toml骨架和settings.json示例。适合谁看手里有 4 张以上 48G/80G 卡、想自己托管 Qwen3-Next 的工程师以及模型已经跑起来、但被多工具多 Key 搞烦、想收口到一个统一通道的人。下面所有命令我都按可复制来写你替换路径和卡号即可。2. 前置准备镜像、模型与 TaoToken 统一 Key2.1 vllm 镜像与模型下载vllm 选v0.10.2这个版本对 Qwen3-Next 的混合注意力支持比较完整。先拉镜像docker pull vllm/vllm-openai:v0.10.2 docker images | grep vllm正常会看到类似vllm/vllm-openai v0.10.2 5791f8642d1b 22.5GB的输出。模型用 modelscope 下载国内速度稳conda activate mars pip install modelscope modelscope download --model Qwen/Qwen3-Next-80B-A3B-Instruct \ --local_dir /data01/bg/model/Qwen/Qwen3-Next-80B-A3B-Instruct下载完确认目录里有config.json、model.safetensors分片和 tokenizer 文件。这一步别省后面 vllm 加载失败十有八九是权重没下全。2.2 TaoToken 统一 Key 的定位本地 vllm 服务本身有自己的--api-key但那是给直连用的。当你同时要接 Claude Code、Cline、Continue、各种 Agent 时每个工具都去配一遍本地地址和 key 很麻烦而且本地服务一旦换端口、换机器所有配置都要改。TaoToken 在这里扮演的是统一入口你申请一个 Key工具侧只认这一个 Key 和一个 base_url后端指向哪里由通道决定。官网入口在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 地址是 https://taotoken.net/api 。先去控制台建 Key控制台https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentAPI Keys 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content建完把 Key 存到环境变量别硬编码进配置文件export TAOTOKEN_API_KEYsk-你的key注意本地 vllm 的--api-key和 TaoToken 的 Key 是两套东西。前者保护你的本地端口后者是工具侧的统一凭证。别混用也别把本地 key 填进工具里。3. 可复制配置docker-compose 与 config.toml 骨架3.1 docker-compose.yaml 启动 vllm假设你用 4、5、6、7 四张卡张量并行设为 4。shm_size给足MoE 模型加载时共享内存吃得多services: intent_model: image: vllm/vllm-openai:v0.10.2 container_name: Qwen3-next shm_size: 400gb environment: NVIDIA_VISIBLE_DEVICES: 4,5,6,7 NVIDIA_DRIVER_CAPABILITIES: compute,utility,graphics NCCL_SHM_DISABLE: 1 NCCL_DEBUG: INFO NCCL_IB_DISABLE: 1 NCCL_P2P_DISABLE: 1 PYTHONFAULTHANDLER: 1 VLLM_LOG_LEVEL: DEBUG OMP_NUM_THREADS: 1 deploy: resources: reservations: devices: - driver: nvidia device_ids: [4,5,6,7] capabilities: [gpu] ports: - 18010:18010 volumes: - /data01/bg/model/Qwen:/vllm/models entrypoint: - python3 - -m - vllm.entrypoints.openai.api_server - --tensor-parallel-size - 4 - --host - 0.0.0.0 - --port - 18010 - --model - /vllm/models/Qwen3-Next-80B-A3B-Instruct - --served-model-name - Qwen3-next - --gpu-memory-utilization - 0.85 - --max-model-len - 128000 - --dtype - bfloat16 - --disable-log-requests - --disable-custom-all-reduce - --trust-remote-code - --block-size - 16 - --enforce-eager - --api-key - abc123456几个参数值得说清楚。--gpu-memory-utilization 0.85比默认 0.9 保守因为 80B 模型加载阶段峰值高0.9 容易在权重搬运时 OOM。--max-model-len 128000是折中值原生支持 262144但 KV cache 占用和显存直接挂钩先跑通再往上加。--enforce-eager关掉 CUDA graph牺牲一点吞吐换稳定性排查阶段建议留着。--disable-custom-all-reduce在非 RDMA 环境能避开一些通信坑。启动docker-compose up -d docker logs -f Qwen3-next日志里看到Application startup complete和Uvicorn running on http://0.0.0.0:18010就算起来了。首次加载 80B 权重会慢几分钟到十几分钟都正常。3.2 config.toml 骨架工具侧统一接入很多 AI 工具用 TOML 做配置比如某些 CLI Agent 和本地网关。下面这个骨架把 provider 指向 TaoToken模型名填你本地--served-model-name对应的名字# config.toml —— 统一走 TaoToken 通道 [provider] name taotoken base_url https://taotoken.net/api api_key_env TAOTOKEN_API_KEY timeout_seconds 120 [model] # 与 vllm --served-model-name 保持一致 name Qwen3-next max_tokens 8192 temperature 0.7 top_p 0.9 [model.extra] # 长上下文场景按需调大 context_window 128000 supports_streaming true [logging] level info request_log true关键点是api_key_env读环境变量而不是写死base_url用 TaoToken 的 API 地址。这样你本地 vllm 换端口、换机器只要 TaoToken 通道那边指向更新工具侧完全不用动。3.3 settings.json 示例IDE 插件类像 Continue、Cline 这类插件读 JSON 配置结构类似{ models: [ { title: Qwen3-Next via TaoToken, provider: openai, model: Qwen3-next, apiBase: https://taotoken.net/api, apiKey: ${TAOTOKEN_API_KEY}, contextLength: 128000, completionOptions: { maxTokens: 8192, temperature: 0.7 } } ], tabAutocompleteModel: { title: Qwen3-Next Autocomplete, provider: openai, model: Qwen3-next, apiBase: https://taotoken.net/api, apiKey: ${TAOTOKEN_API_KEY} } }provider填openai是因为 TaoToken 走 OpenAI 兼容协议apiBase末尾不要带/v1具体以接入文档为准https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。如果你用的是 Claude Code 这类走 Anthropic 协议的工具接入方式不同参考 https://taotoken.net/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。4. 验证请求从本地直连到统一通道4.1 先验证本地 vllm 服务装 openai SDK直连本地端口测一次pip install openai -i https://mirrors.aliyun.com/pypi/simple/from openai import OpenAI client OpenAI( api_keyabc123456, base_urlhttp://localhost:18010/v1 ) response client.chat.completions.create( modelQwen3-next, messages[ {role: system, content: You are a helpful assistant.}, {role: user, content: 请用三句话介绍一下量子计算。} ], temperature0.7, max_tokens512 ) print(response.choices[0].message.content)能正常打印回答说明 vllm 服务、模型加载、张量并行都没问题。这一步不通就别往下走先看日志。4.2 再验证 TaoToken 统一通道把 base_url 和 key 换成 TaoToken 的模型名保持Qwen3-nextimport os from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api ) response client.chat.completions.create( modelQwen3-next, messages[ {role: user, content: 用一句话说明 MoE 稀疏激活的好处。} ], temperature0.7, max_tokens256 ) print(response.choices[0].message.content)返回正常内容说明统一通道打通了。想快速在网页上对比不同模型输出可以用模型对话页https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。4.3 长上下文压测Qwen3-Next 的卖点是长上下文值得单独验一次。构造一段约 3 万 token 的文本塞进去long_text 这是一段用于测试长上下文的填充文本。 * 3000 response client.chat.completions.create( modelQwen3-next, messages[ {role: user, content: f{long_text}\n\n请总结上面内容的核心主题。} ], max_tokens512 ) print(response.choices[0].message.content)如果这里报 context length 超限检查--max-model-len是否设够以及工具侧context_window是否匹配。5. 本篇常见错排查5.1 启动阶段 OOM日志出现torch.OutOfMemoryError或加载到一半挂掉先降--gpu-memory-utilization到 0.8再降--max-model-len到 65536。80B 模型加载峰值比稳态高不少别一上来就顶满。5.2 NCCL 通信报错多卡环境常见NCCL error或卡在初始化。确认NCCL_P2P_DISABLE1、NCCL_IB_DISABLE1已设--tensor-parallel-size和设备数一致。如果排查阶段一直失败先把 TP 改成 1 单卡跑通再往上加。5.3 工具侧 401 / 404401 多半是 Key 没读到检查TAOTOKEN_API_KEY是否 export 成功echo $TAOTOKEN_API_KEY确认。404 通常是 base_url 写错TaoToken 用https://taotoken.net/api别自己加/v1或漏掉路径以接入文档为准。5.4 模型名不匹配工具报model not found检查三处名字是否一致vllm 的--served-model-name、config.toml 的[model].name、settings.json 的model字段。三处必须完全相同大小写敏感。5.5 长上下文截断明明设了 128000实际输入几万 token 就被截。检查工具侧context_window和max_tokens之和是否超过--max-model-len两者相加不能超上限。6. 收口与后续把本地 vllm 服务和工具接入拆成两层之后维护成本会低很多。模型层你只管 Docker 和 GPU工具层只认 TaoToken 一个 Key 和 base_url。后面要换模型、加副本、迁移机器工具配置基本不用动。如果你打算长期跑编码类 Agent反复调模型、跑长任务可以看下 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 按用量规划比单次调用更划算。接入过程中遇到协议对不上的工具先翻接入文档确认它走的是 OpenAI 还是 Anthropic 协议这一步能省掉大半排查时间。 vllm部署Qwen/Qwen3-Next-80B-A3B-Instruct模型：TaoToken统一Key接入与config.toml骨架
1. 为什么要在 Docker 里跑 Qwen3-Next-80B-A3B-InstructQwen3-Next-80B-A3B-Instruct 是 Qwen3-Next 系列里第一个正式版本总参数 80B但每个 token 只激活约 3B属于高稀疏度 MoE 架构。它把标准注意力换成了 Gated DeltaNet 加 Gated Attention 的混合布局原生上下文 262,144 tokens还能继续外推到百万级。对做长文档问答、代码库理解、Agent 记忆这类场景的人来说这个模型的意义在于用 3B 级别的激活开销拿到接近 235B 级别模型的指令跟随能力。但部署它有两个现实门槛。第一是显存80B 权重即使 bf16 也要 160GB 左右单卡放不下必须张量并行第二是工具接入你本地起了一个 OpenAI 兼容服务可手头的 AI 工具、IDE 插件、Agent 框架各自要填不同的 base_url 和 key管理起来很碎。这篇就按「Docker 起 vllm 服务 → 本地验证 → 通过 TaoToken 统一 Key 接入工具」这条链路走一遍交付可以直接抄的config.toml骨架和settings.json示例。适合谁看手里有 4 张以上 48G/80G 卡、想自己托管 Qwen3-Next 的工程师以及模型已经跑起来、但被多工具多 Key 搞烦、想收口到一个统一通道的人。下面所有命令我都按可复制来写你替换路径和卡号即可。2. 前置准备镜像、模型与 TaoToken 统一 Key2.1 vllm 镜像与模型下载vllm 选v0.10.2这个版本对 Qwen3-Next 的混合注意力支持比较完整。先拉镜像docker pull vllm/vllm-openai:v0.10.2 docker images | grep vllm正常会看到类似vllm/vllm-openai v0.10.2 5791f8642d1b 22.5GB的输出。模型用 modelscope 下载国内速度稳conda activate mars pip install modelscope modelscope download --model Qwen/Qwen3-Next-80B-A3B-Instruct \ --local_dir /data01/bg/model/Qwen/Qwen3-Next-80B-A3B-Instruct下载完确认目录里有config.json、model.safetensors分片和 tokenizer 文件。这一步别省后面 vllm 加载失败十有八九是权重没下全。2.2 TaoToken 统一 Key 的定位本地 vllm 服务本身有自己的--api-key但那是给直连用的。当你同时要接 Claude Code、Cline、Continue、各种 Agent 时每个工具都去配一遍本地地址和 key 很麻烦而且本地服务一旦换端口、换机器所有配置都要改。TaoToken 在这里扮演的是统一入口你申请一个 Key工具侧只认这一个 Key 和一个 base_url后端指向哪里由通道决定。官网入口在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 地址是 https://taotoken.net/api 。先去控制台建 Key控制台https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentAPI Keys 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content建完把 Key 存到环境变量别硬编码进配置文件export TAOTOKEN_API_KEYsk-你的key注意本地 vllm 的--api-key和 TaoToken 的 Key 是两套东西。前者保护你的本地端口后者是工具侧的统一凭证。别混用也别把本地 key 填进工具里。3. 可复制配置docker-compose 与 config.toml 骨架3.1 docker-compose.yaml 启动 vllm假设你用 4、5、6、7 四张卡张量并行设为 4。shm_size给足MoE 模型加载时共享内存吃得多services: intent_model: image: vllm/vllm-openai:v0.10.2 container_name: Qwen3-next shm_size: 400gb environment: NVIDIA_VISIBLE_DEVICES: 4,5,6,7 NVIDIA_DRIVER_CAPABILITIES: compute,utility,graphics NCCL_SHM_DISABLE: 1 NCCL_DEBUG: INFO NCCL_IB_DISABLE: 1 NCCL_P2P_DISABLE: 1 PYTHONFAULTHANDLER: 1 VLLM_LOG_LEVEL: DEBUG OMP_NUM_THREADS: 1 deploy: resources: reservations: devices: - driver: nvidia device_ids: [4,5,6,7] capabilities: [gpu] ports: - 18010:18010 volumes: - /data01/bg/model/Qwen:/vllm/models entrypoint: - python3 - -m - vllm.entrypoints.openai.api_server - --tensor-parallel-size - 4 - --host - 0.0.0.0 - --port - 18010 - --model - /vllm/models/Qwen3-Next-80B-A3B-Instruct - --served-model-name - Qwen3-next - --gpu-memory-utilization - 0.85 - --max-model-len - 128000 - --dtype - bfloat16 - --disable-log-requests - --disable-custom-all-reduce - --trust-remote-code - --block-size - 16 - --enforce-eager - --api-key - abc123456几个参数值得说清楚。--gpu-memory-utilization 0.85比默认 0.9 保守因为 80B 模型加载阶段峰值高0.9 容易在权重搬运时 OOM。--max-model-len 128000是折中值原生支持 262144但 KV cache 占用和显存直接挂钩先跑通再往上加。--enforce-eager关掉 CUDA graph牺牲一点吞吐换稳定性排查阶段建议留着。--disable-custom-all-reduce在非 RDMA 环境能避开一些通信坑。启动docker-compose up -d docker logs -f Qwen3-next日志里看到Application startup complete和Uvicorn running on http://0.0.0.0:18010就算起来了。首次加载 80B 权重会慢几分钟到十几分钟都正常。3.2 config.toml 骨架工具侧统一接入很多 AI 工具用 TOML 做配置比如某些 CLI Agent 和本地网关。下面这个骨架把 provider 指向 TaoToken模型名填你本地--served-model-name对应的名字# config.toml —— 统一走 TaoToken 通道 [provider] name taotoken base_url https://taotoken.net/api api_key_env TAOTOKEN_API_KEY timeout_seconds 120 [model] # 与 vllm --served-model-name 保持一致 name Qwen3-next max_tokens 8192 temperature 0.7 top_p 0.9 [model.extra] # 长上下文场景按需调大 context_window 128000 supports_streaming true [logging] level info request_log true关键点是api_key_env读环境变量而不是写死base_url用 TaoToken 的 API 地址。这样你本地 vllm 换端口、换机器只要 TaoToken 通道那边指向更新工具侧完全不用动。3.3 settings.json 示例IDE 插件类像 Continue、Cline 这类插件读 JSON 配置结构类似{ models: [ { title: Qwen3-Next via TaoToken, provider: openai, model: Qwen3-next, apiBase: https://taotoken.net/api, apiKey: ${TAOTOKEN_API_KEY}, contextLength: 128000, completionOptions: { maxTokens: 8192, temperature: 0.7 } } ], tabAutocompleteModel: { title: Qwen3-Next Autocomplete, provider: openai, model: Qwen3-next, apiBase: https://taotoken.net/api, apiKey: ${TAOTOKEN_API_KEY} } }provider填openai是因为 TaoToken 走 OpenAI 兼容协议apiBase末尾不要带/v1具体以接入文档为准https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。如果你用的是 Claude Code 这类走 Anthropic 协议的工具接入方式不同参考 https://taotoken.net/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。4. 验证请求从本地直连到统一通道4.1 先验证本地 vllm 服务装 openai SDK直连本地端口测一次pip install openai -i https://mirrors.aliyun.com/pypi/simple/from openai import OpenAI client OpenAI( api_keyabc123456, base_urlhttp://localhost:18010/v1 ) response client.chat.completions.create( modelQwen3-next, messages[ {role: system, content: You are a helpful assistant.}, {role: user, content: 请用三句话介绍一下量子计算。} ], temperature0.7, max_tokens512 ) print(response.choices[0].message.content)能正常打印回答说明 vllm 服务、模型加载、张量并行都没问题。这一步不通就别往下走先看日志。4.2 再验证 TaoToken 统一通道把 base_url 和 key 换成 TaoToken 的模型名保持Qwen3-nextimport os from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api ) response client.chat.completions.create( modelQwen3-next, messages[ {role: user, content: 用一句话说明 MoE 稀疏激活的好处。} ], temperature0.7, max_tokens256 ) print(response.choices[0].message.content)返回正常内容说明统一通道打通了。想快速在网页上对比不同模型输出可以用模型对话页https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。4.3 长上下文压测Qwen3-Next 的卖点是长上下文值得单独验一次。构造一段约 3 万 token 的文本塞进去long_text 这是一段用于测试长上下文的填充文本。 * 3000 response client.chat.completions.create( modelQwen3-next, messages[ {role: user, content: f{long_text}\n\n请总结上面内容的核心主题。} ], max_tokens512 ) print(response.choices[0].message.content)如果这里报 context length 超限检查--max-model-len是否设够以及工具侧context_window是否匹配。5. 本篇常见错排查5.1 启动阶段 OOM日志出现torch.OutOfMemoryError或加载到一半挂掉先降--gpu-memory-utilization到 0.8再降--max-model-len到 65536。80B 模型加载峰值比稳态高不少别一上来就顶满。5.2 NCCL 通信报错多卡环境常见NCCL error或卡在初始化。确认NCCL_P2P_DISABLE1、NCCL_IB_DISABLE1已设--tensor-parallel-size和设备数一致。如果排查阶段一直失败先把 TP 改成 1 单卡跑通再往上加。5.3 工具侧 401 / 404401 多半是 Key 没读到检查TAOTOKEN_API_KEY是否 export 成功echo $TAOTOKEN_API_KEY确认。404 通常是 base_url 写错TaoToken 用https://taotoken.net/api别自己加/v1或漏掉路径以接入文档为准。5.4 模型名不匹配工具报model not found检查三处名字是否一致vllm 的--served-model-name、config.toml 的[model].name、settings.json 的model字段。三处必须完全相同大小写敏感。5.5 长上下文截断明明设了 128000实际输入几万 token 就被截。检查工具侧context_window和max_tokens之和是否超过--max-model-len两者相加不能超上限。6. 收口与后续把本地 vllm 服务和工具接入拆成两层之后维护成本会低很多。模型层你只管 Docker 和 GPU工具层只认 TaoToken 一个 Key 和 base_url。后面要换模型、加副本、迁移机器工具配置基本不用动。如果你打算长期跑编码类 Agent反复调模型、跑长任务可以看下 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 按用量规划比单次调用更划算。接入过程中遇到协议对不上的工具先翻接入文档确认它走的是 OpenAI 还是 Anthropic 协议这一步能省掉大半排查时间。