这次我们来看一个很典型的 AI 短剧创作案例《数字生死簿》EP01。它的设定非常直接——善恶报应不再靠传统神明来裁决而是交给一套算法系统来完成。标题里那句“你愿意吗”把观众拉到伦理争议里配合“AI 全民制作人”的标签本质上是一套用 AI 工具完成脚本、画面、配音、剪辑的短剧生产流程。这个选题值得拆解不是因为它剧情多复杂而是它把“算法”这个抽象概念变成了具体的视觉叙事。如果你想搞清楚 AI 短剧到底怎么从零做出来而不是只看成品那这篇文章适合你。我会从世界观设定、分镜设计、提示词编写、图生视频、TTS 配音、字幕压制、批量出片、显存占用、接口调用和问题排查这些维度完整拆一套可执行的 AI 创作工作流。先给结论这套流程的关键不是某一个“万能模型”而是“脚本拆解 分镜提示词 图像生成 视频生成 语音合成 剪辑合成”的组合拳。下面开始讲具体怎么做。1. 核心能力速览能力项说明项目类型AI 短剧 / AI 漫剧 / 概念视频创作案例核心主题算法控制善恶报应数字生死簿设定适用工具图像生成、图生视频、TTS 语音合成、剪辑软件的组合工作流部署方式可选用本地 ComfyUI 工作流也可用云端工具完成显存占用需按实际模型与分辨率测试不固定建议显卡本地生成推荐 8G 以上显存低配可降低分辨率并优先用图生视频是否支持 CPU部分图像生成支持 CPU但视频生成建议用 GPU是否支持 API支持接口路径需按实际工具确认是否支持批量任务支持建议通过目录脚本或工作流队列实现适合人群AI 短剧创作者、个人开发者、内容团队、想学习 AI 视频工作流的人2. 适用场景与使用边界《数字生死簿》这类内容适合谁去做首先是 AI 短剧创作者能通过这套工作流把抽象题材变成连续画面其次是技术型内容生产者想在脚本、提示词、模型组合之间建立完整生产链路再次是团队里的视频策划可以先跑通样片再决定是否投入量产。这套流程能解决的问题是小团队一个人也能完成短剧的前期概念验证。你可以不请演员、不搭实景、不租摄影棚用图像生成产出角色和场景用图生视频生成动态片段用 TTS 生成旁白最后在剪辑软件里合成字幕和音效。但不适合把它当作“真实系统”来理解。所谓“数字生死簿”是一个虚构理念不是可以实际部署的软件。它可以作为一种视觉题材、剧情设定来创作但不应被包装成现实存在的产品。使用边界必须明确涉及拟人化角色、名人形象、真实人脸或真实声音时需要获得授权批量生成视频要考虑平台内容审核要求不能把它用于编造事实、伪造证据或误导他人。合规提醒有两条比较重要第一不要用 AI 生成涉及真人肖像的内容除非有明确授权第二不要用 AI 生成包含违法、低俗、歧视或恶意攻击的内容。创作赛博题材可以但底线是内容合法、来源合规、发布有度。3. 环境准备与前置条件本地跑通这套 AI 短剧工作流主要涉及图像生成、视频生成、语音合成三类组件。建议先做一个环境检查再装依赖。操作系统Windows 10/11、Ubuntu 20.04/22.04 都可以。Windows 下注意路径不要太深不要有中文目录否则部分模型加载容易报错。Python 版本很多 ComfyUI 插件和 AI 视频工具的依赖要求 Python 3.10 或 3.11建议先用python --version检查。如果版本不对考虑用虚拟环境管理工具而不是直接改系统 Python。显卡驱动和 CUDA用 NVIDIA 显卡时先看驱动版本是否够新。CUDA 版本由 PyTorch 决定装 PyTorch 时选和驱动匹配的版本即可不需要单独装完整的 CUDA Toolkit。磁盘空间图像大模型通常在 2G 到 7G视频生成模型体积更大可能在 5G 到 20GTTS 模型一般在 1G 以内。建议至少预留 30G 空间。端口占用ComfyUI 默认端口是 8188TTS 服务可能占用 8000 或 8080。如果端口冲突可以改端口启动。检查命令参考python --version nvidia-smi如果nvidia-smi能显示显存和驱动版本说明 NVIDIA 环境可用。没有 NVIDIA 显卡时部分图像生成工具能退到 CPU 模式但速度会慢很多视频生成会更吃力。4. 安装部署与启动方式以 ComfyUI 为例这套工作流可以完全用 ComfyUI 完成图像生成和图生视频。下面给出通用启动流程具体模型文件名以实际下载为准。4.1 获取 ComfyUI 并安装依赖git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI pip install -r requirements.txt如果网络环境受限可以从可访问的镜像源获取依赖pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple4.2 启动 ComfyUI 服务python main.py --listen 127.0.0.1 --port 8188启动后浏览器访问http://127.0.0.1:8188。如果能看到工作流编辑界面说明服务已正常运行。4.3 模型文件放置ComfyUI 的模型目录结构大致如下ComfyUI/ models/ checkpoints/ # 基础图像模型 loras/ # 风格 LoRA vae/ # VAE 模型 controlnet/ # ControlNet 模型 videos/ # 部分视频模型 input/ # 输入图片 output/ # 输出图片和视频下载好的模型文件放到对应目录后点击界面右上角的“刷新”按钮才能在模型列表里看到新模型。4.4 图像生成节点连接示例在 ComfyUI 中搭建一个最简文生图流程Load Checkpoint选择图像模型CLIP Text Encode正向提示词输入画面内容CLIP Text Encode负向提示词输入不想出现的内容Empty Latent Image设置宽高和 batch 数量KSampler设置步数、CFG、采样器VAE Decode将潜空间数据转回像素图Save Image保存结果这个流程是最小可运行框架先跑通它再往上加 ControlNet、LoRA 和视频生成节点。4.5 图生视频节点加载图生视频通常是在“图像生成”之后把生成好的首帧或关键帧作为输入再通过视频生成模型补足连续帧。ComfyUI 里加载对应的工作流 JSON 文件后检查模型路径是否匹配。如果提示缺少节点就装缺失的自定义节点cd ComfyUI/custom_nodes git clone 自定义节点仓库地址 pip install -r 节点目录/requirements.txt然后重启 ComfyUI。5. 功能测试与效果验证《数字生死簿》这样的赛博题材画面风格和角色一致性是核心。建议按下面的维度做功能测试。5.1 题材画面风格测试测试目的确认图像模型能否稳定输出“赛博朋克东方生死簿”风格。输入提示词示例正a futuristic digital ledger floating in cyberspace, holographic screens, neon blue and gold light, chinese mythology elements, dark atmosphere, cinematic lighting, high detail 负blurry, low quality, watermark, distorted face, extra fingers操作步骤设置 512x768 分辨率步数 20CFG 7生成 4 张。预期结果画面包含数字屏幕、赛博都市、东方纹样等元素。判断是否成功整体风格统一角色五官正常文字没有乱码。如果文字乱码严重可后续用局部重绘修复。常见失败原因模型不理解东方赛博风格解决方法是加入 LoRA 或用图生图垫图。5.2 角色一致性测试测试目的确认主角在不同分镜里保持同一张脸和同一套服装。操作步骤先用一张满意的角色正面图作为底图再用图生图或 ControlNet 的 Canny 模式生成不同角度和场景。输入示例保持角色描述词一致每次只改场景和动作。预期结果不同分镜里的角色脸型、发色、服装颜色基本一致。判断是否成功生成的角色在连续 3 张图中可以被认成同一个人。常见失败原因角色特征描述不固定。解决方法是把这套描述词复制到每一个生成节点里不要手动修改。5.3 图生视频测试测试目的验证静态画面能否生成可用的短动态片段。操作步骤生成一张主角面对数字生死簿的画面作为图生视频的输入。视频模型设置通常包括帧数、步数、分辨率、运动强度。预期结果画面里数字屏幕有闪烁粒子光效在流动角色身体有轻微移动。判断是否成功视频没有明显的画面扭曲运动速度可控。常见失败原因画面分辨率太高导致显存不足可以降低到 512x768或减少帧数。5.4 TTS 配音测试测试目的验证旁白语音是否符合赛博风格。操作步骤准备一段旁白文本例如善恶报应从今天起由算法系统判定。选择合适的 TTS 模型生成语音再听效果。预期结果语音清晰语速符合纪录片节奏。判断是否成功文字没有被漏读或错读。多音字问题可以文本中加注音或用发音标记。常见失败原因TTS 默认发音太机械可以换多音色模型或调节语速。5.5 字幕与合成测试测试目的验证字幕、画面、配音能否对齐。操作步骤把视频片段导入剪辑工具添加旁白音轨根据语音生成字幕。预期结果字幕断句合理关键台词和画面内容对应。判断是否成功整段样片播放一遍没有明显的字幕延迟和错别字。常见失败原因字幕自动识别不准可手动分段核对。6. 接口 API 与批量任务单张生成可以手动操作量产短剧时一定要通过接口和批量任务来跑。不同工具的接口路径可能不同但通用思路是一致的先启动后端服务再通过 HTTP 请求提交任务轮询结果。以 ComfyUI 为例可以通过/prompt接口提交工作流 JSON 到队列curl -X POST http://127.0.0.1:8188/prompt \ -H Content-Type: application/json \ -d { prompt: { 3: { class_type: KSampler, inputs: { seed: 42, steps: 20, cfg: 7, sampler_name: euler, scheduler: normal, denoise: 1, model: [4, 0], positive: [6, 0], negative: [7, 0], latent_image: [5, 0] } } } }这里的class_type和节点编号需要替换成实际工作流 JSON 里的内容。更稳妥的方式是在 ComfyUI 界面导出工作流 API 格式再直接修改参数。批量生成分镜时可以写 Python 脚本遍历分镜目录import requests import json import time url http://127.0.0.1:8188/prompt workflow json.load(open(shot_api.json, encodingutf-8)) shot_list [ {shot_id: shot_001, prompt: 主角站在数字生死簿前}, {shot_id: shot_002, prompt: 算法屏幕显示善恶分值}, {shot_id: shot_003, prompt: 城市上空的审判光线} ] for shot in shot_list: workflow[6][inputs][text] shot[prompt] response requests.post(url, json{prompt: workflow}, timeout30) print(shot[shot_id], response.status_code) time.sleep(3)批量任务建议加入日志和失败重试from pathlib import Path output_log Path(batch_log.txt) def submit_shot(shot): try: response requests.post(url, json{prompt: workflow}, timeout30) with output_log.open(a, encodingutf-8) as f: f.write(f{shot[shot_id]} {response.status_code}\n) return response.status_code 200 except Exception as e: with output_log.open(a, encodingutf-8) as f: f.write(f{shot[shot_id]} ERROR {e}\n) return FalseTTS 服务的 API 调用通常也是 POST 方式传文本和音色参数返回音频文件地址。建议把生成结果统一放到output/audio/目录方便后续剪辑时匹配。7. 资源占用与性能观察本地跑 AI 短剧流程资源占用是重点。显存、内存、磁盘都会被同时消耗需要知道怎么观察和优化。显存观察在生成任务执行时另开终端运行nvidia-smi -l 2这样每 2 秒刷新一次显存占用。也可以写到文件里nvidia-smi -l 2 gpu_log.txt从实际观察结果看图像生成时显存占用波动明显KSampler 采样阶段占用最高。视频生成通常比图像生成更耗显存因为需要同时处理多帧隐空间数据。分辨率与步数的影响分辨率越高显存占用越大。512x768 是一个比较稳妥的起步分辨率。步数从 20 提到 40生成时间会明显增加但画质不一定线性提升。批量数量直接决定显存峰值建议批量数量先设 1。降低显存的方法开启 FP16 或 BF16 精度很多工具在低显存模式下会自动启用。降低视频生成帧数比如从 72 帧降到 48 帧。使用低分辨率生成再通过放大模型做后期放大。避免同时开多个生成服务ComfyUI 和 TTS 服务同时跑时注意端口和显存竞争。CPU 推理没有独立显卡时可以跑但速度会慢很多。视频生成优先用 GPU否则一长段素材可能要跑数小时实际很难量产。端口冲突与进程残留服务启动后不要直接关终端否则部分进程可能残留。端口被占用时可以查看netstat -ano | findstr 8188如果端口被占用换端口启动python main.py --listen 127.0.0.1 --port 81898. 常见问题与排查方法问题现象可能原因排查方式解决方案ComfyUI 页面打不开服务未启动或端口被占用检查终端日志和端口状态替换端口或重启服务模型列表为空模型文件放错目录或未刷新检查目录路径点击刷新按钮移到models/checkpoints等正确目录生成时显存不足分辨率高、批量大、模型过大查看nvidia-smi日志降低分辨率、减小 batch、切换低精度视频生成卡住视频模型节点依赖缺失查看 Console 报错信息安装自定义节点依赖并重启TTS 发音错误默认音色不合适或多音字未处理换音色或文本加注音调整文本格式或换模型API 调用失败请求 JSON 格式不对或服务未启动先测试curl基本请求用 GET 请求访问根路径检查服务状态批量任务中途失败网络波动或依赖服务崩溃查看日志文件加失败重试并只提交失败批次画面风格不稳定提示词不固定或 LoRA 权重不统一对比多次生成的结果固定角色描述词统一 LoRA 权重输出视频闪烁帧间一致性不足检查图生视频关键帧参数使用首尾帧或增加 ControlNet 约束9. 最佳实践与使用建议做《数字生死簿》这类 AI 短剧工作流比单个模型更重要。这里整理几条工程化建议。脚本先行。不要先跑生成再写故事。先把每集剧情拆成“场景-动作-台词-情绪”每一个场景对应一个分镜描述这一步能直接决定批量生成的效率。脚本内容可以包含人物设定卡、场景设定卡、道具设定卡方便后续提示词复用。固定角色描述词。新建一个文档记录主角的关键视觉特征例如“银灰色头发、黑色长袍、金色瞳孔、左眼下方有数字纹样”。每次生成角色时完整复制这段描述词不要随手改词。角色一致性不足的问题大部分可以通过固定描述词解决。目录结构要清晰。建议按集数和镜头数组织文件digital_ledger/ scripts/ ep01_scene01.txt prompts/ ep01_shot_list.csv images/ ep01_shot001.png videos/ ep01_shot001.mp4 audio/ ep01_narrator.mp3 output/ ep01_final.mp4这样批量任务跑完素材可以直接按镜头号合成。批量任务必须加日志和重试。批量生成几十个分镜时任何一个单镜头失败都会中断流程。日志里记录镜头号和状态失败后单独补跑比整个任务从头跑一遍更高效。接口服务要限制访问范围。如果不了解服务安全配置建议启动时只监听本机不监听公网。尤其是开放 API 后要确认服务不会暴露到公网环境。涉及人脸、声音、版权素材时必须确认授权。生成角色如果是虚构形象问题不大但涉及真实人物的肖像或声音必须取得明确的合法授权。发布作品前也要对内容做一遍人工复核确保没有侵犯他人权益不传播误导性信息。发布商用前做效果复核。AI 生成的文字、画面和语音都可能出现不可控的错误比如屏幕文字乱码、多音字读错、角色手指变形。这些情况在批量任务里极容易出现前期小批量测试比后期返工更省时间。10. 总结与下一步《数字生死簿》这个案例最值得尝试的点在于它把一个高度抽象的“算法审判”概念拆成了可以通过 AI 工具批量实现的画面单元。你不需要先掌握复杂的 3D 建模也不需要一个几十人的制作团队只要把脚本拆好、提示词固定好、批量工作流搭起来一个人就可以先做出样片。如果你打算自己动手做一集类似的 AI 短剧最先应该验证三个功能图像生成能否稳定产出赛博风格的角色和场景、图生视频能否让静态画面动起来、TTS 配音是否符合题材设定。这三个功能跑通整个工作流的地基就稳了。最容易踩的坑有两个。一个是角色一致性没有做好不同分镜的主角长得完全不一样观众根本没法带入剧情。另一个是批量任务没有加日志任务做到一半失败不知道具体是哪个分镜出了问题只能排查半天甚至从头再来。后续可以继续扩展的方向很多加入 ControlNet 做更精确的构图控制引入首尾帧让视频转场更自然改进多音字处理让配音更准确甚至把整套提示词和批量脚本整理成自己的模板库。做这种 AI 全民制作人内容核心不是工具多新而是把一套流程反复打磨直到它可以稳定复现你想要的效果。建议先跑通一个最短的 10 到 15 秒样片验证流程再逐步扩大批量。