漫剧是最近短视频平台上增长比较快的内容品类用静态分镜配动态运镜加上配音、字幕和音效一条视频从剧本到成片往往不需要真人出镜。过去这类内容需要专业绘画和剪辑能力现在 AI 工具把门槛压到了“会写提示词 会排时间线”的程度。本文就按“剧本 - 分镜 - 视频 - 配音 - 剪辑”的完整链路拆解一套适合新手执行的 AI 漫剧制作流程并以情感向漫剧《后来的我们还能一起走下去吗》这类选题为例说明每个环节怎么做、用什么工具、要验证哪些东西。如果你正准备做 AI 漫剧、AI 短剧或者单纯想把 AI 视频制作流程建立起来这篇文章可以直接收藏。我不会只讲概念重点会落在实际操作上先规划一套最小可跑通的流程再逐步展开每个环节的输入、输出、提示词模板、批量生产思路和常见坑点。1. AI漫剧制作全流程核心能力速览在动手之前先把整个体系拆开看。AI 漫剧本质是一条“内容生产流水线”每个环节都有对应的工具类型和关键输出。环节核心作用常用工具类型主要门槛输出物剧本创作确定故事结构、人物关系、对白大语言模型对话工具提示词设计、故事节奏把控分场剧本、对白文本分镜设计把文字转成画面文生图模型风格统一、角色一致性角色设定图、分镜图视频生成把静态图变成动态镜头图生视频 / 文生视频模型运镜控制、生成时长、稳定性MP4 镜头片段配音生成给角色配声音TTS 语音合成工具音色区分、情感表达、多音字角色音频文件剪辑合成汇总素材成片剪辑软件 / 脚本工具时间线组织、字幕对齐、节奏最终成片这套流程的特点是不需要真人演员、不需要实景拍摄主要资产从“拍摄设备”变成了“提示词 模型 素材管理”。对新手来说最值得先验证的是两件事一是角色一致性能不能在分镜和视频生成阶段稳住二是批量生成素材时流程是否可控。能力项说明适合内容情感、悬疑、玄幻、都市等剧情向短视频漫剧单集时长常见 1 到 3 分钟由脚本长度和镜头数量决定硬件要求云端工具基本不依赖本地显卡本地部署才需要考虑 GPU技术难点角色一致性、运镜控制、配音情感、批量素材管理版权风险角色形象、声音、剧本改编均需确认授权2. 适用场景与使用边界AI 漫剧适合三类人想做短视频账号但不想真人出镜的内容创作者需要快速产出剧情类素材的信息流剪辑团队想验证 AI 视频生产流程的技术开发者。它能解决的问题很明确把“写故事 - 画图 - 做视频 - 配音 - 剪辑”的链路标准化让一人或小团队也能批量产出带剧情的视频内容。但也有不适合的场景。如果你的目标是电影级镜头语言、复杂打斗、多人交互和长时间连续动作当前 AI 视频生成的稳定性还不一定能满足出片率会明显下降。更稳妥的判断是先做镜头变化少、以对白和情绪表达为主的漫剧再逐步增加动作场景。使用边界必须强调涉及真人肖像、特定声音模仿、已有漫画角色、小说 IP 改编时需要先确认授权。AI 生成工具的使用条款也各不相同商用前要逐一确认是否符合平台规定。隐私方面不要用未经授权的人的音频作为配音参考音色。3. AI漫剧制作的总体工作流设计3.1 先跑通一条最小流程新手最容易犯的错误是一上来就做完整长剧结果在分镜或视频生成阶段卡住。更好的做法是先做一条 15 到 30 秒的“最小样片”只包含一个场景、两个角色、四到六个镜头。最小样片的目标是验证三个问题角色在不同分镜里是否长得一致。图生视频能不能把静态画面转成可用的动态镜头。配音、字幕、剪辑合成后整体节奏是否对。验证通过后再扩充到完整一集。3.2 输入输出关系可以把整个流程看成一个数据管道剧本文本 - 分镜脚本 - 分镜图片 - 视频片段 - 配音音频 - 剪辑成片每一步的输入都是上一步的输出。因此素材命名和目录管理要提前定好规则否则批量生产时很快就会乱。4. 工具选型与环境准备4.1 云端工具为主对新手来说建议优先选择云端在线工具原因很简单开通账号就能用不需要配置显卡驱动和模型环境。以目前常见方案为例剧本ChatGPT、Claude、文心一言、Kimi、豆包等大语言模型产品。分镜和角色图Midjourney、Stable Diffusion WebUI / ComfyUI、即梦等图像生成工具。图生视频 / 文生视频可灵、即梦、Runway、Pika、Sora 等视频生成模型。配音剪映配音、Edge TTS、ElevenLabs、GPT-SoVITS、CosyVoice 等 TTS 工具。剪辑剪映、Premiere Pro、CapCut或直接用 FFmpeg 做批处理。选用工具时要注意不同工具对生成内容的使用权和商用权规定不同正式商用前务必阅读服务条款。4.2 本地部署为辅如果你更偏技术向也熟悉本地模型部署可以选择本地部署图像生成和语音合成模型。本地部署的好处是不受云端额度限制、数据更可控但代价是显卡显存、驱动、依赖环境都要自己处理。本地部署更适合的角色是“批量生产节点”用 ComfyUI 做角色图和分镜图批量生成用 GPT-SoVITS 或 CosyVoice 做音色固定和整段对白合成。显存占用和推理速度会受到模型版本、图像分辨率、视频步数和音频时长影响部署前建议以官方要求为准不要套用网上随意给出的数字。4.3 环境准备清单无论使用云端还是本地都建议先准备以下内容项目目录剧本、分镜图、视频片段、配音、成片分开存放。素材命名规则统一用集数_场次_镜头的格式例如ep01_scene02_shot03。账号和额度确认所用工具的 API 额度或订阅额度。参考素材角色参考图、配音参考音频都要提前准备并确认授权。剪辑模板提前在剪辑软件中建好字幕样式、片头片尾、转场模板。一个推荐的目录结构如下ai-manju-project/ ├── scripts/ # 剧本、分镜脚本 ├── characters/ # 角色设定图 ├── storyboards/ # 分镜图 ├── clips/ # AI 生成的视频片段 ├── audio/ # 配音音频 ├── output/ # 最终成片 └── logs/ # 批量生成日志5. 剧本生成实操5.1 从标题到分场剧本情感类漫剧的标题通常直接抛出冲突点《后来的我们还能一起走下去吗》就是一个典型的情感向选题。拿到类似标题后先让大语言模型帮你完成三步故事梗概、分场结构、逐场对白。输入给模型的提示词不要只给一句话要给出故事类型、篇幅、主要人物、情绪走向、目标平台节奏等约束。输出最好统一成结构化格式方便后续直接拆分成镜。5.2 剧本生成提示词模板下面是一份可以直接改用的剧本生成提示词模板你是一名短视频漫剧编剧。请根据以下要求写一集 3 分钟左右的剧本 # 故事类型 都市情感。 # 核心冲突 一对情侣因为长期异地产生裂痕在某个雨夜坐下长谈试图决定是否还要继续走下去。 # 角色 - 林晚28 岁设计师感性说话慢。 - 陈屿30 岁程序员偏理性习惯回避正面冲突。 # 篇幅要求 全剧 12 到 15 个分镜每个分镜包含场景、角色状态、景别、台词和动作提示。 # 风格要求 对白生活化不要书面腔节奏要适合短视频前 5 秒必须有情绪钩子。 # 输出格式 分镜编号 | 场景 | 景别 | 画面内容 | 台词 | 情绪生成完成后重点检查三点前 5 秒有没有冲突钩子每场戏是否有明确情绪转折角色说话口吻是否区分明显。如果角色台词“同质化”要追加指令让人物语气差异更明显。6. 分镜设计与角色一致性6.1 角色设定图先行在生成分镜图之前先确定角色基础形象。对新手来说最稳妥的做法是先生成 2 到 3 张角色设定图包括正面、半侧、情绪变化等后续所有分镜都参考这组设定图来生成。如果是本地部署 Stable Diffusion可以用 LoRA 或参考图方式固定角色特征如果使用云端工具要尽量保留统一的角色描述词。角色描述越稳定跨分镜的一致性越好。6.2 分镜生成提示词模板为了保持画面风格统一建议把场景风格、画风关键词、镜头信息组合成固定模板。画风要求现代都市情感漫画写实偏唯美柔和光影浅景深。 角色林晚28 岁设计师长发米色风衣神情疲惫但克制。 场景雨夜城市高层公寓客厅暖黄色落地灯。 镜头中近景人物坐在窗台边外面下雨。 情绪压抑、犹豫。 构图注意人物位于画面左侧三分之一右侧留白给窗外雨景。这里有一个实用技巧把“画风要求”“场景描述”“镜头描述”做成三段式模板每次生成只替换中间的人物和场景内容能明显提高系列作品的风格一致性。6.3 一致性检查分镜图生成后不要直接进入视频生成。先做一轮一致性检查同一角色在不同分镜中的脸型、发型、服装是否一致整体色调是否统一构图是否给后续视频生成留了运镜空间。如果一张图角色崩了先重新生成这一张不要勉强进入视频阶段。图的问题会在视频阶段被放大。7. 视频生成实操7.1 图生视频工作流图生视频是目前漫剧制作里最常用的方式把分镜图作为第一帧让模型根据画面内容产生运动。适合表现说话、转头、光影变化、雨丝飘动等局部运动。实操时建议第一帧选择构图干净、主体突出的分镜图。主体太小、画面元素太杂都会降低运动生成的成功率。生成时长方面不同工具能支持的时长差异较大通常先按工具的短时长档位生成再通过剪辑拼接。7.2 文生视频工作流文生视频适合没有现成图片的镜头例如空镜、回忆闪回、城市夜景等。优点是不需要先出图缺点是画面可控性更弱。在漫剧里文生视频更适合做过渡镜头和氛围镜头不建议用它生成角色长时间对话的主镜头。7.3 质量控制一个镜头生成后要判断以下维度角色是否保持住了面部特征。运动幅度是否符合预期。画面是否出现明显的形变和闪烁。镜头是否有足够的时长支撑剪辑使用。如果某些镜头反复生成都不稳定不必死磕改用“更小的运动幅度”来描述比如只让人物眨眼、轻微叹气而不要求转身或走动。AI 视频生成的特点是小运动稳定、大运动风险高提示词和分镜设计都要顺着这个规律来。8. 配音生成与字幕8.1 TTS 工具选型配音环节的核心要求是角色音色区分明显、情感符合剧情、语速适合短视频。常见做法是先在 TTS 工具中为每个角色准备一段参考音频再批量合成所有台词。如果你追求真人感且角色音色有明确区分可以考虑本地部署沉浸式语音合成模型例如 GPT-SoVITS 或 CosyVoice但这类模型需要参考音频质量足够高、音色授权明确。如果只是快速出片云端 TTS 或剪辑软件自带的配音功能更省事。8.2 批量配音流程配音前先整理台词文件格式保持统一ep01_scene02_shot03|林晚|我们……还能一起走下去吗 ep01_scene02_shot04|陈屿|我不知道该怎么回答你。然后写一个简单的批量调用脚本逐条合成音频。对应 API 调用示例会在第 10 章给出。配音完成后要检查三个点多音字是否读对长句是否需要拆成短句角色情绪是否贴合画面。如果某句情感不对单独重合成这一句不需要整段返工。9. 剪辑合成与导出9.1 时间线组织把生成好的视频片段按剧本顺序放入剪辑软件时间线每条片段下方匹配对应的配音音频。剪辑原则是“先铺声音再对画面”先把全部配音铺满时间线再根据音频时长裁剪视频片段这样叙事节奏更稳。9.2 字幕与音效字幕建议统一使用底部居中样式字号要适配手机竖屏。可以先用剪辑软件自动识别配音生成字幕再人工修正断句和错别字。音效方面雨夜场景可以加雨声底噪情绪转折处可以加轻微钢琴垫乐但注意不要盖过对白。9.3 导出建议新媒体平台优先输出竖屏 9:16 或接近比例的视频码率按平台推荐设置。导出前完整看一遍成片重点检查角色是否穿帮、画面运动是否突兀、字幕是否有错字、音频是否忽大忽小。10. 批量生产与接口 API 调用当你跑通单集流程后自然会想批量产出。批量化的关键不是“无脑多开”而是素材管理和重试策略。10.1 接口 API 调用示例很多 AI 视频和语音工具提供 API 接口可以把生成任务接到自己的脚本里。下面是一个通用的批量调用思路具体参数需要按实际工具的接口文档替换import requests import time import json API_URL https://your-ai-tool.example/api/v1/generate # 替换为实际接口地址 API_KEY your-api-key-here # 从实际平台获取 PROMPT_FILE storyboards.json def load_prompts(): with open(PROMPT_FILE, r, encodingutf-8) as f: return json.load(f) def submit_generation(prompt_item): payload { model: your-model-name, prompt: prompt_item[prompt], image_path: prompt_item.get(image_path), duration_seconds: 5 } headers {Authorization: fBearer {API_KEY}} resp requests.post(API_URL, jsonpayload, headersheaders, timeout60) return resp.json() def poll_result(task_id, timeout600): result_url f{API_URL.rstrip(/)}/{task_id} headers {Authorization: fBearer {API_KEY}} start time.time() while time.time() - start timeout: resp requests.get(result_url, headersheaders) data resp.json() if data.get(status) in (success, failed): return data time.sleep(10) raise TimeoutError(task timeout) if __name__ __main__: prompts load_prompts() for item in prompts: submit submit_generation(item) task_id submit.get(task_id) if not task_id: continue result poll_result(task_id) print(json.dumps(result, ensure_asciiFalse))批量任务的通用原则是把任务清单存成 JSON 或 CSV记录每个任务的提交时间、状态、结果文件路径失败的任务单独重试不要影响后续任务。10.2 配置文件样例对应的清单文件可以是{ episode: ep01, generation_type: image_to_video, shots: [ { shot_id: scene01_shot01, image_path: ./storyboards/scene01_shot01.png, prompt: 镜头缓慢推进窗外雨丝飘动人物轻微低头, status: pending }, { shot_id: scene01_shot02, image_path: ./storyboards/scene01_shot02.png, prompt: 人物抬头望向镜头眼神疲惫, status: pending } ] }10.3 FFmpeg 辅助剪辑如果不想在剪辑软件里手工对齐几十个素材可以先用 FFmpeg 做基础的素材检查、音频抽取和拼接。下面是一些高频命令# 检查视频基本信息 ffprobe -v error -show_format -show_streams ep01_scene01_shot01.mp4 # 从视频中静音抽取 ffmpeg -i ep01_scene01_shot01.mp4 -an -c:v copy ep01_scene01_shot01_silent.mp4 # 批量生成列表文件后拼接 for f in shot_list.txt; do echo file $f concat_list.txt; done ffmpeg -f concat -safe 0 -i concat_list.txt -c copy output.mp4注意AI 生成的视频片段编码格式不完全一致concat 前最好统一转成相同分辨率和编码否则会出现拼接失败。11. 常见问题与排查方法问题现象可能原因排查方式解决方案角色在不同分镜中长相不一致角色描述词不稳定检查提示词中人物特征是否统一建立角色固定描述模板或使用参考图/LoRA图生视频生成后人物形变严重画面元素太多、主体太小降低单张图的复杂度重新生成分镜图突出主体减少背景杂物分镜数量多导致批量生成混乱缺少素材命名规范检查文件目录和命名统一使用集数_场次_镜头命名配音音色不像参考音频参考音频质量差或时长不足检查参考音频是否清晰、无噪声使用干净、人声突出、5 到 10 秒的参考音频配音长句情感不自然长句断句不准确单独试听失败句子拆分长句为短句或加入情绪标注视频和音频时长对不齐剪辑时先排画面后排声音检查时间线先铺配音再裁剪画面批量 API 调用大量失败并发过高、接口限流或参数错误看请求返回码和日志降低并发、加入重试和退避策略API 返回超时视频生成本身就慢查看任务状态接口改用异步轮询不要同步等待12. 最佳实践与合规建议把这套流程固化下来最值得做的是先建“标准物料库”角色描述词、场景风格词、镜头语言词、配音参考音频、字幕样式、片头片尾模板。以后每做一个新选题只需要替换故事内容工具链保持不变。几个建议第一次制作时先做 30 秒样片并完整走完五步流程确认链路通畅再铺量产。每个阶段保留一个“成功示例”文件夹遇到生成效果参差时用成功示例做对照。保存每集生成时的提示词和参数方便后续复现风格或排查问题。涉及真人肖像、他人声音、已有角色或小说 IP 时务必确认授权不要直接擦边或套用。发布前核对最终成片中的角色形象、音色、台词是否有侵权或平台违规风险。AI 漫剧制作流程的本质是把创意执行标准化。工具会不断更新换代但“剧本 - 分镜 - 视频 - 配音 - 剪辑”这条生产链路短期内不会变。建议先挑一个情感类短故事跑通最小样片再逐步扩充镜头数量和批量产能。最容易踩的坑是跳过样片直接量产结果在角色一致性上翻车解决思路也很简单先小步验证再放量生成。