1. 视频转文字到底在做什么从一段 40 分钟访谈说起视频转文字本质是把视频里的音频流抽出来交给 ASRAutomatic Speech Recognition自动语音识别模型转成带时间戳的文本再经过标点恢复、断句、热词纠正最终输出 SRT/VTT 字幕或纯文稿。它适合谁需要批量处理课程录像、会议回放、访谈素材的开发者与内容团队尤其是那种一天要跑几十条视频、手动上传网页工具已经明显扛不住的场景。我上个月帮一个做知识付费的朋友处理一批 40 分钟左右的访谈视频一共 37 条。最开始用网页版工具一条条传光上传等待就耗掉大半天而且每条都要重新登录、重新选参数导出格式还不统一。后来我把整条链路改成脚本调用 ASR 接口本地用 ffmpeg 抽音频再用统一的 API Key 调识别模型最后拼时间轴生成 SRT。整个流程跑通之后37 条视频的处理时间从「一个下午」压缩到「泡杯咖啡等结果」。这篇文章就围绕这条链路展开先讲清楚 ASR 和字幕生成的技术环节再给出 TaoToken 统一 Key 接入的 config.toml 与 settings.json 配置骨架最后演示一次从视频到字幕的端到端验证。你不需要先成为语音算法专家只要会跑命令行、能改配置文件就能跟着做下来。2. 视频转文字的技术链路拆解2.1 音频提取视频只是容器视频文件mp4/mkv/mov本质是个容器里面装着视频流、音频流有时还有内嵌字幕轨。ASR 模型只吃音频所以第一步永远是抽音频。常用做法是用 ffmpeg 把音频转成 16kHz、单声道、PCM 或 FLACffmpeg -i input.mp4 -vn -ac 1 -ar 16000 -c:a flac output.flac参数含义很直白-vn丢掉视频流-ac 1单声道-ar 16000采样率 16kHz。为什么是 16kHz因为主流 ASR 模型训练时大多用 16kHz 采样采样率不匹配会先被重采样白白多一层损耗。这一步看起来简单但很多「识别不准」的问题其实出在音频质量上——背景音乐大、多人抢话、录音设备差模型再强也救不回来。2.2 ASR 识别从声波到音素再到文字ASR 的核心任务是把声学信号映射成文字序列。传统流程分声学模型、发音词典、语言模型三块现在端到端模型如 Whisper 系列架构、Conformer 类结构把这几步揉进一个网络输入梅尔频谱特征直接输出 token 序列。模型在解码时会结合上下文做纠错。举个实际例子「AI 模型训练数据」如果单独听「数据」两个字可能被识别成同音的「袋」但模型看到前面有「训练」这个语境就会倾向输出「数据」。这就是大模型时代 ASR 相比老式听写软件的最大差别——它不只在听音还在猜语义。2.3 后处理标点、断句、时间轴原始 ASR 输出通常是一长串没有标点的文字还带词级时间戳。后处理要做几件事加标点、按语义断句、把词级时间戳合并成句级时间轴、生成 SRT 序号。这一步决定了字幕「能不能看」。如果断句断在半个词中间观众读起来会非常别扭。2.4 字幕生成SRT 与 VTT 的差别SRT 格式最简单序号 时间轴 文本兼容性最好VTT 支持样式和定位适合网页播放器。批量处理时我一般先统一输出 SRT需要网页播放再转 VTT。时间轴格式是00:00:01,200 -- 00:00:04,500注意毫秒用逗号分隔这是 SRT 的硬性要求写错播放器直接不认。3. TaoToken 前置统一 Key 与接入准备3.1 为什么用统一 Key 而不是每个模型单独接批量字幕场景最烦的是「模型换来换去」。今天用 A 模型识别中文明天想换 B 模型试试英文如果每个模型一套鉴权、一套 SDK代码里全是分支。TaoToken 的思路是提供一个统一的 API 通道用同一个 Key 访问不同模型配置层只改模型名调用代码不动。对内容团队来说这意味着运维只需要管一份 Key脚本只需要维护一套请求逻辑。3.2 获取 Key 与接入地址先到控制台创建 API Key建议按项目命名比如subtitle-batch方便后面轮换和审计。接入地址用https://taotoken.net/api注意这个地址不带任何查询参数保持干净。创建 Key 的入口在这里控制台https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewriteKey 拿到后不要硬编码进脚本放进环境变量或配置文件后面 config.toml 会演示怎么读。3.3 模型选择识别模型和对话模型分工这条链路里其实有两类模型一类是 ASR 识别模型负责音频转文字另一类是对话模型负责后处理加标点、纠错、生成摘要。TaoToken 的模型对话入口可以用来测试后处理效果模型对话https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite如果你后面要做长期批量编码或 Agent 化处理可以考虑 Coding Plan把识别、后处理、导出串成自动化任务Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite4. 可复制配置config.toml 与 settings.json 骨架4.1 config.toml主配置骨架下面这份 config.toml 是我实际在用的结构字段做了注释你可以直接复制改。注意api_base用不带 UTM 的 API 地址api_key从环境变量读避免泄露。# config.toml - 视频转文字批量处理配置 [api] # TaoToken 统一接入地址保持干净不带查询参数 api_base https://taotoken.net/api # 从环境变量读取不要写死在文件里 api_key_env TAOTOKEN_API_KEY # 请求超时长音频识别建议调大 timeout_seconds 300 [asr] # 识别模型名称按实际可用模型填写 model whisper-large-v3 # 源语言auto 表示自动检测 language zh # 是否返回词级时间戳生成字幕需要 word_timestamps true # 音频预处理采样率 sample_rate 16000 [postprocess] # 后处理用的对话模型 model gpt-4o-mini # 是否自动加标点 punctuate true # 是否按语义断句 segment true # 单句最大字符数超过则强制断句 max_chars_per_line 42 [output] # 输出格式srt / vtt / txt format srt # 输出目录 dir ./output # 文件名模板 name_template {video_name}.{ext} [ffmpeg] # ffmpeg 可执行文件路径 binary ffmpeg # 抽音频临时目录 temp_dir ./tmp4.2 settings.json任务级参数覆盖config.toml 管全局默认值settings.json 管单次任务的覆盖。比如某条视频是英文的就在任务级把 language 改成 en不用动主配置。{ task_name: interview_batch_01, input_dir: ./videos, overrides: { asr: { language: en, model: whisper-large-v3 }, output: { format: srt, dir: ./output/interview_batch_01 } }, concurrency: 3, retry: { max_attempts: 3, backoff_seconds: 5 } }concurrency控制并发数别一上来就开 20接口限流会教你做人。我一般从 3 开始压测稳定了再往上加。retry是必须的网络抖动、长音频超时都可能失败自动重试能省很多手动补跑的时间。4.3 环境变量与目录结构Key 放环境变量export TAOTOKEN_API_KEY你的Key推荐目录结构project/ ├── config.toml ├── settings.json ├── videos/ # 原始视频 ├── tmp/ # 抽出的音频 └── output/ # 字幕输出5. 端到端验证从视频到 SRT 字幕5.1 第一步抽音频拿一条测试视频跑 ffmpegffmpeg -i ./videos/demo.mp4 -vn -ac 1 -ar 16000 -c:a flac ./tmp/demo.flac跑完检查文件大小正常 40 分钟音频 FLAC 大概 200MB 上下。如果只有几 KB说明抽流失败回去看视频是不是没有音频轨。5.2 第二步调用识别接口用 curl 先做一次最小验证确认 Key 和地址通curl -X POST https://taotoken.net/api/v1/audio/transcriptions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -F file./tmp/demo.flac \ -F modelwhisper-large-v3 \ -F languagezh \ -F response_formatverbose_jsonverbose_json会返回带时间戳的详细结果方便后面拼 SRT。如果返回 401检查 Key 是否带上了Bearer前缀返回 404检查 api_base 是不是写成了带路径的地址。5.3 第三步后处理与 SRT 拼接识别返回的 JSON 里segments数组每项有start、end、text。写个脚本把秒转成 SRT 时间格式def to_srt_time(seconds): h int(seconds // 3600) m int((seconds % 3600) // 60) s int(seconds % 60) ms int((seconds - int(seconds)) * 1000) return f{h:02d}:{m:02d}:{s:02d},{ms:03d} def build_srt(segments): lines [] for i, seg in enumerate(segments, 1): lines.append(str(i)) lines.append(f{to_srt_time(seg[start])} -- {to_srt_time(seg[end])}) lines.append(seg[text].strip()) lines.append() return \n.join(lines)注意毫秒是三位补零逗号分隔这是 SRT 规范。拼完写进output/demo.srt用播放器加载验证。5.4 成功结果长什么样跑通后你会得到类似这样的 SRT1 00:00:01,200 -- 00:00:04,500 今天我们聊的是视频转文字的技术链路。 2 00:00:04,600 -- 00:00:08,900 第一步是把视频里的音频流提取出来。把 SRT 拖进 VLC 或剪映字幕能跟着时间轴正常显示就说明整条链路通了。如果时间轴整体偏移多半是音频抽流时采样率没对齐回去检查 ffmpeg 参数。6. 本篇常见错排查6.1 识别结果全是乱码或空先确认音频文件本身能播放。如果 ffmpeg 抽出来的 flac 用播放器打不开说明抽流参数有问题。另一个常见原因是采样率不是 16kHz模型收到非标准采样率时可能直接返回空。用ffprobe检查ffprobe -v error -show_entries streamsample_rate,channels -of defaultnoprint_wrappers1 ./tmp/demo.flac6.2 401 / 403 鉴权失败九成是 Key 的问题。检查环境变量是否真的导出成功echo $TAOTOKEN_API_KEY。如果为空说明当前 shell 没加载。另外注意请求头格式必须是Authorization: Bearer key少个空格都会失败。6.3 长音频超时40 分钟以上的音频单次请求容易超时。两个办法一是把timeout_seconds调到 600二是先按静音切分音频分段识别再合并。切分可以用 ffmpeg 的silencedetect滤镜找静音点按段落切识别准确率反而更高。6.4 时间轴错位如果字幕整体提前或延后检查抽音频时有没有做重采样。-ar 16000是必须的漏了这个参数模型内部重采样会引入延迟。另外确认识别返回的时间戳是相对音频起点不是绝对时间。6.5 并发过高被限流返回 429 就是限流了。把 settings.json 里的concurrency降到 1 或 2配合retry的指数退避。批量任务不要追求一次跑完稳定比快重要。7. 接入文档与后续动作配置和验证都跑通之后建议把 Key 管理、模型列表、错误码这些细节过一遍官方文档尤其是批量场景下的限流策略和计费口径接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite如果你主要做长期编码和 Agent 自动化把识别、后处理、导出串成流水线Coding Plan 会更合适Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewriteKey 的创建和轮换在控制台完成API Keyshttps://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite想先测后处理模型对断句和纠错的效果直接去模型对话页面试几条模型对话https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite最后给个实用建议批量任务先拿 3 条视频跑通全流程确认 SRT 时间轴和断句都正常再放开并发跑全量。我踩过的坑就是一开始直接上 20 并发结果一半任务 429补跑比重新跑还费时间。把concurrency设成 3、max_attempts设成 3基本能覆盖绝大多数网络抖动。