1. 会议录音自动整理这件事到底值不值得做每周开完会最烦的不是开会本身而是会后整理。一场一小时的会录音回放至少要花两倍时间边听边记遇到说话快、口音重、多人抢话的段落还得反复拖进度条。整理完纪要再从中挑出待办事项分派到人一套流程下来两三个小时就没了。更别提有时候开完会隔了两天才动手整理很多上下文已经忘得差不多只能靠录音硬啃。我最早是用最笨的办法录音转文字工具跑一遍拿到逐字稿然后手动分段、提炼、归纳。逐字稿这东西看着挺全实际上信息密度极低一场会下来一两万字真正有用的可能就几百字。后来我开始琢磨能不能让 AI 把“逐字稿”这一步之后的活儿也接过去——不只是转文字而是直接输出结构化的纪要和待办清单。这套流程我前后迭代了大概半年从最初用通用大模型硬怼到后来拆成“转写—清洗—结构化—抽取待办”四段式流水线中间踩了不少坑也总结出一些比较稳的做法。现在一场一小时的会从录音到拿到可用的纪要和待办基本控制在十分钟以内准确率也能接受。这篇文章就把整套方法拆开讲清楚包括工具选型、提示词设计、参数配置、常见翻车场景和排查思路适合经常要整理会议记录的产品、运营、研发、项目经理也适合想把这套东西做成自动化流程的技术同学。核心关键词就几个AI、语音转文字、逐字稿、纪要、待办事项。整条链路本质上就是把这五个环节串起来每个环节都有它的门道。2. 整体方案设计与工具选型思路2.1 为什么不做“一步到位”而是拆成四段流水线很多人第一反应是直接把录音丢给一个大模型让它输出纪要不就完了我一开始也是这么干的结果很不稳定。问题出在几个地方。第一大模型对音频的处理能力参差不齐。有些模型支持直接吃音频但长音频超过十分钟要么被截断要么识别质量断崖式下跌。第二就算转写没问题让模型“一边转写一边总结”它很容易在转写阶段就丢信息因为它会“自作主张”地省略它认为不重要的内容而这些内容恰恰可能是待办的来源。第三一步到位的方案没法调试。输出不对你根本不知道是转写错了、还是总结错了、还是待办抽取漏了。所以我最后定下来的方案是四段式流水线语音转文字把录音转成逐字稿保留时间戳和说话人。逐字稿清洗去掉口水词、重复、无意义语气词修正明显的同音错字。结构化纪要生成按议题、结论、争议点组织成结构化纪要。待办事项抽取从纪要里抽出“谁、做什么、什么时候之前完成”。每一段都可以单独验证、单独替换。转写不行就换转写工具总结不行就调提示词互不影响。这是工程上最稳的做法也是我强烈建议新手一开始就采用的架构。2.2 转写工具怎么选本地还是云端转写这块选择主要看三个维度准确率、成本、隐私。方案类型代表做法准确率成本隐私适合场景云端通用转写各类在线语音转文字服务高按分钟计费数据出本地日常会议、非敏感内容本地开源模型Whisper 系列本地部署中高一次性硬件投入数据不出本地敏感会议、内网环境商业会议工具会议软件自带转写中高含在订阅里取决于厂商已经用该软件开会的场景我的实际选择是日常会议用云端转写敏感会议用本地 Whisper。本地部署 Whisper 现在门槛已经很低一张消费级显卡就能跑 medium 甚至 large 模型一小时的音频大概几分钟出结果。如果你对隐私要求高或者公司内网不允许数据外传本地方案是唯一选择。提示转写准确率对后续所有环节影响极大。转写错一个字可能导致待办事项里的人名、时间、动作全错。所以转写这一环不要省宁可多花点时间选一个准确率高的方案。2.3 大模型在流水线里扮演什么角色大模型不负责“听”它负责“理解和重组”。具体来说它承担三件事清洗把逐字稿里的“嗯、啊、那个、就是说”去掉把重复的句子合并。结构化把线性的对话重组成“议题—讨论—结论”的树状结构。抽取识别出承诺性语句转成待办。这里有个关键认知大模型不是数据库它是语言理解器。你不能指望它记住整场会议的所有细节但你可以通过提示词引导它关注特定类型的语句。比如待办抽取核心就是识别“我来做”“下周之前给你”“这个事谁跟进一下”这类承诺性表达。2.4 提示词设计的核心原则提示词这块我踩过的坑最多。早期我写提示词喜欢写一大段什么“你是一个专业的会议纪要助手请仔细阅读以下内容……”结果模型输出很飘。后来我总结出几条原则角色要具体不要写“专业助手”要写“你是项目经理负责把会议记录整理成给团队看的纪要”。输出格式要锁死用 Markdown 模板把输出结构固定下来模型就不容易跑偏。给例子在提示词里塞一两个输入输出示例效果比写十句描述都好。分步走不要让模型一次做太多事。先清洗再总结再抽待办每步一个提示词。这四条原则后面在具体环节里会展开讲。3. 核心环节拆解与实操要点3.1 语音转文字时间戳和说话人分离是刚需转写这一步很多人只关注“文字对不对”忽略了两个关键信息时间戳和说话人。时间戳的作用是回溯。纪要里写“张三认为方案 A 风险太高”如果后面有人质疑你可以直接跳到录音的对应位置核对。没有时间戳你就只能重新听一遍。说话人分离的作用是归属。待办事项必须落到具体的人头上如果逐字稿里全是“有人说”“另一个人说”AI 根本没法判断该把任务分给谁。实操上如果你的转写工具支持说话人分离一定要打开。如果不支持退而求其次至少在录音时让每个人发言前自报家门或者在会议开始时明确“接下来每个人发言前说一下自己名字”。这听起来很傻但实测能大幅提升后续待办归属的准确率。注意说话人分离在多人抢话、语速快、口音重的场景下准确率会下降。如果会议经常出现这种情况建议在转写后加一步人工校对只校对“谁说的”这一项成本不高但收益很大。3.2 逐字稿清洗别让口水词污染上下文逐字稿最大的问题是“脏”。一场一小时的会逐字稿里可能有几百个“嗯”“啊”“那个”“就是说”还有大量重复和半截话。这些东西如果直接喂给大模型做总结会占用大量上下文窗口还会干扰模型判断。清洗这一步我一般用规则加模型结合的方式规则清洗用正则去掉明显的语气词、重复词、无意义填充词。模型清洗把规则清洗后的文本交给大模型让它合并重复表达、修正同音错字、补全半截话。这里有个细节清洗不要过度。有些语气词其实是语义的一部分比如“这个方案……嗯……我觉得不太行”那个“嗯”代表犹豫可能意味着说话人本身就不确定。如果全删了模型可能会把“不太行”理解成明确否定而实际上说话人只是犹豫。我的做法是只删纯填充词如“那个那个那个”保留表达态度的语气词。3.3 结构化纪要生成议题、结论、争议点三段式纪要的核心不是“记录说了什么”而是“记录决定了什么”。我用的结构是议题这场会讨论了哪几件事。结论每件事最终定了什么。争议点哪些事没定下来卡在哪里。这个结构的好处是读纪要的人能快速知道“哪些事已经定了哪些事还需要跟进”。相比之下按时间顺序流水账式的纪要读起来累找信息也慢。提示词模板大概长这样你是项目经理负责把以下会议逐字稿整理成结构化纪要。 要求 1. 按议题分组每个议题包含议题名称、讨论要点、结论。 2. 结论必须明确如果没定下来写“未定待跟进”。 3. 争议点单独列出说明分歧双方和分歧点。 4. 输出用 Markdown议题用二级标题结论用加粗。 逐字稿 {transcript}实测下来这个模板输出的纪要可用度很高基本不需要大改。3.4 待办事项抽取识别承诺性语句是关键待办抽取是整条链路里最难的一环因为待办往往藏在口语里而且形式多样。比如“这个我下周给你。”——隐含待办我下周之前给出某物。“要不张三你先看一下”——隐含待办张三看一下某物。“这个事得有人跟进一下。”——隐含待办未指派需要跟进。大模型抽取待办时最容易犯两个错漏抽和错派。漏抽是因为承诺性语句太隐晦错派是因为说话人指代不清。我的做法是分两步先让模型标出所有“承诺性语句”再让模型把这些语句转成待办。两步分开准确率明显提升。待办输出格式我固定为待办事项负责人截止时间来源议题输出方案 A 的风险评估张三下周三方案选型截止时间如果原文没提就写“未指定”不要瞎猜。负责人如果原文没明确就写“待指派”不要硬塞给某个人。提示待办抽取后一定要人工过一遍。AI 抽取的待办准确率大概在七八成剩下两三成需要人工修正。但这个修正成本比从零开始整理低太多了。4. 完整实操流程与关键配置4.1 环境准备与工具清单先列一下我目前在用的工具组合供参考录音手机自带录音或会议软件录制格式统一为 wav 或 mp3。转写云端转写服务或本地 Whisper。清洗与总结通用大模型 API。编排Python 脚本串起来或者用低代码平台。如果你不想写代码可以用现成的自动化工具把这几步串起来。但如果你想控制细节建议用 Python 写一个简单脚本几十行就能搞定。4.2 转写环节的参数配置以本地 Whisper 为例关键参数有这几个模型大小medium 是准确率和速度的平衡点large 更准但更慢。如果显卡显存够直接上 large。语言明确指定中文不要让它自动检测自动检测在混合语言场景下容易出错。初始提示词可以塞入会议主题、参会人名单、专业术语帮助模型提升识别准确率。初始提示词这个技巧很实用。比如你知道这场会在讨论“微服务架构”就把这个词塞进去模型识别“微服务”的概率会大幅提升而不是识别成“为服务”。4.3 清洗环节的提示词与参数清洗提示词我一般这么写你是文字编辑负责清洗会议逐字稿。 要求 1. 删除纯填充词如“嗯”“啊”“那个那个”。 2. 合并重复表达保留原意。 3. 修正明显的同音错字但不要改变原意。 4. 保留说话人标记和时间戳。 5. 不要总结不要删减实质内容。 逐字稿 {transcript}温度参数建议设低0.2 到 0.3 之间保证输出稳定。4.4 纪要与待办生成的完整提示词这是整条链路的核心我把它拆成两个提示词。纪要提示词你是项目经理负责整理会议纪要。 输入清洗后的逐字稿。 输出Markdown 格式纪要结构如下 ## 议题一{议题名} **讨论要点**... **结论**... ## 议题二... ## 争议点 - ... 要求 1. 议题按重要性排序不按时间顺序。 2. 结论必须明确未定的写“未定待跟进”。 3. 不要编造逐字稿里没有的内容。待办提示词你是项目经理负责从会议纪要中抽取待办事项。 输入会议纪要。 输出Markdown 表格列包括待办事项、负责人、截止时间、来源议题。 要求 1. 只抽取明确的承诺性语句不要推测。 2. 负责人和截止时间如果原文没提写“待指派”和“未指定”。 3. 待办事项描述要具体包含动作和对象。两个提示词分开跑中间可以人工检查一下纪要质量再跑待办抽取。4.5 一次完整实操的记录上周我处理了一场 50 分钟的产品评审会参会 5 人。流程如下录音导出 mp3用本地 Whisper large 模型转写耗时约 4 分钟输出带时间戳和说话人的逐字稿约 1.2 万字。清洗提示词跑一遍耗时约 30 秒输出约 8000 字。纪要提示词跑一遍耗时约 40 秒输出 6 个议题、4 条争议点。待办提示词跑一遍耗时约 20 秒输出 9 条待办。人工校对修正了 2 条待办的负责人补充了 1 条漏抽的待办总耗时约 5 分钟。从录音到最终可用总共约 11 分钟。如果纯手工这场会我至少要花一个半小时。5. 常见问题与排查技巧实录5.1 转写准确率低怎么办转写不准后面全白搭。排查顺序如下检查音频质量背景噪音大、多人同时说话、麦克风离得远都会拉低准确率。能改善录音环境就改善。检查模型选择小模型在专业术语多的场景下明显吃力换大模型试试。加初始提示词把会议主题、参会人、专业术语塞进去。检查语言设置确保指定了正确语言不要让模型自动检测。如果以上都做了还是不准考虑换转写服务。不同服务在不同口音、不同场景下的表现差异很大多试几家。5.2 纪要输出太啰嗦或太简略这是提示词问题。太啰嗦说明提示词里没限制长度太简略说明提示词里没要求保留细节。我的经验是在提示词里明确“每个议题的讨论要点不超过 5 条每条不超过 50 字”同时要求“结论必须包含具体决定不要写‘大家讨论后认为’这种空话”。长度和细节都要用具体数字约束模型才知道边界在哪。5.3 待办漏抽或错派漏抽通常是因为承诺性语句太隐晦。解决办法是在提示词里给例子比如示例 输入“这个我下周给你。” 输出待办给出某物负责人我截止时间下周。 输入“要不张三你先看一下” 输出待办看一下某物负责人张三截止时间未指定。错派通常是因为说话人指代不清。解决办法是转写时做好说话人分离或者在清洗环节把“我”“你”“他”替换成具体人名。5.4 常见问题速查表问题可能原因解决办法转写错字多音频质量差、模型小、无提示词改善录音、换大模型、加初始提示词纪要流水账提示词没要求结构化用议题—结论—争议点模板待办漏抽承诺性语句太隐晦提示词加示例、分两步抽取待办错派说话人指代不清做好说话人分离、替换代词输出格式乱提示词没锁死格式用 Markdown 模板固定输出处理速度慢模型太大、串行处理换小模型、并行处理各环节5.5 几个我踩过的坑第一个坑不要用同一个提示词做所有事。我早期图省事一个提示词让模型“转写、清洗、总结、抽待办”全干了结果输出质量极不稳定。拆开之后每一步都可控。第二个坑不要相信模型的“自动补全”。模型有时候会“脑补”一些会上没说的内容尤其是待办的截止时间。我的做法是凡是原文没明确的信息一律标“未指定”宁可人工补也不要模型猜。第三个坑上下文窗口不是越大越好。把整场逐字稿塞给模型它反而容易抓不住重点。我的做法是分段处理每个议题单独总结最后再合并。这样准确率更高也更容易调试。6. 进阶玩法与自动化扩展6.1 把流水线做成自动化脚本如果你每周都要处理多场会议手动跑四步还是很烦。可以用 Python 把整条链路串起来输入录音文件输出纪要 Markdown 和待办表格。核心代码逻辑就是依次调用转写 API、清洗提示词、纪要提示词、待办提示词中间用文件或变量传递数据。我自己的脚本大概 100 行左右跑一场会全自动只需要最后人工校对待办。如果你不想写代码用低代码自动化平台也能搭原理一样。6.2 待办自动同步到任务管理工具待办抽出来之后下一步是同步到任务管理工具。大部分任务管理工具都有 API可以把待办表格转成任务卡片自动分配给负责人。这一步我目前还是半自动因为待办的负责人和截止时间经常需要人工确认全自动容易出错。6.3 多场会议纪要的关联分析如果你把多场会议的纪要都存下来可以做关联分析。比如某个议题连续三场会都在讨论但没结论说明卡住了某个待办连续两周没完成说明资源不够或者优先级有问题。这些分析用大模型跑一遍就能出来对项目管理很有价值。6.4 不同会议类型的提示词微调不同类型的会议纪要重点不一样。评审会重点在结论和争议点周会重点在进度和待办头脑风暴会重点在想法和后续验证方向。我的做法是准备几套提示词模板按会议类型选用。微调成本很低但输出质量提升明显。7. 一些个人体会这套流程我用了大半年最大的感受是AI 不是替代你整理会议而是替代你整理会议里最枯燥的那部分。转写、清洗、初步结构化这些活儿 AI 干得又快又好但判断哪些结论重要、哪些待办紧急、哪些争议点需要升级还是得人来。另外提示词这东西没有一劳永逸的版本。不同会议、不同参会人、不同议题提示词都要微调。我现在的做法是维护一个提示词库每次开会前根据会议类型选一个开完会如果发现输出有问题就顺手改一下提示词下次用改进版。日积月累提示词会越来越贴合你的实际场景。最后分享一个小技巧如果你觉得待办抽取总是不准可以试试让模型先输出“承诺性语句列表”再基于这个列表抽待办。多这一步准确率能提升不少。这个技巧是我试了很多次才发现的希望对你有用。