视频内容分析工具 video-analyzer：如何把 10 小时的人工工作压缩到 3 分钟

【免费下载链接】video-analyzerAnalyze videos using LLMs, Computer Vision and Automatic Speech Recognition项目地址: https://gitcode.com/gh_mirrors/vi/video-analyzer

上周你错过了一场产品评审会，同事发来 42 分钟录像，附言"重点看 15 到 20 分钟"。你快进、回放、再快进，四十分钟后只能承认：视频看了，重点没抓到。这种"看完等于没看"的时刻，正是视频内容分析工具 video-analyzer 想解决的。它把视频关键帧提取、视频转文字、AI 视频内容摘要合并进一条命令，几分钟后交给你一份结构化的 JSON 报告，逐帧描述、时间戳转录、整段总结一次给全。

从下载到第一份分析结果，只需 3 步

先别被"分析视频"四个字吓到，实际安装比想象中轻。

第一步，克隆并安装。要求 Python 3.11 以上和 FFmpeg，然后：

git clone https://gitcode.com/gh_mirrors/vi/video-analyzer cd video-analyzer python3 -m venv .venv && source .venv/bin/activate pip install .

第二步，准备本地模型。默认走 Ollama，拉取视觉模型并启动服务：

ollama pull llama3.2-vision ollama serve

第三步，跑第一条分析命令：

video-analyzer demo.mp4

命令结束后，output/analysis.json就是你要的东西。默认配置下，工具用 OpenCV 按画面差异挑关键帧、用 Whisper（medium 模型）把音频转成文字、再用 llama3.2-vision 逐帧描述并整合成整段视频总结。

一张流程图看懂它内部怎么协作

流程分四段：Transcribe 把音频转成带时间戳的文字；Frame Selection 按每帧差异选出关键帧；Describe Frames 把"当前帧 + 前几帧的描述"一起喂给 LLM 服务器，保证描述有时间上的连贯性；最后 Describe Video 汇总所有帧描述和转录文本，生成整段视频的总结，全部写入analysis.json。注意 LLM 被调用了两次：一次回答"这一帧发生了什么"，一次回答"整段视频在讲什么"。

人工看片 vs 自动分析，差距到底在哪

这张表的落点不只是"快"，而是"可复用"：JSON 报告既能给人读，也能直接接进你的内容库、标签系统或批量处理流程。

拆开 output/analysis.json，四个模块各管什么

打开项目自带的docs/sample_analysis.json，能看到四层结构：

• metadata：记录本次用了哪个客户端（ollama）、哪个视觉模型（llama3.2-vision）、哪个 Whisper 模型（medium）、每分钟取多少帧、转写是否成功，参数全部留痕，方便复现。
• transcript：完整的视频转文字结果，按 segment 分块，每块带 start/end 时间戳，甚至每个单词都有置信度评分。某段听不清的内容，你可以直接看到它的可靠程度。
• frame_analyses：每个关键帧一段描述，包含场景、动作、新出现的信息、与前帧的连续性，以及"下一帧值得注意什么"。这就是关键帧提取的价值——不是随机截图，而是按叙事脉络抽出来的画面。
• video_description：综合所有帧描述和转录后的整段总结，开头往往是"这段视频讲的是……"，接着按时间线铺开事件。

想跳过某一步时，用--start-stage指定从第几阶段续跑，例如帧已提过，就从阶段 2 直接开始分析画面。

新手最容易问的 5 个问题

Q1：本地和云端模式怎么选？本地用 Ollama，全离线、不需要 API key，但建议 16GB 以上内存（32GB 更稳），GPU 至少 12GB 显存。云端走 OpenAI 兼容接口（如 OpenRouter），对机器配置没要求，适合快速出结果；OpenRouter 上meta-llama/llama-3.2-11b-vision-instruct:free还能免费跑。

Q2：只想转文字，不想分析画面呢？用--whisper-model large提高转写质量，配合--start-stage跳过画面分析即可。

Q3：视频太长、帧太多怎么办？三个旋钮：配置文件里frames.per_minute控制每分钟取帧数、frames.max_count封顶总帧数；命令行--max-frames 30会在整段视频中均匀采样，而不是只取前 30 帧；只想分析前 60 秒就加--duration 60。

Q4：背景音很吵，转录出来一堆乱码？Whisper 转录自带质量检测，低于audio.quality_threshold（默认 0.2）的段落会被判为不可靠并跳过；也可以用--language en强制指定语言，避免自动检测出错。

Q5：想换视觉模型怎么操作？本地用--model换 Ollama 里的其他视觉模型；云端把--model换成gpt-4o等 OpenAI 兼容模型，再配--api-key和--api-url即可。

三步行动清单，今晚就能跑通

1. 准备素材✅ 找一段 3 分钟以内的短视频，太长的先剪一剪，方便对照结果。
2. 搭环境✅ 装好 Python 3.11+ 和 FFmpeg，拉取 llama3.2-vision 后运行video-analyzer your.mp4。
3. 读报告调参✅ 打开output/analysis.json，对照上面的四层结构逐段看；帧数太多或转写不准，就回 FAQ 挑对应参数再跑一遍。

跑通一次之后你会发现，真正值钱的不是"省了 40 分钟"，而是你从此有了一个把任意视频批量变成结构化文本的入口。会议回放、课程回放、素材库整理，都只是换一条命令的事。

【免费下载链接】video-analyzerAnalyze videos using LLMs, Computer Vision and Automatic Speech Recognition项目地址: https://gitcode.com/gh_mirrors/vi/video-analyzer