简介面向文本、语音、图像与视频四类输入的多模态情感分析系统以完整可运行的Python工程交付定位服务于毕业设计、期末大作业与课程设计等学术场景。系统具备数据处理、特征提取、模型训练、情感预测与可视化模块代码注释清晰界面简洁运行稳定尤其适合希望借助完整案例掌握多模态融合与情感识别流程的初学者。压缩包共二十四个文件体积约67.58MB以Python脚本实现核心逻辑pickle文件保存中间特征与预处理结果zip压缩包存放文本、音视频标注数据集PDF与Markdown文档提供开发说明PNG图片展示运行效果zbak备份便于回溯调整。项目包括数据准备脚本、模型定义、主运行脚本及已标注数据集可支撑从原始数据到情感预测的完整复现已有四十八人浏览学习可直接作为学术项目模板结合文档与脚本快速搭建实验环境并对不同模态、不同融合方式开展对比验证。1. 多模态情感分析系统是什么先想清楚融合什么再动手写代码一个客服质检员听到用户语气急促、文本却很客气时会本能地打上“不满”的标签只给大模型看聊天记录它大概率会判成“中性”。这就是多模态情感分析系统存在的理由把文本、语音、图像、视频四类输入抽成特征再通过融合策略综合判断情绪让结果更接近人类听话听音、观其行的方式。标题提到的这份Python项目我按从业者的习惯做法拆成一套可复现的工程链路数据集怎么组织、四个模态怎么预处理、融合模型怎么搭、训练参数怎么设、最后怎么证明每个模态真有贡献。这套系统能直接解决的问题很具体客服质检里给对话自动打情绪标签课堂场景识别学生的投入度舆情应用里判断短视频的总体情感倾向。适合已经会跑通单一模态分类、想往多模态走的Python工程师——照着第2章到第5章的顺序实现一遍你得到的不是一个跑分的玩具而是一个能端到端产出预测的文件级系统。2. 四路输入的预处理把文本、语音、图像、视频统一成模型能吃的张量2.1 数据集目录规划先定“样本边界”再谈模型很多同学是从“处理数据集用于yolov8训练”那类流程转过来的第一反应是切标注格式、转标签类别。多模态项目恰恰相反最应先定的是“什么是同一个样本”。常见的做法是以一个句子或一次话轮为样本单元一个样本同时关联一段文本、一段语音切片、一段视频片段和对应的情感标签。这是我的目录规划project/ ├─data/ │ ├─meta/ │ │ └─train.csv │ ├─text/ │ │ └─{sample_id}.txt │ ├─audio/ │ │ └─{sample_id}.wav │ ├─image/ │ │ └─{sample_id}_f0.jpg │ └─video_frame/ │ └─{sample_id}_f0.jpg ├─models/ ├─scripts/ └─outputs/train.csv 的字段依次是sample_id、text_path、audio_path、img_path、label、start_ts、end_ts。start_ts 和 end_ts 是这段样本在原始视频或录音里的起止时间用于切音频和抽帧。为什么不用整个视频作为样本训练时显存会被帧序列瞬间吃光模型也学不到局部情绪变化。utterance 级样本的另一点好处是天然对齐了文本和语音一个句子对应一段 wav对应几帧画面。数据量不够时可以先用公开中文多模态情绪数据集按这个结构重新落盘再补自己的业务数据。2.2 文本与语音的特征预处理对齐是首要命题文本模态最简单我一般直接用预训练模型的 tokenizer。环境这块默认你已经按 Python 安装教程建好虚拟环境python3.10 配合 pytorch 2.x 即可。# preprocess_text.py from transformers import BertTokenizer tokenizer BertTokenizer.from_pretrained(bert-base-chinese) def encode_text(text: str, max_len: int 128): encoded tokenizer( text, max_lengthmax_len, truncationTrue, paddingmax_length, return_tensorspt, ) return { input_ids: encoded[input_ids][0], attention_mask: encoded[attention_mask][0], }max_len 设 128 是因为绝大多数口语话轮不超过 60 个汉字设太大会让小批量训练变慢。padding 选 max_length 而不是动态 pad是为了后续和多模态特征拼接时省去处理变长序列的麻烦。如果你用短文本为主的业务弹幕、客服短句可以压到 64。语音模态的坑稍多。常见做法是用 wav2vec2 类预训练模型提取深层特征而不是手工 MFCC。加载时要处理三件事重采样到 16kHz、转单声道、按样本的 start_ts/end_ts 切分。不要在模型里做切分要在预处理里做否则每次训练同一个样本都切一遍浪费 I/O。import torchaudio def load_audio_segment(path, start_sec, end_sec, target_sr16000): waveform, sr torchaudio.load(path) # 原始采样率 if sr ! target_sr: waveform torchaudio.functional.resample(waveform, sr, target_sr) if waveform.size(0) 1: waveform torch.mean(waveform, dim0, keepdimTrue) # 单声道 start int(start_sec * target_sr) end int(end_sec * target_sr) waveform waveform[:, start:end] if waveform.size(1) 0: # 切空兜底 waveform torch.zeros(1, target_sr) return waveform注意 start_sec 在标注时如果用的是毫秒这里记得除以 1000。切空的问题真实存在VAD 边界标错、音频本来就短切成 0 长度会让数据加载器直接崩。上面代码里的兜底逻辑属于必须写的那类防御代码。2.3 图像与视频帧离线抽帧别在训练时解码图像和视频模态容易被人低估因为实践里的坑集中在“怎么抽帧”。正确做法是离线把所有关键帧抽好存成 jpg而不是在 Dataset.getitem里用 OpenCV 按帧号跳读视频。在线读视频第一慢第二遇到损坏视频文件时排错难。ffmpeg -ss {start_ts} -to {end_ts} -i raw_video.mp4 -vf fps2,scale224:224 -q:v 2 {sample_id}_%02d.jpg这段命令的含义从 start_ts 到 end_ts 抽取片段fps2 表示每秒抽 2 帧scale 直接缩放到 224x224-q:v 2 是高质量 JPEG 编码。一个三秒的 utterance 通常会得到 6 帧左右。抽帧密度不用贪高2fps 配上后面模型里的池化已经够用帧太多会拖慢训练并且让同一段话的相邻帧高度重复。抽完帧后加载时可选策略有两种一种是取每段中间帧作为静态图像特征适合视频内容变化不剧烈的场景另一种是把片段内所有帧都过图像编码器再做时间维池化。前一种实现省事后一种信息更全。建议先跑前一种做基线模型收敛后再验证后一种是否真的带来收益。预处理做完四个模态已经变成了四种形状的张量文本是 token id 序列语音是一维波形或 wav2vec 输出序列图像是 224x224x3视频是若干帧的堆叠。接下来就要让这些张量变成同一维度空间里的向量。3. 模态特征提取与融合策略从单模态特征到对齐后的融合向量3.1 预训练 backbone 怎么选模态、输出维度与显存预算这一节解决的是“四路输入分别用什么网络提特征”。先给结论文本用 BERT 类模型取 [CLS]语音用 wav2vec2 加平均池化图像用 CLIP 或者 ResNet 都可以视频复用图像分支对每帧过一遍再池化。选型时盯住两个指标输出维度和显存占用。模态常用编码器输入形状特征输出维度显存占用参考文本bert-base-chinese128 token768约 1.5G语音wav2vec2-base波形采样点768平均池化后约 1G图像vit-b/32 或 resnet50224x224x3768 或 2048约 1G视频图像编码器 时间池化3~6 帧768与原帧数成正比上表的显存是按 batch_size8 粗估的实际随序列长度浮动。注意语音 wav2vec2 输入是原始波形采样点数组16kHz 下 5 秒音频就是 80000 个采样点内存占用远大于文本序列。一般做法是 wav2vec2 输出后直接做时间维平均池化得到一个固定的 768 维向量后续就跟文本 [CLS] 向量地位相同。统一输出维度这一步不能省。三个 768、一个 2048直接拼接会让梯度被维度大的分支主导。我会在四个分支后面各接一个线性投影层把输出统一映射到 hidden_dim256。投影层参数很少但能让后续融合层学得稳。3.2 三种融合范式的取舍早融合、晚融合、跨模态注意力融合策略决定这个系统的上层建筑。先讲清三种方案的差异再给你一个不用纠结的选择标准。早融合就是把四个分支的输出向量直接拼接过几层 MLP 后出分类结果。做法最直观缺点是拼接后维度大、需要较多数据来拟合交叉项。数据量几千条时容易过拟合。晚融合是每个模态单独训练或单独前向得到情感概率再把概率加权求和。实现最简单线上稳定缺点是缺少模态间的交互——比如画面和文本相互矛盾这种关键信息它学不到。跨模态注意力是让一个模态的表示去查询其他模态的表示。常见做法是用文本向量作为 query语音和图像特征作为 key/value让模型学习“说到生气这个词时更看重语音里的愤怒程度”。效果好但对数据量和调参要求都高。我的选择顺序先跑晚融合作为基线——它能告诉你四个模态单拎出来多强再上早融合对比最后在训练资源充足时试跨模态注意力。不要在项目第一天就上注意力否则后面出了问题你分不清是融合的锅还是数据对齐的锅。3.3 融合模型核心代码一个可扩展的基座下面给出一个可以直接改的融合模型。它支持三种模式用 fusion_mode 参数切换。为了让代码可读我把四个分支都用简单的投影层模拟真实使用时替换成 BERT 和 wav2vec2 的输出即可。import torch import torch.nn as nn import torch.nn.functional as F class MultimodalEmotionModel(nn.Module): def __init__(self, text_dim768, audio_dim768, image_dim768, video_dim768, hidden_dim256, num_classes7, fusion_modelate): super().__init__() self.fusion_mode fusion_mode # 四个投影层把不同维度统一到 hidden_dim self.text_proj nn.Linear(text_dim, hidden_dim) self.audio_proj nn.Linear(audio_dim, hidden_dim) self.image_proj nn.Linear(image_dim, hidden_dim) self.video_proj nn.Linear(video_dim, hidden_dim) self.drop nn.Dropout(0.3) if fusion_mode in (early, attention): # 早融合和注意力融合之后接同一个分类头 self.classifier nn.Sequential( nn.Linear(hidden_dim * 4, hidden_dim), nn.ReLU(), nn.Dropout(0.3), nn.Linear(hidden_dim, num_classes), ) else: # 晚融合各自出 logits再做加权 self.classifiers nn.ModuleList( [nn.Linear(hidden_dim, num_classes) for _ in range(4)] ) def forward(self, text_feat, audio_feat, image_feat, video_feat): # 各模态投影到同一空间 t self.drop(F.relu(self.text_proj(text_feat))) a self.drop(F.relu(self.audio_proj(audio_feat))) i self.drop(F.relu(self.image_proj(image_feat))) v self.drop(F.relu(self.video_proj(video_feat))) if self.fusion_mode early: fused torch.cat([t, a, i, v], dim-1) return self.classifier(fused) if self.fusion_mode late: logits [] for proj_feat, clf in zip([t, a, i, v], self.classifiers): logits.append(clf(proj_feat)) return torch.stack(logits).mean(dim0) # 简单平均 if self.fusion_mode attention: # 用文本向量作为 query去 attend 其他三个模态 q t.unsqueeze(1) # [B, 1, H] kv torch.stack([a, i, v], dim1) # [B, 3, H] attn_weight torch.softmax(q kv.transpose(-2, -1) / (t.size(-1) ** 0.5), dim-1) context (attn_weight kv).squeeze(1) # [B, H] fused torch.cat([t, context], dim-1) return self.classifier(torch.cat([fused, t, a, i, v], dim-1)[:, :hidden_dim*4])这段代码的关键在最后跨模态注意力算出的 context 向量只保留了文本之外的模态被“聚焦”后的信息。不过老实说这个简化版注意力在数据不足时很容易退化成对某个模态的固定加权所以我把 early 和 attention 用同一个分类头跑出来的分数差异小就说明融合没学到额外东西。参数方面hidden_dim 我取 256 而不是更大是为了让 batch_size16 下显存可控。dropout 0.3 是融合层防止过拟合的基准值如果你发现训练 loss 下降正常但验证集震荡很大先把它升到 0.5 再调别的。num_classes 按你的标签体系改二分类就设 2七分类愤怒/厌恶/恐惧/开心/中性/悲伤/惊讶就设 7。4. 训练一个完整链路数据加载、损失函数与关键参数4.1 自定义 Dataset 与模态缺失 mask模型有了接下来解决“数据怎么一口一口喂给模型”。多模态 Dataset 与单模态最大的区别是要同时返回四个模态的特征和它们的缺失标记。缺失标记不是可选项——真实业务里经常出现某段语音无法解码、某个视频帧抽空的情况训练时把缺失模态置零比直接抛异常要稳得多。# dataset.py import torch from torch.utils.data import Dataset import pandas as pd import numpy as np class MultiModalDataset(Dataset): def __init__(self, meta_csv, text_dir, audio_dir, image_dir, video_dir): self.df pd.read_csv(meta_csv) self.text_dir text_dir self.audio_dir audio_dir self.image_dir image_dir self.video_dir video_dir def __len__(self): return len(self.df) def __getitem__(self, idx): row self.df.iloc[idx] # 读取文本未找到时用空向量 缺失标记 text_feat self._load_text(row[text_path]) audio_feat self._load_audio(row[audio_path]) image_feat self._load_image(row[img_path]) video_feat self._load_video(row[video_path]) # 缺失标记1 表示存在0 表示缺失 mask torch.tensor([ text_feat is not None, audio_feat is not None, image_feat is not None, video_feat is not None, ], dtypetorch.float32) text_feat text_feat if text_feat is not None else torch.zeros(128, dtypetorch.long) audio_feat audio_feat if audio_feat is not None else torch.zeros(16000) image_feat image_feat if image_feat is not None else torch.zeros(3, 224, 224) video_feat video_feat if video_feat is not None else torch.zeros(6, 3, 224, 224) label torch.tensor(row[label], dtypetorch.long) return { text: text_feat, audio: audio_feat, image: image_feat, video: video_feat, mask: mask, label: label, }在getitem里直接返回原始波形和图像张量特征提取放到模型中做这样改动 backbone 时不需要重写数据层。mask 在训练时还有另一个用途随机把某个模态的 mask 置 0模拟模态缺失这一步等于免费的数据增强。做法是在 collate_fn 里以 0.1 的概率对每个样本随机抹掉一个模态坚持用这个策略会让模型对缺失模态更鲁棒。4.2 损失函数与训练参数照着这份起步配置先跑起来损失函数我建议用带标签平滑的交叉熵。多模态情感系统的标签主观性强同一个语音片段不同标注者经常有分歧硬标签容易让模型在边界样本上学出过度自信的预测。label_smoothing0.1 等于告诉模型“不要百分百相信标注”通常能换来验证集 F1 的稳定提升。criterion nn.CrossEntropyLoss(label_smoothing0.1)训练参数给一份可直接复制的起步配置以 batch_size16、单卡 24G 显存为前提。BERT 这类预训练模型的主干部分学习率要调低新加的投影层和分类头可以用较大学习率这比全局用同一个 lr 收敛得更稳。参数起步值说明batch_size16显存不足就减到 8别只用梯度累积硬撑主干 lr2e-5BERT、wav2vec2 专用新层 lr1e-4投影层、融合层、分类头warmup_ratio0.1前 10% 步数线性升温max_epochs20配合早停使用early_stop_patience3验证集 macro-F1 连续 3 个 epoch 不涨即停dropout0.3融合层label_smoothing0.1缓解标注歧义warmup 的作用是防止预训练模型在第一步就被大梯度冲坏权重。如果你发现第一个 batch 的 loss 是 NaN优先检查学习率和输入里有没有 NaN而不是改模型结构。早停的 patience 设 3 已经够用设太大容易过拟合太小则容易停在半山腰。4.3 训练主循环mask 如何参与前向训练循环里最容易被忽略的一步是 mask 怎么用。它的作用不是在 forward 里直接乘特征而是在“应该把某个模态当缺失”时把对应特征替换成零向量。下面是一个最小可跑的训练循环骨架。# train.py def train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss 0.0 for batch in loader: text batch[text].to(device) audio batch[audio].to(device) image batch[image].to(device) video batch[video].to(device) mask batch[mask].to(device) label batch[label].to(device) # 训练时随机遮断一个模态模拟缺失增强 if random.random() 0.1: drop_idx random.randint(0, 3) mask[:, drop_idx] 0.0 # 这里假设模型 forward 能接收 mask 并做置零 logits model(text, audio, image, video, mask) loss criterion(logits, label) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(loader)mask 置零放在 forward 内部实现当 mask 某个维度为 0 时不将该模态的投影结果送入后续融合而是用一个可学习的“缺失向量”替代。这样比直接填零更平滑。注意训练时的随机遮断比例不要超过 0.1太高会让模型对真实模态也不信任反而降低全模态输入时的准确率。验证和推理阶段则始终用真实 mask不再做遮断。5. 系统的落地避坑多模态项目最常见的五个翻车点5.1 加了语音和图像效果反而不如单文本现象单文本模型的 F1 是 0.62加上音频图像后掉到 0.58融合仿佛在帮倒忙。原因这是多模态项目里最典型的“模态主导”问题。文本分支在数据里表达能力最强早期训练阶段梯度几乎全部由文本分支贡献语音和图像分支学不到有效表示反而在融合层引入噪声。解决各分支先分别预训练或用冻结的预训练特征再开融合训练损失函数里为每个模态单独加一个辅助分类损失让每个分支都先学会“自己该干什么”。另外把每个模态的投影输出做 LayerNorm能缓解梯度大小不一致。5.2 视频推理时显存溢出现象单条样本推理没问题batch_size16 一跑就 OOM报错在视频编码器附近。原因视频分支一次性把 6 帧全部过图像编码器显存占用是图像模态的 6 倍。很多人从文本任务转过来对显存的估算还停留在“文本根本不吃显存”的惯性里。解决把视频帧离线编码成 768 维向量存成 npy 文件训练时只读特征向量不再过图像编码器。这个改动能把显存占用降到原来的十分之一。代价是视频编码器不能参与微调但绝大多数场景下效果损失不明显。5.3 切完的音频时长和文本对不上现象训练到一半发现一条样本的语音比文本长 10 秒模型输出异常。原因原始标注的时间戳和语音转写结果不严格对齐或者 VAD 切分的是整个对话里的一整句而不是标签对应的那一句。解决在预处理阶段加一道校验函数计算音频时长与文本字数的比值超出合理区间比如每字 0.1 到 0.6 秒就丢弃或人工复核。宁可在数据清洗时多扔掉几条坏样本也别让它们在训练时污染整个 batch。这类脏样本一般只占千分之几但它的梯度扰动往往异常大。5.4 训练 loss 稳步下降但宏平均 F1 原地波动现象训练集 loss 从 2.1 降到 0.8验证集 F1 却在 0.52 到 0.55 之间来回跳。原因多半不是模型问题而是类别不平衡加评估指标不匹配。客服语料里“中性”占 70%“愤怒”只占 3%普通准确率虚高F1 又被少数类拖住。解决训练用带类别权重的交叉熵或者在采样器里对少数类别过采样评估只看 macro-F1不要看 accuracy。另一个容易被忽略的点是验证集要按说话人或视频 ID 划分否则同一个人的多条语音出现在训练和验证里F1 会被虚高。5.5 换了一台机器以前跑通的数据集加载报错现象代码没动数据没动换到 Windows 机器后路径带中文加载 wav 时直接抛 RuntimeError。原因多模态项目里中文路径是常见暗坑Windows 默认编码不是 UTF-8而音频、视频路径往往带着中文用户名或中文目录名。解决全项目统一用 pathlib.Path 处理路径并在所有文件读取前强制 UTF-8import sys sys.stdout.reconfigure(encodingutf-8) # Python 3.7训练脚本开头加上这个设置能规避大部分 Windows 下中文路径导致的文件读取异常。如果还是报错检查 ffmpeg 抽帧命令里的路径是否被 shell 重新转码过。6. 用交叉消融实验验证每个模态的价值三张表看清系统边界6.1 五分钟跑完所有模态组合基于 itertools 的消融脚本多模态项目上线前我最先做的是不是调参而是先跑一遍全组合消融。你想知道“视频输入到底加不加”“图像分支是不是在帮倒忙”靠猜没有用必须让每个组合在验证集上说话。这个脚本用 itertools 枚举 15 种非空组合一次性输出 F1、ACC 和显存占用。# ablate.py import itertools modalities [text, audio, image, video] with open(ablation_results.csv, w) as f: f.write(subset,macro_f1,acc,peak_memory_MB\n) for r in range(1, 5): for subset in itertools.combinations(modalities, r): subset_name .join(sorted(subset)) # 判断当前组合是否包含某个模态 active [m in subset for m in modalities] # 用 active mask 过滤样本训练模型并评估 model build_model(active_modslist(subset)) macro_f1, acc, peak_mem run_evaluation(model, active) f.write(f{subset_name},{macro_f1},{acc},{peak_mem}\n)脚本的思路build_model 只保留 active_mods 对应的分支run_evaluation 里按同样配置训练固定 epoch 并返回验证集指标。跑完全部组合之后你会得到一张类似下面的表数据来自一个通用口头对话场景仅供参考格式模态组合macro-F1ACC峰值显存text58.20.665.1Gaudio38.70.484.2Gimage32.10.414.8Gtextaudio61.40.697.3Gtextimage60.00.687.6Gtextaudioimagevideo62.30.7116.8G6.2 怎么读这张表看增量不看绝对值读表顺序由大到小。先看“全模态 vs 最强单模态”如果差距不到 1.5 个点说明融合层没有真正利用多模态信息回去查第 3.2 节的融合策略。再看“textaudio vs text”这是判断“音频值不值得保留”的直接证据——增量超过 2 个点就值得为它维护一条音频预处理链路增量小于 1 个点可以在工程上把音频降级为可选模态。有一个我踩过多次的教训别因为单模态 audio 只有 38.7 就觉得音频没用。多模态融合的价值经常出现在“两个弱模态互相补强”的组合里。某次项目里 image 单独只有 32video 单独只有 30但 imagevideo 却到了 41——这背后是静态帧和动态时序正好互补。所以只看绝对分数会误杀有价值的模态一定得看组合增量。最终决策逻辑我习惯这样定全模态能超过最佳子集 1 个点 F1就保留所有链路如果全模态成本和收益不成正比就把验证集方差最大的那个模态切掉降级成可选输入。每次改完模型或数据重跑一次消融脚本把结果存成 csv 留档。这套习惯帮我挡掉过好几次“感觉视频应该有用了”的拍脑袋改动也希望帮到你。本文还有配套的精品资源点击获取