简介基于OpenCV与深度学习的人脸情绪识别项目使用Python编写面向需要完成课程设计、期末大作业或入门人脸识别方向的学生开发者覆盖从模型加载、人脸检测到情绪分类的完整流程可帮助理解深度学习在视觉任务中的应用。资源包共9个文件总体积12.15MB除3个Python源码文件外还包含caffemodel与h5模型文件、json配置、用于测试的jpg图片以及txt和md说明文档便于对照运行和二次开发。代码已经本地编译验证评审分达95分以上难度适中内容经过助教老师审定能直接满足学习或作业需求目前已有371人学习下载是经过检验的可用项目。下载后可快速启动人脸情绪识别Demo结合代码注释和说明文档梳理训练、推理流程也可替换模型或数据集进行扩展研究。1. 这份人脸情绪识别项目到底能帮你解决什么问题人脸情绪识别在期末大作业里属于那种“看起来高大上拆开其实不复杂”的选题但要拿高分关键不在深度学习模型本身而在于把 OpenCV 的人脸检测和情绪分类两条管线真正衔接起来。这份基于 opencv 与深度学习的人脸情绪识别项目源码是我见过比较标准的课设形态人脸检测交给 OpenCV DNN SSD Caffe 模型情绪分类交给 fer-1.h5 这个 CNN两类模型各干各的活最后在 use.py 里合成一条实时识别管线。适合正在赶课程设计、期末大作业的学生也适合想拿现成代码改成自己项目形态的开发者。识别对象是 fer2013 数据集标准的 7 类情绪angry、disgust、fear、happy、sad、surprise、neutral覆盖了绝大多数演示场景。下面我从文件结构开始拆帮你把每一步都摸清楚。2. 先拆包再谈跑通文件清单、双模型协作与 7 类情绪标签拿到压缩包第一件事不是立刻跑代码而是先把文件挨个看一遍。很多课设代码跑不通不是因为代码本身有问题而是你压根不知道哪个文件是干什么的、哪个是入口、哪个只是中间产物。这一章把包内的全部文件过一遍再把“为什么用两个模型配合”这件事讲透。2.1 压缩包里到底装了什么解压后根目录是 Face-emotion-recognition-main里面文件不多但每个都有明确职责。我整理了一张清单你对照着看就不会迷路。文件类型作用与关键看点fer-1.h5Keras 模型文件训练好的 7 类情绪分类 CNN保存了网络结构和权重是推理阶段的主角fer-1.jsonJSON 文件模型结构描述由 to_json() 导出和 h5 搭配使用方便跨环境重建模型train.pyPython 源码完整训练流程读数据集 → 预处理 → 定义 CNN → 训练 → 保存 h5 和 jsonuse.pyPython 源码实时推理脚本加载 h5 → OpenCV DNN 人脸检测 → 情绪分类 → 画框标注deploy.prototxt.txtCaffe 网络结构文本OpenCV DNN 人脸检测器的结构定义配合 caffemodel 使用res10_300x300_ssd_iter_140000.caffemodelCaffe 权重文件SSD 人脸检测器权重OpenCV 官方经典人脸检测模型无需自己训练2.jpg测试图片用于验证单张图片推理效果跑通后自己换图即可tain.pyPython 源码疑似 train.py 的旧版本或笔误遗留建议直接忽略训练统一用 train.pyREADME.md文档项目说明建议先读一遍里面的运行步骤这里有个小坑要提醒tain.py 和 train.py 两个文件并存名字只差一个字母。我第一眼看到时也愣了一下判断大概率是当初打包时手滑把旧文件留了下来。跑训练任务时认准 train.py别拿错入口。2.2 为什么人脸检测选 OpenCV DNN 而不是 Haar 或 dlib情绪识别的前置条件是先把人脸框出来。这个项目没有自己去训人脸检测模型而是选了 OpenCV DNN 模块加载 Caffe 的 SSD 模型这个选型很符合课设场景。Haar 级联检测器虽然快但光照变化、侧脸、遮挡时漏检和误检率明显偏高演示现场经常出现人脸没框住的情况。dlib 的 HOG 检测器对小角度人脸不太友好而且 dlib 在 Windows 上编译容易出问题。直接用 OpenCV DNN 加载 res10_300x300_ssd_iter_140000.caffemodel只需要两行代码就能完成检测精度和速度都在可接受范围内。这个模型本身就是深度学习产物相当于项目里同时包含了“人脸检测”和“情绪分类”两个深度学习模块答辩时讲起来也更有内容。300x300 的输入尺寸对计算资源要求不高普通笔记本 CPU 也能实时跑这是它作为课设演示件的核心优势。提示res10_300x300_ssd 是 OpenCV 官方仓库提供的现成人脸检测模型不需要你重新训练deploy.prototxt.txt 和 caffemodel 配套使用即可。2.3 fer-1.h5 到底认的是哪 7 类情绪要正确使用这个模型必须先搞清楚它的输出含义。fer-1.h5 是在 fer2013 这类数据集上训练的 CNN输入是 48x48 的单通道灰度图输出是 softmax 后的 7 类概率。fer2013 标准标签顺序如下索引情绪标签备注0angry愤怒1disgust厌恶2fear恐惧3happy开心4sad悲伤5surprise惊讶6neutral中性这个顺序是 fer2013 数据集的通用约定但不同版本的训练脚本不一定完全一致。拿到 use.py 后先看一眼它代码里 EMOTIONS 列表的定义如果顺序和你手上的 h5 不一致预测结果会整体错位这是非常隐蔽的坑。fer-1.json 这个文件经常被忽略其实它很有价值。train.py 里通常用 model.to_json() 导出网络结构到 json再把 h5 权重单独保存。如果换机器或者换 TensorFlow 版本后无法直接 load_model可以通过 json 重建模型结构再 load_weights 挂载权重这也是 json 和 h5 为什么要配套存在的原因。2.4 train.py 与 use.py 的分工边界这两个脚本的分工很清晰train.py 负责“从零到一”的训练过程use.py 负责“从一到 N”的推理应用。前者读入数据集、构建网络、跑训练循环、把结果写成 fer-1.h5 和 fer-1.json后者加载已经训练好的模型在摄像头或图片上做人脸检测、情绪分类、可视化标注。对于只想做演示的同学甚至可以完全不碰 train.py直接用包里的 h5 配合 use.py 跑通推理这取决于你的诉求是“交作业”还是“完整复现训练过程”。但如果答辩老师问你“模型的训练集是什么、网络怎么搭的”train.py 这部分内容就是你的素材库建议还是花时间过一遍。了解完文件分工下面进入实操把训练流程完整跑起来。这是理解整个项目的最快路径。3. 动手训练前先过一遍环境版本、fer2013 与 train.py 参数落法训练是课设项目里最容易出问题的一环因为环境版本、数据预处理、超参数设置任何一个偏差都会导致结果不可用。这一章按照我平时自己搭训练流程的顺序把环境、数据、模型、训练参数逐项落实。3.1 环境版本怎么选最省心先说结论Python 3.8 或 3.9搭配 TensorFlow 2.8 左右、opencv-python 4.5 以上版本是这类课设项目最稳妥的组合。TensorFlow 2.x 的 Keras API 和这个项目的代码风格一致旧版 TensorFlow 1.x 的代码写法差异很大不建议使用。建议用虚拟环境隔离避免和系统里其他项目互相污染。# 创建并激活虚拟环境Windows 下路径略有差别 python -m venv fer_env source fer_env/bin/activate # Windows 使用 fer_env\Scripts\activate # 安装核心依赖 pip install opencv-python4.5.5.64 tensorflow2.8.0 numpy pandas scikit-learn matplotlib这里给的是我实测过相对稳定的组合如果你机器上已经装好了一套 TensorFlow 和 OpenCV不必强制按这个版本重装只要保证两点TensorFlow 能正常 importOpenCV 的 dnn 模块可用即可。版本差异主要体现在个别 API 的细微变化上我在第五章会讲常见的版本坑。3.2 fer2013 数据集的摆放方式train.py 训练时需要一个数据集来源。fer2013 是 Kaggle 上的经典人脸表情数据集原始文件是 CSV 格式每一行是一张 48x48 灰度图的像素值共 2304 个数字加上一个 emotion 标签。如果你已经下载过 fer2013.csv直接放到项目目录下的 datasets 文件夹里即可Face-emotion-recognition-main/ ├── datasets/ │ └── fer2013.csv ├── train.py ├── use.py └── ...数据集没下载也没关系train.py 的代码结构可以先跑通等下载好再替换。我不建议在这个步骤上纠结太久重点是理解 CSV 怎么拆成训练样本。3.3 解析 fer2013.csv注意 numpy 版本差异train.py 的第一步就是把 CSV 里的像素字符串转成图像矩阵同时对标签做 one-hot。这段代码是数据预处理的骨架我按常见写法整理如下import pandas as pd import numpy as np from tensorflow.keras.utils import to_categorical df pd.read_csv(datasets/fer2013.csv) pixels df[pixels].tolist() emotions df[emotion].values X [] for p in pixels: # 新版 numpy 对 np.fromstring 支持不友好改用列表推导更稳 arr np.array([int(x) for x in p.split( )], dtypenp.float32) X.append(arr) X np.array(X).reshape(-1, 48, 48, 1) # (样本数, 48, 48, 1) X X / 255.0 # 归一化到 [0,1]和推理端保持一致 y to_categorical(emotions, num_classes7)逻辑说明CSV 里 pixels 是空格分隔的字符串先按空格拆成数字列表再 reshape 成 48x48 的单通道图像。除以 255 做归一化是深度学习模型收敛的关键一步很多新手漏掉这一步直接训常出现 loss 不降或模型输出全集中在一类的问题。one-hot 编码把 0~6 的整数标签变成 7 维向量对应网络最后的 7 个输出。3.4 网络结构与训练参数怎么配fer-1.h5 对应的 CNN 是一个典型的 FERFacial Emotion Recognition分类网络。这类项目通常采用“卷积层提取特征 池化层降维 全连接层分类”的结构我见过的课设版本大多长这样from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout, BatchNormalization model Sequential() model.add(Conv2D(32, (3, 3), activationrelu, input_shape(48, 48, 1))) model.add(BatchNormalization()) model.add(MaxPooling2D((2, 2))) model.add(Dropout(0.25)) model.add(Conv2D(64, (3, 3), activationrelu)) model.add(BatchNormalization()) model.add(MaxPooling2D((2, 2))) model.add(Dropout(0.25)) model.add(Flatten()) model.add(Dense(128, activationrelu)) model.add(Dropout(0.5)) model.add(Dense(7, activationsoftmax))结构说明两次卷积提取局部纹理特征每轮卷积后接 BatchNormalization 稳定训练MaxPooling 降维减少参数Dropout 抑制过拟合。全连接层输出 7 类概率。这个结构不算深但处理 48x48 的灰度表情图已经够了课设重点在于“能用且能讲明白”而不是盲目堆层数。训练参数可以参考如下配置model.compile( optimizeradam, losscategorical_crossentropy, metrics[accuracy] ) callbacks [ ModelCheckpoint(fer-1.h5, save_best_onlyTrue, save_weights_onlyFalse, monitorval_accuracy), EarlyStopping(patience8, restore_best_weightsTrue), ReduceLROnPlateau(factor0.5, patience3, min_lr1e-6) ] # 常见课设配置batch_size 128epochs 50 左右 history model.fit(X_train, y_train, validation_data(X_val, y_val), batch_size128, epochs50, callbackscallbacks)参数说明save_best_onlyTrue 表示只在验证准确率提升时保存这样最后落盘的 fer-1.h5 就是训练过程中的最优模型save_weights_onlyFalse 会把结构连同权重一起保存方便后续直接 load_model。EarlyStopping 在验证指标连续 8 轮不涨时中断训练省时间避免过拟合。ReduceLROnPlateau 在 loss 进入平台期时自动把学习率减半这种细节是训练出可用模型的关键。注意h5 保存完成后别忘执行 model.to_json() 并写入 fer-1.json否则你手里只有权重没有结构。3.5 怎么判断模型训练到位了跑完 50 轮val_accuracy 在 0.55 到 0.65 之间是正常现象这个数字看着不高但 fer2013 数据集本身存在标签噪声真实场景下人眼识别这个数据集的准确率也只有 65% 左右。如果程序里最终保存的模型能稳定达到这个区间说明训练是有效的并不需要追求 0.9 以上的准确率。损失曲线观察方向训练 loss 下降而验证 loss 停滞抬高说明过拟合Dropout 比例和 EarlyStopping 会起作用如果 loss 从一开始就不降优先检查是否做了像素归一化。训练脚本跑通后进入推理侧才是真正容易翻车的地方。4. use.py 实时推理OpenCV DNN 人脸检测与 h5 模型的对接姿势训练模型只是第一步课设演示最关键的环节是把摄像头打开、实时框住人脸并标出情绪。use.py 就是干这件事的。它的核心难点不在于单一模型而在于两个模型的输出如何在代码里对齐。4.1 加载两个模型顺序与装载方式推理脚本需要同时加载两个模型OpenCV DNN 的人脸检测模型和 Keras 的情绪分类模型。前者用 cv2.dnn.readNetFromCaffe 加载后者用 load_model 加载两者互不干扰但加载顺序建议先加载人脸检测模型。import cv2 import numpy as np from tensorflow.keras.models import load_model # 1. OpenCV DNN 人脸检测模型 face_net cv2.dnn.readNetFromCaffe( deploy.prototxt.txt, res10_300x300_ssd_iter_140000.caffemodel ) # 2. Keras 情绪分类模型 emotion_model load_model(fer-1.h5) # 3. 情绪标签索引务必和模型训练时一致 EMOTIONS [angry, disgust, fear, happy, sad, surprise, neutral]逻辑说明readNetFromCaffe 第一个参数是网络结构文件prototxt第二个是权重文件caffemodel顺序不能写反。load_model 加载的 h5 因为训练时用 save_weights_onlyFalse 保存所以自带结构不需要手动重建。4.2 人脸检测blobFromImage 与 detections 的维度地狱OpenCV DNN 的 forward 输出是一个四维张量形状是 (1, 1, N, 7)其中 N 是检测出的候选框数量每一行的 7 个元素分别是图像索引、类别索引、置信度以及人脸框的坐标归一化后的 0~1 数值。很多新手在这里栽跟头就是不知道坐标要先乘回原图尺寸。frame cv2.imread(2.jpg) # 换成摄像头帧同理 h, w frame.shape[:2] blob cv2.dnn.blobFromImage( frame, 1.0, (300, 300), (104.0, 177.0, 123.0) ) face_net.setInput(blob) detections face_net.forward() for i in range(detections.shape[2]): confidence detections[0, 0, i, 2] if confidence 0.5: continue x1 int(detections[0, 0, i, 3] * w) y1 int(detections[0, 0, i, 4] * h) x2 int(detections[0, 0, i, 5] * w) y2 int(detections[0, 0, i, 6] * h)参数说明blobFromImage 的第三个参数 300x300 必须和 prototxt 里的输入尺寸一致第四个参数是均值减法由模型训练时的统计值决定。置信度阈值 0.5 是入门值想减少误检就提到 0.6 或 0.7相应地也可能漏掉部分侧脸需要按实际场景调节。detections 的坐标之所以要乘 w 和 h是因为 SSD 输出的是相对坐标这一步漏了框就会画歪。4.3 情绪预测的预处理对齐这是整个项目的命门拿到了人脸框下一步是把框内的区域交给情绪模型。就在这一步里很多代码会翻车。训练时模型的输入是 48x48 的灰度图像素已归一化到 [0, 1]如果你推理时直接送彩色原图、不 resize、不灰度化、不除以 255预测结果会完全失真。# 取人脸 ROI并完成和训练时完全一致的预处理 face_roi frame[y1:y2, x1:x2] gray cv2.cvtColor(face_roi, cv2.COLOR_BGR2GRAY) gray cv2.resize(gray, (48, 48)).astype(float32) / 255.0 # 补维度(48, 48) - (48, 48, 1) - (1, 48, 48, 1) input_tensor np.expand_dims(gray, axis-1) # 增加通道维 input_tensor np.expand_dims(input_tensor, axis0) # 增加批次维 prob emotion_model.predict(input_tensor, verbose0)[0] emotion_idx int(np.argmax(prob)) emotion_label EMOTIONS[emotion_idx]数据流说明人脸 ROI 先转灰度resize 成 48x48astype(float32) 避免整数截断除以 255 对齐训练时的归一化范围。这里的通道维必须存在因为 Conv2D 的 input_shape 是 (48, 48, 1)少这一刻度直接报维度错误。predict 返回的是 shape 为 (1, 7) 的概率矩阵取 [0] 拿到 7 个类别的概率分布argmax 得到索引再映射到标签名。提示凡是出现“框能画出来但情绪永远是同一个”的诡异现象八成是预处理和训练时不匹配。我处理这类问题时的习惯是先打印 prob 数组看看 7 个概率有没有区分度。4.4 画框、标注与摄像头模式的参数推荐推理逻辑串通后可视化很简单。cv2.rectangle 画框cv2.putText 写标签摄像头模式则用 VideoCapture(0) 迭代读帧。有几个参数值得按实际效果微调我整理成了一张表参数推荐值调参目的confidence0.5 ~ 0.7太低误检多太高漏检多课设演示建议 0.5frame 缩放不超过 640px 宽降低每帧处理耗时提升 FPS情绪判断间隔每 3~5 帧检测一次避免连续预测造成的卡顿感人脸最小框原图宽度的 1/10过滤远处小脸引起的无效预测摄像头模式的单帧流程大致是读帧 → 缩放到合适尺寸 → 人脸检测 → 裁剪 ROI → 情绪预测 → 画框标注 → imshow 显示。如果想给演示加分可以把 7 个概率做成条形图叠加在画面右上角这部分逻辑我在第六章讲但核心推理流程到此已经完整。5. 避坑清单从导入报错到预测翻车的 5 个现场这一章是给那些“代码跑不起来”或者“跑起来结果不对”的人准备的。我按真实发生频率从高到低整理出 5 个坑每一条都按现象、原因、解决的顺序写清楚你可以直接当排错手册用。5.1 现象import cv2 或 import tensorflow 直接报 ModuleNotFoundError原因环境不对。最常见的是系统里安装的 Python 和项目依赖不在同一个环境里尤其是用 Anaconda 时激活了错误的 conda 环境pip 装到了别处。还有的机器上装的是 Python 3.11 等过新版本部分 TensorFlow 版本并不支持。解决按第三章的建议建独立虚拟环境并用 pip list 确认关键包版本。如果 import cv2 失败但 pip show opencv-python 显示已安装通常是当前解释器和 pip 所在环境不一致用 python -m pip install opencv-python 重新安装让包落在当前解释器路径下。5.2 现象程序能跑摄像头也能打开但预测结果永远集中在 happy 或 neutral原因不是模型坏了而是预处理不一致。这个项目里最常见的翻车现场就是推理端输入没做归一化。模型训练时输入是除以 255 的 [0,1] 浮点数推理端如果直接送 0~255 的整数像素值激活函数的响应区间完全错位softmax 输出就会被某一类主导。解决把 gray 像素值除以 255.0并把 dtype 转成 float32。调完如果发现所有概率变得接近比如 0.14、0.15、0.13...说明预处理已经对上了可以继续用准确率更高的模型或调置信度。我在助教时期见过的最多翻车案例就是这一条改完立竿见影。5.3 现象readNetFromCaffe 报错提示无法加载 prototxt 或 caffemodel原因opencv-python 版本过旧DNN 模块不兼容部分 Caffe 模型或者路径中带有中文字符OpenCV 的文件读取接口对中文路径支持较差在 Windows 上尤其明显。解决把 opencv-python 升级到 4.5 以上并确认 deploy.prototxt.txt 和 caffemodel 在同一个目录下且路径全英文。如果项目路径本身带中文把整个文件夹移动到纯英文路径下再运行。5.4 现象自己训练时 val_accuracy 一直很低甚至 loss 一开始就是 NaN原因大概率是数据预处理里没有归一化或者学习率设置过高。fer2013 的像素值在 0~255 之间不除 255 直接喂给网络会让梯度数值过大轻则训练极慢重则梯度爆炸出现 NaN。另一个可能原因是 CSV 解析时把 label 和 pixels 列读反了。解决检查 X 数组最大值确认除以 255 已生效。把 optimizer 的 learning_rate 降到 1e-3 或更小。最后验证一下 y 标签分布看看 7 类是否有代表性样本类别严重不均衡时考虑用 class_weight 调整。5.5 现象推理 FPS 极低画面卡顿到没法演示原因use.py 每帧都执行了一次人脸检测加一次情绪预测这两个模型本身就有计算开销再加上画面中如果有多个检测框每个框都要单独 predict 一次CPU 机器扛不住。解决两招联合使用。第一招是跳帧情绪状态是连续缓慢变化的每 3~5 帧才执行一次完整预测中间帧只画上次的框和标签第二招是把输入帧 resize 小一些比如控制宽度在 480~640 像素之间人脸检测耗时能显著下降。经过这种改法帧率通常能翻倍演示体验立刻不同。6. 进阶用法验证模型不是玄学把七个概率打出来看模型跑通、演示正常只是及格线想让答辩老师认可你需要证明这个模型不是瞎猜的。我的做法是给模型加一道“验尸”环节。先用 scikit-learn 算出每个情绪类别的精确率和召回率而不是只报一个整体准确率from sklearn.metrics import classification_report, confusion_matrix # y_true 为真实标签y_pred 为模型 argmax 后的预测标签 print(classification_report(y_true, y_pred, target_namesEMOTIONS)) cm confusion_matrix(y_true, y_pred) print(cm)逻辑说明这份报告会把 7 类情绪的 precision、recall、f1-score 分开列出来。你很快会发现 disgust 和 fear 通常是最差的准确率可能只有二成到三成这在 fer2013 数据集上非常正常。答辩时如果你能主动说出“disgust 样本少且容易与 sad 混淆”老师反而会觉得你真理解了模型边界。另一个我有血泪经验的做法是不要只看 argmax 的结果把 7 个概率完整打印出来。模型输出分布能暴露很多问题如果每次预测的概率都极其接近例如 0.16、0.15、0.14...说明模型对输入根本没有区分能力之前所有“识别成功”都是碰运气如果某一类的概率稳定在 0.7 以上才说明模型真正学到了纹理特征。演示时可以把概率做成 7 个色条叠加在画面边缘既是可视化加分项也是实时验证模型的工具。最后分享一个我养成的习惯任何基于深度学习的人脸项目我都强制先走一遍“预处理一致性检查”——训练时图像是什么尺寸、什么通道、什么数值范围推理端就一字不差复制一份再去调模型结构和训练参数。这样做的原因很简单这类项目最容易翻车的不是模型能力而是数据在两端走了两条路。从那以后我每次验收他人课设代码第一件事就是检查预处理管线这一步通过率高后续的准确率问题才值得讨论。希望这篇拆解能帮你把这个项目一次跑通少踩几个我没帮你踩掉的坑。本文还有配套的精品资源点击获取