简介这是一份面向Python课程期末大作业与深度学习初学者的完整人脸表情识别项目基于ResNet网络架构包含可直接运行的源码、配套数据集和详细说明文档能够帮助学习者理解图像分类、卷积神经网络训练与模型调用流程。压缩包共103个文件以py源码、pyc编译文件、png图像素材、jpg/jpeg表情样本为主同时包含hdf5模型权重文件、xml配置文件、项目结构文件及演示视频整体约54.11MB内容组织清晰适合作为课程设计参考或入门练手项目。资源中的源码均经过本地调试并可稳定运行评审得分较高难度适中模型权重与测试图片齐全下载后即可快速体验从数据加载到表情识别的完整流程。目前已有135人浏览学习适合需要快速完成期末项目或希望系统参考ResNet人脸表情识别实现方案的在校学生使用。1. 期末大作业做人脸表情识别这份能跑的ResNet项目到底给你省了多少事人脸表情识别在期末大作业里属于典型的高分选题难点不在模型结构本身而在于数据预处理和训练迭代的耗时。这份基于 ResNet 的 Python 源码把最折磨人的环节直接打包好了项目里有训练完成的resnet.hdf5权重、_mini_XCEPTION.102-0.66.hdf5预训练模型还有happy1.jpeg、surprised2.jpeg的推理测试图解压后按文档跑一遍推理脚本就能看到真实的表情分类结果。评审能到 95 分以上说明答辩逻辑完整、演示效果稳定。适合三类人赶时间交作业的学生、刚入门想快速感受 ResNet 效果的开发者、以及需要一份可直接二次开发代码做毕设基础的从业者。接下来我会把模型选型、运行步骤和踩过坑的地方逐一说透。2. 三个hdf5权重文件拆解Xception、ResNet与FER2013的准确率玄学2.1 权重文件里装的是什么网络结构与训练轮数的命名密码解压压缩包后你会发现有三个.hdf5文件第一次接触容易懵resnet.hdf5、Xeception.hdf5、_mini_XCEPTION.102-0.66.hdf5这三个到底该用哪个先看命名规律。_mini_XCEPTION.102-0.66.hdf5里的数字很直白——102 代表训练轮数epochs0.66 代表验证集准确率。这个命名格式来自 Keras 社区发布的开源权重用的是 Xception 网络在 FER2013 数据集上的训练结果。Xeception.hdf5是项目作者自己保存的版本拼写少了个字母但实际加载时不影响。resnet.hdf5是本项目最核心的交付物它对应基于 ResNet 结构训练出的表情识别权重。ResNet 系列最出名的是 ResNet50但这里有一个关键细节FER2013 数据集是 48x48 的灰度图而标准 ResNet50 的输入形状是三通道的 3x48x48。项目源码里大概率做了适配要么在输入层改动通道数要么在前向传播时把灰度图复制成三通道。你如果用这份权重做推理输入的 shape 必须和训练时完全一致这一点我在第四章会专门展开。2.2 为什么选FER2013数据集48x48灰度图与七种表情的基准线表情识别绕不开 FER2013这个数据集的正确名字是 Facial Expression Recognition 2013由 Kaggle 举办比赛时整理发布。它包含 35887 张 48x48 灰度人脸图像共七类标签愤怒、厌恶、恐惧、开心、难过、惊讶、中性。项目里的happy1.jpeg、surprised2.jpeg、justgogif.jpeg明显就是围绕这几类表情准备的测试素材。为什么推荐你用 FER2013 做期末大作业因为它的难度适中。每张图已经裁好为 48x48避免了目标检测环节模型只需要做分类。但需要注意0.66 这个准确率在 FER2013 上并不是缺陷而是常态。这个数据集的标注本身存在噪声人脸角度、光照、遮挡都比较多人类在同样测试集上的平均准确率也只有 65% 左右。所以你答辩时如果被问到“准确率为什么不是 95%”可以从数据集难度和 human-level accuracy 角度解释反而能成为加分项。2.3 预训练模型的隐藏门槛图像归一化与尺寸对齐拿到权重文件只是第一步真正的坑在于输入数据的对齐方式。人脸表情识别模型在推理前必须把任意尺寸的彩色图片变成模型期望的输入张量。以_mini_XCEPTION为例load_model之后输入层 shape 是(None, 48, 48, 1)含义是批量大小不限、宽高 48 像素、单通道灰度图。如果用 OpenCV 的imread直接读彩色图送进去维度都对不上。我一般会做三步预处理先转灰度再缩放到 48x48最后归一化到[0,1]区间。缩放这一步往往是效果好坏的分水岭。直接用cv2.resize把整张图压扁人脸会被拉伸变形表情特征丢失严重。正确做法是先人脸检测得到人脸框后裁剪出人脸区域再对人脸区域做缩放。项目源码里的scan.gif和miaomiao.gif其实就是演示这个过程动态展示从原图框出人脸再到识别表情的连续效果。3. 源码运行全流程在Python环境里把表情识别跑起来3.1 环境准备Python版本、TensorFlow与Keras的兼容性搭配这份资源的运行环境并不玄学但版本搭配有讲究。.hdf5权重文件多数由 Python 3.6/3.7 配合 TensorFlow 2.x 或旧版 Keras 2.3 保存。考虑到当前主流环境推荐使用 Python 3.8 搭配 TensorFlow 2.4 到 2.6 之间的版本。太新的 TensorFlow 2.10 以上对旧版 hdf5 的兼容性会变差容易触发AttributeError我在第四章会讲具体现象。安装命令非常简单pip install tensorflow2.6.0 pip install opencv-python4.5.3.56 pip install h5py2.10.0注意h5py的版本这里锁定到 2.10.0 是有意的。很多同学用高版本h5py加载这份权重时报错本质是 HDF5 的编码方式从 Python 2 过渡到 Python 3 时发生了变化旧模型文件里的字符串需要按 byte 模式解码。h5py2.10.0兼容新旧两种格式是最稳妥的选择。3.2 输入图片与模型加载用cv2和numpy完成推理闭环环境准备好后写一段独立的推理脚本来验证模型是否正常。以下代码可以直接保存为test_inference.py放在和解压项目同级或任意自定义目录下import cv2 import numpy as np from tensorflow.keras.models import load_model # 加载预训练权重compileFalse表示不编译优化器推理阶段更快 # 如果加载报错尝试修改为 load_model(path, compileFalse) model load_model(_mini_XCEPTION.102-0.66.hdf5, compileFalse) # 定义七种表情标签必须与训练时的类别顺序一致 EMOTIONS [angry, disgust, fear, happy, sad, surprise, neutral] # 读取测试图片路径换成项目里的 happy1.jpeg img cv2.imread(happy1.jpeg) # 转为灰度图cvtColor第二个参数0表示 COLOR_BGR2GRAY gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 缩放到模型要求的48x48这里使用INTER_LINEAR插值 face cv2.resize(gray, (48, 48)) # 归一化到0~1区间模型训练时就是这么处理的 face face.astype(float32) / 255.0 # 增加batch维度从(48,48)变成(1,48,48) face np.expand_dims(face, axis0) # 增加通道维度从(1,48,48)变成(1,48,48,1) face np.expand_dims(face, axis-1) # 执行推理preds的形状是(1,7) preds model.predict(face)[0] # 取概率最大的索引 idx int(np.argmax(preds)) print(f识别结果: {EMOTIONS[idx]}, 置信度: {preds[idx]:.2f})这里每一步都有明确的维度意图。np.expand_dims是最容易漏的一环模型接收的输入永远是四维张量(batch, height, width, channels)。如果漏掉axis-1这一步输入变成三维Keras 会报ValueError: Input 0 of layer sequential is incompatible with the layer。运行这段代码如果输出happy且置信度高于 0.9说明权重加载和预处理链路都是通的。3.3 项目文件说明iml文件、测试图片与模型文件的用途源码包里的EmotionRecognition.iml会让不熟悉 IDE 的人困惑它本质是 IntelliJ IDEA 的模块描述文件。.iml内部记录了项目名称和依赖关系说明作者最初是用 PyCharm 或 IDEA 编写的代码。你用 PyCharm 打开项目根目录时IDE 会自动识别这个文件并恢复模块配置但它的存在不是运行的必要条件直接忽略不影响。bkg2.jpg是演示界面的背景图scan.gif和miaomiao.gif是用于增强展示效果的动图素材它们会在带 GUI 的源码里被读取。如果只想跑通识别逻辑不必加载这些资源。真正决定功能的是三个.hdf5权重文件和测试图片。surprised2.jpeg是用来验证惊讶表情识别的样本当你把代码里的图片路径替换成它模型应该输出surprise类别。建议你把三张测试图都依次推理一遍确认七分类模型中至少三个类别的输出符合直觉再考虑集成到完整项目里。4. 避坑实录模型加载、路径配置与推理结果的四个典型翻车现场4.1 坑一hdf5模型加载报错AttributeError问题的根源在h5py版本现象执行load_model(resnet.hdf5)时抛异常报错信息里有AttributeError: str object has no attribute decode。原因这个模型文件在序列化时使用了旧版 Keras内部把字符串属性存成了 Python 2 的字节码形态。新版h5py读取时会尝试用str.decode(utf-8)处理字节对象但新版将字符串默认读取为str类型调用decode方法自然失败。解决方法一降级h5py执行pip install h5py2.10.0。方法二在load_model时添加compileFalse参数虽然主要作用是跳过优化器加载但能规避一部分反序列化检查。我测试下来降级方案成功率最高。4.2 坑二工作目录不对导致找不到hdf5文件IDE运行和终端运行结果不一致现象在 PyCharm 里右键运行源码一切正常但切到终端用python main.py执行时提示No such file or directory: resnet.hdf5。原因PyCharm 默认把项目根目录设为工作目录而终端执行时工作目录是当前所在目录。源码里如果用的是相对路径resnet.hdf5终端里一旦不在项目根目录下运行就会找不到。解决把代码里的路径改成绝对路径或者统一在项目根目录下启动终端。还有一个更稳妥的方案在代码开头用os.chdir(os.path.dirname(__file__))强制切换脚本所在目录为准。这类问题在答辩演示时最容易现场翻车建议你提前用终端完整跑一遍。4.3 坑三图片缩放直接压扁人脸检测效果变差的真实原因现象用happy1.jpeg推理置信度很高但换到一张多人合照或者侧脸图片时识别结果完全不对。原因直接cv2.resize(img, (48, 48))会把整张图片的非人脸区域也塞进模型。FER2013 数据集里的图片是已经居中裁好的人脸而实际测试时拿到的照片包含背景、肩部、多人脸等干扰信息。模型在推理时接收到的特征分布和训练时严重不一致。解决先用人脸检测器框定人脸区域。项目源码里应该集成了基于 OpenCV 的 Haar Cascade 或类似检测逻辑但如果你单独写推理脚本建议加上一步检测face_cascade cv2.CascadeClassifier(cv2.data.haarcascades haarcascade_frontalface_default.xml) faces face_cascade.detectMultiScale(gray, scaleFactor1.1, minNeighbors5, minSize(48, 48)) if len(faces) 0: x, y, w, h faces[0] face_roi gray[y:yh, x:xw] face_roi cv2.resize(face_roi, (48, 48))scaleFactor1.1表示每次缩放窗口的比例minNeighbors5表示矩形框附近至少要有 5 个检测窗口才保留。这两个参数直接影响漏检和误检的平衡实际操作中如果检测不到人脸把minNeighbors降到 3 试试。4.4 坑四训练时灰度图与三通道网络的输入维度冲突现象自己在源码基础上改造成的 ResNet50 结构训练时报错ValueError: Input 0 of layer conv1 is incompatible with the layer: expected axis -1 of input shape to have value 3 but got shape (48, 48, 1)。原因Keras 官方applications.ResNet50的include_topFalse版本默认输入是(None, None, 3)但 FER2013 的训练图片只有 1 个通道。直接把灰度图喂进去维度就冲突了。解决使用模型前把单通道灰度图复制成三通道# gray形状为(48, 48)先转为(48, 48, 1) gray_3d np.expand_dims(gray, axis-1) # 按最后一个维度复制三份变成(48, 48, 3) img_3ch np.repeat(gray_3d, 3, axis-1)这样既保留 ResNet50 的预训练权重又兼容灰度数据集。另一种做法是自定义一个单通道的 ResNet 结构但那样无法加载 ImageNet 预训练权重训练时间会成倍增加。对期末项目来说复制通道是成本最低、效果最稳的方案。5. 换成自己的数据集微调模型ResNet全流程实战与参数调整5.1 准备自定义数据集目录结构、标签生成与生成器封装想要让大作业的含金量更高一个公认的加分项是用自己的数据集对模型做微调。比如下载一个公开的 RAF-DB 数据集或者自行采集一些头像图片。首先将数据集整理成如下标准目录结构train/ angry/ happy/ neutral/ ... validation/ angry/ happy/ neutral/ ...Keras 的ImageDataGenerator支持直接从这样的目录划分。需要注意通过这种方式读取图片时生成器默认产出三通道 RGB而这又绕回了灰度图的处理问题。我通常在数据增强后做一步转换。完整的生成器封装代码如下from tensorflow.keras.preprocessing.image import ImageDataGenerator # 数据增强配置旋转、平移、翻转 data_gen ImageDataGenerator( rotation_range10, width_shift_range0.1, height_shift_range0.1, horizontal_flipTrue, rescale1.0 / 255.0 ) train_generator data_gen.flow_from_directory( train/, target_size(48, 48), batch_size32, class_modecategorical, color_modergb # 统一输出三通道 )class_modecategorical代表多分类且标签做 One-Hot 编码color_modergb则保证输出符合预训练模型的输入要求。如果你的数据源是灰度图建议不要用color_modegrayscale因为后面直接对接 ResNet50 三通道输入会更顺滑。flow_from_directory会自动根据子目录名生成类别索引这个顺序会保存在train_generator.class_indices里推理时要确保标签顺序一致。5.2 模型微调代码实战冻结部分层并修改全连接输出微调的基础策略是冻结 ResNet50 底层的特征提取层只训练顶层。将预训练模型作为基座在输出后追加自定义分类头。示例如下from tensorflow.keras.applications import ResNet50 from tensorflow.keras.models import Model from tensorflow.keras.layers import Dense, GlobalAveragePooling2D from tensorflow.keras.optimizers import Adam # 使用ImageNet预训练权重不含顶部分类层 base_model ResNet50(weightsimagenet, include_topFalse, input_shape(48, 48, 3)) # 在基座后追加全局池化和全连接层 x base_model.output x GlobalAveragePooling2D()(x) # 中间层维度设为128ReLU激活 x Dense(128, activationrelu)(x) # 输出层7个类别Softmax激活 predictions Dense(7, activationsoftmax)(x) model Model(inputsbase_model.input, outputspredictions) # 冻结base_model所有层只训练新添加的全连接层 for layer in base_model.layers: layer.trainable False model.compile(optimizerAdam(learning_rate0.001), losscategorical_crossentropy, metrics[accuracy])这里冻结全部基座层是安全性最高的选择因为 ResNet50 本身参数量达 2500 万在一个几千张图片的小数据集上解冻太多层极容易过拟合。GlobalAveragePooling2D的作用是把最后一个卷积层的输出转成向量和Flatten相比它参数更少且不易过拟合。训练时先用小学习率 0.001 进行 10 个 epochs如果验证集准确率不再提升再解冻最后几个残差块重新训练。这个“两步走”策略在期末答辩时会比较加分能体现你对迁移学习的理解。5.3 训练参数的血泪经验学习率、Batch Size与早停的必要性我踩过最深的一个坑是学习率设置过高导致 loss 直接发散。在微调阶段Adam优化器默认学习率是0.001这在训练新全连接层时没问题但解冻预训练层后这个学习率会迅速打乱原来学到的特征。第二次微调时我一般将学习率降到0.0001再用ReduceLROnPlateau动态调节。Batch Size 的选择也直接影响训练效果。FER2013 数据集本身只有三万张图片我习惯用batch_size32或64。如果你的显存不够8GB 显存跑 32 的 batch 是安全的再往下调到 16 也还能接受。Batch Size 太小会使梯度的噪声变大模型抖动剧烈训练曲线很毛糙。早停是应对过拟合的后悔药。Keras 提供了EarlyStopping回调监控验证集 lossfrom tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau early_stop EarlyStopping(monitorval_loss, patience5, restore_best_weightsTrue) reduce_lr ReduceLROnPlateau(monitorval_loss, factor0.5, patience3, min_lr1e-6) # 训练时传入回调列表 history model.fit( train_generator, validation_dataval_generator, epochs50, callbacks[early_stop, reduce_lr] )patience5表示连续 5 个 epoch 验证集 loss 不下降就停止restore_best_weightsTrue会在停止时自动恢复最优权重。这个参数组合能避免你守着模型跑一整晚的尴尬。在那之后我每次训练新模型都会强制检查一遍有没有带早停回调没有的话绝不按下开始按钮。6. 进阶玩法把单张图片推理改成摄像头实时检测6.1 用OpenCV读取摄像头并复用同一个模型单张图片的推理已经通了下一步把它升级为摄像头实时检测这份大作业的演示效果会瞬间提升一个档次。实时的核心逻辑是循环读取每一帧分别做检测和分类。完整代码片段如下import cv2 import numpy as np from tensorflow.keras.models import load_model model load_model(_mini_XCEPTION.102-0.66.hdf5, compileFalse) EMOTIONS [angry, disgust, fear, happy, sad, surprise, neutral] # 打开默认摄像头0代表第一个USB摄像头 cap cv2.VideoCapture(0) if not cap.isOpened(): print(无法打开摄像头) exit() while True: ret, frame cap.read() if not ret: break gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) face_cascade cv2.CascadeClassifier(cv2.data.haarcascades haarcascade_frontalface_default.xml) faces face_cascade.detectMultiScale(gray, scaleFactor1.1, minNeighbors5, minSize(48, 48)) for (x, y, w, h) in faces: face_roi gray[y:yh, x:xw] face_roi cv2.resize(face_roi, (48, 48)) face_roi face_roi.astype(float32) / 255.0 face_roi np.expand_dims(np.expand_dims(face_roi, axis0), axis-1) preds model.predict(face_roi)[0] idx int(np.argmax(preds)) label EMOTIONS[idx] cv2.rectangle(frame, (x, y), (xw, yh), (0, 255, 0), 2) cv2.putText(frame, label, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2) cv2.imshow(Real-time Emotion Recognition, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()6.2 逐帧处理的性能优化跳帧与缩小推理尺寸上面的代码可以运行但会有明显的卡顿感核心瓶颈在于detectMultiScale对每一帧进行全图扫描。我的习惯做法是将输入帧缩小到原来的四分之一再做检测同时每隔一帧才做一次完整检测推理。代码可以这样调整# 缩小到640x360降低检测计算量 frame_small cv2.resize(frame, (640, 360)) gray_small cv2.cvtColor(frame_small, cv2.COLOR_BGR2GRAY) frame_count 1 if frame_count % 3 ! 0: # 跳过当前帧的处理逻辑直接进入下一次循环 continue跳帧策略很简单视频帧率通常 30fps即使你只处理三分之一的帧人眼的感知延迟也基本察觉不到但 CPU 占用率会显著下降。在笔记本自带摄像头上这一套组合参数能跑出约 25fps 的流畅度。实战中如果你的机器性能极差进一步把缩放目标降到 320x240同时把minNeighbors从 5 调到 3牺牲少量准确率来避免漏检连续帧中的快速动作。最后提醒一句摄像头实时检测对光线环境极其敏感教室或宿舍的顶灯直射会导致人脸区域过曝推理置信度明显下降。答辩那天保持摄像头正对光源方向效果稳定很多。这套代码带着实测路径走了完整的一遍从那以后我每次接摄像头项目都强制先做一次灰度检测和小型化预览确认没有漏检才继续写后续业务逻辑。希望帮到你。本文还有配套的精品资源点击获取