拓冰网站定制 
简介面向计算机相关专业毕业设计、课程设计与期末大作业的完整项目基于卷积神经网络CNN实现疲劳驾驶识别检测适合需要从零搭建系统、理解模型训练与部署流程的本科生或实战学习者。压缩包共37个文件总大小约500.41MB以16个Python脚本、3个PyTorch权重文件、5张检测效果图为代表涵盖模型结构定义、数据增强、损失函数、VOC格式数据处理、训练测试以及摄像头/视频实时检测等环节并附带独立数据集压缩包和介绍说明。目前已有128人浏览学习。项目经导师指导认可评审98分结构清晰可直接运行或二次改进从预训练权重加载、SSD与VGG网络搭建到疲劳状态分类均给出对应代码实现便于读者掌握卷积神经网络在图像识别任务中的完整落地方法。1. 基于卷积神经网络CNN的疲劳驾驶识别检测系统毕设怎么做才不翻车做毕设想选“疲劳驾驶检测”的同学多半是看中了它“场景真实、技术路线清晰、能跑出演示效果”这三点。一个基于卷积神经网络CNN的疲劳驾驶识别检测系统本质上要解决的是从摄像头画面里实时判断驾驶员是否闭眼、是否打哈欠再综合这两路信号给出疲劳等级。它不像目标检测那样动辄几十个类别也不像人脸识别那样要搞特征库技术栈收敛在“人脸检测 眼部/嘴部分类 时序判定”这条线上非常适合作为高校毕设的完整项目。但这里有一个反直觉的结论这个项目真正的难点不在CNN模型本身而在数据集怎么凑、眼睛和嘴巴区域怎么稳定地裁剪出来、以及疲劳判定阈值怎么设才不会被答辩老师一句话问倒。很多同学直接拿开源数据集训练一个分类模型就以为完事了结果一到现场演示就露馅——人脸角度偏一点就检测不到眼睛或者戴眼镜的同学直接被系统判定为“永远清醒”。这篇笔记按我实际做过这类项目的思路从方案选型、数据准备、模型训练到系统集成完整拆开讲每个步骤给可复现的代码和参数最后把最容易踩的坑一次说清。2. 疲劳检测的两种技术路线为什么CNN方案是毕设的最优解2.1 传统图像处理方案的限制为什么不能只靠EAR和MAR做疲劳驾驶检测最早也是最经典的方法是基于人脸关键点的几何特征。具体做法是用dlib或MediaPipe提取人脸68个关键点然后计算眼睛纵横比EAR和嘴巴纵横比MAR。眼睛睁着的时候EAR大约在0.25到0.3之间闭眼时这个值会掉到0.1以下打哈欠时嘴巴的MAR值会明显拉高。这套逻辑简单直接十几行代码就能跑通早期很多毕设就是这么做的。但这个方案的硬伤在于对关键点检测质量极度敏感。人脸稍微侧偏、光线暗一点、或者驾驶员戴着墨镜dlib的关键点就会飘EAR值的波动会被放大好几倍误报率居高不下。另一个问题是阈值需要针对每个用户单独调不同人眼睛大小不一样同一个EAR阈值对单眼皮和双眼皮的人表现完全不同。这些不确定因素叠加起来就是现场演示翻车的高发区。CNN方案绕开了“手工设计几何特征”这一步。它的思路更直接不去算眼睛有多宽多高而是把眼睛区域的图像直接喂给卷积神经网络让网络自己学习“睁眼”和“闭眼”在像素层面长什么样。这样一来对关键点定位误差的容忍度大大提升——即使人脸检测框偏移几个像素只要眼睛区域大致被框住分类结果依然稳定。这也是为什么现在主流方案几乎都转向CNN。2.2 CNN方案的系统组成和模块划分一个完整的基于CNN的疲劳驾驶识别检测系统按数据流向可以拆成四个模块。第一个是人脸检测模块负责在视频帧里找到人脸位置第二个是面部区域裁剪模块根据人脸关键点把人脸区域进一步划分出左眼、右眼和嘴巴三个子区域第三个是CNN分类模块分别对眼睛和嘴巴的图像做二分类或三分类输出“睁眼/闭眼”和“正常/打哈欠”第四个是疲劳判定模块统计一段时间内的闭眼比例和哈欠频率按规则输出疲劳等级。这个架构的好处是每个模块都可以独立替换和优化。人脸检测可以用OpenCV自带的DNN检测器也可以换成MTCNN或者YOLOv8缩小版眼睛分类CNN可以用自己训练的模型也可以微调MobileNet。毕设答辩时这种模块化设计本身就是加分项老师问“你的系统是怎么组织的”你可以很清楚地把数据流讲出来。2.3 模型选型对比自建小型CNN vs MobileNet微调确定了CNN路线之后下一个选择是网络结构。很多同学一上来就想用ResNet50这种大模型觉得越深越准。但对于眼部图像分类这种任务这属于明显的过设计。眼睛区域裁剪出来后通常只有24x24或32x32像素本身的纹理信息非常有限深层网络在这里发挥不出优势反而拖慢推理速度还容易在小数据集上过拟合。我一般推荐两条路。第一条是从零训练一个3到4层卷积的小型CNN参数量控制在几十万级别在几千张眼部图像上就能训练到95%以上的准确率。第二条是拿MobileNetV2或EfficientNetB0做迁移学习冻结前几层只训练分类头适合数据集比较充足的情况。两条路对于毕设都可行前者更能体现你对CNN原理的理解——每一层卷积在干什么、池化为什么能降维、全连接层为什么容易过拟合这些都是答辩高频问题。3. 数据集构建与预处理从开源数据集到自采集扩充的完整路径3.1 开源数据集选型NTHU-DDD与Closed Eyes in the Wild怎么选疲劳驾驶检测领域有几个常用的公开数据集毕设阶段最常被提及的是NTHU-DDD国立清华大学驾驶数据集和CEWClosed Eyes in the Wild。NTHU-DDD是专门为驾驶场景采集的视频数据集包含不同人种、不同光照、是否戴眼镜等条件但它提供的是视频帧需要自己从中抽帧并标注眼睛和嘴巴区域工作量比较大。CEW则是静态图像数据集专门用于闭眼检测包含睁眼和闭眼两类样本图像已经是裁剪好的眼部区域拿来即用。我实际做的时候建议把两个都用上。NTHU-DDD的视频帧用于模拟真实驾驶场景尤其是光照变化和头部姿态变化CEW作为眼部分类模型的补充训练集增加样本多样性。如果导师要求必须有“自采数据”可以自己用手机前置摄像头录制几段模拟驾驶视频每段几十秒涵盖正常驾驶、频繁眨眼、打哈欠三种状态然后用脚本自动抽帧并裁剪。3.2 眼部与嘴部区域的自动裁剪用dlib关键点定位的代码实现拿到原始图像或视频帧之后第一步是把人脸检测出来第二步是用人脸关键点定位眼睛和嘴巴。这里我推荐用dlib的68点模型虽然它速度不如MediaPipe快但关键点定位的稳定性在正脸场景下是很可靠的而且代码逻辑清晰适合写进毕设文档。import cv2 import dlib import os from imutils import face_utils # 初始化dlib的人脸检测器和68点关键点预测器 detector dlib.get_frontal_face_detector() predictor dlib.get_model_predictor(shape_predictor_68_face_landmarks.dat) def crop_eye_and_mouth(image_path, output_dir, prefix): 从单张图像中裁剪出左眼、右眼和嘴巴区域 image_path: 输入图像路径 output_dir: 裁剪结果的输出目录 prefix: 文件名前缀用于区分不同来源 img cv2.imread(image_path) if img is None: return gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces detector(gray, 0) for i, face in enumerate(faces): landmarks predictor(gray, face) landmarks face_utils.shape_to_np(landmarks) # 左眼区域关键点36到41 left_eye landmarks[36:42] # 右眼区域关键点42到47 right_eye landmarks[42:48] # 嘴巴区域关键点48到59包含内外唇 mouth landmarks[48:60] # 计算每个区域的边界框并向外扩展5个像素作为padding for name, region in [(left_eye, left_eye), (right_eye, right_eye), (mouth, mouth)]: x_min max(0, region[:, 0].min() - 5) y_min max(0, region[:, 1].min() - 5) x_max min(img.shape[1], region[:, 0].max() 5) y_max min(img.shape[0], region[:, 1].max() 5) crop img[y_min:y_max, x_min:x_max] # 统一缩放到固定尺寸方便后续训练 crop_resized cv2.resize(crop, (32, 32), interpolationcv2.INTER_AREA) save_path os.path.join(output_dir, f{prefix}_{name}_{i}.jpg) cv2.imwrite(save_path, crop_resized)这段代码的逻辑是先用dlib检测人脸拿到68个关键点的坐标数组然后按索引区间把左眼、右眼和嘴巴的坐标点取出来分别计算外接矩形。关键点索引对应关系是dlib官方定义好的标准36到41是左眼轮廓点42到47是右眼轮廓点48到59是嘴巴区域。裁剪时向外扩展5个像素是为了避免关键点定位偏差导致边缘被切掉。统一缩放到32x32是因为这个尺寸足以保留眼睛和嘴巴的判别性特征同时让CNN输入层设计更简单。这里有一个参数值得注意扩展的像素数。如果检测到的人脸很小5个像素的扩展比例就很大可能把眉毛或者鼻子也框进来如果人脸很大5个像素又显得不够。常见做法是根据人脸框的宽度做动态扩展比如按人脸宽度的2%来计算。你可以自己试一下不同的值观察裁剪结果再定。3.3 数据标注与样本平衡闭眼样本不够怎么办裁剪完之后就要对样本打标签了。眼睛区域分成两类——open和closed嘴巴区域分成两类——normal和yawn。如果用的是NTHU-DDD的视频帧可以按视频的标注信息自动打标签如果是自采数据就得手工筛选了。这里最容易出的问题是类别不平衡。一个人正常驾驶的视频里95%的时间眼睛是睁着的闭眼和打哈欠的帧数很少。如果直接拿这些数据训练模型会学成一个“永远输出睁眼”的懒惰分类器因为这样已经能拿到很高的准确率了。解决的办法有三个一是对闭眼和打哈欠的样本做数据增强比如随机旋转、亮度调整、水平翻转二是用OpenCV的摄像头录制“模拟闭眼”和“模拟打哈欠”的视频片段故意多采集这些状态三是使用Focal Loss这种处理类别不平衡的损失函数。毕设场景下前两种方法就够用了第三种可以作为论文里的改进点来写。import cv2 import numpy as np def augment_samples(image, label, output_dir, prefix): 对眼部/嘴部图像做数据增强扩增少数类样本 augmented [] # 1. 随机亮度调整模拟不同光照条件 hsv cv2.cvtColor(image, cv2.COLOR_BGR2HSV) hsv[:, :, 2] np.clip(hsv[:, :, 2] np.random.randint(-40, 40), 0, 255) augmented.append(cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)) # 2. 随机水平翻转因为左右眼本身是对称的 if np.random.random() 0.5: augmented.append(cv2.flip(image, 1)) # 3. 小角度旋转模拟头部微动 rows, cols image.shape[:2] angle np.random.randint(-10, 10) matrix cv2.getRotationMatrix2D((cols/2, rows/2), angle, 1) augmented.append(cv2.warpAffine(image, matrix, (cols, rows))) for j, img in enumerate(augmented): save_path os.path.join(output_dir, f{prefix}_{label}_aug{j}.jpg) cv2.imwrite(save_path, img)增强操作里亮度调整是最关键的因为驾驶场景的光照变化非常大隧道、树荫、对向车灯都会让图像亮度突变。水平翻转只适用于眼睛和嘴巴——它们是近似左右对称的但如果你以后扩展到手部动作识别之类的任务就不能随便翻转了。旋转角度控制在正负10度以内超过这个范围眼睛的形状就会因为透视关系发生不自然的畸变。4. CNN模型设计与训练从网络结构到训练参数一次说清4.1 网络结构设计3层卷积如何撑起一个分类任务对于输入尺寸为32x32的单通道灰度图我常用的网络结构是3层卷积加2层全连接。第一层卷积用16个3x3卷积核提取边缘和纹理等低级特征第二层用32个3x3卷积核组合出眼睛轮廓、瞳孔位置这类中级特征第三层用64个3x3卷积核进一步抽象出“睁眼”和“闭眼”的判别性模式。每层卷积后面接一个2x2的最大池化把特征图的尺寸从32x32逐步降到4x4同时保留最重要的响应。最后展平后接一个64维的全连接层再输出到2个类别的softmax层。这个结构的参数量大概在几十万这个量级在一台普通笔记本的CPU上推理一帧只需要几毫秒完全满足实时性要求。为什么不用5层卷积因为32x32的输入太小了每做一次卷积和池化特征图的尺寸就减半一次3层池化以后已经只剩4x4了再加卷积层就没有足够的空间做有效卷积了。这也是为什么输入尺寸直接影响网络深度——如果你想加深网络就得先把输入图像放大到64x64或更大。4.2 训练代码PyTorch实现与关键超参数设置import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, Dataset import os from PIL import Image class EyeCNN(nn.Module): 用于眼部睁闭眼分类的小型卷积神经网络 def __init__(self, num_classes2): super(EyeCNN, self).__init__() self.conv_layers nn.Sequential( nn.Conv2d(1, 16, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), ) self.fc_layers nn.Sequential( nn.Linear(64 * 4 * 4, 64), nn.ReLU(), nn.Dropout(0.5), nn.Linear(64, num_classes) ) def forward(self, x): x self.conv_layers(x) x x.view(x.size(0), -1) x self.fc_layers(x) return x class ImageFolderDataset(Dataset): 从文件夹读取图像文件夹名即标签 def __init__(self, root_dir, transformNone): self.root_dir root_dir self.transform transform self.classes sorted(os.listdir(root_dir)) # [closed, open] self.samples [] for label_idx, class_name in enumerate(self.classes): class_dir os.path.join(root_dir, class_name) for img_name in os.listdir(class_dir): self.samples.append((os.path.join(class_dir, img_name), label_idx)) def __len__(self): return len(self.samples) def __getitem__(self, idx): img_path, label self.samples[idx] img Image.open(img_path).convert(L) # 转灰度图 img img.resize((32, 32)) img_tensor torch.tensor(np.array(img), dtypetorch.float32) / 255.0 img_tensor img_tensor.unsqueeze(0) # 增加通道维 return img_tensor, label # 训练参数配置 BATCH_SIZE 32 # 批大小显卡显存小就调小到16 LEARNING_RATE 0.001 # 学习率Adam优化器常用1e-3 EPOCHS 30 # 训练轮数小数据集30轮足够收敛 DEVICE torch.device(cuda if torch.cuda.is_available() else cpu) train_dataset ImageFolderDataset(data/eye_train) train_loader DataLoader(train_dataset, batch_sizeBATCH_SIZE, shuffleTrue) model EyeCNN().to(DEVICE) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lrLEARNING_RATE) for epoch in range(EPOCHS): running_loss 0.0 for inputs, labels in train_loader: inputs, labels inputs.to(DEVICE), labels.to(DEVICE) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() print(fEpoch {epoch1}/{EPOCHS}, Loss: {running_loss/len(train_loader):.4f})训练代码中几个参数的取舍值得展开说。批大小32是一个中庸的选择如果你的电脑没有独立显卡用CPU训练时建议调到16否则一次前向传播等待时间太长反过来如果有显存充裕的显卡调到64可以略微加速收敛。学习率用0.001是Adam优化器的默认推荐值这个数值在大多数小型分类任务上都不会出大问题。如果你发现loss在训练后期震荡不下降可以把学习率降到0.0003再继续训练几轮。最后那个Dropout(0.5)不是可有可无的。这个小模型的参数量相对于数据集来说依然偏大不加Dropout的话训练集准确率能到99%但验证集只有85%这就是典型的过拟合信号。Dropout在训练时随机丢弃一半的神经元迫使网络学到更鲁棒的特征而不是依赖某几个特定的神经元组合。4.3 训练集与验证集划分随机划分还是按人划分这里有一个很多同学会忽略的问题数据集划分的方式会直接影响你汇报的模型准确率是否可信。如果所有图片都来自同一个人的视频抽帧随机划分训练集和验证集的话同一个人同一段视频的相邻帧很可能分布在两边模型相当于“见过”了验证集的内容验证准确率会虚高。正确的做法是按人划分。把不同受试者的数据分开比如A、B、C三个人的数据用于训练D、E两个人的数据用于验证。这样模型在验证时面对的是完全没见过的“人”测试结果才能反映真实场景下的泛化能力。毕设论文里如果能写清楚这一层考虑答辩老师会觉得你是真的理解机器学习的基本方法论而不是只会跑代码。5. 系统集成与实时检测把模型串成一套能演示的完整流程5.1 检测主循环摄像头帧处理与人脸检测的协同模型训练好之后下一步是把所有模块串成一套实时检测程序。主循环的逻辑是这样的从摄像头读取一帧图像先用OpenCV的DNN人脸检测器定位人脸然后对人脸区域提取关键点并裁剪眼睛和嘴巴分别送入两个CNN模型做分类最后把分类结果交给疲劳判定模块更新状态。整体用OpenCV的VideoCapture循环驱动每处理一帧计算一次FPS。import cv2 import torch import numpy as np # 加载训练好的模型 eye_model EyeCNN(num_classes2) eye_model.load_state_dict(torch.load(eye_model.pth)) eye_model.eval() # 使用OpenCV DNN人脸检测器 face_detector cv2.FaceDetectorYN_create( face_detection_yunet_2023mar.onnx, , (320, 320) ) # 疲劳状态统计变量 CLOSED_THRESHOLD 0.5 # 闭眼概率阈值 CLOSED_FRAMES_MAX 10 # 连续闭眼帧数阈值 closed_frames 0 yawn_frames 0 fatigue_level 正常 cap cv2.VideoCapture(0) while True: ret, frame cap.read() if not ret: break # 人脸检测输入BGR图像输出人脸框和关键点 faces face_detector.detect(frame) if faces[1] is not None: for face in faces[1]: # face格式: [x, y, w, h, 5个关键点坐标...] x, y, w, h face[:4].astype(int) # 关键点索引0-左眼中心, 1-右眼中心, 2-鼻尖 left_eye_center face[4:6].astype(int) right_eye_center face[6:8].astype(int) # 以眼睛中心为基准裁剪固定大小的眼部区域 eye_size int(w * 0.3) left_eye_img frame[ left_eye_center[1]-eye_size//2:left_eye_center[1]eye_size//2, left_eye_center[0]-eye_size//2:left_eye_center[0]eye_size//2 ] # 预处理灰度化、缩放、归一化 left_eye_gray cv2.cvtColor(left_eye_img, cv2.COLOR_BGR2GRAY) left_eye_resized cv2.resize(left_eye_gray, (32, 32)) left_eye_tensor torch.tensor(left_eye_resized, dtypetorch.float32).unsqueeze(0).unsqueeze(0) / 255.0 # CNN推理 with torch.no_grad(): output eye_model(left_eye_tensor) probability torch.softmax(output, dim1) closed_prob probability[0][1].item() # 闭眼判定概率大于阈值则视为闭眼 if closed_prob CLOSED_THRESHOLD: closed_frames 1 else: closed_frames 0 # 疲劳状态判定 if closed_frames CLOSED_FRAMES_MAX: fatigue_level 疲劳驾驶 else: fatigue_level 正常 cv2.putText(frame, fatigue_level, (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2) cv2.imshow(Fatigue Detection, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()这个主循环里最关键的参数是CLOSED_FRAMES_MAX它表示连续多少帧检测到闭眼才判定为疲劳。设得太小比如3帧摄像头前的一次普通眨眼就会被误判成疲劳设得太大比如30帧真实疲劳时系统反应太慢。10帧是一个在30FPS摄像头下约0.33秒的窗口正好能区分普通眨眼和持续性闭眼。这个值你可以根据自己的摄像头帧率微调帧率越高可以适当调大。这里有一个值得指出的设计思路单帧的CNN分类结果是不做疲劳判定的直接依据的因为人本来就会眨眼。疲劳驾驶的本质是“闭眼持续时间过长”或“闭眼频率异常升高”这天然是一个时序问题。因此用连续帧的累计统计来做最终判定比单帧硬分类要合理得多。5.2 PERCLOS指标的引入疲劳判定从定性到定量如果想让系统更有说服力可以引入PERCLOS指标。PERCLOS的全称是Percentage of Eye Closure即单位时间内眼睛闭合时间所占的百分比这是驾驶疲劳研究领域公认的客观指标。具体计算方式是在一个时间窗口内统计闭眼帧数占总帧数的比例。实际实现时我一般设置一个滑动窗口窗口长度是30秒或1分钟窗口内累计闭眼帧数然后计算PERCLOS值。当PERCLOS超过某个阈值比如0.15就意味着在30秒内有超过4.5秒的时间眼睛是闭着的这在驾驶场景下已经是非常危险的疲劳状态了。把PERCLOS和连续闭眼帧数两个指标结合起来一个用于捕捉短期危险行为一个用于评估中期疲劳趋势系统就完整多了。# 滑动窗口计算PERCLOS from collections import deque WINDOW_SIZE 30 * 30 # 30秒假设30FPS perclos_window deque(maxlenWINDOW_SIZE) # 在每一帧推理之后更新 perclos_window.append(1 if closed_prob CLOSED_THRESHOLD else 0) if len(perclos_window) WINDOW_SIZE: perclos_value sum(perclos_window) / WINDOW_SIZE if perclos_value 0.15: fatigue_level 重度疲劳 elif perclos_value 0.08: fatigue_level 轻度疲劳 else: fatigue_level 正常这里用deque来实现滑动窗口是一个很实用的技巧它的最大长度固定新元素加入时自动弹出最老的元素不需要手动管理数组下标。PERCLOS的阈值0.15和0.08是我个人测试下来比较合理的经验值但不同光照和摄像头角度下会有偏差你可以收集一些正常驾驶和模拟疲劳驾驶的数据画出PERCLOS的分布曲线后再定阈值。5.3 界面与展示用PyQt5还是纯OpenCV毕设的展示环节通常需要有一个界面两种常见做法是纯OpenCV的绘图函数和PyQt5构建的桌面应用。纯OpenCV的好处是代码量极小所有绘制都在图像帧上完成演示时直接全屏播放处理后的视频流就行坏处是交互能力差不能做登录、历史记录查询、设置面板这类功能。如果导师对软件工程有要求建议上PyQt5。主窗口左侧放实时视频预览右侧放状态面板显示当前疲劳等级、PERCLOS数值、检测到的眼睛和嘴巴区域的裁剪图。下面可以加一个时间轴把过去一分钟的PERCLOS变化曲线画出来让疲劳趋势可视化。PyQt5里嵌入OpenCV的视频流核心是用QTimer定时器触发读取帧和更新QLabel的图像线程模型上注意不要在GUI线程里跑CNN推理否则界面会卡顿。用QThread把检测逻辑放到子线程通过信号槽把处理完的帧传回主线程显示这是标准做法。6. 训练和部署中的5个常见问题现象、原因与解决6.1 模型对戴眼镜的人失效训练数据缺了眼镜样本现象系统对不戴眼镜的人检测准确一旦用户戴上眼镜眼睛区域经常被误判为闭眼或者完全检测不到眼睛。原因三个层面的问题叠加。一是dlib关键点在眼镜框遮挡下可能定位偏移导致裁剪出的眼部区域包含大量镜框像素二是训练数据里没有包含戴眼镜的闭眼样本CNN没有见过“眼镜闭眼”的组合模式三是眼镜镜片反光会在眼睛区域产生高光噪声干扰CNN的卷积特征提取。解决数据层面采集数据时特意让受试者分别戴框架眼镜、不戴眼镜、戴墨镜各录一段视频三种状态的样本都要覆盖。算法层面如果检测到关键点定位不可靠可以把裁剪区域适当扩大让模型看到更多上下文信息而不只是瞳孔区域。部署层面在界面上加一个“是否戴眼镜”的开关切换不同的CNN模型权重这算是一种工程妥协但毕设演示足够用。6.2 训练准确率高但现场演示翻车过拟合与光照泛化的双重问题现象训练集准确率98%验证集96%但拿到摄像头前实测稍微偏头或者光线暗一点就开始乱报。原因这是典型的过拟合问题只是你没意识到验证集也有相同的“偏好”。如果验证集和你训练集来自同一批采集环境光照条件、摄像头型号、人脸角度都相似模型根本没有机会学到对这些变化的鲁棒性。一旦现场演示的光照和采集环境变了模型的准确率就会掉到难以接受的水平。解决最好的办法是在训练前对数据做更强的在线增强——随机调整亮度、对比度、饱和度随机添加高斯噪声模拟摄像头传感器噪声。另一个有效的操作是把自己实验室的摄像头录一段测试视频把这段视频的帧也加入训练数据这叫“目标域数据扩充”虽然学术上不够优雅但非常实用。演示当天提前到场用现场的摄像头和光线重新采集30秒数据混合到训练集里重训2到3个epoch往往能救回很大的准确率。6.3 摄像头帧率低导致系统卡顿推理瓶颈不在CNN现象程序跑起来CPU占用接近100%画面明显不流畅目测只有个位数帧率。原因很多人直觉以为是CNN模型太慢但实际上瓶颈通常出在dlib的关键点检测上。dlib的68点模型在CPU上单帧推理大约需要30到50毫秒而CNN分类只需要2到3毫秒。人脸检测、关键点定位、两次CNN分类加起来总耗时就到了50毫秒以上帧率自然上不去。解决先做性能分析确认瓶颈在哪常见做法是分别在每个模块前后打印时间戳。然后有两个优化方向。第一关键点检测不需要每帧都做——人脸在连续帧间的运动是平滑的可以每隔3帧做一次关键点检测中间几帧直接复用上一次的关键点坐标做区域裁剪。第二把dlib换成MediaPipe的FaceMesh它在CPU上的速度比dlib快3到5倍而且能输出更多人脸关键点。这两个优化叠加之后帧率基本能回到20FPS以上。6.4 眼睛区域裁剪偶尔出现空图或越界数组边界的经典bug现象程序运行中出现偶发崩溃OpenCV报错“index out of bounds”或者训练数据里混入了一些全黑的、完全没有内容的图片。原因关键点检测偶尔会给出超出图像边界的坐标尤其当人脸贴近画面边缘的时候。裁剪代码里用的是x_min region[:, 0].min() - 5如果原始关键点x坐标已经是0减5就变成负值直接赋值给NumPy数组切片的起始索引就崩溃了。另外人脸检测器漏检时关键点数组可能是空的直接访问就会报错。解决在裁剪前后做防御性检查。裁剪前把边界框和图像尺寸做clip操作确保x_min不小于0、x_max不大于图像宽度裁剪后检查返回的图像数组是否为空或者全黑如果是就跳过这一帧不要写入数据集。这是一个很小的修改但能避免掉训练过程中因为个别坏样本导致的整体崩溃。6.5 闭眼样本和哈欠样本混淆嘴巴CNN模型准确率上不去现象眼睛分类模型很好训练但嘴巴分类模型的准确率一直卡在85%左右排查发现打哈欠的图片里经常带出下巴和鼻子区域而正常说话的图片嘴巴形状又变化很大。原因嘴巴区域的语义边界比眼睛模糊得多。打哈欠和说话、咀嚼在嘴型上的差别不是二分类能简单区分的更重要的是裁剪区域如果只包含嘴唇而缺少下巴的牵拉信息模型很难判断嘴是“张开”还是“正在张开的途中”。解决两个调整方向。第一把嘴巴分类从二分类改成三分类——正常、微张、打哈欠微张嘴作为中间态可以减少正常说话和打哈欠之间的硬边界误判。第二扩大嘴巴裁剪区域把下巴区域也包含进来让模型能利用到下巴下沉这个哈欠的强特征。如果这样做之后仍然有混淆可以在时序上做后处理——哈欠的持续时间通常大于1秒单帧被分类为哈欠不立即触发计数连续若干帧都是哈欠才累加这个逻辑和眼睛的连续闭眼判断是同一个思想。7. 进阶优化与答辩亮点用时序建模和模型量化提升项目含金量在当前这个基线系统基础上有三件事能让你的毕设从“能跑”升级到“有亮点”。第一件是把单帧的CNN输出组装成时间序列用LSTM或1D卷积再做一个时序分类模型。眼睛和嘴巴的CNN每帧输出一个概率向量把连续30帧的概率向量拼接起来形成一个长度为30、维度为4的时序特征序列然后用LSTM学习“闭眼持续多久算疲劳”“哈欠出现频率多高算危险”这些时间模式。这样做的好处是整个系统的决策逻辑也是学习出来的而不是靠手工阈值论文里可以写的创新点就多了空间特征提取用CNN、时序建模用LSTM、两者联合训练。第二件是模型轻量化。把训练好的CNN模型做INT8量化用PyTorch的torch.quantization库或ONNX Runtime的量化接口模型体积可以从原来的几十MB压到几MB推理速度提升2到3倍。这对毕设来说是一个很直观的加分项——你可以现场展示量化前后模型大小和帧率的对比数据。量化操作本身就是一个细致的工程需要对每一层做校准但PyTorch已经把这套流程封装得足够友好了花一个下午就能跑通。第三件是把误报率量化出来。在答辩时不要只说准确率95%而是给出一个完整的混淆矩阵并且说明哪些样本被误判了、为什么被误判。例如“有8%的闭眼样本被误判为睁眼主要原因是测试者眼睛较小且戴了深色镜框”这种分析能体现你对模型行为的深入理解比单纯堆数字更有说服力。我做这类项目最大的教训是不要等全部代码写完才测试整体效果。先把摄像头打开随手拍一段自己正常看屏幕、揉眼睛、打哈欠的视频用这个视频跑一遍最粗糙的模型——哪怕只有60%的准确率——然后根据错误案例反推数据问题。你可能会发现自己的模型在揉眼睛的时候疯狂报警因为手遮住眼睛时裁剪区域里全是皮肤纹理。这个case靠调参永远解决不了只能把“遮挡”加成一个新的训练类别。尽早跑通端到端流程尽早暴露问题这个习惯帮我避开了无数次最后一周疯狂改bug的窘境。现在的系统已经能稳定运行但我知道它距离真正可用的产品还有距离——比如夜间红外场景下模型会不会失效比如驾驶员戴着口罩那嘴巴分类该怎么办。这些方向的探索其实也是你毕设论文里“未来展望”部分最真实的素材。希望这篇拆解能帮你把毕设做扎实少走几个月弯路。本文还有配套的精品资源点击获取 基于CNN的疲劳驾驶识别检测系统设计与实践
简介面向计算机相关专业毕业设计、课程设计与期末大作业的完整项目基于卷积神经网络CNN实现疲劳驾驶识别检测适合需要从零搭建系统、理解模型训练与部署流程的本科生或实战学习者。压缩包共37个文件总大小约500.41MB以16个Python脚本、3个PyTorch权重文件、5张检测效果图为代表涵盖模型结构定义、数据增强、损失函数、VOC格式数据处理、训练测试以及摄像头/视频实时检测等环节并附带独立数据集压缩包和介绍说明。目前已有128人浏览学习。项目经导师指导认可评审98分结构清晰可直接运行或二次改进从预训练权重加载、SSD与VGG网络搭建到疲劳状态分类均给出对应代码实现便于读者掌握卷积神经网络在图像识别任务中的完整落地方法。1. 基于卷积神经网络CNN的疲劳驾驶识别检测系统毕设怎么做才不翻车做毕设想选“疲劳驾驶检测”的同学多半是看中了它“场景真实、技术路线清晰、能跑出演示效果”这三点。一个基于卷积神经网络CNN的疲劳驾驶识别检测系统本质上要解决的是从摄像头画面里实时判断驾驶员是否闭眼、是否打哈欠再综合这两路信号给出疲劳等级。它不像目标检测那样动辄几十个类别也不像人脸识别那样要搞特征库技术栈收敛在“人脸检测 眼部/嘴部分类 时序判定”这条线上非常适合作为高校毕设的完整项目。但这里有一个反直觉的结论这个项目真正的难点不在CNN模型本身而在数据集怎么凑、眼睛和嘴巴区域怎么稳定地裁剪出来、以及疲劳判定阈值怎么设才不会被答辩老师一句话问倒。很多同学直接拿开源数据集训练一个分类模型就以为完事了结果一到现场演示就露馅——人脸角度偏一点就检测不到眼睛或者戴眼镜的同学直接被系统判定为“永远清醒”。这篇笔记按我实际做过这类项目的思路从方案选型、数据准备、模型训练到系统集成完整拆开讲每个步骤给可复现的代码和参数最后把最容易踩的坑一次说清。2. 疲劳检测的两种技术路线为什么CNN方案是毕设的最优解2.1 传统图像处理方案的限制为什么不能只靠EAR和MAR做疲劳驾驶检测最早也是最经典的方法是基于人脸关键点的几何特征。具体做法是用dlib或MediaPipe提取人脸68个关键点然后计算眼睛纵横比EAR和嘴巴纵横比MAR。眼睛睁着的时候EAR大约在0.25到0.3之间闭眼时这个值会掉到0.1以下打哈欠时嘴巴的MAR值会明显拉高。这套逻辑简单直接十几行代码就能跑通早期很多毕设就是这么做的。但这个方案的硬伤在于对关键点检测质量极度敏感。人脸稍微侧偏、光线暗一点、或者驾驶员戴着墨镜dlib的关键点就会飘EAR值的波动会被放大好几倍误报率居高不下。另一个问题是阈值需要针对每个用户单独调不同人眼睛大小不一样同一个EAR阈值对单眼皮和双眼皮的人表现完全不同。这些不确定因素叠加起来就是现场演示翻车的高发区。CNN方案绕开了“手工设计几何特征”这一步。它的思路更直接不去算眼睛有多宽多高而是把眼睛区域的图像直接喂给卷积神经网络让网络自己学习“睁眼”和“闭眼”在像素层面长什么样。这样一来对关键点定位误差的容忍度大大提升——即使人脸检测框偏移几个像素只要眼睛区域大致被框住分类结果依然稳定。这也是为什么现在主流方案几乎都转向CNN。2.2 CNN方案的系统组成和模块划分一个完整的基于CNN的疲劳驾驶识别检测系统按数据流向可以拆成四个模块。第一个是人脸检测模块负责在视频帧里找到人脸位置第二个是面部区域裁剪模块根据人脸关键点把人脸区域进一步划分出左眼、右眼和嘴巴三个子区域第三个是CNN分类模块分别对眼睛和嘴巴的图像做二分类或三分类输出“睁眼/闭眼”和“正常/打哈欠”第四个是疲劳判定模块统计一段时间内的闭眼比例和哈欠频率按规则输出疲劳等级。这个架构的好处是每个模块都可以独立替换和优化。人脸检测可以用OpenCV自带的DNN检测器也可以换成MTCNN或者YOLOv8缩小版眼睛分类CNN可以用自己训练的模型也可以微调MobileNet。毕设答辩时这种模块化设计本身就是加分项老师问“你的系统是怎么组织的”你可以很清楚地把数据流讲出来。2.3 模型选型对比自建小型CNN vs MobileNet微调确定了CNN路线之后下一个选择是网络结构。很多同学一上来就想用ResNet50这种大模型觉得越深越准。但对于眼部图像分类这种任务这属于明显的过设计。眼睛区域裁剪出来后通常只有24x24或32x32像素本身的纹理信息非常有限深层网络在这里发挥不出优势反而拖慢推理速度还容易在小数据集上过拟合。我一般推荐两条路。第一条是从零训练一个3到4层卷积的小型CNN参数量控制在几十万级别在几千张眼部图像上就能训练到95%以上的准确率。第二条是拿MobileNetV2或EfficientNetB0做迁移学习冻结前几层只训练分类头适合数据集比较充足的情况。两条路对于毕设都可行前者更能体现你对CNN原理的理解——每一层卷积在干什么、池化为什么能降维、全连接层为什么容易过拟合这些都是答辩高频问题。3. 数据集构建与预处理从开源数据集到自采集扩充的完整路径3.1 开源数据集选型NTHU-DDD与Closed Eyes in the Wild怎么选疲劳驾驶检测领域有几个常用的公开数据集毕设阶段最常被提及的是NTHU-DDD国立清华大学驾驶数据集和CEWClosed Eyes in the Wild。NTHU-DDD是专门为驾驶场景采集的视频数据集包含不同人种、不同光照、是否戴眼镜等条件但它提供的是视频帧需要自己从中抽帧并标注眼睛和嘴巴区域工作量比较大。CEW则是静态图像数据集专门用于闭眼检测包含睁眼和闭眼两类样本图像已经是裁剪好的眼部区域拿来即用。我实际做的时候建议把两个都用上。NTHU-DDD的视频帧用于模拟真实驾驶场景尤其是光照变化和头部姿态变化CEW作为眼部分类模型的补充训练集增加样本多样性。如果导师要求必须有“自采数据”可以自己用手机前置摄像头录制几段模拟驾驶视频每段几十秒涵盖正常驾驶、频繁眨眼、打哈欠三种状态然后用脚本自动抽帧并裁剪。3.2 眼部与嘴部区域的自动裁剪用dlib关键点定位的代码实现拿到原始图像或视频帧之后第一步是把人脸检测出来第二步是用人脸关键点定位眼睛和嘴巴。这里我推荐用dlib的68点模型虽然它速度不如MediaPipe快但关键点定位的稳定性在正脸场景下是很可靠的而且代码逻辑清晰适合写进毕设文档。import cv2 import dlib import os from imutils import face_utils # 初始化dlib的人脸检测器和68点关键点预测器 detector dlib.get_frontal_face_detector() predictor dlib.get_model_predictor(shape_predictor_68_face_landmarks.dat) def crop_eye_and_mouth(image_path, output_dir, prefix): 从单张图像中裁剪出左眼、右眼和嘴巴区域 image_path: 输入图像路径 output_dir: 裁剪结果的输出目录 prefix: 文件名前缀用于区分不同来源 img cv2.imread(image_path) if img is None: return gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces detector(gray, 0) for i, face in enumerate(faces): landmarks predictor(gray, face) landmarks face_utils.shape_to_np(landmarks) # 左眼区域关键点36到41 left_eye landmarks[36:42] # 右眼区域关键点42到47 right_eye landmarks[42:48] # 嘴巴区域关键点48到59包含内外唇 mouth landmarks[48:60] # 计算每个区域的边界框并向外扩展5个像素作为padding for name, region in [(left_eye, left_eye), (right_eye, right_eye), (mouth, mouth)]: x_min max(0, region[:, 0].min() - 5) y_min max(0, region[:, 1].min() - 5) x_max min(img.shape[1], region[:, 0].max() 5) y_max min(img.shape[0], region[:, 1].max() 5) crop img[y_min:y_max, x_min:x_max] # 统一缩放到固定尺寸方便后续训练 crop_resized cv2.resize(crop, (32, 32), interpolationcv2.INTER_AREA) save_path os.path.join(output_dir, f{prefix}_{name}_{i}.jpg) cv2.imwrite(save_path, crop_resized)这段代码的逻辑是先用dlib检测人脸拿到68个关键点的坐标数组然后按索引区间把左眼、右眼和嘴巴的坐标点取出来分别计算外接矩形。关键点索引对应关系是dlib官方定义好的标准36到41是左眼轮廓点42到47是右眼轮廓点48到59是嘴巴区域。裁剪时向外扩展5个像素是为了避免关键点定位偏差导致边缘被切掉。统一缩放到32x32是因为这个尺寸足以保留眼睛和嘴巴的判别性特征同时让CNN输入层设计更简单。这里有一个参数值得注意扩展的像素数。如果检测到的人脸很小5个像素的扩展比例就很大可能把眉毛或者鼻子也框进来如果人脸很大5个像素又显得不够。常见做法是根据人脸框的宽度做动态扩展比如按人脸宽度的2%来计算。你可以自己试一下不同的值观察裁剪结果再定。3.3 数据标注与样本平衡闭眼样本不够怎么办裁剪完之后就要对样本打标签了。眼睛区域分成两类——open和closed嘴巴区域分成两类——normal和yawn。如果用的是NTHU-DDD的视频帧可以按视频的标注信息自动打标签如果是自采数据就得手工筛选了。这里最容易出的问题是类别不平衡。一个人正常驾驶的视频里95%的时间眼睛是睁着的闭眼和打哈欠的帧数很少。如果直接拿这些数据训练模型会学成一个“永远输出睁眼”的懒惰分类器因为这样已经能拿到很高的准确率了。解决的办法有三个一是对闭眼和打哈欠的样本做数据增强比如随机旋转、亮度调整、水平翻转二是用OpenCV的摄像头录制“模拟闭眼”和“模拟打哈欠”的视频片段故意多采集这些状态三是使用Focal Loss这种处理类别不平衡的损失函数。毕设场景下前两种方法就够用了第三种可以作为论文里的改进点来写。import cv2 import numpy as np def augment_samples(image, label, output_dir, prefix): 对眼部/嘴部图像做数据增强扩增少数类样本 augmented [] # 1. 随机亮度调整模拟不同光照条件 hsv cv2.cvtColor(image, cv2.COLOR_BGR2HSV) hsv[:, :, 2] np.clip(hsv[:, :, 2] np.random.randint(-40, 40), 0, 255) augmented.append(cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)) # 2. 随机水平翻转因为左右眼本身是对称的 if np.random.random() 0.5: augmented.append(cv2.flip(image, 1)) # 3. 小角度旋转模拟头部微动 rows, cols image.shape[:2] angle np.random.randint(-10, 10) matrix cv2.getRotationMatrix2D((cols/2, rows/2), angle, 1) augmented.append(cv2.warpAffine(image, matrix, (cols, rows))) for j, img in enumerate(augmented): save_path os.path.join(output_dir, f{prefix}_{label}_aug{j}.jpg) cv2.imwrite(save_path, img)增强操作里亮度调整是最关键的因为驾驶场景的光照变化非常大隧道、树荫、对向车灯都会让图像亮度突变。水平翻转只适用于眼睛和嘴巴——它们是近似左右对称的但如果你以后扩展到手部动作识别之类的任务就不能随便翻转了。旋转角度控制在正负10度以内超过这个范围眼睛的形状就会因为透视关系发生不自然的畸变。4. CNN模型设计与训练从网络结构到训练参数一次说清4.1 网络结构设计3层卷积如何撑起一个分类任务对于输入尺寸为32x32的单通道灰度图我常用的网络结构是3层卷积加2层全连接。第一层卷积用16个3x3卷积核提取边缘和纹理等低级特征第二层用32个3x3卷积核组合出眼睛轮廓、瞳孔位置这类中级特征第三层用64个3x3卷积核进一步抽象出“睁眼”和“闭眼”的判别性模式。每层卷积后面接一个2x2的最大池化把特征图的尺寸从32x32逐步降到4x4同时保留最重要的响应。最后展平后接一个64维的全连接层再输出到2个类别的softmax层。这个结构的参数量大概在几十万这个量级在一台普通笔记本的CPU上推理一帧只需要几毫秒完全满足实时性要求。为什么不用5层卷积因为32x32的输入太小了每做一次卷积和池化特征图的尺寸就减半一次3层池化以后已经只剩4x4了再加卷积层就没有足够的空间做有效卷积了。这也是为什么输入尺寸直接影响网络深度——如果你想加深网络就得先把输入图像放大到64x64或更大。4.2 训练代码PyTorch实现与关键超参数设置import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, Dataset import os from PIL import Image class EyeCNN(nn.Module): 用于眼部睁闭眼分类的小型卷积神经网络 def __init__(self, num_classes2): super(EyeCNN, self).__init__() self.conv_layers nn.Sequential( nn.Conv2d(1, 16, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), ) self.fc_layers nn.Sequential( nn.Linear(64 * 4 * 4, 64), nn.ReLU(), nn.Dropout(0.5), nn.Linear(64, num_classes) ) def forward(self, x): x self.conv_layers(x) x x.view(x.size(0), -1) x self.fc_layers(x) return x class ImageFolderDataset(Dataset): 从文件夹读取图像文件夹名即标签 def __init__(self, root_dir, transformNone): self.root_dir root_dir self.transform transform self.classes sorted(os.listdir(root_dir)) # [closed, open] self.samples [] for label_idx, class_name in enumerate(self.classes): class_dir os.path.join(root_dir, class_name) for img_name in os.listdir(class_dir): self.samples.append((os.path.join(class_dir, img_name), label_idx)) def __len__(self): return len(self.samples) def __getitem__(self, idx): img_path, label self.samples[idx] img Image.open(img_path).convert(L) # 转灰度图 img img.resize((32, 32)) img_tensor torch.tensor(np.array(img), dtypetorch.float32) / 255.0 img_tensor img_tensor.unsqueeze(0) # 增加通道维 return img_tensor, label # 训练参数配置 BATCH_SIZE 32 # 批大小显卡显存小就调小到16 LEARNING_RATE 0.001 # 学习率Adam优化器常用1e-3 EPOCHS 30 # 训练轮数小数据集30轮足够收敛 DEVICE torch.device(cuda if torch.cuda.is_available() else cpu) train_dataset ImageFolderDataset(data/eye_train) train_loader DataLoader(train_dataset, batch_sizeBATCH_SIZE, shuffleTrue) model EyeCNN().to(DEVICE) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lrLEARNING_RATE) for epoch in range(EPOCHS): running_loss 0.0 for inputs, labels in train_loader: inputs, labels inputs.to(DEVICE), labels.to(DEVICE) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() print(fEpoch {epoch1}/{EPOCHS}, Loss: {running_loss/len(train_loader):.4f})训练代码中几个参数的取舍值得展开说。批大小32是一个中庸的选择如果你的电脑没有独立显卡用CPU训练时建议调到16否则一次前向传播等待时间太长反过来如果有显存充裕的显卡调到64可以略微加速收敛。学习率用0.001是Adam优化器的默认推荐值这个数值在大多数小型分类任务上都不会出大问题。如果你发现loss在训练后期震荡不下降可以把学习率降到0.0003再继续训练几轮。最后那个Dropout(0.5)不是可有可无的。这个小模型的参数量相对于数据集来说依然偏大不加Dropout的话训练集准确率能到99%但验证集只有85%这就是典型的过拟合信号。Dropout在训练时随机丢弃一半的神经元迫使网络学到更鲁棒的特征而不是依赖某几个特定的神经元组合。4.3 训练集与验证集划分随机划分还是按人划分这里有一个很多同学会忽略的问题数据集划分的方式会直接影响你汇报的模型准确率是否可信。如果所有图片都来自同一个人的视频抽帧随机划分训练集和验证集的话同一个人同一段视频的相邻帧很可能分布在两边模型相当于“见过”了验证集的内容验证准确率会虚高。正确的做法是按人划分。把不同受试者的数据分开比如A、B、C三个人的数据用于训练D、E两个人的数据用于验证。这样模型在验证时面对的是完全没见过的“人”测试结果才能反映真实场景下的泛化能力。毕设论文里如果能写清楚这一层考虑答辩老师会觉得你是真的理解机器学习的基本方法论而不是只会跑代码。5. 系统集成与实时检测把模型串成一套能演示的完整流程5.1 检测主循环摄像头帧处理与人脸检测的协同模型训练好之后下一步是把所有模块串成一套实时检测程序。主循环的逻辑是这样的从摄像头读取一帧图像先用OpenCV的DNN人脸检测器定位人脸然后对人脸区域提取关键点并裁剪眼睛和嘴巴分别送入两个CNN模型做分类最后把分类结果交给疲劳判定模块更新状态。整体用OpenCV的VideoCapture循环驱动每处理一帧计算一次FPS。import cv2 import torch import numpy as np # 加载训练好的模型 eye_model EyeCNN(num_classes2) eye_model.load_state_dict(torch.load(eye_model.pth)) eye_model.eval() # 使用OpenCV DNN人脸检测器 face_detector cv2.FaceDetectorYN_create( face_detection_yunet_2023mar.onnx, , (320, 320) ) # 疲劳状态统计变量 CLOSED_THRESHOLD 0.5 # 闭眼概率阈值 CLOSED_FRAMES_MAX 10 # 连续闭眼帧数阈值 closed_frames 0 yawn_frames 0 fatigue_level 正常 cap cv2.VideoCapture(0) while True: ret, frame cap.read() if not ret: break # 人脸检测输入BGR图像输出人脸框和关键点 faces face_detector.detect(frame) if faces[1] is not None: for face in faces[1]: # face格式: [x, y, w, h, 5个关键点坐标...] x, y, w, h face[:4].astype(int) # 关键点索引0-左眼中心, 1-右眼中心, 2-鼻尖 left_eye_center face[4:6].astype(int) right_eye_center face[6:8].astype(int) # 以眼睛中心为基准裁剪固定大小的眼部区域 eye_size int(w * 0.3) left_eye_img frame[ left_eye_center[1]-eye_size//2:left_eye_center[1]eye_size//2, left_eye_center[0]-eye_size//2:left_eye_center[0]eye_size//2 ] # 预处理灰度化、缩放、归一化 left_eye_gray cv2.cvtColor(left_eye_img, cv2.COLOR_BGR2GRAY) left_eye_resized cv2.resize(left_eye_gray, (32, 32)) left_eye_tensor torch.tensor(left_eye_resized, dtypetorch.float32).unsqueeze(0).unsqueeze(0) / 255.0 # CNN推理 with torch.no_grad(): output eye_model(left_eye_tensor) probability torch.softmax(output, dim1) closed_prob probability[0][1].item() # 闭眼判定概率大于阈值则视为闭眼 if closed_prob CLOSED_THRESHOLD: closed_frames 1 else: closed_frames 0 # 疲劳状态判定 if closed_frames CLOSED_FRAMES_MAX: fatigue_level 疲劳驾驶 else: fatigue_level 正常 cv2.putText(frame, fatigue_level, (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2) cv2.imshow(Fatigue Detection, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()这个主循环里最关键的参数是CLOSED_FRAMES_MAX它表示连续多少帧检测到闭眼才判定为疲劳。设得太小比如3帧摄像头前的一次普通眨眼就会被误判成疲劳设得太大比如30帧真实疲劳时系统反应太慢。10帧是一个在30FPS摄像头下约0.33秒的窗口正好能区分普通眨眼和持续性闭眼。这个值你可以根据自己的摄像头帧率微调帧率越高可以适当调大。这里有一个值得指出的设计思路单帧的CNN分类结果是不做疲劳判定的直接依据的因为人本来就会眨眼。疲劳驾驶的本质是“闭眼持续时间过长”或“闭眼频率异常升高”这天然是一个时序问题。因此用连续帧的累计统计来做最终判定比单帧硬分类要合理得多。5.2 PERCLOS指标的引入疲劳判定从定性到定量如果想让系统更有说服力可以引入PERCLOS指标。PERCLOS的全称是Percentage of Eye Closure即单位时间内眼睛闭合时间所占的百分比这是驾驶疲劳研究领域公认的客观指标。具体计算方式是在一个时间窗口内统计闭眼帧数占总帧数的比例。实际实现时我一般设置一个滑动窗口窗口长度是30秒或1分钟窗口内累计闭眼帧数然后计算PERCLOS值。当PERCLOS超过某个阈值比如0.15就意味着在30秒内有超过4.5秒的时间眼睛是闭着的这在驾驶场景下已经是非常危险的疲劳状态了。把PERCLOS和连续闭眼帧数两个指标结合起来一个用于捕捉短期危险行为一个用于评估中期疲劳趋势系统就完整多了。# 滑动窗口计算PERCLOS from collections import deque WINDOW_SIZE 30 * 30 # 30秒假设30FPS perclos_window deque(maxlenWINDOW_SIZE) # 在每一帧推理之后更新 perclos_window.append(1 if closed_prob CLOSED_THRESHOLD else 0) if len(perclos_window) WINDOW_SIZE: perclos_value sum(perclos_window) / WINDOW_SIZE if perclos_value 0.15: fatigue_level 重度疲劳 elif perclos_value 0.08: fatigue_level 轻度疲劳 else: fatigue_level 正常这里用deque来实现滑动窗口是一个很实用的技巧它的最大长度固定新元素加入时自动弹出最老的元素不需要手动管理数组下标。PERCLOS的阈值0.15和0.08是我个人测试下来比较合理的经验值但不同光照和摄像头角度下会有偏差你可以收集一些正常驾驶和模拟疲劳驾驶的数据画出PERCLOS的分布曲线后再定阈值。5.3 界面与展示用PyQt5还是纯OpenCV毕设的展示环节通常需要有一个界面两种常见做法是纯OpenCV的绘图函数和PyQt5构建的桌面应用。纯OpenCV的好处是代码量极小所有绘制都在图像帧上完成演示时直接全屏播放处理后的视频流就行坏处是交互能力差不能做登录、历史记录查询、设置面板这类功能。如果导师对软件工程有要求建议上PyQt5。主窗口左侧放实时视频预览右侧放状态面板显示当前疲劳等级、PERCLOS数值、检测到的眼睛和嘴巴区域的裁剪图。下面可以加一个时间轴把过去一分钟的PERCLOS变化曲线画出来让疲劳趋势可视化。PyQt5里嵌入OpenCV的视频流核心是用QTimer定时器触发读取帧和更新QLabel的图像线程模型上注意不要在GUI线程里跑CNN推理否则界面会卡顿。用QThread把检测逻辑放到子线程通过信号槽把处理完的帧传回主线程显示这是标准做法。6. 训练和部署中的5个常见问题现象、原因与解决6.1 模型对戴眼镜的人失效训练数据缺了眼镜样本现象系统对不戴眼镜的人检测准确一旦用户戴上眼镜眼睛区域经常被误判为闭眼或者完全检测不到眼睛。原因三个层面的问题叠加。一是dlib关键点在眼镜框遮挡下可能定位偏移导致裁剪出的眼部区域包含大量镜框像素二是训练数据里没有包含戴眼镜的闭眼样本CNN没有见过“眼镜闭眼”的组合模式三是眼镜镜片反光会在眼睛区域产生高光噪声干扰CNN的卷积特征提取。解决数据层面采集数据时特意让受试者分别戴框架眼镜、不戴眼镜、戴墨镜各录一段视频三种状态的样本都要覆盖。算法层面如果检测到关键点定位不可靠可以把裁剪区域适当扩大让模型看到更多上下文信息而不只是瞳孔区域。部署层面在界面上加一个“是否戴眼镜”的开关切换不同的CNN模型权重这算是一种工程妥协但毕设演示足够用。6.2 训练准确率高但现场演示翻车过拟合与光照泛化的双重问题现象训练集准确率98%验证集96%但拿到摄像头前实测稍微偏头或者光线暗一点就开始乱报。原因这是典型的过拟合问题只是你没意识到验证集也有相同的“偏好”。如果验证集和你训练集来自同一批采集环境光照条件、摄像头型号、人脸角度都相似模型根本没有机会学到对这些变化的鲁棒性。一旦现场演示的光照和采集环境变了模型的准确率就会掉到难以接受的水平。解决最好的办法是在训练前对数据做更强的在线增强——随机调整亮度、对比度、饱和度随机添加高斯噪声模拟摄像头传感器噪声。另一个有效的操作是把自己实验室的摄像头录一段测试视频把这段视频的帧也加入训练数据这叫“目标域数据扩充”虽然学术上不够优雅但非常实用。演示当天提前到场用现场的摄像头和光线重新采集30秒数据混合到训练集里重训2到3个epoch往往能救回很大的准确率。6.3 摄像头帧率低导致系统卡顿推理瓶颈不在CNN现象程序跑起来CPU占用接近100%画面明显不流畅目测只有个位数帧率。原因很多人直觉以为是CNN模型太慢但实际上瓶颈通常出在dlib的关键点检测上。dlib的68点模型在CPU上单帧推理大约需要30到50毫秒而CNN分类只需要2到3毫秒。人脸检测、关键点定位、两次CNN分类加起来总耗时就到了50毫秒以上帧率自然上不去。解决先做性能分析确认瓶颈在哪常见做法是分别在每个模块前后打印时间戳。然后有两个优化方向。第一关键点检测不需要每帧都做——人脸在连续帧间的运动是平滑的可以每隔3帧做一次关键点检测中间几帧直接复用上一次的关键点坐标做区域裁剪。第二把dlib换成MediaPipe的FaceMesh它在CPU上的速度比dlib快3到5倍而且能输出更多人脸关键点。这两个优化叠加之后帧率基本能回到20FPS以上。6.4 眼睛区域裁剪偶尔出现空图或越界数组边界的经典bug现象程序运行中出现偶发崩溃OpenCV报错“index out of bounds”或者训练数据里混入了一些全黑的、完全没有内容的图片。原因关键点检测偶尔会给出超出图像边界的坐标尤其当人脸贴近画面边缘的时候。裁剪代码里用的是x_min region[:, 0].min() - 5如果原始关键点x坐标已经是0减5就变成负值直接赋值给NumPy数组切片的起始索引就崩溃了。另外人脸检测器漏检时关键点数组可能是空的直接访问就会报错。解决在裁剪前后做防御性检查。裁剪前把边界框和图像尺寸做clip操作确保x_min不小于0、x_max不大于图像宽度裁剪后检查返回的图像数组是否为空或者全黑如果是就跳过这一帧不要写入数据集。这是一个很小的修改但能避免掉训练过程中因为个别坏样本导致的整体崩溃。6.5 闭眼样本和哈欠样本混淆嘴巴CNN模型准确率上不去现象眼睛分类模型很好训练但嘴巴分类模型的准确率一直卡在85%左右排查发现打哈欠的图片里经常带出下巴和鼻子区域而正常说话的图片嘴巴形状又变化很大。原因嘴巴区域的语义边界比眼睛模糊得多。打哈欠和说话、咀嚼在嘴型上的差别不是二分类能简单区分的更重要的是裁剪区域如果只包含嘴唇而缺少下巴的牵拉信息模型很难判断嘴是“张开”还是“正在张开的途中”。解决两个调整方向。第一把嘴巴分类从二分类改成三分类——正常、微张、打哈欠微张嘴作为中间态可以减少正常说话和打哈欠之间的硬边界误判。第二扩大嘴巴裁剪区域把下巴区域也包含进来让模型能利用到下巴下沉这个哈欠的强特征。如果这样做之后仍然有混淆可以在时序上做后处理——哈欠的持续时间通常大于1秒单帧被分类为哈欠不立即触发计数连续若干帧都是哈欠才累加这个逻辑和眼睛的连续闭眼判断是同一个思想。7. 进阶优化与答辩亮点用时序建模和模型量化提升项目含金量在当前这个基线系统基础上有三件事能让你的毕设从“能跑”升级到“有亮点”。第一件是把单帧的CNN输出组装成时间序列用LSTM或1D卷积再做一个时序分类模型。眼睛和嘴巴的CNN每帧输出一个概率向量把连续30帧的概率向量拼接起来形成一个长度为30、维度为4的时序特征序列然后用LSTM学习“闭眼持续多久算疲劳”“哈欠出现频率多高算危险”这些时间模式。这样做的好处是整个系统的决策逻辑也是学习出来的而不是靠手工阈值论文里可以写的创新点就多了空间特征提取用CNN、时序建模用LSTM、两者联合训练。第二件是模型轻量化。把训练好的CNN模型做INT8量化用PyTorch的torch.quantization库或ONNX Runtime的量化接口模型体积可以从原来的几十MB压到几MB推理速度提升2到3倍。这对毕设来说是一个很直观的加分项——你可以现场展示量化前后模型大小和帧率的对比数据。量化操作本身就是一个细致的工程需要对每一层做校准但PyTorch已经把这套流程封装得足够友好了花一个下午就能跑通。第三件是把误报率量化出来。在答辩时不要只说准确率95%而是给出一个完整的混淆矩阵并且说明哪些样本被误判了、为什么被误判。例如“有8%的闭眼样本被误判为睁眼主要原因是测试者眼睛较小且戴了深色镜框”这种分析能体现你对模型行为的深入理解比单纯堆数字更有说服力。我做这类项目最大的教训是不要等全部代码写完才测试整体效果。先把摄像头打开随手拍一段自己正常看屏幕、揉眼睛、打哈欠的视频用这个视频跑一遍最粗糙的模型——哪怕只有60%的准确率——然后根据错误案例反推数据问题。你可能会发现自己的模型在揉眼睛的时候疯狂报警因为手遮住眼睛时裁剪区域里全是皮肤纹理。这个case靠调参永远解决不了只能把“遮挡”加成一个新的训练类别。尽早跑通端到端流程尽早暴露问题这个习惯帮我避开了无数次最后一周疯狂改bug的窘境。现在的系统已经能稳定运行但我知道它距离真正可用的产品还有距离——比如夜间红外场景下模型会不会失效比如驾驶员戴着口罩那嘴巴分类该怎么办。这些方向的探索其实也是你毕设论文里“未来展望”部分最真实的素材。希望这篇拆解能帮你把毕设做扎实少走几个月弯路。本文还有配套的精品资源点击获取