简介这是车牌识别系统的一份完整设计报告面向计算机视觉、智能交通相关课程设计或毕业设计的学生以及希望快速了解车牌识别技术流程的入门开发者用于解决系统框架搭建、关键模块设计与编程实现等问题。报告按工程流程展开先介绍摘要、设计目的与意义再从系统原理出发详细讲解图像预处理、边缘提取、车牌定位与分割、字符分割与特征提取、单个字符识别等模块并给出模板匹配方法及系统运行环境要求适合对照学习或直接参考。资源包为单个PDF文件大小约921KB内容结构清晰。目前已有49人学习/下载可作为课程作业、项目汇报或技术入门的高密度参考资料。整体从原理到实现层层递进既能支撑课程设计与实验报告撰写也有助于深入理解计算机视觉在实际交通场景中的应用。1. 车牌识别设计报告是张什么牌从道闸到路侧都绕不开的识别链路停车场出口的闸机摄像头拍下车头系统输出一串“京A·12345”抬杆放行。如果这串字符里有一位读错对账、计费、客诉全都跟着来找你。车牌识别设计报告.pdf这种标题看起来像一份课程作业实际上它把视频采集、车牌定位、字符分割、字符识别、结构化输出一整条链路串了起来背后还需要相机安装角度、夜间补光、算力选型这些现场参数做支撑。算法榜单上的高准确率一落到真实场景就缩水因为角度、曝光、脏污、反光每一项都在拖后腿。这篇笔记就按设计报告的推进顺序从技术选型讲到实现再讲到验证和避坑。适合正在把毕设做成可演示系统的人也适合准备在边缘设备上做车牌识别验证机的工程师。2. 总体方案与技术选型先想清楚用传统视觉还是深度学习2.1 业务约束才是第一张多米诺骨牌相机角度、距离与夜间补光很多设计报告一上来就写“采用YOLOv8”这是把顺序搞反了。车牌识别真正卡脖子的地方往往是相机机位、车牌像素宽度和现场光照。你算法再强画面里车牌宽度只有20个像素字符糊成一团调参也救不回来。动手前先确认一组业务参数参数建议值说明相机到车牌距离1.55 m距离越远车牌在画面里越小车牌水平像素宽度≥100 px低于80 px时识别率会断崖式下降车牌区域倾斜角≤30°角度再大透视矫正后会损失细节图像分辨率1920×1080保证单车道车牌满足上面的像素要求抓拍帧率1530 fps车速超过40 km/h时要考虑运动模糊把这几个数写进需求分析里后续选镜头、选分辨率、选算法都有依据。固定机位下这些参数基本不变这是车牌识别比通用OCR好做的地方。接下来才谈用传统视觉还是深度学习。2.2 传统图像处理路线颜色筛选与边缘轮廓的组合传统路线适合蓝牌为主、机位固定的场景。用OpenCV先筛颜色再找轮廓速度快且完全不依赖GPU。我在实验室环境经常用这一套做原型验证十几行代码就能看到候选框。import cv2 import numpy as np def find_plate_candidates(img): hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV) # 蓝牌色相集中在95~130S下限放低到60能兼容夜间发灰的牌面 mask cv2.inRange(hsv, (95, 60, 80), (130, 255, 255)) # 闭运算把字符间隙填上让车牌连成一个整体块 mask cv2.morphologyEx(mask, cv2.MORPH_CLOSE, np.ones((15, 15), np.uint8)) contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) candidates [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) # 太小的噪声框直接丢掉宽高比限在1.5~5.5过滤车身装饰条 if w 60 and h 15 and 1.5 w / h 5.5: candidates.append((x, y, w, h)) return candidates这段代码里HSV区间不能照搬。不同相机的白平衡和色彩饱和差异很明显我一般会对现场图片做一次色相统计再按峰值把H范围收紧或放宽。宽高比阈值也不是死的新能源车牌比蓝牌长一点别漏掉。2.3 深度学习路线端到端检测与两级识别的边界换成绿牌、黄牌、挂车等多类型车牌后颜色筛选就不够用了。常见做法是两级结构先用车牌检测模型定位车牌框再对矫正后的车牌区域做字符识别。检测模型输出车牌四个角点比输出外接矩形多一点容错空间矫正完字符不会歪。为什么不用“图片直接转字符串”的端到端模型一方面训练数据要覆盖各种车牌排布数据量要求很高另一方面中间环节不可控错了一辆还不容易查。两级管线里检测框歪了、识别错了都能单独评估排查效率高很多。2.4 按场景选型的落地判断清单固定车位、蓝牌为主、CPU跑传统颜色筛选加模板匹配够用。蓝牌加绿牌、场景简单颜色筛选扩展绿色区间字符识别换轻量CNN。户外多车道、光线复杂、识别新能源车直接用检测加识别两级模型配补光灯。报告论证顺序先写业务约束再写选型理由用真实样本验证别开头就锁定网络结构。这四条不是取舍题是按数据复杂度递进的路线。我自己的习惯是先把传统方案跑通拿到一批真实数据再决定要不要上深度学习。传统方案能跑通的场景没必要把简单问题复杂化。3. 车牌识别的实现链路检测、透视矫正与字符分割怎么做3.1 用边缘检测加形态学圈出车牌候选区颜色筛选在夜间颜色失真时容易失效固定机位下更稳的一招是用边缘密度找候选区。车牌区域字符密集横竖边缘都比车身其他地方多把横向梯度算出来再做大尺度闭运算能直接连出一块矩形。import cv2 import numpy as np img cv2.imread(car.jpg) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 高斯核不要太大模糊噪声但保留字符边缘 blur cv2.GaussianBlur(gray, (5, 5), 1.5) # 横向Sobel对竖边缘响应最强车牌字符正好是竖边密集区 grad_x cv2.Sobel(blur, cv2.CV_32F, 1, 0, ksize3) abs_grad cv2.convertScaleAbs(grad_x) # Otsu自动定阈值避免每次手调二值化参数 _, thresh cv2.threshold(abs_grad, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU) # 闭运算核拉长一些让多个字符连成整块 closed cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, np.ones((17, 5), np.uint8)) contours, _ cv2.findContours(closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) candidates [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) if 2.0 w / h 5.0 and w * h 2000: candidates.append((x, y, w, h))注意这里的Sobel核是1阶纵向梯度ksize3对小字符最友好。闭运算核为什么是17×5而不是正方形的车牌是横长条横向闭运算把左右相邻字符连上纵向核太大反而会把上下两条边缘也连进来。候选框筛完下一步送入矫正。3.2 用四点透视把车牌拉正候选轮廓大多是带角度的矩形直接按外接矩形裁图字符是歪的后续分割准确率马上掉下来。标准做法是用cv2.minAreaRect找出最小外接矩形再对四个角点排序做透视变换。def four_point_sort(box): s box.sum(axis1) diff np.diff(box, axis1).reshape(-1) # 左上角xy最小右下角xy最大 tl box[np.argmin(s)] br box[np.argmax(s)] # 右上角y-x最小左下角y-x最大 tr box[np.argmin(diff)] bl box[np.argmax(diff)] return np.array([tl, tr, br, bl], dtypenp.float32) rect cv2.minAreaRect(cnt) box np.int0(cv2.boxPoints(rect)) order four_point_sort(box) W int(np.linalg.norm(order[0] - order[1])) H int(np.linalg.norm(order[0] - order[3])) dst np.float32([[0, 0], [W - 1, 0], [W - 1, H - 1], [0, H - 1]]) M cv2.getPerspectiveTransform(order, dst) warped cv2.warpPerspective(img, M, (W, H))透视变换前后的目标尺寸用轮廓本身的宽高而不是固定成440×140因为相机距离不同车牌像素大小本来就不同。拉到统一大小时放在识别模块里做不要在矫正这里强行resize。否则字符长宽比会被压变形。3.3 字符分割垂直投影与连通域分析的取舍矫正之后要切成单个字符。中国蓝牌是7位第一位是省份汉字第二位是字母后面五位字母数字混排。最直观的分割方法是垂直投影对二值图按列求和字符之间的空隙投影值接近0按这个低谷切分。def split_chars(binary): h, w binary.shape col_sum binary.sum(axis0) in_char False boxes [] for x in range(w): if col_sum[x] 10 and not in_char: in_char, start True, x elif col_sum[x] 10 and in_char: in_char False boxes.append((start, x)) # 过滤太细的噪声竖线汉字可能裂成两段后面再做合并 return [b for b in boxes if b[1] - b[0] 5]垂直投影最大的坑是汉字。像“冀”“赣”这类结构复杂的字笔画中间有空隙投影会出现假分开而字符模糊时又可能出现两个字符连成一片。我的做法是先按投影切成粗粒度块再在每一块内用连通域标记二次分割。两轮切分能兼顾断裂和粘连比单独用任一种方法都稳。4. 字符识别与数据集从模板匹配到轻量CNN4.1 中国车牌的字符集把识别任务框成了有限分类车牌识别不是开放文本识别。国内常见的蓝牌、黄牌字符集就三部分31个省级行政区简称、24个字母I和O基本不用避免和数字1、0混淆、10个数字。新能源车牌是8位结构和蓝牌不同但字符集一样。这意味着字符识别本质是一个最多65类的分类任务难点不在类别多少而在字符被污染、拉伸、模糊时怎么保持稳定。设计报告里如果不写清字符集后面做数据标注和模型训练都会失焦。我习惯把字符表固定成一个常量数组训练和推理都用同一份避免出现训练时见过某类、推理时字典里却没有的尴尬。4.2 模板匹配三分钟跑通但扛不住模糊字符模板匹配适合先跑通链路。把标准车牌字体渲染成单个字符模板对分割出来的字符图做归一化相关匹配代码很短但能直接验证前面检测和分割是否正确。def match_char(char_img, templates): best_label None best_score -1 char_img cv2.resize(char_img, (20, 40)) # TM_CCOEFF_NORMED对亮度变化不敏感适合不同相机来源的字符图 for label, temp in templates.items(): temp cv2.resize(temp, (20, 40)) score cv2.matchTemplate(char_img, temp, cv2.TM_CCOEFF_NORMED)[0][0] if score best_score: best_score, best_label score, label return best_label if best_score 0.5 else None阈值0.5是个保守值低于它宁可返回空也别硬给结果。模板匹配在标准打印字体上能跑出不错效果一旦遇到车牌弯折、字符缺损、笔画粘连分数会贴在一起这时就该换CNN了。4.3 轻量CNN的训练参数与字符数据增强我自己实际跑了一个简单CNN输入24×48灰度图两层卷积加两层全连接参数量很小CPU上单字符识别不到一毫秒。结构如下import torch.nn as nn class PlateCharCNN(nn.Module): def __init__(self, num_classes65): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 16, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(16, 32, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(32 * 6 * 12, 128), nn.ReLU(), nn.Linear(128, num_classes), ) def forward(self, x): return self.classifier(self.features(x))输入是24×48两次池化后特征图是6×12×32拉平后正好接128维全连接。训练数据不要只用真实切割图我会用字体渲染合成样本把每个类别的底数补足再混入真实模糊样本做微调。增强里面加随机亮度扰动、高斯噪声、随机遮挡比单纯旋转更能模拟现场污染。类别不平衡也要处理各省简称的出现频率差别很大抽样时按类别加权不然“京”字会彻底压过“琼”“青”这些低频字。5. 车牌识别的五个高发坑从光源、分割到设备换型5.1 蓝牌识别率很高绿牌直接没检测到现象是同一套代码切到新能源车位蓝色车牌全中绿牌一辆都找不到。原因是HSV颜色区间只写了蓝牌的阈值绿色车牌在H35~85范围根本没进mask。解决方法是把颜色筛选改成多区间并行蓝牌区间和绿牌区间各做一次闭运算再把候选框合并去重。如果走深度学习检测路线训练数据里要保证绿牌占比不低于30%。5.2 候选框连上了车身装饰条识别结果多出一位现象是车牌上方或下方总是贴着一截保险杠分割后字符多出来一行。原因是轮廓宽高比过滤写得太宽装饰条连接了车牌外边缘让轮廓把两者包成一个框。解决办法是先对候选区域做一次内部纹理统计车牌区域字符密集垂直投影应该呈现出7个或8个明显波峰波峰数量不符就把候选框丢弃。另一个技巧是闭运算核不要用正方形横向用17、纵向用5减少上下边框粘连。5.3 汉字“京”被切成了两半识别结果变成“京六”现象是“京”字的外框和内部口字分离被投影分割当成两个字符。原因是汉字笔画间隙里的背景在二值化后形成了低谷垂直投影把它当成了字符边界。解决是加一步区间合并如果相邻两个投影区间的间距小于当前字符宽度的三分之一就把它们合并。更稳的做法是先做一次膨胀让断开的笔画连上再跑连通域分析。5.4 夜间车灯直射时车牌过曝字符区域全是白的现象是白天跑得不错晚上大灯一开车牌区域整块白分割和识别一起崩。原因是相机全局自动曝光被车灯干扰车牌区域的细节被压掉了。这已经不是模型能解决的问题。我的处理是切换相机的测光模式把测光权重集中到画面下半部分的车牌区域同时配合红外补光压低环境杂光。模型侧能做的是在训练增强里加入“过曝模拟”把字符图片灰度整体抬到200以上但效果远不如前端相机调参来得直接。5.5 同一套权重换个相机品牌整体准确率掉8个百分点现象是模型和代码都没动从A相机换到B相机准确率明显下滑。这种问题常被说成玄学其实核心是不同厂商的ISP处理差异白平衡、锐化、宽动态参数各不相同图像分布已经变了。解决方法是建立按设备划分的验证集换设备后先跑一批miniset看指标差异。再进一步推理前统一图像归一化策略可以的话关闭相机自动宽动态尽量让不同设备的输出风格对齐。6. 验证指标和一点进阶别只盯着整牌准确率车牌识别的验证不能只看整牌准确率。整牌准确率是一个太粗的指标一位错就整牌错无法定位是检测问题、分割问题还是字符分类问题。落地的验证表我习惯拆成四列指标计算方式关注点车牌检测召回率召回车牌数 / 标注车牌数漏检多不多单字符准确率识别正确字符数 / 总字符数字符级瓶颈整牌准确率完全正确的车牌数 / 总车牌数用户体感P99单帧耗时推理耗时排序取99分位边缘设备稳定性进阶的做法是给识别结果加“时序投票”。视频流里同一辆车的多帧识别结果出来不要只取最新一帧而是做滑动窗口统计连续两帧以上识别结果一致才采用。误识别的帧通常是偶发多帧投票能把这类噪声压掉很多。关键坑是“置信度不是概率”CNN的softmax输出不能直接当概率用别只凭置信度做决定一定要结合连续帧一致性。我现在养成的习惯是每换一次现场环境就重新跑一遍miniset回归把相机、补光、时间段的差异都记录在案。调用链越往后端的系统越容易把错误归到玄学。希望帮到你。本文还有配套的精品资源点击获取