简介这套基于CNN神经网络的多类型验证码识别项目面向深度学习初学者、毕业设计及课程设计学生解决验证码图像分类与端到端识别难题。资源包共50个文件以Python源码8个py和训练/预测数据集40个png为主体辅以README说明文档压缩后仅592KB结构紧凑便于部署。目前已有115人学习下载适合快速复现实验。项目采用经典CNN架构覆盖验证码生成、one-hot编码、模型训练、预测与测试全流程纯数字识别率最高可达99.99%。代码含有详细注释关键模块如captcha_setting、captcha_train、captcha_predict等划分清晰新手可参照文档自行调参和扩展字母数字混合识别。作为导师认可的98分项目可直接用于期末大作业、课程设计或毕业设计下载后按说明配置环境即可运行省去从零搭建的繁琐过程。1. 验证码识别的本质CNN 能读懂的字符和 OCR 完全不同把「Python CNN 识别验证码」当成一个普通图像分类项目来做的十有八九会翻车。验证码设计出来就是给人眼识别、给机器制造困难的它和扫描件、截图里的文字识别完全是两回事——OCR 面对的是规整的排版和字体验证码面对的是一堆扭曲、粘连、带干扰线的字符。CNN卷积神经网络之所以在这个场景里成为标配是因为它不需要你手工设计特征只需要喂足够的样本它自己学出「哪些像素组合代表哪个字母」。这篇文章围绕一个拿到手就能改的 CNN 验证码识别项目展开覆盖数据集怎么造、网络怎么搭、训练有哪些坑、以及怎么验证识别效果适合做毕设、练手深度学习、或者想给自动化流程补一个验证码识别能力的开发者。下面所有代码基于 Python 3.8 和 PyTorch数据集用脚本生成全程不依赖任何外部验证码平台。2. 为什么是 CNN传统图像识别方案在验证码上的三个死穴2.1 传统 OCR 在验证码上翻车的三个原因在没有深度学习之前验证码识别的主流方案是 Tesseract OCR 和模板匹配。Tesseract 的设计目标是印刷体、扫描文档它依赖字符的笔画结构和语义上下文。验证码把字符旋转、缩放、加波浪背景再叠上干扰线Tesseract 的字符分割模块会直接把一个字母切成两半或者把两个字母粘成一团。模板匹配更脆弱它要求模板和待识别字符在尺寸、字体、角度上高度一致真实验证码里字符变体太多模板库根本覆盖不过来。另一个关键问题是字符分割。传统方案必须先定位到每个字符的边界再做单字符识别两步串联前一步的错误会直接传导到后一步。验证码的设计者恰恰在制造分割困难字符之间相互粘连、字符和干扰线颜色相近、字符底部分布不均。这四个原因叠加起来导致传统方案在稍微带点干扰的验证码上准确率跌到 50% 以下基本不可用。2.2 CNN 解决问题的路径不分割、端到端、特征自学习CNN 绕开了「先分割再识别」的两阶段思路。把整张验证码图片缩放到固定尺寸直接输入网络让卷积层自己学习字符的局部特征。卷积核在图像上滑动时对位置的敏感度低于传统模板匹配字符稍微平移、旋转几度提取到的特征仍然相似这就是所谓平移不变性。对验证码来说字符位置的微小变化不再致命。网络的前几层卷积学的是边缘、纹理这类低级特征后几层把局部特征组合成更高层的语义最终的全连接层负责把特征映射到「是哪个字符」的类别上。整个过程从原始像素到最终标签只有一条通路不存在分割错误传导的问题。这就是为什么 CNN 能对付字符粘连和干扰线而传统方案不能。更实际的一点是CNN 方案不需要你理解图像处理的细节不需要设计滤波器和特征描述子把样本准备好网络自己会做特征工程。2.3 为什么是 PyTorch 而不是 TensorFlow这个项目用 PyTorch 实现原因有三个代码量少、调试直观、社区样例多。定义一个卷积网络只需要继承nn.Module写forward训练循环也是普通的 Python 循环可以在任意位置插入打印和断点。对于验证码这种输入输出都比较简单的任务PyTorch 比 TensorFlow 少一层抽象对新手友好得多。TensorFlow 的tf.keras也能做但切换到 PyTorch 的学习成本和排错成本更低这是做同类项目时非常实在的选型理由。3. 数据准备验证码识别项目的胜负手在于训练集而不在于网络3.1 为什么用脚本生成验证码而非采集真实数据验证码识别项目里模型结构反而是最不重要的部分真正决定最终效果的是训练集。真实验证码样本难以大量获取标注成本高而且涉及合规问题。常见做法是用开源的 captcha 库按需生成样本把字符集、位数、干扰线、背景噪点做成可配置项。这样做的直接好处是标签完全自动生成文件名就是图片内容根本不需要人工标注几万张样本十几分钟就能生成完。生成的样本还能按需控制难度。一开始只生成无干扰的纯字符图模型跑通后再逐步加干扰线、加背景噪声、加字符扭曲。这种从易到难的训练策略比一上来就扔给模型一个高难度数据集更容易收敛也方便定位问题到底出在模型还是出在数据。3.2 生成并标注验证码数据集完整脚本安装依赖pip install captcha Pillow下面是生成脚本按字符集、长度和干扰强度生成批量样本文件名同时是标签。import os import random import string from captcha.image import ImageCaptcha # 字符集去掉容易混淆的 0/O、1/I/L chars string.ascii_uppercase string.digits chars chars.replace(O, ).replace(I, ).replace(L, ) width, height 160, 60 num_samples 20000 save_dir ./captcha_data os.makedirs(save_dir, exist_okTrue) for i in range(num_samples): label .join(random.choices(chars, k4)) generator ImageCaptcha(widthwidth, heightheight) # 控制干扰线和噪点的数量模拟不同难度 generator._generate_ noises lambda: None # 先不加噪点 image generator.generate_image(label) image image.convert(RGB) image.save(os.path.join(save_dir, f{label}_{i:05d}.png))这段代码里字符集剔除了三个易混淆字符这是数据层面降低难度的常用手段。ImageCaptcha默认带干扰线生成的图片尺寸统一是 160×60 RGB。文件名格式是「标签_序号.png」训练时通过解析文件名拿到标签天然对齐不需要单独维护标注文件。先运行一遍生成少量样本肉眼确认图片清晰度再批量生成全量数据。3.3 数据集划分训练集 / 验证集 / 测试集的比例与组织方式深度学习项目普遍按 8:1:1 划分数据验证码项目也按这个比例来。20000 张样本里16000 张训练、2000 张验证、2000 张测试。测试集必须从训练流程中完全隔离只在最后评估时用一次。不建议用random_split直接切分整个数据集目录因为生成脚本的循环里图片已经按顺序混在一起相邻文件没有相关性直接按比例切目录也可以。但有一点要注意如果后续你在不同时间生成了多批数据合并目录后必须先 shuffle 再划分否则模型可能只见过前一批数据的风格。4. 搭建 CNN 模型PyTorch 卷积网络结构、训练循环与推理代码4.1 网络结构几层卷积、几个全连接才够用验证码是 160×60 的彩色图字符只有 4 个字符集 33 个字符26 个大写字母去掉 3 个加 10 个数字总共 33^4 ≈ 118 万种组合但这个任务对网络容量的需求其实不高。常见的做法是三层卷积加两层全连接特征图从 3 通道逐步扩展到 128 通道。不需要上 ResNet 这种深层结构验证码字符的特征相对简单太深的网络反而容易过拟合。如果你遇到字符更长、干扰更重的验证码可以加一层卷积但先从小网络开始调参这是更稳妥的路径。下面是一份可以直接跑通的模型定义import torch import torch.nn as nn class CaptchaCNN(nn.Module): def __init__(self, num_chars4, num_classes33): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 160x60 - 80x30 nn.Conv2d(32, 64, kernel_size3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 80x30 - 40x15 nn.Conv2d(64, 128, kernel_size3, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 40x15 - 20x7 ) # 20x7 是最后一次池化后的特征图尺寸由输入尺寸推算 self.classifier nn.Sequential( nn.Linear(128 * 20 * 7, 512), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(512, num_chars * num_classes), ) def forward(self, x): x self.features(x) x x.view(x.size(0), -1) x self.classifier(x) return x.view(x.size(0), 4, 33)关键点是最后一层全连接输出4 * 33 132个值再 reshape 成(batch, 4, 33)表示每个字符位置上的 33 个类别概率。这样设计是因为验证码是定长 4 位四个位置共享同一个特征提取器但各自独立分类比训练四个单独模型更高效。BatchNorm2d放在卷积和激活函数之间能加速收敛Dropout放在全连接层防止小数据集上过拟合。4.2 训练脚本损失函数、优化器与关键参数定长验证码识别是一个典型的多标签分类问题但每个位置上的字符是互斥的所以损失函数用交叉熵即可。PyTorch 的CrossEntropyLoss要求输入形状是(batch, num_classes)输出形状是(batch)因此训练循环里要把模型的输出拆成四个位置分别算损失再取平均。import torch.optim as optim from torch.utils.data import DataLoader, Dataset from PIL import Image import os class CaptchaDataset(Dataset): def __init__(self, root_dir): self.paths [os.path.join(root_dir, f) for f in os.listdir(root_dir)] self.chars 23456789ABCDEFGHJKMNPQRSTUVWXYZ # 与生成时保持一致 def __len__(self): return len(self.paths) def __getitem__(self, idx): path self.paths[idx] label os.path.basename(path).split(_)[0] img Image.open(path).convert(RGB).resize((160, 60)) img torch.tensor(np.array(img), dtypetorch.float32) / 255.0 img img.permute(2, 0, 1) # HWC - CHW label_idx [self.chars.index(c) for c in label] return img, torch.tensor(label_idx) train_loader DataLoader(CaptchaDataset(./captcha_data), batch_size64, shuffleTrue) model CaptchaCNN() optimizer optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() for epoch in range(30): for batch_idx, (images, labels) in enumerate(train_loader): optimizer.zero_grad() outputs model(images) # (batch, 4, 33) loss 0.0 for pos in range(4): loss criterion(outputs[:, pos, :], labels[:, pos]) loss / 4 loss.backward() optimizer.step() print(fepoch {epoch}: loss {loss.item():.4f})这个训练循环里batch_size64在普通 GPU 上不会有显存压力没有 GPU 用 CPU 也能跑只是慢一些。学习率选 1e-3 是 Adam 优化的常用起点如果 loss 震荡不下降降到 1e-4 再试。每个 epoch 结束时打印 loss重点观察 loss 是否持续下降如果某个 epoch 后 loss 不再降考虑降低学习率或者增加数据量。4.3 单张图片推理从加载模型到输出识别结果训练完的模型要保存权重推理时单独写一个脚本加载模型对单张图片做和训练时完全相同的预处理然后取每个位置概率最大的字符作为预测结果。import numpy as np import torch from PIL import Image model CaptchaCNN() model.load_state_dict(torch.load(captcha_model.pth, map_locationcpu)) model.eval() chars 23456789ABCDEFGHJKMNPQRSTUVWXYZ def predict(image_path): img Image.open(image_path).convert(RGB).resize((160, 60)) img torch.tensor(np.array(img), dtypetorch.float32) / 255.0 img img.permute(2, 0, 1).unsqueeze(0) with torch.no_grad(): output model(img) # (1, 4, 33) pred output.argmax(dim2)[0] return .join(chars[i] for i in pred.tolist()) print(predict(./captcha_data/A2B3_00001.png))推理代码有两处必须和训练保持完全一致图片尺寸必须是 160×60归一化方式必须是除以 255。不一致会导致识别效果明显变差。model.eval()这行不能省它关闭 Dropout 和 BatchNorm 的训练行为否则同一张图每次预测结果都可能不同。5. 验证码识别避坑手册5 个最容易翻车的地方5.1 训练 loss 下降但验证准确率上不去模型的 loss 在训练集上一路走低但在测试集上准确率停滞在某个低水平这是典型的过拟合信号。验证码数据集用脚本生成样本之间差异其实不大模型很容易记住训练集的干扰线分布。解决路径有两步第一步给ImageCaptcha的生成过程加入随机背景颜色、随机干扰线数量和宽度扩大样本分布第二步在模型里加大Dropout的比例到 0.5 以上或者加一层数据增强随机旋转小角度、随机亮度变化。5.2 训练集里个别字符准确率特别低如果混淆矩阵显示某个字符频繁被识别成另一个比如 G 被认成 CJ 被认成 U先检查字符集定义是否一致。生成数据时代码里写的是string.ascii_uppercase string.digits训练时字符集却是手写的字符串顺序和内容只要差一个字符标签就全错位了。这个错误在训练时 loss 表现几乎正常因为标签错位是全局性的只有到验证阶段才会暴露。正确做法是把字符集定义放在一个模块里生成脚本和训练脚本都引用它避免手抄两遍。5.3 图片尺寸不统一导致维数不匹配有些验证码来源是真实网站截屏尺寸各不相同直接输入网络会报维度错误或者静默出错。一个常见做法是按长边缩放然后填充到固定尺寸更好的做法是直接 resize 到 160×60。但要注意resize 会拉伸字符比例对细长字体影响较大。如果你的场景里字符被拉伸后识别效果变差可以改成按宽高比填充灰色边框保持原始比例不变再输入网络。5.4 GPU 上训练正常CPU 推理时结果不稳定这是 BatchNorm 层的经典坑。训练时 BatchNorm 使用当前 batch 的均值和方差做归一化推理时使用训练阶段累积的全局统计量。如果你保存权重之前没有调用model.eval()保存的 BatchNorm 状态可能是训练中间态加载到 CPU 推理时结果就会偏差。解决方法是训练结束后先model.eval()再保存权重推理脚本里也要先eval()再加载。5.5 模型推理速度太慢单张图片要几十毫秒验证码识别的部署场景往往对速度敏感。如果觉得 CNN 前向推理太慢先用torch.jit.script把模型转成 TorchScript推理速度能提升不少。再不够可以把图片从 160×60 降到 120×45精度损失可能很小但计算量显著下降。一般不建议为验证码任务上目标检测类模型那类模型单张推理要几百毫秒起步大材小用。6. 从定长到泛化验证识别效果的三个进阶手段6.1 用逐字符准确率而不是整串准确率评估模型很多人训练完只看「整串验证码正确率」即 4 个字符全对才算对。这个指标偏严格模型单个字符准确率 95% 时整串准确率大约是 0.95^4 ≈ 81%实际体验会差很多。更好的做法是额外统计每个位置的预测正确率找出明显的弱项位置再针对性调整网络最后一层的权重分配。如果四个位置的准确率差异较大通常不是模型问题而是数据分布问题——某个位置的字符因为图像切割或干扰线遮挡更严重。6.2 用混淆矩阵定位易混淆字符对在测试集上跑一遍预测统计每个真实字符对应的预测分布把最常见的错误对打印出来。6 和 8、2 和 Z、5 和 S 这类形状相近的字符最常出现。如果业务允许直接把这些字符从字符集里剔除是成本最低的优化手段准确率能立刻上升一截。如果业务不允许剔除就针对易混淆对增加训练样本数量让每个字符的样本量均衡避免模型偏向高频字符。6.3 从定长走向不定长CTC 损失的方向这个项目目前只处理固定 4 位验证码。如果遇到位数不固定的验证码常见做法有两种一种是先检测字符位置再逐个识别另一种是用 CTC 损失让网络直接输出变长序列。CTC 的思路是让网络对每个时间步输出一个字符分布包括一个特殊的空白字符再通过动态规划对齐到最终标签。改动量不大把最后一层全连接改成一维卷积加 RNN 或 Transformer损失函数换成torch.nn.CTCLoss模型就能处理 3 到 6 位不等的验证码。不过 CTC 对字符间距和背景噪声更敏感训练难度比定长任务高不少做之前先确认你的目标验证码是否为变长。回到最开始的判断验证码识别项目的模型结构真的只是其中一环数据生成的质量、字符集的定义、训练与推理预处理的一致性才是决定项目能不能落地的核心。我在做这类项目时吃过一次亏数据集生成脚本和训练脚本里的字符集手抄了两遍漏了一个字符模型在训练集上表现完美到测试集立刻原形毕露。后来把所有共享配置抽到一个模块里类似问题再没出现过。这个习惯建议你保留它省下来的调试时间远比写配置文件的时间多。希望帮到你。本文还有配套的精品资源点击获取