简介基于OpenCV与TensorFlow的银行卡号识别项目面向计算机视觉方向的毕业设计、课程设计与开源项目学习者。内容围绕完整的银行卡号识别流程展开包含Python源码与训练模型文件可用于理解图像预处理、数字区域定位、字符分割与基于深度学习的数字识别等关键环节。项目共144个文件以118张png图片、6个Python脚本为主体附带TensorFlow模型检查点data/index/meta/checkpoint与多个迭代步数的模型文件以及jpg样例和markdown说明整体约2.97MB可快速下载部署。模型检查点覆盖不同训练阶段便于对比效果和继续调参目录结构清晰适合作为课程设计说明书的技术支撑。目前已有150人学习下载对需要搭建银行卡号识别原型或参考完整工程组织方式的开发者该项目是一份轻量且可直接运行的参考项目。1. 银行卡号识别项目OpenCV 找卡面、TensorFlow 认数字一套能落地的组合做银行对账系统或者支付类业务时卡号录入是个绕不开的环节。16 位数字靠人工核对一天几百张就能让人头晕眼花。用 openCV 做卡面定位和数字分割用 Tensorflow 训练一个 CNN 分类器做识别这套「OpenCV TensorFlow」组合能把卡号识别做成一个解压即用的 zip 项目——输入一张卡面照片输出一串数字。这个方向特别适合刚接触 openCV 图像处理、想跑通一个完整识别管线的开发者也适合做自动化录入、票据识别类系统的技术人员。先用半小时跑通最小链路再逐步堆参数和样本是性价比最高的路线。2. 为什么是 OpenCV TensorFlow卡号识别本质是三个子问题2.1 卡号识别不是「一个 OCR 模型」的事而是定位、分割、分类的串联银行卡号和车牌号、身份证号最大的不同在于卡面是凸版压花印刷。数字不是印在平面上的而是鼓起来的光照稍有不均就会在数字边缘拖出阴影。这意味着任何试图「整行输入模型直接出文本」的做法——比如把卡面底部整块丢给端到端 OCR——都会在预处理环节被阴影和反光干扰。把问题拆开看卡号识别实际是三个独立子任务定位找到银行卡在图像中的位置并把倾斜的卡面矫正成正视图。分割从矫正后的卡面上裁剪出卡号区域再把 16 或 19 位数字切成单个字符。分类对每个字符做 0-9 的十类别分类。OpenCV 负责前两个子任务TensorFlow 负责第三个。这种拆分的好处是每一步都可以单独验证卡面歪了先看透视变换参数数字切歪了先看投影阈值分类错了才轮到调模型。如果一上来就端到端训练出问题根本没法定位。2.2 为什么不直接用 Tesseract 或 PaddleOCR选型要看字体与版面约束很多人第一反应是上 Tesseract。我的实测经验是Tesseract 对印刷体文档识别很好但对银行卡这种「凸起数字 复杂底纹 反光」的场景表现很不稳定——它内部的字符切分器假设字符是水平均匀分布的遇到压花字的阴影时经常把两个数字粘成一个或者把一个 8 切断成两个 0。PaddleOCR 这类深度学习 OCR 方案能处理复杂背景但它是为「整行文本检测 识别」设计的模型体积和推理耗时都明显偏高。而这个场景有一个天然约束卡号位置是固定的常见银联卡卡号都在卡面下方约 58% 到 72% 的高度范围内而且一定是 4 位一组。放着这个先验不用反而去训练一个通用检测器属于杀鸡用牛刀。所以我的选择是OpenCV 用几何规则把问题简化成「单字符分类」TensorFlow 只需要做一个轻量 CNN。这也是这套方案能被压缩成一个 zip 包、在普通笔记本 CPU 上跑出 95% 以上准确率的原因。2.3 完整管线从照片到卡号文本的八个环节环节工具输出图像读取与缩放OpenCV imread / resize统一宽度的图像灰度与去噪cvtColor / GaussianBlur干净的单通道图边缘提取Canny二值边缘图卡面轮廓筛选findContours / approxPolyDP卡面四角坐标透视变换getPerspectiveTransform / warpPerspective矫正后的卡面正视图卡号区域裁剪按相对高度切片只含卡号数字的灰度图字符分割自适应阈值 垂直投影单个数字图像列表分类与校验TensorFlow CNN Luhn卡号文本这套管线每一步的输入输出都是明确的「图像到图像」或「图像到数组」方便单独调试。下面两章分别拆解 OpenCV 定位部分和 TensorFlow 识别部分。3. 用 OpenCV 做卡面定位与卡号提取轮廓筛选和透视变换的完整代码3.1 预处理为什么先缩放到 800 宽度Canny 阈值怎么定卡面照片来自手机或摄像头分辨率差异很大。我一般先把图像宽度统一缩放到 800 像素高度按比例缩放。这个尺寸下卡面边缘足够清晰同时轮廓检测的运算量可控——如果直接处理 4000×3000 的原图findContours的耗时明显变长而且小噪点会被放大反而干扰筛选。灰度化后先做一次 5×5 的高斯模糊目的是消除传感器噪点避免 Canny 把噪点当成边缘。Canny 的低阈值和高阈值我通常设在 80 和 200这个区间覆盖了大多数室内灯光和自然光场景。如果卡面偏暗边缘响应弱可以把低阈值降到 50如果背景纹理复杂高频边缘多就把高阈值提到 250减少干扰。import cv2 import numpy as np def preprocess(img): # 统一宽度保持长宽比避免轮廓检测在高分辨率图上的耗时爆炸 h, w img.shape[:2] scale 800.0 / w if w 800 else 1.0 if scale ! 1.0: img cv2.resize(img, (int(w * scale), int(h * scale))) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) blur cv2.GaussianBlur(gray, (5, 5), 0) edges cv2.Canny(blur, 80, 200) return img, edges这里的 resize 用默认的INTER_LINEAR就够因为后续还要做透视变换过早用INTER_CUBIC反而拖慢速度。Canny的低阈值和高阈值是经验值——低阈值决定「强边缘」的起始响应高阈值决定哪些边缘会被保留。设定 80/200 的原因是银行卡边缘在纯色桌面上非常干净属于典型的高梯度边缘不需要把阈值压得太低去迁就暗光。3.2 找卡面四角按面积排序筛选轮廓用 approxPolyDP 逼近四边形定位卡面的常见做法有两种一是用直线检测如 HoughLines 找卡面四条边再求交点二是直接用轮廓检测。我倾向后者因为approxPolyDP能把轮廓拟合成多边形卡面在大多数照片里都能被拟合成四边形并且轮廓面积天然可以作为筛选条件比直线求交点稳定得多。def find_card_corners(edges, min_area20000): contours, _ cv2.findContours(edges, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 按面积从大到小排序只检查前 10 个卡面通常排在最前面 contours sorted(contours, keycv2.contourArea, reverseTrue)[:10] for c in contours: area cv2.contourArea(c) if area min_area: continue peri cv2.arcLength(c, True) approx cv2.approxPolyDP(c, 0.02 * peri, True) if len(approx) 4: return approx.reshape(4, 2).astype(np.float32) return Nonemin_area20000是配合 800 像素宽度来的经验值。一张 800 宽的卡面照片卡面本身大约占 300×190 像素面积接近 57000设置 20000 能排除桌面杂物。approxPolyDP的 epsilon 参数取周长的 0.02 倍意思是拟合结果与原始轮廓的最大距离不超过周长的 2%。这个值太小拟合出五边形、六边形太大把圆角卡片的边角压平。如果卡片四角是明显圆角0.02 可能拟合出 5 个点多边形这时候把 epsilon 放宽到 0.03 再看len(approx) 4即可。3.3 透视变换的角点排序不排好序矫正出来是镜像或旋转的拿到四个角点后不能直接做透视变换必须先按「左上、右上、左下、右下」的顺序排好。常见的坑是直接用contourArea的顺序或随机顺序结果投影出来的卡片是旋转 90 度或镜像的。排序逻辑写在一个工具函数里左上角是 xy 最小的点右下角是 xy 最大的点右上角是 y-x 最大的点左下角是 y-x 最小的点。这个规则对「卡面在画面里没有严重翻转」的情况都成立。def four_point_transform(img, corners): # 坐标排序用 xy 和 y-x 两个特征区分四个角 s corners.sum(axis1) tl corners[np.argmin(s)] br corners[np.argmax(s)] diff np.diff(corners, axis1).ravel() tr corners[np.argmin(diff)] bl corners[np.argmax(diff)] # 输出尺寸按银行卡宽高比 1.586 设定宽度 600高度 378 dst np.array([[0, 0], [600, 0], [600, 378], [0, 378]], dtypenp.float32) M cv2.getPerspectiveTransform( np.array([tl, tr, br, bl], dtypenp.float32), dst) warped cv2.warpPerspective(img, M, (600, 378)) return warped这里的 600×378 不是随便写的。银行卡的物理尺寸是 85.6mm × 54mm宽高比 1.586。透视变换的输出尺寸保持这个比例后续按相对位置裁剪卡号区域时才不会变形。warpPerspective默认用线性插值对于倾斜角度大的照片数字边缘会有锯齿可以加一个参数cv2.INTER_CUBIC改善代价是耗时增加一倍。我的习惯是先跑默认参数看效果只有倾斜超过 30 度才换插值算法。矫正完成后卡号区域的位置就非常稳定了。以输出高度 378 为例卡号一般在 y 坐标 220 到 280 之间x 坐标从 30 到 570。这个区间可以写死也可以按相对比例int(378 * 0.58)到int(378 * 0.72)计算避免以后换输出尺寸时又要重新调。card_warped four_point_transform(img, corners) # 按卡号在卡面上的先验位置裁剪下方约 58% 到 72% 高度 crop card_warped[220:280, 30:570]这一刀切下去输入给后续识别的就不再是一整张卡面而是只有一排数字的区域。后面的分割和分类全部在这个小图上做速度和准确率都会上一个台阶。4. 分割与 TensorFlow 识别垂直投影切数字CNN 分类 0-94.1 垂直投影分割自适应阈值比固定阈值稳得多卡号区域裁剪出来后要把它切成单个数字。最简单的做法是按列统计白色像素数——数字所在的列白色像素多数字之间的空隙白色像素少画一条水平线就能切分。但前提是二值化做得对。我一开始用的是cv2.threshold加 Otsu 自动阈值结果在卡面反光的照片上大翻车。压花数字的凸起部分会产生阴影Otsu 把阴影区域也判成了前景导致两个数字之间出现「伪桥接」投影图连成一片切不开。换成自适应阈值后马上好了很多——它在每个局部窗口内独立计算阈值能抵消光照渐变的影响。def split_digits(gray_img): # 自适应阈值窗口大小 41偏差 15反色让数字变白色前景 thr cv2.adaptiveThreshold( gray_img, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 41, 15) # 垂直投影统计每列白色像素数 col_sum thr.sum(axis0) / 255.0 active col_sum 3 # 白色像素少于等于 3 的列视为间隙 digits [] start None for i, v in enumerate(active): if v and start is None: start i elif not v and start is not None: digits.append(thr[:, start:i]) start None if start is not None: digits.append(thr[:, start:]) return digitsadaptiveThreshold的blockSize41表示每个像素的阈值由它周围 41×41 区域的加权平均决定C15表示从这个平均值里减去 15 作为最终阈值。这两个参数直接影响切分质量窗口太大局部光照变化跟不上退化成全局阈值窗口太小数字笔画内部被误判成背景。41 和 15 是我测试了二十多张卡面后确定的折中选择。投影分割有个前置条件卡号区域必须水平对准。如果透视变换做得不精确数字行本身是倾斜的垂直投影会把同一个数字的上下部分分到不同列段。要是发现切出来的块数明显超过 19先回去检查透视变换的角点排序而不是调投影阈值——这属于典型的「后段出问题先查前段」。4.2 训练数据直接用 MNIST 会翻车要合成「银行卡风格」的数字分割完成后每个数字都被缩放成 28×28 的灰度图和 MNIST 的输入尺寸一致。但直接用 MNIST 训练的模型去识别卡号准确率通常不到 80%原因不是模型不行而是数据分布不匹配——MNIST 是手写数字笔画细、背景干净银行卡号是印刷凸字笔画粗、边缘有立体阴影。比较靠谱的做法是生成合成训练数据用cv2.putText或 PIL 在一张纯色背景上渲染数字字体选无衬线粗体比如 Hershey Simplex 或 DejaVu Sans Bold再叠加运动模糊、亮度渐变、轻微的透视畸变来模拟真实拍卡效果。真实标注样本数量不需要太多300 到 500 张卡面即可但一定要覆盖不同卡底色——银联卡有金色、蓝色、黑色数字的对比度差异很大。合成样本和真实样本混合训练比只用真实样本好得多。合成数据负责让模型学会「印刷体数字长什么样」真实数据负责让模型适应「光照干扰和压花阴影带来的噪声」。我在训练时把合成样本和真实样本的比例控制在 3:1数据增强用小幅旋转、缩放和亮度抖动。4.3 CNN 结构两个卷积层足够更多参数只会让小数据过拟合数字分类是一个极度简单的任务——十个类别、输入是 28×28 的单通道图。我用一个两层卷积的网络就能达到 99% 以上的测试准确率import tensorflow as tf from tensorflow.keras import layers, models def build_model(): model models.Sequential([ layers.Input(shape(28, 28, 1)), layers.Conv2D(32, 3, activationrelu), layers.MaxPooling2D(2), layers.Conv2D(64, 3, activationrelu), layers.MaxPooling2D(2), layers.Flatten(), layers.Dense(128, activationrelu), layers.Dropout(0.3), layers.Dense(10, activationsoftmax) ]) return model模型结构上没有花哨的设计。卡号数字没有复杂的纹理和语义第一层卷积提取笔画边缘第二层提取笔画组合全连接层做最终分类。Dropout(0.3)是为了对抗真实样本不足可能带来的过拟合——如果训练集只有几千张全连接层很容易把噪声细节背下来测试时遇到没见过的卡底纹就出错。训练参数我用的是Adam优化器、默认学习率 0.001、sparse_categorical_crossentropy损失、batch size 64、epoch 20。20 个 epoch 是观察验证集准确率不再上升后确定的再多就会开始过拟合。训练完成后保存为 TensorFlow SavedModel 格式model.fit(train_ds, validation_dataval_ds, epochs20, batch_size64) model.save(digit_model)推理时把分割出来的每个数字图缩放到 28×28归一化后走一次前向传播取 argmax 作为识别结果def predict_digits(model, digit_imgs): results, confs [], [] for d in digit_imgs: d cv2.resize(d, (28, 28)).astype(float32) / 255.0 prob model.predict(d[None, ..., None], verbose0)[0] cls int(prob.argmax()) results.append(cls) confs.append(float(prob[cls])) return results, confsmodel.predict每次只处理一张图在 CPU 上大约需要 2 毫秒一张卡 19 位数字总共不到 40 毫秒完全能满足人工辅助录入场景的实时性要求。如果卡号是 16 位分割出来就是 16 个块后处理直接拼字符串即可。5. 银行卡号识别的五个高频坑现象、原因、解法5.1 数字断连一个 8 被切成两个 0现象分割结果数量比实际卡号位数多比如 16 位卡号切出了 18 个块仔细看是某个数字被从中间切断。原因压花数字在光照下产生阴影自适应阈值把数字内部的低灰度区域当成了背景形成了一个贯穿笔画的白缝。解决在split_digits的阈值化之后加一步形态学闭运算用cv2.morphologyEx(thr, cv2.MORPH_CLOSE, np.ones((3, 15)))。3×15 的核宽度是 3 像素、长度是 15 像素能把数字内部竖向的白缝补上同时不会把相邻数字粘连。闭运算核的尺寸是个玄学参数我一般从 3×9 开始试切分块数偏多就加长偏少就缩短。5.2 16 位和 19 位混排分割结果长度不稳定现象同一种卡有时切出 16 块有时切出 19 块程序只按固定长度拼接经常丢位或多位。原因不同银行发卡号位数不同更隐蔽的是有些卡面的卡号区域附近还印着有效期或卡组织标识如果裁剪区域留得太宽投影分割把「12/28」这种有效期也切了进去。解决先按投影块数判断——多于 19 个块说明裁剪区域下边界太靠下把裁剪高度缩小 10 像素再重试等于 16 或 19 时拼接为字符串。拼接后做分组校验卡号一定是 4 位一组如果字符串长度是 17 或 18直接用正则把前 16 位或 19 位截出来多余部分丢弃。5.3 透视变换后数字发虚倾斜角度一大就出错现象手机斜着拍卡时矫正后的卡面图像数字边缘模糊识别准确率从 95% 掉到 80%。原因warpPerspective默认使用双线性插值大角度透视变换会拉伸像素线性插值对这种拉伸的补偿不够高频边缘信息丢失。解决把插值方式改为cv2.INTER_CUBIC或cv2.INTER_LANCZOS4。实测倾斜 30 度以上的照片用INTER_CUBIC能减少约 3% 的识别错误。代价是单次透视变换耗时从 1 毫秒涨到 5 毫秒左右对单张识别场景可以忽略。5.4 真实样本不足导致过拟合合成数据加太少也是白搭现象训练集准确率 99.8%验证集准确率 96%但一到真实卡面照片上就掉到 88%。原因验证集和训练集来自同一次拍摄的光照条件模型学到了「这个光线下的数字长什么样」而不是「银行卡号数字长什么样」。解决把真实数据集按拍摄环境分组保证训练集、验证集、测试集来自不同批次、不同手机、不同灯光。另外合成数据一定要加「银行卡风格」的干扰包括垂直方向的光照渐变、像素级的高斯噪声、轻微的透视畸变——这些是复现真实场景的关键比单纯旋转缩放有用得多。5.5 环境装不好TensorFlow 装完 import 报错OpenCV 编译到天荒地老现象从 zip 包解压后照着 requirements 安装import tensorflow报 Dll 加载失败或者import cv2直接提示找不到模块。原因TensorFlow 2.x 对 Python 版本要求严格3.10 以下用旧版轮子、3.11 以上有些版本没有对应预编译包OpenCV 如果从源码 cmake 编译不折腾几个小时下不来还容易因为缺少依赖编译失败。解决固定版本清单不要装最新版。我常用的组合是 Python 3.9 opencv-python 4.5.5tensorflow 2.10这个组合在 Windows 和 Linux 上都有稳定的预编译 wheel。装 OpenCV 直接pip install opencv-python opencv-contrib-python4.5.5.64除非你要用 CUDA 加速否则别碰源码编译——除非确实需要那也不是不能在 Linux 上做但没必要为这个项目折腾。zip 解压后的第一件事就是把pip freeze保存一份防止半个月后回来环境被改乱。6. 让识别结果更可信Luhn 校验、置信度过滤和部署小技巧6.1 先做 Luhn 校验把识别错误从「输出错的号码」变成「拒绝输出」银行卡号不是随便一串数字它内部有校验逻辑。Luhn 算法是卡号合法的必要条件16 位或 19 位数字的最后一位是校验位。识别完成后先跑一遍校验大概率能挡掉一半以上的单字符识别错误。def luhn_check(digits: str) - bool: total 0 # 从右往左偶数位置的数字乘 2超过 9 就减 9 for i, ch in enumerate(digits[::-1]): d int(ch) if i % 2 1: d * 2 if d 9: d - 9 total d return total % 10 0这个函数的输入是识别拼接出来的完整卡号字符串。如果返回 False不要直接把结果交给下游而是标记为「需要人工复核」。对自动化录入系统来说拒绝一个错误结果比接受一个错误结果安全得多——错误卡片发出去的对账成本远大于一次人工核对。6.2 置信度过滤单字符 0.6 阈值加第二候选替换CNN 输出的 softmax 概率本身就是置信度参考。在predict_digits里我会把每个数字的置信度同时返回。当某个字符的置信度低于 0.6 时这个位置大概率是识别错了——常见于数字 0 和 8 混淆、1 和 7 混淆。一个实用的兜底策略是当 Luhn 校验失败时从识别结果里找出置信度最低的一位用该位置 softmax 的第二高概率类别替换重算 Luhn。如果替换一次后校验通过就采用替换结果如果还失败直接交给人工。这个策略在处理反光卡面时能多救回约 10% 的失败样本。6.3 部署时把环境锁死zip 包分发更省心这类项目以 zip 包形式分发时最大的坑不是代码是环境漂移。我现在的习惯是把requirements.txt里的版本全部用锁死同时把模型目录和代码目录放在同一级路径下不写绝对路径——用os.path.join(os.path.dirname(__file__), model)这种相对定位避免解压到别的目录后路径失效。模型加载用tf.saved_model.load而不是model.load_weights前者会把模型结构和权重一起打包换环境不用重新定义网络结构。这些细节看起来小但在别人机器上复现时十有八九的问题都出在这里。做这个项目给我的最大教训是图像识别的翻车点很少在模型而在前面的预处理逻辑。把卡面裁准、把数字切干净识别准确率自然就上去了。每次我拿到识别失败的新卡面第一反应永远是回头去看二值化和分割的输出而不是急着改网络结构。如果你也按这个顺序排查这套方案能省下不少时间。希望帮到你。本文还有配套的精品资源点击获取