简介这份资源面向具备一定深度学习基础的开发者与文本分类学习者提供一套基于BERT预训练模型结合text_cnn结构完成文本分类的完整源码方案可用于影评情感分析等典型场景帮助读者理解预训练特征提取与卷积网络分类的衔接方式。压缩包共25个文件、约323KB以16个Python脚本为核心覆盖模型定义、特征提取、训练与预测流程另含3个txt说明、2份license、2份Markdown文档、1个gitignore及1个ipynb示例笔记兼顾代码运行与文档查阅。目前已有428人学习下载。资源目录结构清晰包含BERT建模、优化器、分词与分类器等多个模块并附有基于TF Hub的影评预测示例便于读者直接运行验证、按模块拆解学习快速搭建可复用的文本分类基线同时借助说明文档与许可证信息规范二次开发与引用。1. 拆开「基于BERT的文本分类CNN模型设计源码」它到底在做什么很多人第一次看到这个标题会以为是把 BERT 和 CNN 拼在一起堆模型其实它解决的是一个非常具体的问题当你手头只有几千条标注文本直接微调 BERT 容易过拟合、推理又慢而纯 CNN 从零训练又抓不住语义。这个方案的核心思路是——用 BERT 当特征提取器把每条文本压成一个带上下文信息的向量序列再交给 CNN 去捕捉局部 n-gram 特征最后接全连接层做分类。它适合做情感分析、工单分类、垃圾评论识别、新闻主题归类这类任务尤其是标注数据不够撑起全量微调、又对推理延迟有要求的场景。源码层面它通常包含数据预处理、BERT 编码、CNN 卷积池化、训练循环和推理接口五个模块参数量比全量微调小一个量级单卡就能跑。下面我按「先立住原理、再动手复现、最后讲坑」的顺序把这个方案拆开讲清楚。2. BERT 与 CNN 为什么要拼在一起特征提取和局部卷积的分工2.1 纯 BERT 微调和纯 CNN 各自的边界在哪先说纯 BERT 微调。它的做法是把预训练模型最后一层或 [CLS] 位置的输出接一个分类头用下游数据更新全部参数。效果通常很好但有两个硬伤一是参数量大base 版本约 1.1 亿参数全量微调对显存要求高小数据集上很容易过拟合二是推理慢每条文本都要过一遍完整 Transformer线上 QPS 上不去。再说纯 CNN。TextCNN 那套做法是用随机初始化的 embedding 加多尺寸卷积核训练快、推理快但它对语义的理解完全依赖训练数据。标注量少的时候embedding 学不好分类边界很模糊遇到同义替换、语序变化就翻车。把两者拼起来逻辑就顺了BERT 负责把文本变成带上下文语义的向量序列这部分不需要更新太多参数甚至可以直接冻结CNN 负责在这个序列上做局部特征抽取用不同尺寸的卷积核捕捉 2-gram、3-gram、4-gram 的搭配模式。这样既保留了语义又控制了参数量和推理成本。2.2 特征怎么接BERT 输出到 CNN 输入的三种常见接法这里有个关键选择BERT 的输出怎么喂给 CNN。常见做法有三种。第一种是取最后一层的last_hidden_state形状是[batch, seq_len, hidden]直接当作 CNN 的输入通道。这是最直接的方式hidden通常 768相当于 768 个通道卷积核在seq_len维度上滑动。第二种是取最后四层拼接或加权求和再送进 CNN。这样做能保留更多底层词汇信息对短文本分类有时更稳。第三种是只取[CLS]向量但那是一维向量没法做卷积所以这个方案里不用。我一般用第一种简单、可复现显存也友好。如果数据量特别小可以把 BERT 冻结只训练 CNN 部分这样参数量直接降到几百万级别。2.3 一个最小可跑的模型结构定义下面这段代码定义的就是「BERT 冻结 多尺寸 CNN 全连接分类」的结构。用的是 HuggingFace 的transformers和 PyTorch。import torch import torch.nn as nn from transformers import BertModel class BertCnnClassifier(nn.Module): def __init__(self, bert_path, num_classes, hidden768, filter_sizes(2,3,4), num_filters128, dropout0.3): super().__init__() # 加载预训练 BERT作为特征提取器 self.bert BertModel.from_pretrained(bert_path) # 冻结 BERT 参数只训练 CNN 和分类头 for p in self.bert.parameters(): p.requires_grad False # 多尺寸卷积核分别捕捉 2-gram、3-gram、4-gram self.convs nn.ModuleList([ nn.Conv1d(in_channelshidden, out_channelsnum_filters, kernel_sizefs) for fs in filter_sizes ]) self.dropout nn.Dropout(dropout) self.fc nn.Linear(num_filters * len(filter_sizes), num_classes) def forward(self, input_ids, attention_mask): # BERT 前向取最后一层隐藏状态 with torch.no_grad(): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) x outputs.last_hidden_state # [B, L, H] x x.transpose(1, 2) # [B, H, L]Conv1d 要求通道在前 conv_outs [] for conv in self.convs: c torch.relu(conv(x)) # [B, num_filters, L - fs 1] c torch.max_pool1d(c, c.size(2)) # 全局最大池化 conv_outs.append(c.squeeze(2)) x torch.cat(conv_outs, dim1) # [B, num_filters * len(filter_sizes)] x self.dropout(x) logits self.fc(x) return logits逻辑说明transpose(1, 2)这一步很关键PyTorch 的Conv1d要求输入形状是[batch, channels, length]而 BERT 输出是[batch, length, hidden]所以必须转置。卷积核尺寸(2,3,4)分别对应在序列上滑动的窗口大小池化用全局最大池化把每个卷积核的输出压成一个标量。最后拼接所有卷积核的输出过 dropout 再进全连接。参数说明num_filters控制每个尺寸卷积核的数量128 是常见起点数据量大可以加到 256dropout在 0.3 到 0.5 之间调小数据集用 0.5filter_sizes如果文本平均长度很短比如小于 20 个字可以改成(1,2,3)。3. 从零跑通训练数据、分词、训练循环和评估3.1 数据格式和分词器的选择数据一般是一个 CSV 或 TSV两列text和label。标签可以是整数也可以是字符串后面用LabelEncoder转一下。分词器必须和 BERT 预训练模型匹配比如用bert-base-chinese就配BertTokenizer用bert-base-uncased就配对应的英文分词器。中文任务不要用英文分词器否则会把每个字拆成奇怪的字词混合。import pandas as pd from sklearn.preprocessing import LabelEncoder from transformers import BertTokenizer df pd.read_csv(data.csv) # 列text, label le LabelEncoder() df[label_id] le.fit_transform(df[label]) tokenizer BertTokenizer.from_pretrained(bert-base-chinese) def encode(texts, max_len128): return tokenizer( texts.tolist(), paddingmax_length, truncationTrue, max_lengthmax_len, return_tensorspt ) enc encode(df[text]) labels torch.tensor(df[label_id].values)逻辑说明paddingmax_length统一补齐到max_lentruncationTrue超长截断。max_len设 128 覆盖大多数短文本分类任务如果文本平均长度超过 200可以调到 256但显存会翻倍。参数说明max_len是显存和效果之间的权衡短文本 64 就够长文本 256 起步batch_size在冻结 BERT 的情况下可以设 32 或 64如果解冻 BERT 则要降到 8 或 16。3.2 训练循环和优化器参数怎么设冻结 BERT 时优化器只需要管 CNN 和全连接层学习率可以设大一点1e-3 到 3e-3 都行。如果解冻 BERT学习率要降到 2e-5 到 5e-5否则预训练权重会被破坏。from torch.utils.data import TensorDataset, DataLoader from torch.optim import AdamW dataset TensorDataset(enc[input_ids], enc[attention_mask], labels) loader DataLoader(dataset, batch_size32, shuffleTrue) device torch.device(cuda if torch.cuda.is_available() else cpu) model BertCnnClassifier(bert-base-chinese, num_classeslen(le.classes_)).to(device) optimizer AdamW(filter(lambda p: p.requires_grad, model.parameters()), lr2e-3) criterion nn.CrossEntropyLoss() for epoch in range(5): model.train() total_loss 0 for batch in loader: input_ids, mask, y [b.to(device) for b in batch] optimizer.zero_grad() logits model(input_ids, mask) loss criterion(logits, y) loss.backward() optimizer.step() total_loss loss.item() print(fepoch {epoch}, loss {total_loss / len(loader):.4f})逻辑说明filter(lambda p: p.requires_grad, ...)只把需要更新的参数交给优化器冻结的 BERT 参数不参与更新。AdamW比Adam更适合 Transformer 类模型权重衰减更合理。训练 5 个 epoch 是常见起点如果验证集 loss 开始上升就提前停。参数说明lr2e-3是冻结 BERT 时的推荐值解冻时改成2e-5batch_size32在 8GB 显存上跑 base 模型没问题epoch根据数据量调几千条数据 3 到 5 轮就收敛。3.3 评估指标和推理接口评估不能只看准确率类别不均衡时准确率会骗人。用classification_report看每个类别的 precision、recall、f1。from sklearn.metrics import classification_report model.eval() all_preds, all_labels [], [] with torch.no_grad(): for batch in loader: input_ids, mask, y [b.to(device) for b in batch] logits model(input_ids, mask) preds torch.argmax(logits, dim1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(y.cpu().numpy()) print(classification_report(all_labels, all_preds, target_namesle.classes_))推理接口就是把单条文本走一遍encode和forward取argmax。线上部署时可以把模型导出成 ONNX 或 TorchScript推理速度能再提一截。4. 避坑与排查这五个地方最容易翻车4.1 现象训练 loss 不降准确率卡在多数类原因学习率太大或者 BERT 没冻结但学习率用了 1e-3预训练权重被冲垮。解决先冻结 BERT学习率设 2e-3如果解冻学习率必须降到 2e-5 附近并且用 warmup。4.2 现象显存溢出batch_size 降到 1 还报错原因max_len设太大比如 512BERT 的注意力矩阵是seq_len的平方级显存。解决把max_len降到 128 或 64或者用梯度累积模拟大 batch。冻结 BERT 也能省不少显存。4.3 现象验证集效果远好于测试集原因数据泄露比如同一条文本的变体同时出现在训练和验证集。解决按文本去重后再划分或者用分组划分确保同一来源的样本只出现在一个集合里。4.4 现象中文任务效果差分词结果全是单字原因用了英文分词器或者 BERT 模型选错。解决中文任务统一用bert-base-chinese或chinese-roberta-wwm-ext分词器必须和模型配套。4.5 现象推理速度慢QPS 上不去原因每次推理都走完整 BERT没有做批处理或模型导出。解决推理时开torch.no_grad()用批处理凑够 batch 再前向或者导出 ONNX 用 onnxruntime 跑速度通常能提升 2 到 3 倍。5. 进阶技巧把 BERT 最后四层拼进 CNN以及一个验证习惯冻结 BERT 虽然快但语义特征只用最后一层底层词汇信息丢了。一个我常用的改进是取最后四层的隐藏状态做加权求和再送进 CNN。权重可以设成可学习参数也可以固定成[0.1, 0.2, 0.3, 0.4]这种递增形式。class BertCnnClassifierV2(nn.Module): def __init__(self, bert_path, num_classes, hidden768, filter_sizes(2,3,4), num_filters128): super().__init__() self.bert BertModel.from_pretrained(bert_path, output_hidden_statesTrue) for p in self.bert.parameters(): p.requires_grad False # 可学习的层权重初始偏向最后几层 self.layer_weights nn.Parameter(torch.tensor([0.1, 0.2, 0.3, 0.4])) self.convs nn.ModuleList([ nn.Conv1d(hidden, num_filters, fs) for fs in filter_sizes ]) self.fc nn.Linear(num_filters * len(filter_sizes), num_classes) def forward(self, input_ids, attention_mask): with torch.no_grad(): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) # 取最后四层 hidden_states outputs.hidden_states[-4:] weights torch.softmax(self.layer_weights, dim0) x sum(w * h for w, h in zip(weights, hidden_states)) x x.transpose(1, 2) conv_outs [torch.max_pool1d(torch.relu(conv(x)), conv(x).size(2)).squeeze(2) for conv in self.convs] x torch.cat(conv_outs, dim1) return self.fc(x)这个改动通常能把 f1 提 1 到 3 个点代价是显存多一点因为要保留四层隐藏状态。如果显存紧张可以只取最后两层。另一个习惯是每次改完模型结构先在一个小批量上过一遍确认输入输出形状对得上再跑全量训练。我见过太多次因为transpose忘了写、卷积核尺寸大于序列长度导致报错白白浪费一晚上。还有验证集要固定不要每次重新划分否则指标波动你根本分不清是模型变了还是数据变了。希望帮到你。本文还有配套的精品资源点击获取