简介这份资源是面向计算机相关专业学生与Python实战学习者的深度学习项目包以LSTM为核心模型完成电商购物评论的情感分析任务可直接用于毕业设计、课程设计或期末大作业。项目围绕京东商城购物评论展开涵盖数据采集、中文分词与停用词处理、模型训练与预测等完整流程并附带已训练好的模型文件便于快速复现与二次开发。压缩包共39个文件约164.29MB包含8个Python源码文件、6组TensorFlow模型权重与索引文件、1个checkpoint与model文件、若干png结果图及txt说明文档结构清晰、模块分明。目前已有404人学习下载适合需要完整赛题方案、可运行代码与排错参考的读者帮助理解LSTM在文本情感分类中的落地方式与工程组织思路。1. 电商评论情感分析LSTM 为什么仍是毕业设计里最稳的基线电商评论每天以百万级增长运营团队想从「好评如潮」里挖出退货隐患靠人工翻页根本不现实。基于深度学习LSTM的电商购物情感分析本质是把一条中文评论映射成「正面 / 负面」的概率分布让机器替人读完所有评价。这个方向之所以在毕业设计里长盛不衰是因为它同时满足三个条件数据公开易得、模型结构清晰、指标可量化。LSTM 擅长处理变长序列能记住「虽然发货慢但质量真的好」这种转折句里的关键情感词比词袋模型和朴素贝叶斯高出一截。适合谁做计算机、大数据、电商运营方向的本科生只要会用 Python 和 PyTorch两周内能跑通全流程。下面我把从数据清洗到模型部署的完整路径拆开讲参数和踩坑点都会给到。2. 数据从哪来、怎么洗电商评论的获取与预处理2.1 公开数据集与自建语料的取舍做电商购物情感分析第一步不是写模型而是确认标签质量。常见做法是先用公开中文评论数据集打底比如 ChnSentiCorp酒店/电商混合或 online_shopping_10_cats10 个品类、约 6 万条这些数据在 GitHub 上能直接搜到标签只有 0/1 两类适合快速验证。如果导师要求「真实电商场景」那就自己爬某平台商品评论但要注意爬下来的原始数据没有标签需要人工标注 5001000 条作为测试集训练集可以用公开数据 弱监督比如用星级映射45 星为正面12 星为负面3 星丢弃。我一般会保留 10% 的公开数据做验证集自建数据只做最终测试这样指标不会虚高。提示别用 3 星评论情感极性模糊强行标注会引入噪声LSTM 会学偏。2.2 中文分词与停用词处理的代码实现中文不像英文有空格必须先分词。jieba 是最稳的选择加载自定义词典能避免「退货」被切成「退/货」。下面这段代码完成读取、分词、去停用词、截断/填充到固定长度。import jieba import pandas as pd import re from tensorflow.keras.preprocessing.sequence import pad_sequences # 加载停用词表哈工大停用词表 电商领域补充 stopwords set() with open(stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) # 补充电商高频无意义词 stopwords.update([包邮, 宝贝, 亲, 卖家, 物流, 快递]) def clean_text(text): # 去除非中文、数字、字母的符号 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9], , str(text)) # 分词 words jieba.lcut(text) # 去停用词和单字 words [w for w in words if w not in stopwords and len(w) 1] return words # 假设 df 有 review 和 label 两列 df pd.read_csv(ecommerce_reviews.csv) df[cut] df[review].apply(clean_text) # 构建词表只保留出现次数 3 的词 from collections import Counter all_words [w for words in df[cut] for w in words] word_freq Counter(all_words) vocab {w: i1 for i, (w, c) in enumerate(word_freq.items()) if c 3} # 0 留给 padding # 转成索引序列 df[seq] df[cut].apply(lambda x: [vocab.get(w, 0) for w in x]) # 统一长度 128不足补 0超出截断 MAX_LEN 128 X pad_sequences(df[seq].tolist(), maxlenMAX_LEN, paddingpost, truncatingpost) y df[label].values逻辑说明clean_text先过滤噪声字符再分词去停用词保留长度大于 1 的词能去掉「的」「了」这类无意义单字。词表只保留频次 ≥ 3 的词低频词直接映射为 0padding 占位这样能减少嵌入层参数量。MAX_LEN128覆盖了 95% 的电商评论长度超过的截断不足的补零。参数怎么改如果评论普遍短如生鲜类可以降到 64如果长评多如家电升到 256但训练时间会线性增加。2.3 标签平衡与数据集划分的注意点电商评论天然不平衡正面往往占 80% 以上。直接训练会让模型全预测正面准确率虚高到 0.8 但 F1 只有 0.1。我一般用两种手段一是对负面样本过采样复制到与正面同量二是在损失函数里加class_weight。划分比例按 8:1:1 走训练集、验证集、测试集都要保证正负比例一致。用sklearn的train_test_split时加stratifyy就能分层抽样。from sklearn.model_selection import train_test_split X_train, X_temp, y_train, y_temp train_test_split(X, y, test_size0.2, stratifyy, random_state42) X_val, X_test, y_val, y_test train_test_split(X_temp, y_temp, test_size0.5, stratifyy_temp, random_state42)stratifyy是关键不加的话可能验证集里全是正面早停会失效。random_state固定后结果可复现毕业设计答辩时能经得起追问。3. LSTM 模型搭起来嵌入层、双向结构、Dropout 怎么配3.1 为什么用双向 LSTM 而不是单向单向 LSTM 只能从左到右读遇到「质量不错但是物流太慢」这种句子读到「但是」时已经忘了前面的「质量不错」情感判断会偏向负面。双向 LSTM 同时跑正向和反向把两个方向的最后隐状态拼接能同时捕捉前后文。电商评论里转折句占比不低双向结构通常比单向高 23 个百分点的 F1。代价是参数量翻倍训练慢一点但毕业设计的规模完全扛得住。3.2 完整模型代码与参数解释下面用 PyTorch 实现一个 Embedding BiLSTM 全连接层的分类器。嵌入层维度 128LSTM 隐藏层 64双向拼接后 128 维最后接 Dropout 和线性层。import torch import torch.nn as nn class BiLSTMClassifier(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim64, num_layers1, dropout0.5): super().__init__() # padding_idx0 表示索引 0 不参与梯度更新 self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM(embed_dim, hidden_dim, num_layersnum_layers, bidirectionalTrue, batch_firstTrue, dropoutdropout if num_layers 1 else 0) self.dropout nn.Dropout(dropout) self.fc nn.Linear(hidden_dim * 2, 1) # 双向拼接 self.sigmoid nn.Sigmoid() def forward(self, x): # x: (batch, seq_len) embedded self.embedding(x) # (batch, seq_len, embed_dim) lstm_out, (hidden, cell) self.lstm(embedded) # hidden: (num_layers*2, batch, hidden_dim) - 取最后一层正向和反向 hidden torch.cat((hidden[-2], hidden[-1]), dim1) # (batch, hidden_dim*2) out self.dropout(hidden) out self.fc(out) return self.sigmoid(out).squeeze(1)参数说明embed_dim128是中文评论的常用值太小表达不足太大容易过拟合hidden_dim64配合双向得到 128 维表示与嵌入维度对齐num_layers1足够堆到 2 层时dropout才生效否则 PyTorch 会警告dropout0.5放在全连接前防止 LSTM 输出被线性层死记。padding_idx0让补零位置不产生梯度避免噪声。如果显存不够把embed_dim降到 64hidden_dim降到 32F1 掉不到 1 个点。3.3 训练循环与早停策略训练时用BCELoss配合Adam学习率 1e-3每轮记录验证集 F1连续 3 轮不升就停。下面给出核心循环。from sklearn.metrics import f1_score import numpy as np device torch.device(cuda if torch.cuda.is_available() else cpu) model BiLSTMClassifier(vocab_sizelen(vocab)1).to(device) criterion nn.BCELoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3) def evaluate(model, X, y): model.eval() with torch.no_grad(): X_tensor torch.LongTensor(X).to(device) preds model(X_tensor).cpu().numpy() preds_binary (preds 0.5).astype(int) return f1_score(y, preds_binary) best_f1 0 patience 3 wait 0 for epoch in range(20): model.train() # 假设 DataLoader 已定义batch_size64 for batch_x, batch_y in train_loader: batch_x, batch_y batch_x.to(device), batch_y.float().to(device) optimizer.zero_grad() outputs model(batch_x) loss criterion(outputs, batch_y) loss.backward() optimizer.step() val_f1 evaluate(model, X_val, y_val) print(fEpoch {epoch}, Val F1: {val_f1:.4f}) if val_f1 best_f1: best_f1 val_f1 torch.save(model.state_dict(), best_model.pt) wait 0 else: wait 1 if wait patience: print(Early stopping) breakbatch_size64是平衡速度和梯度的常用值显存小就降到 32。BCELoss要求标签是 float所以batch_y.float()。早停的patience3能防止过拟合保存验证集 F1 最高的模型而不是最后一轮。测试集只在最后跑一次避免调参泄漏。4. 避坑与排查电商情感分析里最容易翻车的 5 个点4.1 现象验证集准确率 0.9测试集掉到 0.6原因训练集和测试集分布不一致。常见于用公开数据训练、自建数据测试公开数据偏书面语自建数据全是「yyds」「绝绝子」这类网络梗词表里没有全映射成 0。解决把自建数据里高频的新词加入 jieba 自定义词典并在词表构建时降低频次阈值到 2或者用预训练词向量如腾讯词向量初始化嵌入层。4.2 现象模型只预测正面F1 为 0原因正负样本极度不平衡且没加class_weight。解决在BCELoss里传pos_weight参数值设为负样本数/正样本数或者对负面样本过采样。我一般先看混淆矩阵如果负面召回率低于 0.3就立刻处理不平衡。4.3 现象训练 loss 震荡不收敛原因学习率太大或者序列长度不统一导致梯度爆炸。解决把学习率降到 1e-4加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5)。另外检查pad_sequences是否用了post如果用pre补零LSTM 读到末尾全是零会干扰隐状态。4.4 现象GPU 显存溢出原因MAX_LEN设太大或者batch_size太高。解决先打印一条评论的平均长度取 95 分位数作为MAX_LENbatch_size从 64 降到 16 试。如果还不行把embed_dim和hidden_dim各减半。4.5 现象推理时单条预测结果和批量预测不一致原因model.eval()没加Dropout 还在随机丢弃神经元。解决推理前必须调model.eval()并用torch.no_grad()包住。另外检查输入是否做了和训练时一样的分词、截断、填充少一步都会导致分布偏移。5. 把模型用起来从单条预测到批量打分的工程技巧训练完保存的best_model.pt只是权重要落地得封装一个推理函数。下面这段代码加载模型对任意中文评论输出情感概率并给出阈值可调的判定。def predict_sentiment(text, model, vocab, max_len128, threshold0.5): model.eval() words clean_text(text) # 复用训练时的清洗函数 seq [vocab.get(w, 0) for w in words] if len(seq) max_len: seq seq [0] * (max_len - len(seq)) else: seq seq[:max_len] tensor torch.LongTensor([seq]).to(device) with torch.no_grad(): prob model(tensor).item() return {正面: prob, 负面: 1 - prob, 判定: 正面 if prob threshold else 负面} # 批量打分读取 CSV输出带情感标签的新文件 df_test pd.read_csv(new_reviews.csv) df_test[sentiment] df_test[review].apply(lambda x: predict_sentiment(x, model, vocab)[判定]) df_test.to_csv(scored_reviews.csv, indexFalse)threshold默认 0.5如果业务更怕漏掉负面比如退货预警可以降到 0.3牺牲一点精确率换召回率。批量打分时建议用DataLoader分批推理比逐条快 10 倍以上。另外把vocab和clean_text一起保存成 pickle部署时直接加载避免词表对不上。进阶技巧用torch.jit.trace把模型转成 TorchScript推理速度提升 20%30%而且不依赖 Python 环境。对于毕业设计这步能写进「工程化」章节答辩时是加分项。我自己的习惯是每做完一个模型先拿 20 条真实评论手动过一遍看错例里有没有「反讽」或「双重否定」如果有就补进训练集再微调一轮。这个笨办法比盲目调参管用得多。希望帮到你。本文还有配套的精品资源点击获取