简介这份课程设计资源面向NLP入门者与高校学生围绕电商评论情感分析任务完整演示从文本预处理到模型训练的全流程。内容以Word2Vec词向量与SVM分类器为核心涵盖CBOW与Skip-gram原理、核函数选择、C与γ参数调优及交叉验证等关键环节帮助读者理解如何将评论转化为低维语义特征并完成正负情感判别。压缩包共18个文件约28.14MB包含6个csv数据集、5个py脚本、4个npy特征文件及pkl模型、txt停用词表、md说明文档覆盖数据清洗、词向量训练、模型训练预测与结果评估等模块。目前已有354人学习。通过这份资料读者可获得可直接运行的完整代码与数据掌握情感分析项目的目录组织与实现思路并积累参数调优和模型评估的实践经验适合作为课程设计或NLP实战练习的参考。1. 电商评论情感分析Word2VecSVM 这条老路为什么还值得走电商评论的情感分析说白了就是把「好评」「差评」「中评」从一堆用户随手敲的文字里自动分出来。你手上如果有一份标注好的评论数据集想快速跑出一个能用的baselineWord2Vec 加 SVM 这套组合到今天依然是性价比最高的起点之一。它不依赖 GPU训练几分钟就能出结果而且每一步都透明可解释——哪条评论分错了你能顺着词向量和超平面找到原因。相比之下直接上 BERT 微调虽然精度更高但环境配置、显存占用和调参成本对课程设计或小规模业务场景并不友好。这条路线适合谁适合手里有几千到几万条标注评论、想在一周内跑通完整流程、并且需要向别人解释清楚每一步在做什么的人。下面我从数据准备一路讲到调参和排错代码可以直接抄。2. 从原始评论到 Word2Vec 词向量数据清洗与训练细节2.1 电商评论数据的典型脏乱差与清洗脚本电商评论数据拿到手第一件事不是急着喂模型而是先看看它有多脏。常见的问题包括HTML 标签残留、表情符号乱码、重复评论刷屏、纯数字或纯符号的无意义评论、以及长短差异极大的文本。我一般会先写一个清洗函数把这些问题一次性处理掉。import re import jieba import pandas as pd def clean_text(text): # 去掉 HTML 标签 text re.sub(r[^], , text) # 只保留中文、英文、数字和基本标点 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。、], , text) # 去掉连续重复字符比如“好好好好好” text re.sub(r(.)\1{3,}, r\1\1, text) # 去掉首尾空白 text text.strip() return text def tokenize(text): # 使用 jieba 精确模式分词 words jieba.lcut(text) # 去掉停用词和单字 stopwords set([的, 了, 是, 在, 我, 有, 和, 就, 不, 人, 都, 一, 一个, 上, 也, 很, 到, 说, 要, 去, 你, 会, 着, 没有, 看, 好, 自己, 这]) words [w for w in words if w not in stopwords and len(w) 1] return words # 读取数据假设列名为 comment 和 label df pd.read_csv(ecommerce_comments.csv) df[clean] df[comment].astype(str).apply(clean_text) df[tokens] df[clean].apply(tokenize) # 去掉分词后为空的样本 df df[df[tokens].map(len) 0] print(f清洗后剩余样本数{len(df)})这段代码的逻辑分三步先去 HTML 和特殊符号再压缩重复字符最后分词并过滤停用词和单字。参数上\1{3,}表示同一个字符连续出现 4 次及以上才压缩避免误伤「哈哈哈」这种正常表达。停用词表可以根据你的数据补充比如电商评论里「宝贝」「卖家」「物流」这些词如果区分度不高也可以加进去。清洗完记得打印剩余样本数如果掉了一半以上说明原始数据质量堪忧需要回头检查采集环节。2.2 Word2Vec 训练参数怎么设、维度选多少清洗完的 token 列表直接喂给 Word2Vec。这里有几个关键参数需要根据你的数据规模来定vector_size决定词向量维度window决定上下文窗口大小min_count过滤低频词sg选择 Skip-gram 还是 CBOW。from gensim.models import Word2Vec # 训练 Word2Vec 模型 model Word2Vec( sentencesdf[tokens].tolist(), vector_size100, # 词向量维度 window5, # 上下文窗口 min_count3, # 忽略出现次数少于3的词 sg1, # 1 表示 Skip-gram0 表示 CBOW workers4, # 并行线程数 epochs10, # 训练轮数 seed42 # 随机种子保证可复现 ) # 保存模型 model.save(word2vec.model) print(f词表大小{len(model.wv)})参数选择的经验数据量在 1 万条以下时vector_size设 50 到 100 就够了再大容易过拟合window设 3 到 5电商评论通常短句多窗口太大反而引入噪声min_count设 2 到 3太低会保留大量只出现一次的词这些词的向量训练不充分sg1在中小数据集上通常比 CBOW 效果好因为 Skip-gram 对低频词更友好。epochs设 10 到 20观察 loss 不再明显下降就可以停。训练完可以拿几个词看看相似度比如model.wv.most_similar(质量)如果返回的词风马牛不相及说明语料太小或者参数有问题。2.3 把变长评论变成定长特征向量Word2Vec 输出的是每个词的向量但 SVM 需要的是每条评论一个固定长度的向量。常见做法是对评论中所有词的向量取平均也可以加权平均或取最大池化。我一般先用平均简单且效果稳定。import numpy as np def comment_to_vector(tokens, model, vector_size100): # 取出评论中所有在词表中的词的向量 vectors [model.wv[word] for word in tokens if word in model.wv] if len(vectors) 0: return np.zeros(vector_size) # 取平均 return np.mean(vectors, axis0) # 生成特征矩阵 X np.array([comment_to_vector(tokens, model) for tokens in df[tokens]]) y df[label].values print(f特征矩阵形状{X.shape})这里有个坑如果一条评论里所有词都不在词表中返回全零向量SVM 会把这条样本分到某一类但这是无意义的。所以前面min_count不要设太高同时清洗后要检查有多少条评论的特征向量是全零。如果全零比例超过 5%说明词表覆盖不够需要降低min_count或增加训练数据。另外平均池化会丢失词序信息但对于情感分析这种任务关键词的极性往往比顺序更重要所以平均向量在大多数情况下够用。3. SVM 分类器训练核函数选择与超参数调优3.1 线性核还是 RBF 核先跑基线再决定SVM 的核心参数是核函数。线性核适合特征维度高、样本量大的场景训练快且不容易过拟合RBF 核适合特征维度低、样本量中等且边界非线性的场景。对于 Word2Vec 平均向量维度通常在 100 左右样本量几千到几万我一般先跑线性核作为基线再试 RBF 核看有没有提升。from sklearn.svm import SVC from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.metrics import classification_report, accuracy_score # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) # 标准化SVM 对特征尺度敏感 scaler StandardScaler() X_train scaler.fit_transform(X_train) X_test scaler.transform(X_test) # 线性核基线 svm_linear SVC(kernellinear, C1.0, random_state42) svm_linear.fit(X_train, y_train) y_pred_linear svm_linear.predict(X_test) print(线性核准确率, accuracy_score(y_test, y_pred_linear)) print(classification_report(y_test, y_pred_linear))标准化这一步不能省。Word2Vec 各维度数值范围差异大不标准化的话 SVM 会偏向数值大的维度。stratifyy保证训练集和测试集类别比例一致避免某类样本太少导致评估失真。线性核的C参数控制惩罚力度先设 1.0 跑通流程再根据结果调整。3.2 用网格搜索找 RBF 核的最优参数如果线性核效果不理想换 RBF 核。RBF 核有两个关键参数C和gamma。C越大对误分类惩罚越重容易过拟合gamma越大决策边界越复杂也容易过拟合。用网格搜索在验证集上找最优组合。from sklearn.model_selection import GridSearchCV # 定义参数网格 param_grid { C: [0.1, 1, 10, 100], gamma: [scale, 0.01, 0.001, 0.0001], kernel: [rbf] } # 网格搜索5折交叉验证 grid GridSearchCV( SVC(random_state42), param_grid, cv5, scoringf1_macro, n_jobs-1, verbose1 ) grid.fit(X_train, y_train) print(最优参数, grid.best_params_) print(最优交叉验证得分, grid.best_score_) # 用最优模型预测 y_pred_rbf grid.predict(X_test) print(RBF核测试集准确率, accuracy_score(y_test, y_pred_rbf)) print(classification_report(y_test, y_pred_rbf))这里用f1_macro而不是准确率作为评分标准因为电商评论里好评往往远多于差评准确率会被多数类主导。f1_macro对每个类别平等看待更能反映模型对差评的识别能力。n_jobs-1用满所有 CPU 核心加速搜索。如果数据量超过 5 万条网格搜索会很慢可以先用随机搜索RandomizedSearchCV缩小范围再在小范围里精细搜索。3.3 类别不平衡处理与评估指标选择电商评论数据里好评通常占 70% 以上差评可能只有 10% 到 20%。这种不平衡会让 SVM 偏向多数类。有两种常见处理方式一是设置class_weightbalanced让 SVM 自动调整权重二是对少数类过采样或对多数类欠采样。# 方式一class_weight 自动平衡 svm_balanced SVC(kernelrbf, C10, gammascale, class_weightbalanced, random_state42) svm_balanced.fit(X_train, y_train) y_pred_balanced svm_balanced.predict(X_test) print(平衡权重后) print(classification_report(y_test, y_pred_balanced)) # 方式二对训练集过采样少数类 from imblearn.over_sampling import SMOTE smote SMOTE(random_state42) X_train_res, y_train_res smote.fit_resample(X_train, y_train) svm_smote SVC(kernelrbf, C10, gammascale, random_state42) svm_smote.fit(X_train_res, y_train_res) y_pred_smote svm_smote.predict(X_test) print(SMOTE 过采样后) print(classification_report(y_test, y_pred_smote))class_weightbalanced实现简单不增加样本量训练快SMOTE 通过合成少数类样本增加信息量但可能引入噪声。我一般先试class_weight如果差评的召回率还是太低再上 SMOTE。评估时重点看差评的 precision、recall 和 f1-score不要只看总体准确率。如果差评召回率低于 0.6说明模型漏掉了大量差评需要回头检查特征或调整参数。4. 避坑与排查这条流水线上最容易翻车的五个地方4.1 分词把关键情感词切碎了现象模型准确率始终在 0.7 左右上不去检查发现「不好用」被切成「不好」「用」「不推荐」被切成「不」「推荐」情感极性完全反了。原因jieba 默认分词对否定词和情感词组合处理不好导致「不」和后面的词分离Word2Vec 学到的「不」向量和「好」向量没有关联。解决在分词前把常见否定组合加入自定义词典或者用 jieba 的add_word强制合并。更稳妥的做法是保留「不」「没」「别」等否定词不要放进停用词表并且在特征工程时考虑否定词窗口内的情感词翻转。# 添加自定义词典 jieba.add_word(不好用) jieba.add_word(不推荐) jieba.add_word(不划算) # 否定词不要加入停用词 stopwords.discard(不) stopwords.discard(没) stopwords.discard(别)4.2 词向量维度设太大导致过拟合现象训练集准确率 0.98测试集只有 0.72差距巨大。原因vector_size设了 300但训练语料只有几千条评论每个词出现的次数太少高维向量训练不充分SVM 在高维空间里找到了只适用于训练集的超平面。解决把vector_size降到 50 到 100同时增大min_count过滤低频词。如果数据量确实小可以考虑用预训练的词向量如腾讯词向量替代自训练但要注意领域匹配问题。4.3 标准化在划分数据集之前做了现象交叉验证得分很高但换一批测试数据效果骤降。原因先对整个数据集做了StandardScaler再划分训练测试集导致测试集的统计信息泄露到了训练过程中。解决永远先划分数据集再在训练集上fit标准化器然后transform测试集。上面的代码已经遵循了这个顺序但很多人写的时候容易图省事搞反。4.4 把 label 当成特征喂进去了现象模型准确率 0.99但预测新数据时完全不可用。原因数据清洗时没有把 label 列从特征里剔除SVM 直接学到了 label 和标签的对应关系。解决生成特征矩阵X时只取文本列y单独取标签列。检查X的列名或形状确保没有混入非文本特征。如果数据里有「评分」这种和标签高度相关的列也要剔除否则就是作弊。4.5 测试集里出现了训练集没有的词现象测试时某些评论的特征向量是全零预测结果随机。原因Word2Vec 词表只覆盖了训练集的词测试集里的新词无法映射到向量。解决训练 Word2Vec 时用全部数据包括测试集的文本来训练词向量但 SVM 的训练和评估仍然只在训练集标签上进行。这样词表覆盖更全且不涉及标签泄露。如果坚持只用训练集训练词向量那就要在测试时对未登录词做特殊处理比如用UNK向量代替但效果通常不如前者。5. 进阶技巧用 TF-IDF 加权和模型融合再挤一点精度5.1 TF-IDF 加权平均词向量平均词向量把每个词同等看待但「垃圾」「差评」这种词的情感权重显然比「东西」「收到」高。用 TF-IDF 值作为权重对词向量加权平均能让关键情感词在特征向量里更突出。from sklearn.feature_extraction.text import TfidfVectorizer # 用清洗后的文本训练 TF-IDF tfidf TfidfVectorizer(tokenizerlambda x: x, preprocessorlambda x: x, token_patternNone) tfidf.fit(df[tokens]) def weighted_comment_vector(tokens, model, tfidf, vector_size100): vectors [] weights [] for word in tokens: if word in model.wv: vectors.append(model.wv[word]) # 获取该词的 TF-IDF 权重 try: idx tfidf.vocabulary_[word] weights.append(tfidf.idf_[idx]) except KeyError: weights.append(1.0) if len(vectors) 0: return np.zeros(vector_size) weights np.array(weights).reshape(-1, 1) vectors np.array(vectors) # 加权平均 return np.sum(vectors * weights, axis0) / np.sum(weights) X_weighted np.array([weighted_comment_vector(t, model, tfidf) for t in df[tokens]])这里用 IDF 值作为权重IDF 越高说明该词越稀有区分度越大。注意TfidfVectorizer的输入已经是分词后的列表所以tokenizer和preprocessor都设成恒等函数token_patternNone避免它再做一次分词。加权后重新训练 SVM对比一下和平均向量的效果差异。5.2 多模型投票与阈值微调单靠 SVM 有时候会在边界样本上摇摆。一个简单有效的技巧是训练多个不同参数的 SVM用投票决定最终类别。比如一个线性核、一个 RBF 核、一个多项式核三个模型投票多数胜出。from sklearn.ensemble import VotingClassifier from sklearn.svm import SVC # 定义三个基模型 svm1 SVC(kernellinear, C1, probabilityTrue, random_state42) svm2 SVC(kernelrbf, C10, gammascale, probabilityTrue, random_state42) svm3 SVC(kernelpoly, degree2, C1, probabilityTrue, random_state42) # 投票分类器 voting VotingClassifier( estimators[(linear, svm1), (rbf, svm2), (poly, svm3)], votingsoft # 软投票按概率加权 ) voting.fit(X_train, y_train) y_pred_vote voting.predict(X_test) print(投票集成准确率, accuracy_score(y_test, y_pred_vote)) print(classification_report(y_test, y_pred_vote))votingsoft需要每个基模型都支持predict_proba所以probabilityTrue必须开但这会稍微增加训练时间。软投票比硬投票更稳因为它考虑了模型对每个类别的置信度。如果差评的召回率还是不够可以手动调整决策阈值把差评的概率阈值从 0.5 降到 0.4牺牲一点好评的精确率来换取差评的召回率。具体降多少要看业务需求如果漏掉一个差评的代价远大于误判一个好评那就大胆降。5.3 保存完整流水线方便复现最后一步把清洗、分词、Word2Vec、标准化、SVM 串成一个Pipeline保存下来。下次有新数据直接load然后predict不用重新跑一遍。import joblib from sklearn.pipeline import Pipeline # 假设已经训练好 scaler 和 svm pipeline Pipeline([ (scaler, scaler), (svm, svm_balanced) ]) # 保存 joblib.dump(pipeline, sentiment_pipeline.pkl) joblib.dump(model, word2vec.model) joblib.dump(tfidf, tfidf.pkl) # 加载使用 loaded_pipeline joblib.load(sentiment_pipeline.pkl) loaded_model Word2Vec.load(word2vec.model) # 对新评论预测 new_tokens tokenize(clean_text(这个商品质量太差了用了一次就坏)) new_vec weighted_comment_vector(new_tokens, loaded_model, tfidf) new_vec scaler.transform([new_vec]) print(预测结果, loaded_pipeline.predict(new_vec))注意Pipeline里只放了scaler和svm因为 Word2Vec 和 TF-IDF 不是 sklearn 标准转换器需要单独保存和加载。预测新评论时清洗和分词函数必须和训练时完全一致否则特征分布对不上。我一般会把清洗和分词函数单独写在一个utils.py里训练和推理都 import 同一个文件避免版本不一致。这套流程跑下来在几千条电商评论上通常能拿到 0.85 到 0.92 的准确率差评召回率在 0.75 以上。如果数据量更大或者标注质量更好还能再高一些。我自己的习惯是每次调完参数都把配置和得分记在一个表格里方便回溯哪组参数真正有效。希望帮到你。本文还有配套的精品资源点击获取