简介面向电商产品评论情感分析场景的Python源码包适合NLP初学者、电商数据分析师以及需要快速搭建文本分类流程的开发者。项目围绕中文用户评论数据完整覆盖数据清洗、去停用词、jieba分词、情感词典匹配、TF-IDF与词袋特征构建以及朴素贝叶斯、SVM、逻辑回归等分类模型的训练、评估与预测。压缩包共22个文件以txt说明文档、py主程序和csv数据文件为主整体18.34MB。txt说明文档详细介绍了项目依赖与模块导入方式csv数据可直接用于建模py代码按数据读取、预处理、特征工程、模型训练与评估等模块封装并涉及jieba、sklearn、pandas等常用Python库。目前已有85人学习下载代码结构清晰易读便于在此基础上调整特征或替换深度学习模型是理解电商评论情感分析流程的实用参考适合作为课程设计、毕业设计或项目实践的起点。1. 电商评论情感分析这份 Python 源码到底解决了什么问题做电商运营或商品分析的人多少都有过这种经历后台存了几万条用户评论想快速知道这批货到底是好评多还是差评多、用户高频吐槽的点集中在哪几个词上靠人眼一条条看根本不现实。这份“电商产品评论数据情感分析 Python 源码”就是干这件事的——把原始评论文本清洗、分词、转成数值特征再用机器学习模型把每一条评论判定为正向或负向情感最后输出准确率、F1 分数和混淆矩阵这类可量化的结果。适合刚接触 NLP 的 Python 开发者、电商数据分析岗的从业者以及做毕业设计需要完整文本分类流程参考的学生。它不依赖 GPU、不强制上深度学习用 sklearn 和 jieba 就能把整条链路跑通。2. 数据预处理jieba 分词与停用词表是情感分析的地基2.1 数据装载与字段观察先看清 data 目录里有什么压缩包解压后data 目录里存的是原始评论数据tmp 目录放中间产物code.py 是主程序。拿到数据的第一件事不是写代码而是确认三件事文件编码、有几列、标签长什么样。电商评论一般有两种存储形态一种是带 sentiment 标签的训练数据另一种是只有评论文本的待预测数据。先在代码里做一次快速探查import pandas as pd # 先用 python 内置编码探测工具看文件实际编码别直接指定 utf-8 import chardet with open(data/comment.csv, rb) as f: raw f.read(10000) result chardet.detect(raw) print(result) # 常见输出 {encoding: GB2312, confidence: 0.99} df pd.read_csv(data/comment.csv, encodingresult[encoding]) print(df.shape) print(df.head(10)) print(df[sentiment].value_counts() if sentiment in df.columns else 无标签列)逻辑说明第一步先用 chardet 探测编码是为了避免直接指定 utf-8 后读出来全是乱码。电商平台的导出数据常常是 GBK / GB2312 编码这在 Windows 上导出的 CSV 里尤其常见。第二步打印 df.shape 和 head(10) 是为了确认字段名和数据类型防止列名里藏了空格或 BOM 头。参数说明chardet.detect 只读取前 10000 字节足够判断常见的几种文件编码。如果数据量大也可以把 read 的字节数加到 50000准确率更高。打印 value_counts 是为了看正负样本是否均衡这决定了后面要不要做类别权重处理。如果发现 sentiment 列是 NaN 或者值很奇怪说明这份 CSV 可能带了表头以外的异常行。2.2 清洗规则与分词配置jieba 的精确模式配自定义词表中文文本不像英文那样天然按空格分词所以清洗和分词要放在一起处理。评论里的噪音主要是HTML 标签、URL、用户、多余空白、数字、连续重复的标点。情感分析场景里这些字符对判断正负向没有贡献删掉反而能降噪。分词我一般用 jieba.lcut 配合 cut_allFalse 精确模式同时挂一个自定义词典把商品名、平台名这类 jieba 默认词表里没有的词补进去import jieba import re # 自定义词典每行一个词可以带词频和词性格式是词 词频 词性 jieba.load_userdict(data/user_dict.txt) # 例如 user_dict.txt 里写吉他 5 n def clean_text(text: str) - str: if not isinstance(text, str): return # 去掉 HTML 标签 text re.sub(r.*?, , text) # 去掉 URL text re.sub(rhttps?://\S|www\.\S, , text) # 去掉 用户 text re.sub(r\w, , text) # 去掉纯数字和字母串保留中文、英文词语、少量标点 text re.sub(r[0-9], , text) text re.sub(r\s, , text) return text.strip() def tokenize(text: str, stopwords: set) - str: text clean_text(text) if len(text) 0: return words jieba.lcut(text, cut_allFalse) # 过滤停用词、单字、空白 filtered [w for w in words if w.strip() and w not in stopwords and len(w) 1] return .join(filtered)逻辑说明clean_text 的作用是消除文本噪声保留主体内容。jieba.lcut 返回的是分词后的列表cut_allFalse 走精确模式适合做情感分类全模式产生的词组合噪声太多。过滤条件里 len(w) 1 是为了把“的”“了”“啊”这类单字在没被停用词表覆盖时也顺手清掉减少特征空间里的无效维度。参数说明自定义词典 user_dict.txt 里每行是“词 词频 词性”词频建议写 5词性可省略。注意词典文件必须是 UTF-8 编码。如果评论里反复出现“王者荣耀”“小米手环”这类专有名词不加词典就会被 jieba 切碎成“王者/荣耀”情感判断时这些碎片反而会成为干扰特征。2.3 停用词表的选择通用表里要手动补行业词停用词表直接决定特征质量。用哈工大停用词表还是百度停用词表这个问题实际区别不大关键在于针对电商场景做增补。“客服”“退货”“物流”这些词在别的领域是正常词但在评论情感分析里它们经常同时出现在好评和差评里区分度很低容易把模型带偏。def load_stopwords(path: str) - set: with open(path, encodingutf-8) as f: stopwords {line.strip() for line in f if line.strip()} # 电商评论场景手动增补 extra {客服, 退货, 物流, 包裹, 快递, 好评, 差评} stopwords.update(extra) return stopwords stopwords load_stopwords(data/stopwords.txt) df[clean_comment] df[comment].apply(lambda x: tokenize(x, stopwords)) df df[df[clean_comment] ! ] print(df.shape)逻辑说明load_stopwords 把通用停用词表读入集合再手动把电商场景里的弱情感词加进去。这里用 set 做停用词存储成员判断时间复杂度是 O(1)几万条评论过滤时性能不受影响。filter 掉空字符串行很重要因为有些评论本身就是“此用户未填写评价内容”清洗后为空这种样本对训练没有任何意义。参数说明停用词的增补没有标准答案需要根据数据逐步迭代。一个可行的验证方式是训练完模型后把测试集里被误判的样本拉出来看停用词表是不是过滤掉了真正的关键词。如果发现“不”被某些停用词表的词干还原处理掉了立刻从表里删掉这个词。情感分析里否定词是强特征停用词表宁可少删不可多删。3. TF-IDF 特征工程把文本从字符串变成数值矩阵3.1 为什么弃用词袋改用 TF-IDF词袋模型统计的是词频但词频高不代表信息量大。一个评论里出现三次“包装”可能只是用户多写了几句并不代表“包装”对情感判断的贡献是“难用”的三倍。TF-IDF 的作用是给高频但常见的词降权给在当前文档中出现、但在整个语料中很少见的词升权。“难用”如果只在 2% 的评论里出现它的 IDF 权重就远高于出现在 80% 评论里的“东西”。对情感分析这种任务特征区分度比特征覆盖率更重要所以 TF-IDF 是比纯词袋更稳的默认选项。如果数据量特别大、要做快速基线才考虑退化用 CountVectorizer。3.2 vectorizer 的关键参数max_features、ngram_range 与 min_dffrom sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer( max_features5000, ngram_range(1, 2), min_df2, max_df0.8, sublinear_tfTrue, norml2 ) X vectorizer.fit_transform(df[clean_comment]) y df[sentiment].values print(X.shape) # 输出类似 (8421, 5000)逻辑说明fit_transform 做的事情是先统计全语料的词频和文档频率计算出 IDF 权重再把每一条评论转成稀疏矩阵。X.shape 里第一个值是样本数第二个值是特征数max_features5000 直接把特征维度限制在 5000 维防止稀疏矩阵膨胀。评论数据量不大时特征数超过一万就很容易过拟合限制维度比调模型参数更有效。参数说明参数值作用与选择理由max_features5000保留词频最高的前 5000 个特征控制维度ngram_range(1, 2)同时保留单字词和双字词组如“物流”和“物流慢”min_df2只在 2 篇以上文档出现的词才保留过滤噪声max_df0.8在 80% 以上文档都出现的词视为高频停用词自动排除sublinear_tfTrue用 1log(tf) 替换原始词频降低重复词影响norml2对每个样本的特征向量做 L2 归一化适合后续模型计算其中 ngram_range 是最值得调的参数。如果只到 (1,1)像“不太满意”会被拆成“不太”“满意”两个词否定关系丢失调到 (1,3) 又会让特征数爆炸。我一般先跑一轮 (1,2)看模型效果再决定要不要加三元组。3.3 训练集与测试集的特征对齐fit 和 transform 不能混特征工程里最容易翻车的操作是先对全量数据 fit_transform再手动切分数据集。这样测试集的信息已经泄漏到向量器的词表和 IDF 统计里评估出的准确率虚高上线后面对新数据会明显衰减。正确做法是先切分再在训练集上 fit测试集上只 transformfrom sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) X_train_vec vectorizer.fit_transform( df.loc[X_train.indices, clean_comment] if hasattr(X, indices) else X_train )更稳妥的方式是让 TfidfVectorizer 接收原始文本而不是接收已经做好的稀疏矩阵X_train_raw, X_test_raw, y_train, y_test train_test_split( df[clean_comment], df[sentiment], test_size0.2, random_state42, stratifydf[sentiment] ) vectorizer TfidfVectorizer( max_features5000, ngram_range(1, 2), min_df2, max_df0.8, sublinear_tfTrue ) X_train_tfidf vectorizer.fit_transform(X_train_raw) X_test_tfidf vectorizer.transform(X_test_raw)逻辑说明fit_transform 只在训练集上调用vectorizer 基于训练集构建词表和 IDF。测试集的 transform 只做矩阵映射不修改词表也不重新计算 IDF。这样才能保证最终评估结果接近真实上线表现。stratifydf[sentiment] 保证了切分后正负样本比例和原数据一致防止某一折里全被分到好评。参数说明random_state42 固定随机种子跑多次实验结果可复现。test_size0.2 是常规比例数据量小可以改成 0.3数据量大可以降到 0.1。这里的关键动作是 transform 和 fit_transform 的区分代码跑完可以打印 X_test_tfidf.shape 看特征数是否等于训练集的 5000如果小于 5000说明向量器初始化顺序出了问题。4. 模型训练与评估从朴素贝叶斯到逻辑回归的对比路径4.1 三类分类器选型依据情感分类属于短文本二分类问题常用的是朴素贝叶斯、逻辑回归、SVM 三类。朴素贝叶斯适合 TF-IDF 这种高维稀疏输入训练速度快在小数据集上常常能拿到不错的 F1 分数。逻辑回归输出的是概率值可解释性强且对特征权重的分析很有价值能告诉你哪些词是模型眼里的强正向词、哪些是强负向词。SVM 在小样本高维场景表现好但训练耗时比前两者大且在电商评论这类噪声较多的语料上线性核 SVM 和逻辑回归的效果差距通常很小。所以实践路径是先跑朴素贝叶斯做基线再用逻辑回归精调。4.2 朴素贝叶斯基线加交叉验证from sklearn.naive_bayes import MultinomialNB from sklearn.model_selection import cross_val_score, GridSearchCV nb MultinomialNB(alpha1.0) scores cross_val_score(nb, X_train_tfidf, y_train, cv5, scoringf1) print(fNB CV F1: {scores.mean():.4f} (/- {scores.std():.4f})) nb.fit(X_train_tfidf, y_train) print(fNB Test F1: {f1_score(y_test, nb.predict(X_test_tfidf)):.4f})逻辑说明MultinomialNB 是多项式朴素贝叶斯要求特征是离散计数或 TF-IDF 这样的非负值正好匹配 TfidfVectorizer 的输出。cross_val_score 跑 5 折交叉验证scoringf1 说明我们关心的是 F1 而不是准确率因为评论数据里好评占比偏高准确率容易被多数类抬上去。打印 CV 均值后再在完整训练集上 fit 一遍为后续测试集评估做准备。参数说明alpha 是拉普拉斯平滑系数默认 1.0 基本够用。如果特征维度高且数据稀疏alpha 取 0.5 到 1.0 之间即可。交叉验证折数 cv5 是平衡了评估稳定性和训练开销的选择。如果 F1 均值比验证集 F1 低很多说明模型泛化能力一般需要回头检查特征或调模型。4.3 逻辑回归参数调优C 值与 class_weight 才是关键from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report, confusion_matrix param_grid { C: [0.1, 1.0, 10.0], class_weight: [None, balanced], max_iter: [1000] } lr LogisticRegression(solverliblinear) grid GridSearchCV(lr, param_grid, cv5, scoringf1, n_jobs-1) grid.fit(X_train_tfidf, y_train) print(fBest params: {grid.best_params_}) print(fBest CV F1: {grid.best_score_:.4f}) best_lr grid.best_estimator_ y_pred best_lr.predict(X_test_tfidf) print(classification_report(y_test, y_pred, digits4)) print(confusion_matrix(y_test, y_pred))逻辑说明逻辑回归里 C 是正则化强度的倒数C 越小正则化越强。TF-IDF 特征维度高C 如果太大容易过拟合。class_weightbalanced 会根据类别频率自动调整权重差评样本少时这个参数能把召回率拉起来。solverliblinear 适合中小数据集对 L2 正则化支持好训练速度也比 lbfgs 快。GridSearchCV 会遍历所有参数组合输出在当前折里 F1 最高的一组。参数说明max_iter1000 是保险设置逻辑回归用 liblinear 求解器时迭代上限默认是 100有时会收敛不了。n_jobs-1 让网格搜索用满所有 CPU 核心。如果数据量上万条网格搜索的组合数建议控制在 12 组以内否则训练时间不可接受。查看 confusion_matrix 输出时要重点关注差评这一类别的 Recall它比准确率更能反映模型有没有把差评漏掉。4.4 从逻辑回归里提取特征权重反向验证模型学到的东西import numpy as np feature_names vectorizer.get_feature_names_out() coefs best_lr.coef_[0] top_positive_idx np.argsort(coefs)[-10:] top_negative_idx np.argsort(coefs)[:10] print(强正向词:, [feature_names[i] for i in top_positive_idx]) print(强负向词:, [feature_names[i] for i in top_negative_idx])逻辑说明best_lr.coef_ 是每个特征对应的权重权重越正表示该词的出现越强烈地推动预测结果向好评方向越负则越推向差评。打印出两端的词直接就能看到模型学的是不是符合常识。比如“值得”“满意”“推荐”“便宜”被归到正向“浪费”“失望”“破损”“假货”被归到负向说明模型学到的情感语义是合理的。参数说明get_feature_names_out() 在旧版本 sklearn 里叫 get_feature_names()如果跑报错就换回旧接口。argsort 得到的是排序索引取最后 10 个是权重最大的正向词取前 10 个是权重最小的负向词。这一步不改变模型参数只做解释验证。如果跑出来发现“没有”被归为强正向词说明 ngram_range 没有覆盖“没有”后面的词需要检查分词和特征配置。5. 情感分析实战避坑五个最常翻车的环节5.1 读取 CSV 报 UnicodeDecodeError 或读出乱码现象pd.read_csv 直接指定 encodingutf-8报 UnicodeDecodeError或者读出来之后列名里出现“锟斤拷”这类乱码。原因电商平台导出的评论 CSV 很多是 GBK 或 GB2312 编码且数据里可能混入了个别其他编码的字符。直接猜编码、不验证就读取必然翻车。解决用 chardet 探测文件前几 KB 字节流拿返回的 encoding 作为 read_csv 的编码参数。如果探测结果是 ascii 且置信度低就手动尝试 gb18030 和 utf-8-sig 两个候选。utf-8-sig 专门处理带 BOM 的 UTF-8 文件列名不会出现 \ufeff 前缀。5.2 jieba 分词后文本变成空串样本被全部过滤现象清洗加分词后df[clean_comment] 大量为空训练集样本数骤减模型 F1 分数低得离谱。原因清洗规则写得太激进比如把中文字符也过滤掉了或者评论里原本就只有表情符号。有些评论是“好评”两个字加上一堆表情分词后“好评”被停用词表移除表情符号被正则清掉就什么都没剩。解决tokenize 之后加一条保留规则如果过滤后词数小于 2就把原文本直接保留下来作为特征不执行停用词过滤。宁可多一个弱特征也不能丢样本。判断方法是打印清洗前后样本数对比如果过滤比例超过 5%就要检查正则或者停用词表。5.3 差评样本太少准确率高但 F1 惨不忍睹现象模型测试集准确率 0.92但 classification_report 里差评的 Recall 只有 0.3大量差评被预测成了好评。原因电商场景好评率天然高于 80%模型只要全部预测成好评就能拿到很高的准确率但这显然不可用。没有用 class_weight 或者过采样/欠采样模型对少数类的特征学习不足。解决逻辑回归设 class_weightbalanced朴素贝叶斯对差评样本做 SMOTE 过采样后再训练或者在评估指标上改用 F1 而不是准确率。更简单的方法是数据量允许时对差评样本做随机过采样重复采样让正负比例接近 3:1能明显改善差评召回率。5.4 预测新评论时报“Dimension mismatch”错误现象模型训练完把新评论传给 model.predict 时报维度不一致的 ValueError。原因新评论直接走了一遍 fit_transformVectorizer 重新构建了词表和词典新数据的特征维度和训练时不一致。训练时 TfidfVectorizer 已经 fit 过了预测阶段只能调 transform不能再次 fit。解决把 Vectorizer 和模型一起保存预测时对单条文本先分词再用同一个 vectorizer 的 transform 方法做向量化。注意 transform 之前必须调用 vectorizer 的 tokenizer 或自己先跑 tokenize 函数保持和训练时同样的预处理顺序任意一步不一致都会导致预测结果偏差。5.5 停用词表里误删否定词把“不错”识别成“错”现象测试集里大量“不错”“不贵”“不后悔”被误判为负向情感模型把“不”当成了停用词擦掉。原因有些通用停用词表会包含“不”“没”“无”这类否定词它们在高频词维度上确实没有信息量但在情感分析里却是转折和否定的关键信号。删掉之后模型只能看到“错”“贵”“后悔”这些负向词结论完全倒挂。解决停用词表加载后手动从集合里 remove 掉 不, 没, 无, 别, 莫 这些否定词再更新集合。同时把 ngram_range 提到 (1,2)让模型学习“不错”“不好”这种双词组合。如果发现误判样本里大量出现这种情况回到特征权重分析看“不”开头的二元组是不是排在正向词前列。6. 把模型用在新的评论上模型持久化与单条预测的落地写法训练好的模型是要拿去处理新数据的每次重新训练不现实。用 joblib 把模型和向量器一起保存到 tmp 目录之后新增评论直接加载预测。预测逻辑要封装成一个函数确保预处理分词组词和向量化顺序和训练时一致。import joblib joblib.dump(best_lr, tmp/model.pkl) joblib.dump(vectorizer, tmp/vectorizer.pkl) def predict_sentiment(text: str, model, vectorizer, stopwords) - dict: clean tokenize(text, stopwords) if clean : return {label: neutral, prob: 0.5} vec vectorizer.transform([clean]) prob model.predict_proba(vec)[0, 1] label pos if prob 0.5 else neg return {label: label, prob: round(prob, 4)} model joblib.load(tmp/model.pkl) vec joblib.load(tmp/vectorizer.pkl) print(predict_sentiment(发货速度快质量超出预期值得推荐, model, vec, stopwords)) print(predict_sentiment(用了一周就坏了客服态度还很差, model, vec, stopwords))逻辑说明predict_proba 返回的是每个类别的概率取索引 1 就是正向概率。阈值默认 0.5如果业务上更讨厌差评漏判可以提高到 0.6降低误判为好评的风险。空文本判断返回 neutral 是一个保护逻辑防止线上空评论直接打到模型上报错。参数说明joblib 保存的.pkl 文件不要跨 Python 小版本使用2.7 训练出来的模型 3.10 里加载大概率报错。部署到新环境时把 sklearn 和 joblib 版本写到 requirements.txt 里。从那以后我每次跑情感分析都强制走一遍“训练集 fit → 测试集 transform → 保存模型 → 新数据只 transform”这个流程新评论预测前再单独抽几条人工看看概率分布是否合理。这一步不花多少时间但能帮你提前发现线上数据和训练数据分布不一致的问题。希望帮到你。本文还有配套的精品资源点击获取