简介基于IMDB大型电影评论数据集的情感分析Python项目源码主要面向自然语言处理初学者、毕业设计或期末大作业等场景解决从评论文本中自动判别积极/消极情感倾向的问题。项目已获导师认可并经过严格调试可稳定运行完整覆盖数据清洗、分词、Word2Vec词向量训练、句子切分、平均特征向量生成以及随机森林情感分类测试等关键环节核心模块职责清晰并配有Markdown说明文档便于读者理清思路与复现实验数据预处理与特征构造思路清晰且易于迁移到其他情感分析语料。压缩包共9个文件包括8个Python脚本和1个说明文件整体仅9KB大小结构轻量、无冗余依赖适合直接修改拓展。目前已有497人在CSDN学习下载对于希望快速掌握情感分析完整项目流程、开展相关课程设计或论文实验的开发者具有很好的参考价值。1. 这个 IMDB 情感分析源码包入门 NLP 最值得复现的一个项目标题里这套 python 实现基于 IMDB 电影评论数据进行情感分析的源码是几乎所有 NLP 从业者走过的同一条路用 5 万条电影评论让模型学会判断一段文字是好评还是差评。它看起来只是“读评论 - 出标签”但背后覆盖了文本清洗、词表构建、向量化、模型训练、评估和预测的完整链路做完这一套你再看其他文本分类任务都会觉得熟门熟路。这套项目最反直觉的地方在于模型本身不是难点甚至用最简单的词频统计加逻辑回归就能拿到不错的分数真正把大多数人卡住的是数据加载和文本预处理。比如 keras 内置数据集里每个词都是一个整数编号0 表示填充、1 表示未知词如果不处理这个映射模型会把“填充位”本身学成特征精度虚高但换个场景立刻翻车。这篇文章就把这条路的每一步拆开讲源码头到尾怎么设计、参数怎么调、坑在哪。适合准备入门 NLP 的开发者也适合拿它当课程设计或求职作品底的在校生。2. IMDB 数据集的两种获取路径内置包与离线原始数据2.1 为什么 IMDB 50k 是情感分析的黄金标准数据集IMDB 电影评论数据集由斯坦福大学整理5 万条评论均匀分成 25000 条训练、25000 条测试另加 5 万条无标签数据用于半监督实验。每条评论对应一个情感标签0 代表负面1 代表正面整个数据集刻意保持二元均衡——正面一半、负面一半所以准确率 50% 是瞎猜的基线模型跑到 85% 以上才算真正学到了东西。这个数据集走红的原因很实在第一评论平均长度在 200 到 300 词之间足够训练词向量模型单机 GPU 或者纯 CPU 都能跑得动第二文本是英文不需要分词器按空格切开就是 token第三标签是人工标注的噪声小。相比中文评论数据需要额外处理编码、分词、繁体简体IMDB 几乎为零门槛。这也是很多 NLP 教学和源码包拿它当标准练习题的原因。2.2 方式一用 tf.keras 内置 imdb 模块快速取数你拿到手的源码包一般会提供这种最省事的取数方式。tensorflow 的 keras 内置了 imdb 数据集调用一次会从网络下载到本地~/.keras/datasets/目录缓存之后再次运行不再走网络。它返回的 X 是“整数列表的列表”每个整数对应一个词在词表中的编号y 是 0/1 标签。from tensorflow.keras.datasets import imdb from tensorflow.keras.preprocessing.sequence import pad_sequences # num_words 表示只保留训练集里出现频率最高的前 20000 个词 # 超过词表范围的词会被统一映射成编号 1在 keras 中 1 表示 unknown num_words 20000 max_len 200 (x_train, y_train), (x_test, y_test) imdb.load_data(num_wordsnum_words) # 每条评论长度不一样需要统一填充到 200 个 token # paddingpost 表示在句子末尾补 0truncatingpost 表示超长部分从末尾截断 x_train pad_sequences(x_train, maxlenmax_len, paddingpost, truncatingpost) x_test pad_sequences(x_test, maxlenmax_len, paddingpost, truncatingpost) print(x_train.shape, x_test.shape) print(正样本比例:, y_train.mean(), 负样本比例:, 1 - y_train.mean())这段代码的逻辑是imdb.load_data返回的每条评论是变长序列pad_sequences把长度不一的序列统一成 200 的定长矩阵方便进入 Embedding 层和循环网络。num_words限定了特征维度设置太小会丢失大量低频但关键的词比如某些情绪强烈的词只在少数评论里出现设置太大又增加内存和训练时间20000 是一个兼顾效果和效率的选择。max_len设 200 是因为 IMDB 评论大多集中在这个长度附近太短会切断关键信息太长对 LSTM 来说浪费计算。这里打印的正样本比例应该是约 0.5验证类别的均衡性如果后续做迁移到不平衡的评论数据集这一比例就是调阈值的重要参考。2.3 方式二读原始文本文件做一遍完整的清洗流程源码包里更常见的设计是提供一个读取原始 IMDB 文本目录的脚本因为 keras 内置包虽然方便但它的 token 编号方式不透明后续你想展示“这条评论对应的原始文本是什么”就麻烦了。原始数据每个样本是一个.txt文件存放在train/pos、train/neg、test/pos、test/neg四个目录下。读原始文件最大的坑是文件里可能有br /换行标签、HTML 实体、多余空白需要一次性清洗干净。import os import re import numpy as np def load_imdb_raw(data_dir): texts, labels [], [] for label_name, label_val in [(neg, 0), (pos, 1)]: label_dir os.path.join(data_dir, label_name) for fname in os.listdir(label_dir): if not fname.endswith(.txt): continue with open(os.path.join(label_dir, fname), r, encodingutf-8) as f: raw f.read() texts.append(clean_text(raw)) labels.append(label_val) return texts, np.array(labels) def clean_text(text): # 去掉 HTML 换行标签和常见标签转成空格避免单词粘连 text re.sub(r[^], , text) # 只保留字母和空格去掉数字、标点这一步对英文评论尤其关键 text re.sub(r[^a-zA-Z\s], , text) # 多个空格压缩成一个首尾空格去掉 text re.sub(r\s, , text).strip().lower() return text # 用法示例texts, labels load_imdb_raw(./aclImdb/train/)清洗逻辑里要特别留意三点一是 HTML 标签必须替换成空格而不是直接删除否则lovebr /this会变成lovethis这个不存在的词二是转小写操作要放到最后统一做避免The和the在词表中占两个位置三是这个清洗只适合英文如果将来换到中文场景正则要改成保留中文字符和分词器配合不能直接套用。这个函数在源码包里通常还会拆成strip_html、remove_non_alpha两个小函数方便单测。2.4 环境准备Python 版本、依赖与一个容易忽视的版本坑源码包在运行之前先确认环境。常见依赖是 tensorflow用它的 keras、numpy、pandas、scikit-learn、matplotlib。这里有一个血泪经验不要装最新版的 tensorflow 配很老的 python也不要反过来。建议 Python 3.8 到 3.11 搭配 tensorflow 2.10 到 2.15装的时候直接指定版本pip install numpy1.24.3 pip install tensorflow2.13.0 pip install scikit-learn pandas matplotlib如果不想用深度学习框架只跑 TF-IDF 加逻辑回归那 tensorflow 可以不装依赖只剩 sklearn 和 pandasCPU 就能秒级跑完。源码包如果标称“轻量版”通常指的就是这个版本。安装 nltk 的话还要注意它第一次调用会下载语料资源网络不稳时容易卡住。进项目目录之后先跑python -c import tensorflow as tf; print(tf.__version__)验证环境比直接跑训练脚本更省时间。3. 跑通最小情感分析系统从 TF-IDF 到 LSTM 两条路线3.1 基线模型TF-IDF 加逻辑回归3 分钟拿到 85%源码包为了让你快速看到效果一般先给一个传统机器学习的基线。思路是把每条评论转成一个向量向量的每个维度代表某个词在评论中的重要程度然后用逻辑回归做分类。TF-IDF 的原理是“词频越高越重要但在越多文档里出现越不重要”能有效过滤掉the、a、and这类没有情感色彩的停用词。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score, f1_score # ngram_range(1,2) 同时使用单词和二元词组能捕捉 not good 这类否定表达 # max_features 限制词表规模防止维度爆炸 vectorizer TfidfVectorizer(ngram_range(1, 2), max_features50000, sublinear_tfTrue, min_df2) x_train_tfidf vectorizer.fit_transform(texts_train) x_test_tfidf vectorizer.transform(texts_test) # C 是正则化强度的倒数C 越小正则越强IMDB 上 C1.0 通常够用 model LogisticRegression(C1.0, max_iter200) model.fit(x_train_tfidf, y_train) y_pred model.predict(x_test_tfidf) print(Accuracy:, accuracy_score(y_test, y_pred)) print(F1:, f1_score(y_test, y_pred))逻辑说明fit_transform在训练集上学习词表并转换transform在测试集上只做转换不重新学习词表这是必须遵守的规则——一旦测试集混入词表构建就是典型的数据泄漏会造成指标虚高。min_df2表示至少在 2 篇文档中出现过的词才保留过滤掉只在某一条评论里出现的噪声词。sublinear_tf把原始词频换成 1log 形式可以削弱超高频词的主导地位。逻辑回归本质上是线性模型它学到的权重可以直接解释权重为正的词把评论推向好评比如excellent、amazing权重为负的推向差评比如worst、boring。这一步在 IMDB 上准确率通常能到 88% 左右作为对比你要知道很多花里胡哨的模型也就是在这个分数上下浮动。3.2 深度学习版Embedding 加 LSTM 在 IMDB 上的标准结构传统模型 88% 几乎就是天花板因为 TF-IDF 丢失了词序信息。not good和good not在 TF-IDF 眼里是相似的但在人眼里意思完全不同。LSTM 这类循环神经网络在读取评论时按顺序处理每个词网络内部的记忆单元能保留“前面在说好话后面突然转折”这类上下文信息这是线性模型做不到的。源码包里最常见的深度学习结构是Embedding 词嵌入层 一层 LSTM Dropout 全连接输出层。Embedding 把每个词的整数编号映射成一个稠密向量向量在训练中不断调整最终让语义相近的词在向量空间里靠近。LSTM 按顺序读取这些向量输出最后的隐藏状态作为整条评论的语义浓缩再接一个 sigmoid 输出 0 到 1 之间的情感概率。from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Embedding, LSTM, Dense, Dropout from tensorflow.keras.optimizers import Adam from tensorflow.keras.callbacks import EarlyStopping vocab_size 20000 embedding_dim 128 max_len 200 model Sequential([ # mask_zeroTrue 表示编号 0填充位不参与训练避免把无效填充学出语义 Embedding(vocab_size, embedding_dim, input_lengthmax_len, mask_zeroTrue), LSTM(64, dropout0.2, recurrent_dropout0.2), Dense(1, activationsigmoid) ]) model.compile(optimizerAdam(learning_rate1e-3), lossbinary_crossentropy, metrics[accuracy]) print(model.summary()) # patience2 表示验证集损失连续 2 轮不下降就提前结束防止过拟合 early_stop EarlyStopping(monitorval_loss, patience2, restore_best_weightsTrue) history model.fit( x_train, y_train, validation_data(x_test, y_test), batch_size64, # 一批 64 条太快容易震荡太慢训练时间过长 epochs10, # 一般到不了 10 轮就会被早停拦下来 callbacks[early_stop], verbose1 )参数怎么定逐一说。embedding_dim128是词向量维度太小小于 50表达能力不够太大大于 300在小数据集上容易过拟合128 是单机训练的甜点值。LSTM(64)表示隐层单元数64 和 128 之间效果差别不大但计算时间翻倍。dropout0.2和recurrent_dropout0.2分别是输入和循环连接上的随机失活这个参数在情感分析里几乎必须加不加的话第二轮训练后验证集损失就开始抬头。batch_size64决定了每个梯度更新用多少样本64 在 IMDB 5 万样本量级上收敛稳定。这里如果用 GPU 训练epochs 10 轮大约 1 到 2 分钟CPU 可能要 10 到 20 分钟所以早停很重要。运行完可以调用model.evaluate(x_test, y_test)看最终分数通常 LSTM 比 TF-IDF 版高两个点上下但训练时间多几十倍——这也是你做技术选型时必须知道的一个事实不是所有场景都值得上深度学习。3.3 保存模型、Tokenizer 与预测一条新评论训练完的模型不保存等于白干。源码包的predict.py一般负责把训练产物落盘再写一个交互式预测函数让你输入一段评论文本直接看到情感概率。这一环节要保存的东西不只是模型权重还有词表映射关系否则新文本无法转换成和训练时一致的整数编号。import json import numpy as np from tensorflow.keras.models import load_model # 1. 保存模型与词表 model.save(imdb_model.h5) # 从 keras 内置 imdb 里拿 word_index它是 单词 - 编号 的字典 word_index imdb.get_word_index() # 保存时把编号偏移 30 是填充1 是未知词2 是训练集外词 word_index {k: (v 3) for k, v in word_index.items()} word_index[PAD] 0 word_index[UNK] 1 word_index[START] 2 with open(word_index.json, w) as f: json.dump(word_index, f) # 2. 加载模型与新评论预处理 model load_model(imdb_model.h5) with open(word_index.json, r) as f: word_index json.load(f) def predict_sentiment(text, max_len200): # 清洗文本转 token 序列 tokens clean_text(text).split() seq [word_index.get(w, word_index[UNK]) for w in tokens[:max_len]] # 转成模型要求的形状 [1, max_len] import tensorflow as tf padded tf.keras.preprocessing.sequence.pad_sequences( [seq], maxlenmax_len, paddingpost, truncatingpost) prob model.predict(padded, verbose0)[0][0] return 正面 if prob 0.5 else 负面, prob # 测试用的一正一反 print(predict_sentiment(This movie is absolutely fantastic!)) print(predict_sentiment(Waste of time, I regret watching it.))这个保存流程里最容易踩的坑是get_word_index返回的编号和load_data内部使用的编号不一致。load_data内部自动做了偏移原词表编号 3因此如果你用原版get_word_index直接做预测你会发现一个在训练时编号明明是 5 的词在新文本里变成了 3句子彻底错乱。4. 调参与评估把准确率往前推的四个关键参数4.1 序列长度 max_len信息完整性与计算量的折中IMDB 评论长度分布非常不均匀。短评论只有 10 来个词长评论能到 2000 词以上。max_len太小长评论的关键信息被截掉模型只能看到开头那部分max_len太大大部分评论被填充成大量的 0LSTM 要白白跑很多步训练时间变长还容易把填充位学出奇怪的模式。经验做法是先跑一句统计代码看看评论长度的分位数import numpy as np from tensorflow.keras.datasets import imdb num_words 20000 (x_train, _), _ imdb.load_data(num_wordsnum_words) lens np.array([len(x) for x in x_train]) for q in [50, 75, 90, 95, 99]: print(f{q}% 分位长度: {np.percentile(lens, q)})我拿这个跑过很多次结论很稳定90% 的评论都在 250 个 token 以内95% 在 350 以内。所以max_len200保留了约 80% 的信息max_len300能覆盖 90% 以上但训练时间增加约 50%。如果只做情感二分类不追求极致精度max_len200是性价比最高的值如果你的目标是让指标更好看提到 300 配上truncatingpost是合理的。要注意truncating的位置默认pre从头截断但 IMDB 评论往往是后半段才给出明确结论所以post从尾部截断会丢失结论一般建议pre或post都要自己实验。4.2 词表大小 num_words低频词是情感判断的隐藏支柱num_words20000意味着训练集中最常见的 2 万个词被保留其余全部归入 unknown。表面上看这没什么但你要知道 IMDB 评论里很多强烈表达情感的词恰恰不是高频词。比如disappointed、overrated、masterpiece这些词频率不高却在情感判断上极具区分力。如果把num_words压到 5000这类词大量变成 unknown模型只能靠周边词猜意思准确率掉两个点很常见。调大的代价也明显Embedding 层参数量是vocab_size * embedding_dim词表 2 万时是 256 万参数词表 5 万时变成 640 万内存和训练时间都跟着涨。在 IMDB 上 2 万到 5 万之间准确率差异通常在 1% 以内源码包默认给num_words20000是合理的。如果你用 TF-IDF 路线max_features同理min_df可以保持在 2把max_features从 5 万提到 10 万多数时候收益不明显。4.3 过拟合控制Dropout、EarlyStopping 与学习率调整跑 LSTM 最常看到的现象是训练集准确率第 3 轮就到 95%验证集却停在 86%。这就是过拟合。dropout0.2只是第一道防线EarlyStopping必须有但很多人不知道restore_best_weightsTrue这个参数意味着什么——不设它早停触发时返回的是最后一轮权重而最后一轮通常已经是过拟合状态设了它会自动回滚到验证集表现最好的那一轮等于买了后悔药。from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau early_stop EarlyStopping( monitorval_loss, patience3, # 容忍 3 轮不改善太激进会错过后续提升 restore_best_weightsTrue ) reduce_lr ReduceLROnPlateau( monitorval_loss, factor0.5, # 学习率减半 patience1, # 验证损失 1 轮不降就触发 min_lr1e-5 )ReduceLROnPlateau是我后来才习惯加上的组件。训练初期 Adam 的 1e-3 学习率能快速下降但到后期 loss 曲线会进入平台期这时候把学习率减半往往能再压一截损失。patience的设置过小会误杀验证集损失本来就是波浪式下降的连续 2 轮不降并不代表真的收敛了。我一般patience3。batch_size影响曲线的平滑度batch_size32每步更新更频繁loss 震荡更剧烈128更平滑但可能收敛到稍差的局部最优。IMDB 上 64 是安全选择不要为了快盲目上 256我试过在相同 epoch 数下准确率低 1 到 2 个点。4.4 评估不只看准确率混淆矩阵和 AUC 的意义二分类只看accuracy会骗人。如果评论数据是不平衡的比如 90% 好评模型全部预测好评也能拿到 90% 准确率但这就是个废模型。IMDB 是均衡的但你要把代码迁移到真实评论场景就必须学会看混淆矩阵。我习惯在源码包加一个evaluate.py输出四样指标precision预测成好评的评论里有多少真的是好评、recall真实好评里有多少被找出来了、F1两者的调和平均和 AUCROC 曲线下面积。from sklearn.metrics import confusion_matrix, classification_report, roc_auc_score y_proba model.predict(x_test, verbose0).flatten() # 注意这里拿到的是概率 y_pred (y_proba 0.5).astype(int) print(confusion_matrix(y_test, y_pred)) print(classification_report(y_test, y_pred, target_names[负面, 正面])) print(AUC:, roc_auc_score(y_test, y_proba))model.predict返回的是 sigmoid 输出的概率值不是分类标签必须自己设阈值 0.5 转成 0/1。confusion_matrix的四格分别对应 TN、FP、FN、TP它能告诉你模型是偏向“把负面说成正面”还是“把正面说成负面”——这在业务上意义完全不同你做的是舆情监控漏掉一个差评FN 高比误报一个好评FP 高严重得多。AUC 不依赖阈值直接度量模型把好评排在差评前面的能力0.9 以上说明模型排序能力优秀即使你后面调整阈值也不会大幅变差。5. 避坑从数据加载到训练的五个经典翻车现场5.1 翻车一保存词表时编号没对齐预测结果全乱现象训练时准确率 88%把模型保存再加载后输入一句明显是好评的评论模型输出却是负面概率极高。原因keras 内置load_data返回的序列编号是在原始词表编号基础上加了 3但你保存词表时直接存了imdb.get_word_index()的原始映射没有做偏移。新评论在此映射下查到的编号和训练时的编号差 3几乎每个词都错位模型看到的基本是乱码。解决保存词表时按代码里那样做偏移 3并额外写入PAD、UNK、START三个特殊编号。加载后先打印几条训练数据的编号序列和预测时生成的序列肉眼对比一下确认第一个词的编号在合理区间内。5.2 翻车二num_words 过小导致测试集精度暴跌现象训练时val_accuracy有 88%但自己收集的评论预测效果特别差连“I love it”都判不对。原因num_words10000意味着测试集中大量单词不在词表内被统一映射成 unknown 编号。keras 会把 unknown 编号对应到一个随机的 Embedding 向量模型在训练时没怎么见过这个向量预测时遇到就基本靠猜。解决先统计词表覆盖率——num_words对应词表之外的词在测试集中占比多高。IMDB 里num_words10000大约覆盖 80% 的 token20000能覆盖到 90% 以上。要提升覆盖就增大num_words或者改用 TF-IDF 版并调高max_features这类覆盖不足导致的精度损失靠调模型结构补不回来。5.3 翻车三训练过程看起来正常验证集损失第二轮就开始涨现象训练 loss 一路下降验证 loss 在第 2 轮降到最低后立刻反弹train 和 val 的差距越拉越大。原因模型过拟合。这在 Embedding 维度高、LSTM 层多、数据量有限时尤其突出。不是模型不够强而是强过头了把训练集里的噪声也背下来了。解决先加Dropout(0.5)视图降低过拟合再把EarlyStopping的restore_best_weights打开。如果加了 dropout 后 val 还涨说明是学习率问题换成ReduceLROnPlateau。另外检查训练集和验证集的标签分布是不是显著不同如果比例差 10% 以上用train_test_split时加上stratifyy保证分层抽样。5.4 翻车四第一次运行imdb.load_data()卡住或报连接错误现象执行到imdb.load_data(num_words20000)时长时间没反应或者抛出类似无法下载的错误。原因keras 首次使用内置数据集要从网络下载到本地源站距离远、网络波动时容易超时。这个和模型代码无关纯粹是环境问题。解决不要反复重跑同一个脚本直接去缓存目录~/.keras/datasets/看有没有已下载一半的文件有就删掉。然后先手动下载数据文件放对名字和目录再跑脚本让它走本地路径。源码包里如果有check_data.py它的作用就是这个。下载文件放好后先跑一次加载并打印x_train[0]的前 10 个编号确认读取正常再进训练。5.5 翻车五CPU 上训练慢得离谱误以为死机现象LSTM 在 CPU 上跑一个 epoch 要 5 到 10 分钟几轮下来以为程序卡死。原因LSTM 是循环结构只能逐步处理序列CPU 上并行度低。而评论长度 2005 万条样本累计计算量大是正常的。解决训练前把validation_split数据量和batch_size写对再确认是否真的比基线快。如果只是验证可行性建议先用 TF-IDF 版本跑通全流程再切到 LSTM。另外重点检查是不是在Embedding后面直接接了Flatten再接Dense——这相当于把整个序列的词向量展平参数量巨大比 LSTM 还慢而且效果通常还更差说明代码结构设计有问题。6. 把模型用起来一条新评论从输入到输出的完整链路6.1 写一个不依赖交互环境的批量预测脚本到这一步你手里已经有了训练好的模型、词表文件word_index.json和清洗函数。剩下的就是把它们串成一个可复用的预测脚本从文件或命令行读取评论逐条输出情感概率。这个脚本的价值在于模型训练是一次性的预测却是每天都要做的。import json import sys import numpy as np import tensorflow as tf def load_artifacts(model_pathimdb_model.h5, vocab_pathword_index.json): model tf.keras.models.load_model(model_path) with open(vocab_path, r) as f: word_index json.load(f) return model, word_index def predict_file(model, word_index, file_path): with open(file_path, r, encodingutf-8) as f: lines [line.strip() for line in f if line.strip()] results [] for line in lines: clean_line clean_text(line) tokens clean_line.split() seq [word_index.get(w, 1) for w in tokens] # 不在词表用 1 表示 unknown padded tf.keras.preprocessing.sequence.pad_sequences( [seq], maxlen200, paddingpost, truncatingpost) prob model.predict(padded, verbose0)[0][0] results.append((line, prob)) return results # 命令行调用python predict.py comments.txt if __name__ __main__: model, word_index load_artifacts() results predict_file(model, word_index, sys.argv[1]) for line, prob in results: flag 正面 if prob 0.5 else 负面 print(f{flag}\t{prob:.4f}\t{line[:50]})这个脚本的设计要注意两点一是每条评论单独调用pad_sequences效率不高但对小批量是够用的等你要处理几千条评论时再改成一次性把所有序列列表传进去性能能提升一个量级二是maxlen必须和训练时一致改成 128 会导致输入维度不匹配模型会直接报错——这个错误是好检查的最难的是word_index加载不正确时模型不报错、输出结果却完全错误。6.2 概率阈值与置信度0.5 不是唯一的分界线sigmoid输出 0 到 1 的概率0.5 只是默认分类线。但现实场景里把一条 0.48 概率的评论判为负面和把一条 0.2 概率的判为负面风险完全不同。我习惯在预测脚本里增加一个置信度区间判断0.4 到 0.6 之间标记为“不确定”单独输出因为这些评论往往是包含讽刺、转折、双重否定的难点样本。def verdict(prob, low0.4, high0.6): if prob high: return 正面 if prob low: return 负面 return 不确定建议人工复核这个做法的实际价值是让模型把“高置信度样本”和“低置信度样本”分开处理。你可能在源码包的说明文档里看到类似“置信度阈值可调”的提示指的就是这个函数。对电影评论这种娱乐内容判断错了无所谓但同一套代码换到商品差评、舆情监测场景0.5 附近的评论直接自动处理容易造成舆情误判。留一个“不确定”桶让人工介入是工程上更稳妥的收尾方式。6.3 从电影评论迁移到中文商品评论需要改三个地方这个 IMDB 项目的代码框架完全可以迁移到中文场景通常这是源码包“说明文档”里最有价值的一段。三个必改点一是文本清洗英文的正则[^a-zA-Z\s]改成中英文混用时要保留\u4e00-\u9fa5并引入分词器二是要加词典中文没有天然空格分词必须用 jieba 或基于词表的分词工具三是词表文件从 JSON 换成支持更多条目的格式同时 embedding 层要匹配。很多人的误区是“换了语言模型结构也得换”。实际上情感分析的核心都是“把文本变成序列再学一个序列到标签的映射”LSTM 在英文评论上学到的“上下文顺序影响情感”这个规律在中英文里完全通用。真正要换的是文本向量化这层。中文评论里还有一些特有的难点否定词和程度副词往往离被修饰的词很近“不太好看”“非常难看”如果分词粒度太粗模型分不清。你可以继续用jieba.lcut做粗粒度切分再把切词结果输入与上文完全相同的代码链路把剩余精度交给模型去学。回到标题本身这整套 IMDB 情感分析源码训练一个能用的模型不是终点终点是你把这个流程迁移到自己的文本数据上并且知道每一步在做什么。我自己第一次跑通这个项目时犯过最傻的错误是忘记保存词表文件就直接把模型发给了同学结果对方加载模型后预测结果全是反的还以为是模型坏了。从那以后我养成了习惯模型和词表是同一个版本的两个产物一定要同时存档并写清楚版本号就像打包软件不能只给可执行文件不给配置一样。希望这篇拆解能帮你在自己的数据上少走几步弯路跑出真正可信的情感分析结果。本文还有配套的精品资源点击获取