简介基于机器学习和深度学习的中文微博情感分析项目面向计算机、人工智能、自动化等相关专业的师生、研究者及从业者适合毕业设计、课程大作业或进阶学习场景也可用于算法对比与科研预研。项目整合朴素贝叶斯、SVM、XGBoost等传统机器学习算法以及LSTM、BERT等深度学习方法对中文微博数据进行情感分类从数据预处理、特征工程到模型训练与评估全流程均有覆盖目录结构清晰、工具链完整。资源包共20个文件包含5个Jupyter Notebook代码文件、1个Python脚本、2个预训练模型文件及10个数据文本文件压缩包仅1.85MB轻量易部署附有README.md与requirements.txt依赖说明便于快速复现运行。当前已有130人学习浏览项目代码均经过调试测试答辩评审达到98分工程完整性与可运行性较强。下载后可直接运行也可基于自身业务需求修改调整尤其适合作为算法对比实验基座或入门深度学习实践的高质量参考案例。1. 基于机器学习和深度学习的中文微博情感分析是一个绕不开的中段项目做中文 NLP 的工程师大多有同感入门分类任务总喜欢拿垃圾邮件或新闻分类练手但这些数据干净、句式正规和真实互联网短文本的差距太大。中文微博情感分析刚好站在一个比较特殊的位置——它的数据量适中、标签体系直观、又同时容纳了短文本处理、数据清洗、特征工程和模型对比这些完整环节。标题里的“各种机器学习和深度学习”是关键这门课作业要的不是把某一个模型调到 70 分往上一交了之而是同一个数据集上传统分类器和深度模型都跑一遍给出横向比较和差异分析再配上能支撑“为什么这个模型表现更好”的文档说明。整个链路如果走通对后面找工作或做研究的帮助要远大于单纯调一个 BERT 接口。这篇文章我会按自己做一个课程设计、毕业设计或面试项目的顺序来写先拿数据做清洗和标注然后跑 TF-IDF 加传统分类器做基线再对比 TextCNN、BiLSTM 的深度学习方案最后聊怎么让这个项目在文档里和面试现场都立得住。适合正在做同类项目、需要把源码说明和实验过程写扎实的读者也适合想补一段完整 NLP 落地经验的工程师参考。2. 微博数据先到位清洗、标注与长度分布分析2.1 数据来源与标注策略怎么定微博情感分析项目的第一步不是选模型而是先把数据做实。现在网上能找到不少公开整理好的中文微博情感数据集常见的是一个包含 10 万条左右带正负标签的数据集合这类数据在研究社区里流通较广适合拿来做课程设计和实验对比。实际做的时候我建议把数据划分为训练集 10000 条、验证集 2000 条、测试集 2000 条比例约 5:1:1。类别上不建议做三分类很多微博表达的是中性态度标注一致性很难把握二分类正面/负面在课程项目里更稳报告也更好写。如果拿到的数据没有标签需要自己标注那么建议先对样本做一次粗标。常见的做法是利用 SnowNLP 的 sentiment 方法先算出一个倾向分把得分小于 0.2 和大于 0.8 的样本挑出来分别预标为负向和正向再人工抽检其中 20%。这么做能避免对着几万条数据一条条看带来的疲劳和标注漂移。别忘了在文档里记录标注规范比如“服务态度差”算明确负面“还凑合吧”算弱正面这类边界样本的决策规则写清楚答辩时才不会被质疑数据可信度。2.2 微博文本清洗去链接、去 与表情符号处理微博和普通新闻语料最大的区别是噪声类型丰富。拿到原始数据后第一件事是清洗。下面是我常用的清洗函数import re import pandas as pd def clean_weibo_text(text: str) - str: if not isinstance(text, str): return # 去掉 URL text re.sub(rhttp[s]?://\S, , text) # 去掉 用户名 text re.sub(r[\u4e00-\u9fa5a-zA-Z0-9_-], , text) # 去掉 话题#xx#但保留话题里的文字 text re.sub(r#([^#])#, r\1, text) # 去掉 表情符号 如 [笑cry] [doge] text re.sub(r\[[^]]{1,4}\], , text) # 全角转半角 text text.replace(, ,).replace(。, .).replace(, !) # 压缩多余空白 text re.sub(r\s, , text).strip() return text df[clean_text] df[text].apply(clean_weibo_text)这里的选择都有理由。去掉 URL 是因为链接本身不携带情感倾向留在分词结果里只会增加特征噪声。用户名是微博特有的二次传播符号同样与情感无关但对正则要求较高中英文和数字都要覆盖。话题标签#xxx#我选择保留文字删掉#因为话题内容往往是情感倾向的关键载体比如#这部电影太好看了#去掉井号后仍然是有效特征。全角转半角这一步很多人会忽略但它对后续 TF-IDF 的字符匹配和词表构建有直接影响。需要注意不要在清洗阶段就把数字全部删掉像“等了 3 小时”“打了 10086 没人接”里的数字是情感强度的体现。也不建议所有表情都删正向表情如“哈哈”“太开心”其实可以换成占位词但考虑到代码简洁度课程项目删掉即可若要追求效果可以把常见负向表情映射为“负面情绪”词。2.3 分词、停用词与文本长度分布检查清洗之后进入分词。中文 NLP 默认选择 jieba 库这个库稳定、覆盖词表足够大还能加载自定义词典。微博场景建议准备一个专门的自定义词典里面加上“集美”“yyds”“破防”“内卷”这类有情感色彩的网络热词避免分词器把它们拆碎。停用词表要谨慎通用的哈工大停用词表可以用但必须把否定词和程度副词保留下来比如“不”“没”“别”“太”“超”这些是情感分析里最关键的信号之一。分词与长度分布统计代码如下import jieba import numpy as np jieba.load_userdict(weibo_user_dict.txt) def tokenize_and_filter(text: str): words jieba.lcut(text) stopwords set() with open(stopwords.txt, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) # 保留否定词和程度副词 keep {不, 没, 别, 太, 超, 很, 最, 好} stopwords - keep return [w for w in words if w not in stopwords and w.strip()] df[tokens] df[clean_text].apply(tokenize_and_filter) # 查看长度分布决定模型输入的最大长度 lengths df[tokens].str.len() print(lengths.describe(percentiles[0.5, 0.75, 0.9, 0.95, 0.99]))文本长度分布决定了深度模型的 max_len 参数。微博原始文本默认是 140 字限制分词后长度通常在 10 到 40 个词之间。我一般观察 0.95 分位数如果 95% 的样本不超过 50 个词max_len 直接取 50超出截断、不足填充。取 0.95 而不是最大值是为了防止个别超长样本拉高序列长度导致大量 padding 浪费算力。统计结果要记进文档后面深度学习部分的参数解释都要引用这一节的数据。3. 先跑传统机器学习基线TF-IDF 特征与分类器调参3.1 为什么先做机器学习基线再上深度学习深度学习不是默认第一选择。我见过不少课程项目上来就套一个 BERT训练很久发现内存不够或者效果和自己预想差很远再回头补机器学习模型浪费大量时间。正确的机器学习应用流程是先做一个传统基线TF-IDF 向量化加 Logistic Regression。这个组合在中文短文本分类上训练快、可解释性强而且结果往往出人意料地好——尤其在几千条数据规模下传统模型经常不输给浅层神经网络。更重要的是基线模型给出了任务难度的参考线。如果 TF-IDF LR 的 F1 只有 0.6说明数据噪声大或标注不一致这时先修数据而不是换复杂模型。如果基线到了 0.82再拿 TextCNN 对比深度学习提升了两个点这个差异才是有效的“工作产出”。没有基线的实验报告后面的模型对比是没有参照系的。3.2 用 Pipeline 和 GridSearchCV 跑通最小实验这里直接给出一套可以抄走的代码。管道我们用 scikit-learn 的 Pipeline 组合特征提取与分类器再用 GridSearchCV 搜索关键参数from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.pipeline import Pipeline from sklearn.model_selection import GridSearchCV # tokens 重新拼接成空格分隔的句子 df[text_for_vec] df[tokens].apply(lambda x: .join(x)) pipe Pipeline([ (tfidf, TfidfVectorizer(max_features50000, ngram_range(1, 2), min_df2)), (clf, LogisticRegression(C1.0, max_iter1000, random_state42)) ]) param_grid { tfidf__max_features: [30000, 50000, 100000], tfidf__min_df: [1, 2, 5], clf__C: [0.1, 1.0, 10.0] } grid GridSearchCV(pipe, param_grid, cv3, scoringf1_macro, n_jobs-1, verbose1) grid.fit(df[text_for_vec], df[label]) print(grid.best_params_) print(grid.best_score_)几个参数的含义与选择理由需要说明。max_features50000限制词表规模微博语料的词表通常到 10 万级但大量词只出现一两次保留它们只会放大噪声50000 是性价比比较高的取值。ngram_range(1, 2)同时保留单词和二元词组这是短文本分类的关键设置像“太难了”如果拆成“太”和“难了”就丢掉了完整语义二元组能补回一部分上下文。min_df2丢掉只在一条微博里出现过的词这类词对模型没有泛化价值。C是正则化强度的倒数C 越小正则越强。这个搜索在实际运行时大概几分钟输出结果即可确认最优参数。需要注意scoring用f1_macro而不是accuracy因为正负样本只要稍有失衡准确率就会虚高F1 才能反映两个类别的综合表现。3.3 评估结果分类报告与混淆矩阵怎么看拿到最优模型后单独在测试集上评估下面的函数会输出你要写进文档的那张表from sklearn.metrics import classification_report, confusion_matrix best_model grid.best_estimator_ y_pred best_model.predict(test_texts) print(classification_report(test_labels, y_pred, target_names[negative, positive])) import seaborn as sns import matplotlib.pyplot as plt cm confusion_matrix(test_labels, y_pred) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabels[negative, positive], yticklabels[negative, positive]) plt.xlabel(Predicted) plt.ylabel(True) plt.tight_layout() plt.savefig(confusion_matrix_baseline.png, dpi150)写文档时不要只看 accuracy。我见过很多同学报告里写“准确率 78%”但没写 precision、recall 和 F1答辩时被问一句“结合业务场景你更看重 precision 还是 recall”就答不上来。情感分析场景下如果这个项目是判断舆情倾向那么负向召回率很重要漏判一个负面事件比误判一个正面微博代价更高。这时可以考虑给模型加class_weightbalanced以下是调整方式# 使用类别权重缓解负向召回不足 pipe_balanced Pipeline([ (tfidf, TfidfVectorizer(max_features50000, ngram_range(1, 2), min_df2)), (clf, LogisticRegression(C1.0, class_weightbalanced, max_iter1000)) ])加了权重后负向 recall 通常会提升。如果在你的实验中发现不值得也要在文档里写一句“经实验对比类别不平衡在本数据集中不显著”这句话比什么都不写强得多。传统模型的参数调完这个分数就是后续深度模型必须超过的对比基线。4. 深度模型对比TextCNN 与 BiLSTM 的实现要点4.1 从 sklearn 过渡到 PyTorch序列化与 Embedding深度学习部分建议用 PyTorch 实现。原因很直接scikit-learn 的向量化方式是基于词袋的无法利用词与词之间的语义关系而 PyTorch 可以方便地加载预训练词向量、实现卷积和循环结构实验灵活性高。学过的朋友都知道这里本质上和“动手深度学习”系列课程里的文本分类套路一致但微博短文本有自己的细节要处理。首先是数据集类需要把 token 映射成 id并保持每个 batch 等长import torch from torch.utils.data import Dataset, DataLoader class WeiboDataset(Dataset): def __init__(self, tokens_list, labels, word2idx, max_len50): self.tokens_list tokens_list self.labels labels self.word2idx word2idx self.max_len max_len def __len__(self): return len(self.labels) def __getitem__(self, idx): tokens self.tokens_list[idx][:self.max_len] ids [self.word2idx.get(t, 1) for t in tokens] # 1 是 UNK ids ids [0] * (self.max_len - len(ids)) # 0 是 PAD return torch.tensor(ids, dtypetorch.long), torch.tensor(self.labels[idx], dtypetorch.long)word2idx的构建方法是先统计训练集所有词频按词频排序从 2 开始编号0 留给PAD1 留给UNK。训练集之外出现的词统一映射到UNK否则预测新样本时会报维度错误。这里 max_len 直接取第 2.3 节统计出来的 50验证集和测试集也做同样的截断填充。Embedding 层的初始化方式值得单独说。有两种选择随机初始化和预训练词向量。课程项目可以直接随机初始化并随模型训练更新微博语料几十万条足以训练出有意义的词向量。如果你手头有预训练的 Word2Vec 或 GloVe加载后需要留意无监督语料和微博领域的分布差异可能导致迁移效果打折我的建议是先跑随机初始化版本有时间再对比加载预训练版本的效果差异把这个实验也写进文档体现工作量。4.2 TextCNN卷积核尺寸为什么用 2、3、4TextCNN 是短文本分类最经典的深度模型核心思路是用多个不同宽度的卷积核在词向量序列上滑动抓取 n-gram 级局部特征。下面是一个简洁实现import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim100, num_filters100, kernel_sizes(2, 3, 4), num_classes2, dropout0.5): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.convs nn.ModuleList([ nn.Conv1d(embed_dim, num_filters, k) for k in kernel_sizes ]) self.fc nn.Linear(len(kernel_sizes) * num_filters, num_classes) self.dropout nn.Dropout(dropout) def forward(self, x): # x: (batch, seq_len) emb self.embedding(x) # (batch, seq_len, embed_dim) emb emb.transpose(1, 2) # (batch, embed_dim, seq_len) pooled [] for conv in self.convs: c conv(emb) # (batch, num_filters, seq_len - k 1) c torch.relu(c) p torch.max_pool1d(c, c.size(2)).squeeze(2) # global max pooling pooled.append(p) out torch.cat(pooled, dim1) out self.dropout(out) return self.fc(out)参数说明是这个项目的重点。kernel_sizes(2, 3, 4)分别对应 bigram、trigram、4-gram 三种窗口微博短文本的核心信息通常就在二到四个词的组合里比如“太赞了”“不值这个价”。num_filters100是指每个卷积核尺寸下用 100 个不同的卷积核你可以理解成 100 种不同的特征探测器这类短文本任务从 64 到 128 都可以100 是效果和训练速度的平衡点。padding_idx0保证 padding 位置在 Embedding 中不参与更新始终为 0。dropout0.5放在最后全连接之前防止模型记住训练集中的个别词汇组合。有一个容易踩的坑Conv1d默认接受(batch, channels, length)格式所以forward里在embedding之后要transpose(1, 2)。很多人第一次写 TextCNN 都会在这里报维度错误。另一个坑是nn.Embedding的vocab_size要用训练集中的词表大小加 2漏加PAD和UNK会导致索引越界。4.3 BiLSTM 与训练策略学习率、batch size 与早停BiLSTM 的优势在于能建模长距离依赖。微博虽然短但转折结构常见比如“环境不错但是服务太差”TextCNN 容易聚焦在局部积极词汇上而 BiLSTM 可以从正向状态中捕捉到后半句的“差”。实际实现时在nn.LSTM设bidirectionalTrue把两个方向最后的隐藏状态拼接后过全连接。可以用torch.nn.utils.rnn.pack_padded_sequence优化效率但对于 max_len50 的数据集收益不大课程项目可以不做。训练参数是我踩过最多坑的地方。推荐一组稳定的起点import torch.optim as optim model TextCNN(vocab_sizelen(word2idx) 2) optimizer optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() batch_size 64 epochs 15 patience 3 # 早停连续3个epoch验证F1不上升则停止 best_f1 0.0 for epoch in range(epochs): model.train() for batch_ids, batch_labels in train_loader: optimizer.zero_grad() logits model(batch_ids) loss criterion(logits, batch_labels) loss.backward() optimizer.step() # 验证集计算 F1决定是否早停并保存最佳模型lr1e-3适合 Adam、在 1 万条样本规模下通常够用。如果发现 loss 震荡降到5e-4。batch_size64是短文本的常规选择显存不是瓶颈但 batch 太小会导致梯度更新噪声大收敛变慢。epochs15对浅层网络足够早停 patience 设 3。注意要在文档中记录验证集 loss 随 epoch 变化的表格一般呈现先降后升的 U 形曲线这是写进报告里证明“早停合理性”的经典证据。训练时把训练集和验证集的划分要做分层抽样正负样本按比例各取一半不能直接随机打乱否则可能出现验证集全是正类的情况。分类器效果不稳定时好几个“challenge”都出现在数据划分上代码里用train_test_split(ylabels, stratifylabels)一行就可以解决。5. 进阶让项目在文档和答辩中真正立住5.1 用注意力可视化证明模型学到了什么深度模型在课程项目中常被质疑“黑箱”。一个加分的技巧是给 BiLSTM 加 Attention 层并把注意力权重分布输出出来做成热力图。找一条测试微博比如“物流太慢了而且客服态度差”把模型对每个词分配的注意力权重打印成表格你会发现“慢”“差”两个词权重最高。这一张图放进文档比任何文字都更能说明模型确实学到了情感关键词。实现原理不复杂BiLSTM 输出每个时间步的隐藏状态后经过一个可学习的权重向量计算各时间步的归一化分数加权求和得到句子表示。文档里只需要附上核心公式和最终可视化图片不需要贴全部代码。答辩时被问“模型可解释性怎么体现”把这张图拿出来即可。5.2 写一个最小可用预测脚本供非技术角色测试源码的完整度往往体现细节。项目根目录放一个predict.py读取 CSV 或单条文本输出类别和概率import torch def predict(text: str, model, word2idx, max_len50): import jieba tokens [t for t in jieba.lcut(text) if t.strip()][:max_len] ids [word2idx.get(t, 1) for t in tokens] ids ids [0] * (max_len - len(ids)) x torch.tensor([ids], dtypetorch.long) with torch.no_grad(): logits model(x) prob torch.softmax(logits, dim1).squeeze(0) neg, pos prob.tolist() label 正面 if pos neg else 负面 return label, pos print(predict(这家外卖的味道真不错下次还点, model, word2idx))脚本能跑通意味着整个链路没有隐藏问题从文本清洗、分词到模型推理完全一致。很多人在训练脚本里用手写的文本预处理函数单独写预测脚本时又复制一遍代码结果预处理不一致导致预测结果与训练时的验证结果差异很大。规范的工程做法是把清洗和分词统一封装成一个模块train 和 predict 都从同一个模块导入。5.3 三个容易被追问的细节项目收尾阶段有三个细节建议提前准备好。第一多随机种子实验。用 3 到 5 个不同random_seed重跑模型报告平均 F1 和标准差而不是只报一次的结果。面试官很可能会问“你的模型结果稳定吗”。第二错误案例分析。从混淆矩阵里挑出 5 条预测错误的微博分析原因比如模型把“果然是烂片”判为正面原因是把“果然”的正面权重误判了。这些案例放进文档“错误分析”章节质量立马上一个台阶。第三环境依赖写明 PyTorch 和 scikit-learn 的版本号并补充一句“CPU 环境下可以训练只是时间翻倍”。复现时你会发现SVM 和 TextCNN 的结果差距没有想象中大但你能解释为什么差距不大这才是有价值的部分。本文还有配套的精品资源点击获取