简介这是一套面向计算机、电子信息、应用数学等专业学生的Python舆情监控系统完整源码适用于课程设计、期末大作业或毕业设计等学习场景。项目整合了网络舆情信息抓取、多维度情感分析、时序预测算法与交互式可视化看板等核心模块采用结构化程序设计兼顾代码可读性与扩展性并配有基于Matplotlib与ECharts的双重可视化方案展示了如何用机器学习对非结构化舆情文本进行深度挖掘与趋势推演。资源包共142个文件约45.19MB以27个py源码、36个txt语料与说明、23个zbak备份、12个jar及10个class等为主另含ipynb实验笔记、xml配置与xlsx数据表覆盖从数据采集到模型预测的完整链路。目前已有78人学习下载适合希望快速理解舆情分析全流程、对照复现情感分析与趋势预测模块的读者参考借鉴。1. 舆情监控系统源码拆解从数据采集到可视化预测的完整链路很多做毕业设计或课程设计的同学选题时都会碰到同一个尴尬想做一个「数据分析 可视化」的项目但要么数据量太小撑不起场面要么代码全是调库拼凑答辩时被老师追问两句就露馅。这套基于 Python 的舆情监控系统源码解决的正是这个问题——它把「数据采集 → 清洗存储 → 情感分析 → 可视化展示 → 趋势预测」串成了一条完整链路不是零散的 demo 片段。它适合三类人一是正在找毕业设计选题、需要一套能跑通、能讲清楚原理的完整项目二是做期末大作业、课程设计想拿一份结构清晰的 Python 数据分析实战代码做参考三是刚入门 Python 数据分析与可视化想通过一个真实场景把 pandas、jieba、snownlp、flask、pyecharts 这些库串起来用一遍。下面我按实际拆包的顺序把这份源码的骨架、跑法、参数和坑一条条讲清楚。2. 系统架构与数据流先搞清楚每个模块在干什么拿到一份源码最忌讳的就是上来就pip install然后python app.py跑不起来就懵了。先花十分钟把目录结构和数据流理清楚后面调试会省掉大量时间。这套系统的设计思路很典型采集层负责拿数据处理层负责清洗和打标存储层落库展示层做可视化预测层给出趋势判断。2.1 目录结构与模块职责常见的目录组织方式是这样的不同版本可能略有差异但核心模块不会少sentiment_monitor/ ├── config.py # 数据库、爬虫、模型参数配置 ├── requirements.txt # 依赖清单 ├── run.py # 启动入口 ├── spider/ │ ├── weibo_spider.py # 微博数据采集 │ └── news_spider.py # 新闻站点采集 ├── analysis/ │ ├── clean.py # 文本清洗、去重、分词 │ ├── sentiment.py # 情感倾向分析 │ └── keyword.py # 关键词提取与词频统计 ├── model/ │ ├── train.py # 预测模型训练 │ └── predict.py # 趋势预测推理 ├── web/ │ ├── app.py # Flask 主应用 │ ├── templates/ # 前端页面 │ └── static/ # 静态资源 ├── data/ │ └── monitor.db # SQLite 数据库文件 └── utils/ └── db_helper.py # 数据库操作封装这个结构的核心逻辑是「按职责分层」spider只管拿数据analysis只管处理数据model只管预测web只管展示。好处是每一层可以独立测试——比如你不想跑爬虫可以直接往数据库里塞几条测试数据单独调analysis和web。2.2 数据流转的四个阶段数据从采集到展示会经过四个阶段每个阶段都有对应的代码入口阶段输入处理模块输出采集目标站点 URLspider/*.py原始文本 元数据清洗原始文本analysis/clean.py分词后的结构化数据分析清洗后数据analysis/sentiment.py情感标签 关键词展示/预测分析结果web/app.py model/predict.py图表 趋势曲线理解这张表很关键。很多同学跑不通的原因是跳过了中间环节直接启动 Web 服务结果数据库是空的页面上什么图都出不来。正确的顺序是先跑采集或手动导入数据再跑清洗和分析最后启动 Web 服务。2.3 技术选型与依赖说明这套源码用到的核心库和选型理由如下# requirements.txt 核心依赖 flask2.3.2 # 轻量 Web 框架适合课程设计体量 pandas2.0.3 # 数据处理主力 jieba0.42.1 # 中文分词 snownlp0.12.3 # 中文情感分析开箱即用 pyecharts2.0.3 # 可视化图表支持交互 scikit-learn1.3.0 # 预测模型线性回归/时序 requests2.31.0 # 爬虫请求 beautifulsoup44.12.2 # HTML 解析 sqlalchemy2.0.19 # ORM简化数据库操作选snownlp而不是自己训练情感模型是因为课程设计的场景下训练一个中文情感分类模型需要标注数据成本太高。snownlp自带一个基于购物评论训练的模型对通用中文文本的情感判断虽然不是特别精准但作为演示足够用。如果你想让情感分析更准可以换成SnowNLP加载自定义语料或者用paddlenlp的预训练模型但那样依赖会重很多。选pyecharts而不是matplotlib是因为前者生成的图表是 HTML 交互式的嵌入 Flask 页面更自然而且支持地图、词云、时间轴这些舆情场景常用的图表类型。matplotlib更适合生成静态图片在 Web 展示场景下不够灵活。提示如果你的 Python 版本是 3.11 以上snownlp可能会报ModuleNotFoundError: No module named pkg_resources这是 setuptools 版本问题执行pip install --upgrade setuptools即可解决。3. 环境搭建与数据采集把第一份数据跑进数据库环境配置是新手翻车最多的地方。我见过太多人卡在pip install报错、数据库连不上、爬虫返回空数据这三个问题上。这一章把每个步骤拆开讲包括参数怎么改、报错怎么看。3.1 虚拟环境与依赖安装不要直接在系统 Python 里装依赖这是血泪经验。不同项目的库版本冲突会让你怀疑人生。用venv建一个干净环境# 创建虚拟环境 python -m venv venv # 激活Windows venv\Scripts\activate # 激活macOS/Linux source venv/bin/activate # 安装依赖 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple加-i参数指定清华源是因为snownlp和pyecharts的包在国外源上偶尔会超时。如果你在公司网络环境下可能需要换成内部源地址。安装完成后验证一下关键库是否能正常导入# verify_env.py import flask, pandas, jieba, snownlp, pyecharts, sklearn print(flask:, flask.__version__) print(pandas:, pandas.__version__) print(jieba:, jieba.__version__) print(sklearn:, sklearn.__version__) print(所有依赖导入成功)如果snownlp导入时报编码错误通常是 Python 默认编码不是 UTF-8 导致的在文件开头加# -*- coding: utf-8 -*-并确保系统 locale 设置正确。3.2 数据库初始化与配置修改系统默认用 SQLite好处是不需要额外安装数据库服务文件即数据库。config.py里通常有这些配置项# config.py 关键配置 import os BASE_DIR os.path.dirname(os.path.abspath(__file__)) # 数据库配置 DB_PATH os.path.join(BASE_DIR, data, monitor.db) SQLALCHEMY_DATABASE_URI fsqlite:///{DB_PATH} # 爬虫配置 SPIDER_CONFIG { timeout: 10, # 请求超时秒数 retry_times: 3, # 失败重试次数 delay_range: (1, 3), # 请求间隔随机范围避免触发反爬 max_pages: 50, # 最大采集页数 } # 情感分析配置 SENTIMENT_CONFIG { positive_threshold: 0.6, # 大于此值判为正面 negative_threshold: 0.4, # 小于此值判为负面 } # 预测模型配置 MODEL_CONFIG { window_size: 7, # 时序窗口大小 train_ratio: 0.8, # 训练集比例 }delay_range这个参数很关键。设成(1, 3)表示每次请求间隔 1 到 3 秒随机这是为了避免短时间内大量请求被目标站点封 IP。如果你把max_pages设得很大比如 500又不加延迟大概率跑几十页就返回 403 了。初始化数据库# 首次运行会自动建表 python -c from web.app import db, app; app.app_context().push(); db.create_all(); print(数据库初始化完成)执行后检查data/monitor.db文件是否生成。如果报no such table错误说明建表语句没执行成功检查web/app.py里模型类是否正确定义了__tablename__。3.3 采集脚本的参数调整与运行采集脚本是第一个需要根据实际情况改的地方。以微博采集为例核心逻辑通常是构造搜索 URL、解析返回的 JSON 或 HTML、提取文本和时间# spider/weibo_spider.py 核心片段 import requests import time import random from config import SPIDER_CONFIG def fetch_page(keyword, page): 采集单页数据 url https://s.weibo.com/weibo params { q: keyword, page: page, } headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Cookie: 你的Cookie, # 需要替换 } try: resp requests.get( url, paramsparams, headersheaders, timeoutSPIDER_CONFIG[timeout] ) resp.raise_for_status() return resp.text except requests.RequestException as e: print(f第 {page} 页采集失败: {e}) return None def run_spider(keyword, max_pagesNone): 批量采集入口 max_pages max_pages or SPIDER_CONFIG[max_pages] for page in range(1, max_pages 1): html fetch_page(keyword, page) if not html: continue # 解析逻辑省略提取文本后存入数据库 time.sleep(random.uniform(*SPIDER_CONFIG[delay_range])) print(f第 {page} 页完成)这段代码有三个需要你手动改的地方Cookie必须换成你自己浏览器里的有效值否则微博会返回登录页而不是搜索结果keyword是采集关键词比如「新能源汽车」「某品牌手机」max_pages控制采集量课程设计场景下 20 到 50 页足够。如果你不想折腾 Cookie源码里通常还有一个news_spider.py走新闻站点反爬策略相对宽松。或者直接用pandas.read_csv()导入一份现成的舆情数据集跳过采集环节专注后面的分析和可视化。注意采集频率不要设得太高delay_range最低不要低于 1 秒。另外采集到的数据只用于本地分析演示不要对外传播或商用。4. 情感分析与可视化从原始文本到图表的关键步骤数据进了数据库接下来就是这套系统的核心价值所在——把一堆文本变成能看懂的情感倾向和可视化图表。这一章讲清楚分词、情感打标、关键词提取、图表生成四个环节的实现细节和参数调优。4.1 中文分词与文本清洗中文和英文不同词与词之间没有空格所以必须先分词。jieba是课程设计场景下最常用的选择速度快、上手简单。但直接用jieba.cut()有个问题会把「的」「了」「是」这类无意义词也分出来影响后续词频统计。# analysis/clean.py 核心逻辑 import jieba import re import pandas as pd # 停用词表可以按需扩充 STOP_WORDS set([的, 了, 是, 在, 我, 有, 和, 就, 不, 人, 都, 一, 一个, 上, 也, 很, 到, 说, 要, 去, 你, 会, 着, 没有]) def clean_text(text): 清洗单条文本 if not isinstance(text, str): return # 去掉 URL、用户、话题符号 text re.sub(rhttp\S, , text) text re.sub(r\S, , text) text re.sub(r#\S#, , text) # 只保留中文、英文、数字 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9], , text) return text.strip() def segment(text): 分词并去停用词 words jieba.cut(clean_text(text)) return [w for w in words if w not in STOP_WORDS and len(w) 1] def batch_process(df, text_colcontent): 批量处理 DataFrame df[cleaned] df[text_col].apply(clean_text) df[words] df[cleaned].apply(segment) df[word_count] df[words].apply(len) return dflen(w) 1这个过滤条件是为了去掉单字词因为单字词在舆情分析里信息量很低。但如果你分析的是「车」「房」这类单字关键词可以把条件改成len(w) 1。停用词表建议根据你的分析主题扩充比如分析汽车舆情时「汽车」「车子」这种高频但无区分度的词也可以加进去。4.2 情感倾向打标与阈值调整snownlp返回的是 0 到 1 之间的情感分数越接近 1 越正面越接近 0 越负面。关键是阈值怎么定# analysis/sentiment.py from snownlp import SnowNLP from config import SENTIMENT_CONFIG def get_sentiment(text): 返回情感分数和标签 if not text or len(text) 3: return None, neutral try: score SnowNLP(text).sentiments except Exception: return None, neutral pos_th SENTIMENT_CONFIG[positive_threshold] neg_th SENTIMENT_CONFIG[negative_threshold] if score pos_th: label positive elif score neg_th: label negative else: label neutral return round(score, 4), label def batch_sentiment(df, text_colcleaned): 批量打标 results df[text_col].apply(lambda x: get_sentiment(x)) df[sentiment_score] [r[0] for r in results] df[sentiment_label] [r[1] for r in results] return df默认阈值是 0.6 和 0.4意味着分数在 0.4 到 0.6 之间的判为中性。这个区间可以根据你的数据分布调整。如果发现大部分数据都落在中性区间说明snownlp的模型对你的领域文本区分度不够可以把阈值改成 0.55 和 0.45让分类更激进一些。但要注意阈值调得太窄会导致误判率上升。一个实用的验证方法是手动抽 20 条数据自己标注情感倾向然后和代码结果对比。如果准确率低于 70%说明要么阈值需要调要么snownlp不适合你的文本领域需要考虑换模型。4.3 关键词提取与词云生成词频统计和词云是舆情可视化里最直观的部分。jieba.analyse提供了基于 TF-IDF 的关键词提取# analysis/keyword.py import jieba.analyse from collections import Counter def extract_keywords(texts, topk50): 从文本列表中提取关键词 all_words [] for text in texts: words jieba.analyse.extract_tags(text, topK10) all_words.extend(words) counter Counter(all_words) return counter.most_common(topk) def word_freq_for_cloud(df, topk100): 生成词云数据 all_words [] for words in df[words]: all_words.extend(words) counter Counter(all_words) return counter.most_common(topk)extract_tags的topK参数控制每段文本提取多少个关键词设太大关键词会冗余设太小会漏掉重要词。一般 10 到 20 比较合适。word_freq_for_cloud返回的是(词, 频次)的列表直接喂给pyecharts的WordCloud组件即可。4.4 可视化图表配置与 Flask 集成pyecharts生成图表后需要嵌入 Flask 页面。常见做法是把图表渲染成 HTML 片段通过render_embed()传给模板# web/app.py 可视化路由 from flask import render_template from pyecharts.charts import Bar, Pie, Line, WordCloud from pyecharts import options as opts from analysis.keyword import word_freq_for_cloud app.route(/dashboard) def dashboard(): # 从数据库读取分析结果 df pd.read_sql(SELECT * FROM posts, db.engine) # 情感分布饼图 sentiment_counts df[sentiment_label].value_counts() pie ( Pie() .add(, [list(z) for z in zip(sentiment_counts.index, sentiment_counts.values)]) .set_global_opts(title_optsopts.TitleOpts(title情感分布)) ) # 词云 cloud_data word_freq_for_cloud(df, topk80) cloud ( WordCloud() .add(, cloud_data, word_size_range[12, 60]) .set_global_opts(title_optsopts.TitleOpts(title高频词云)) ) return render_template( dashboard.html, pie_chartpie.render_embed(), cloud_chartcloud.render_embed(), )word_size_range控制词云中字体大小的范围[12, 60]表示最小 12px、最大 60px。如果词云显示太拥挤可以缩小范围到[10, 40]。render_embed()返回的是完整的 HTML 字符串在模板里用{{ pie_chart | safe }}渲染即可。提示pyecharts2.x 版本和 1.x 版本的 API 差异较大如果你从网上抄的代码报add_yaxis参数错误先确认版本号。pip show pyecharts看一眼。5. 避坑与排查跑不通时先看这几条这一章记录的是实际调试中最容易遇到的五类问题。每条按「现象 → 原因 → 解决」写遇到报错时对照排查。5.1 爬虫返回空数据或 403现象fetch_page返回的 HTML 里没有搜索结果或者直接抛出HTTPError: 403 Forbidden。原因目标站点识别出请求不是来自真实浏览器。常见触发条件包括User-Agent是默认的python-requests、缺少Cookie、请求频率过高被临时封禁。解决第一把User-Agent换成真实浏览器的值F12 打开开发者工具刷新页面在 Network 面板里复制请求头。第二Cookie必须从已登录的浏览器里复制且有时效性过期后需要重新获取。第三把delay_range调大到(3, 6)降低请求频率。如果还是 403换news_spider.py或者直接导入本地数据集。5.2 snownlp 情感分数全部集中在 0.5 附近现象跑完情感分析后发现大部分文本的sentiment_score都在 0.45 到 0.55 之间正面和负面的区分度很低。原因snownlp自带模型是基于购物评论训练的对新闻、论坛、社交媒体文本的适配性有限。另外如果文本太短少于 10 个字模型也很难给出有区分度的分数。解决第一过滤掉长度小于 10 的文本这些短文本的情感分析结果参考价值很低。第二调整阈值把positive_threshold降到 0.55、negative_threshold升到 0.45让分类更敏感。第三如果对准确率要求高考虑用paddlenlp的sentiment预训练模型替换snownlp但依赖会重很多安装时间也更长。5.3 Flask 页面报 TemplateNotFound现象启动python run.py后访问http://127.0.0.1:5000/dashboard报jinja2.exceptions.TemplateNotFound: dashboard.html。原因Flask 默认从templates文件夹找模板如果目录结构不对或者启动脚本的工作目录不对就会找不到。解决确认web/templates/dashboard.html存在。如果目录结构是web/templates/但启动脚本在项目根目录需要在创建 Flask app 时指定template_folderapp Flask(__name__, template_folderweb/templates, static_folderweb/static)另外启动命令要在项目根目录执行不要在web/目录里执行。5.4 数据库写入中文乱码现象采集到的中文文本存入 SQLite 后查询出来显示为乱码或问号。原因SQLite 默认编码是 UTF-8一般不会乱码。出现乱码通常是两个原因一是爬虫返回的响应没有正确设置编码resp.text用了错误的解码方式二是数据库连接字符串没有指定编码。解决在fetch_page里显式设置编码resp.encoding resp.apparent_encodingapparent_encoding会根据内容自动推断编码比直接resp.text更可靠。如果还是乱码检查数据库连接字符串是否带了?charsetutf8SQLite 通常不需要MySQL 需要。5.5 预测模型报「输入维度不匹配」现象运行model/predict.py时报ValueError: Expected 2D array, got 1D array instead或类似的维度错误。原因scikit-learn的模型要求输入是二维数组样本数 × 特征数如果直接把一维的时间序列传进去就会报错。解决用reshape(-1, 1)把一维数组转成二维import numpy as np from sklearn.linear_model import LinearRegression # 假设 daily_counts 是每日舆情数量的一维数组 X np.arange(len(daily_counts)).reshape(-1, 1) y np.array(daily_counts) model LinearRegression() model.fit(X, y) # 预测未来 7 天 future_X np.arange(len(daily_counts), len(daily_counts) 7).reshape(-1, 1) predictions model.predict(future_X)reshape(-1, 1)的意思是「行数自动计算列数为 1」把一维数组变成列向量。这是scikit-learn最常见的维度坑记住这个写法能省很多调试时间。6. 预测模型调优与二次开发让这套源码真正为你所用跑通只是第一步。答辩时老师最可能追问的是「你的预测模型怎么选的、参数怎么定的、效果怎么验证」。这一章讲清楚预测部分的实现逻辑和调优方法以及怎么在这套源码基础上做二次开发让它看起来不像网上随便下的模板。6.1 时序预测的两种实现路径这套源码的预测模块通常提供两种方案一种是基于scikit-learn的线性回归简单直接另一种是基于statsmodels的 ARIMA更适合有明显趋势和周期性的数据。线性回归的优点是代码少、解释性强适合课程设计场景。缺点是它假设趋势是线性的如果舆情数据有明显的波峰波谷预测效果会差。ARIMA 通过差分和自回归项能捕捉更复杂的模式但参数(p, d, q)需要调调不好反而比线性回归还差。我一般会先用线性回归跑一版基线看预测曲线和实际曲线的偏差。如果偏差在可接受范围内比如 MAPE 小于 15%就不折腾 ARIMA 了。如果偏差很大再考虑换模型。# model/train.py 模型训练与评估 import numpy as np import pandas as pd from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_absolute_percentage_error from config import MODEL_CONFIG def prepare_data(df, date_colpublish_date): 按天聚合生成时序数据 df[date_col] pd.to_datetime(df[date_col]) daily df.groupby(df[date_col].dt.date).size().reset_index(namecount) daily.columns [date, count] daily daily.sort_values(date).reset_index(dropTrue) return daily def train_and_evaluate(daily): 训练并评估 X np.arange(len(daily)).reshape(-1, 1) y daily[count].values split int(len(X) * MODEL_CONFIG[train_ratio]) X_train, X_test X[:split], X[split:] y_train, y_test y[:split], y[split:] model LinearRegression() model.fit(X_train, y_train) y_pred model.predict(X_test) mape mean_absolute_percentage_error(y_test, y_pred) print(fMAPE: {mape:.4f}) return model, mape def predict_future(model, last_index, days7): 预测未来 N 天 future_X np.arange(last_index, last_index days).reshape(-1, 1) return model.predict(future_X).round(0).astype(int)train_ratio设成 0.8 表示用前 80% 的数据训练后 20% 验证。如果你的数据量少于 30 天建议调到 0.9否则验证集太小MAPE 波动会很大。MAPE是平均绝对百分比误差值越小说明预测越准一般小于 0.15 算可接受。6.2 用真实数据验证预测效果答辩时如果老师问「你怎么知道预测准不准」光说 MAPE 数值不够最好能展示一张对比图实际曲线和预测曲线叠在一起直观展示偏差。# 生成预测对比数据 from pyecharts.charts import Line from pyecharts import options as opts def plot_prediction(daily, model, split): 实际 vs 预测对比图 X_all np.arange(len(daily)).reshape(-1, 1) y_all daily[count].values y_pred_all model.predict(X_all) line ( Line() .add_xaxis(daily[date].astype(str).tolist()) .add_yaxis(实际值, y_all.tolist()) .add_yaxis(预测值, y_pred_all.round(0).astype(int).tolist()) .set_global_opts( title_optsopts.TitleOpts(title舆情趋势预测对比), xaxis_optsopts.AxisOpts(name日期), yaxis_optsopts.AxisOpts(name舆情数量), ) ) return line这张图能同时展示训练集和验证集上的拟合情况。如果训练集拟合很好但验证集偏差大说明过拟合需要简化模型或增加数据量。如果整体偏差都大说明线性模型不适合你的数据考虑换 ARIMA 或 Prophet。6.3 二次开发方向与答辩加分点如果你想让这套源码在答辩时更有亮点有三个方向可以扩展第一加实时更新。用APScheduler定时任务每隔一小时跑一次采集和分析页面上加一个「最后更新时间」的显示。这能体现你对「监控系统」实时性的理解。第二加多维度筛选。现在的可视化通常是全量数据你可以加按时间范围、按关键词、按情感标签的筛选功能。前端加几个下拉框后端加WHERE条件即可。第三加预警机制。当负面情感比例超过某个阈值时在页面上显示红色警告或者记录到日志表。这个功能实现简单但演示效果好能体现「监控」的实际价值。# 预警逻辑示例 def check_alert(df, threshold0.3): 负面比例超过阈值时触发预警 total len(df) if total 0: return None neg_ratio len(df[df[sentiment_label] negative]) / total if neg_ratio threshold: return { level: warning, message: f负面舆情占比 {neg_ratio:.1%}超过阈值 {threshold:.0%}, timestamp: pd.Timestamp.now(), } return Nonethreshold设成 0.3 表示负面占比超过 30% 就预警。这个值可以根据你的数据分布调整如果整体负面率本来就高可以设到 0.5。从那以后我每次拿到一份源码都会先跑通最小链路——采集一条数据、分析一条数据、展示一条数据——确认每个环节都通了再批量跑全量。这样出问题时能快速定位是哪个模块的锅而不是面对一堆报错无从下手。希望这套舆情监控系统的拆解能帮你顺利跑通项目在课程设计或毕业设计里少走弯路。本文还有配套的精品资源点击获取