作者计算机毕业设计江挽个人简介曾长期从事计算机专业培训教学本人也热爱上课教学语言擅长Java、微信小程序、Python、Golang、安卓Android等开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。平常喜欢分享一些自己开发中遇到的问题的解决办法也喜欢交流技术大家有技术代码这一块的问题可以问我想说的话感谢大家的关注与支持网站实战项目安卓/小程序实战项目大数据实战项目深度学习实战项目目录基于大数据的微博评论数据可视化分析系统介绍基于大数据的微博评论数据可视化分析系统演示视频基于大数据的微博评论数据可视化分析系统演示图片基于大数据的微博评论数据可视化分析系统代码展示基于大数据的微博评论数据可视化分析系统文档展示基于大数据的微博评论数据可视化分析系统介绍《基于大数据的微博评论数据可视化分析系统》面向微博评论文本数据的采集、存储、分析与展示场景采用 Hadoop 与 Spark 作为大数据处理核心结合 HDFS 完成数据存储利用 Spark SQL 与 Pandas、NumPy 完成评论数据的清洗、统计与特征计算。系统后端支持 Python 与 Java 两个版本Python 版本采用 Django 框架Java 版本采用 Spring Boot 框架数据库使用 MySQL 保存用户信息、微博文评信息以及分析结果。前端采用 Vue、ElementUI、ECharts、HTML、CSS、JavaScript、jQuery 实现可视化页面。系统功能包含用户管理、微博文评信息管理、评论热度分析、评论品度分析、媒体来源分析、博主来源分析、评论地域分析、时间分布分析、内容特征分析等模块能够对微博评论数据进行多维度的统计分析与图表展示帮助使用者更直观地观察评论热度变化、来源分布、地域差异以及内容特征从而完成从原始评论数据到可视化分析结果的完整处理流程。基于大数据的微博评论数据可视化分析系统演示视频演示视频基于大数据的微博评论数据可视化分析系统演示图片基于大数据的微博评论数据可视化分析系统代码展示sparkSparkSession.builder.appName(WeiboCommentAnalysis).master(local[*]).config(spark.sql.shuffle.partitions,4).getOrCreate()defanalyze_comment_heat(df):heat_dfdf.select(comment_id,weibo_id,like_count,reply_count,forward_count,comment_time)heat_dfheat_df.withColumn(heat_score,(col(like_count)*0.5col(reply_count)*0.3col(forward_count)*0.2))heat_dfheat_df.filter(col(heat_score)0)heat_statheat_df.groupBy(weibo_id).agg(count(comment_id).alias(comment_total),sum(like_count).alias(like_total),sum(reply_count).alias(reply_total),sum(forward_count).alias(forward_total),avg(heat_score).alias(avg_heat_score),max(heat_score).alias(max_heat_score))heat_statheat_stat.withColumn(heat_level,when(col(avg_heat_score)100,高热度).when(col(avg_heat_score)50,中热度).otherwise(低热度))heat_resultheat_stat.orderBy(col(avg_heat_score).desc())heat_result.write.mode(overwrite).option(header,true).csv(hdfs://localhost:9000/weibo/result/comment_heat)heat_pdheat_result.toPandas()heat_pd[rank]heat_pd[avg_heat_score].rank(ascendingFalse,methodmin)heat_pd[heat_ratio]heat_pd[comment_total]/heat_pd[comment_total].sum()heat_pd[heat_ratio]heat_pd[heat_ratio].round(4)heat_pdheat_pd[[weibo_id,comment_total,like_total,reply_total,forward_total,avg_heat_score,max_heat_score,heat_level,rank,heat_ratio]]heat_pd.to_sql(comment_heat_result,mysql_engine,if_existsreplace,indexFalse)returnheat_pddefanalyze_comment_region(df):region_dfdf.select(comment_id,weibo_id,user_id,province,city,comment_time,content)region_dfregion_df.filter(col(province).isNotNull()(col(province)!))region_dfregion_df.withColumn(region_name,when(col(province).isin(北京,天津,上海,重庆),col(province)).otherwise(col(province)))region_statregion_df.groupBy(region_name).agg(count(comment_id).alias(comment_total),countDistinct(user_id).alias(user_total),countDistinct(weibo_id).alias(weibo_total),avg(length(content)).alias(avg_content_length))region_statregion_stat.withColumn(comment_ratio,col(comment_total)/region_stat.agg(sum(comment_total)).first()[0])region_statregion_stat.withColumn(comment_ratio,round(col(comment_ratio),4))region_statregion_stat.withColumn(region_level,when(col(comment_total)1000,核心区域).when(col(comment_total)500,活跃区域).otherwise(一般区域))region_resultregion_stat.orderBy(col(comment_total).desc())region_result.write.mode(overwrite).option(header,true).csv(hdfs://localhost:9000/weibo/result/comment_region)region_pdregion_result.toPandas()region_pd[rank]region_pd[comment_total].rank(ascendingFalse,methodmin)region_pd[avg_content_length]region_pd[avg_content_length].round(2)region_pdregion_pd[[region_name,comment_total,user_total,weibo_total,avg_content_length,comment_ratio,region_level,rank]]region_pd.to_sql(comment_region_result,mysql_engine,if_existsreplace,indexFalse)returnregion_pddefanalyze_content_feature(df):content_dfdf.select(comment_id,weibo_id,user_id,content,comment_time,like_count)content_dfcontent_df.filter(col(content).isNotNull()(col(content)!))content_dfcontent_df.withColumn(content_length,length(content))content_dfcontent_df.withColumn(word_count,size(split(col(content),\\s)))content_dfcontent_df.withColumn(has_topic,when(col(content).contains(#),1).otherwise(0))content_dfcontent_df.withColumn(has_at,when(col(content).contains(),1).otherwise(0))content_dfcontent_df.withColumn(has_url,when(col(content).rlike(http|https),1).otherwise(0))content_dfcontent_df.withColumn(is_long_comment,when(col(content_length)50,1).otherwise(0))content_statcontent_df.groupBy(weibo_id).agg(count(comment_id).alias(comment_total),avg(content_length).alias(avg_content_length),avg(word_count).alias(avg_word_count),sum(has_topic).alias(topic_total),sum(has_at).alias(at_total),sum(has_url).alias(url_total),sum(is_long_comment).alias(long_comment_total),avg(like_count).alias(avg_like_count))content_statcontent_stat.withColumn(topic_ratio,round(col(topic_total)/col(comment_total),4))content_statcontent_stat.withColumn(at_ratio,round(col(at_total)/col(comment_total),4))content_statcontent_stat.withColumn(url_ratio,round(col(url_total)/col(comment_total),4))content_statcontent_stat.withColumn(long_comment_ratio,round(col(long_comment_total)/col(comment_total),4))content_statcontent_stat.withColumn(content_feature_level,when(col(topic_ratio)0.5,话题型).when(col(at_ratio)0.3,互动型).when(col(url_ratio)0.2,链接型).otherwise(普通型))content_resultcontent_stat.orderBy(col(comment_total).desc())content_result.write.mode(overwrite).option(header,true).csv(hdfs://localhost:9000/weibo/result/content_feature)content_pdcontent_result.toPandas()content_pd[avg_content_length]content_pd[avg_content_length].round(2)content_pd[avg_word_count]content_pd[avg_word_count].round(2)content_pd[avg_like_count]content_pd[avg_like_count].round(2)content_pdcontent_pd[[weibo_id,comment_total,avg_content_length,avg_word_count,topic_total,at_total,url_total,long_comment_total,avg_like_count,topic_ratio,at_ratio,url_ratio,long_comment_ratio,content_feature_level]]content_pd.to_sql(content_feature_result,mysql_engine,if_existsreplace,indexFalse)returncontent_pd基于大数据的微博评论数据可视化分析系统文档展示作者计算机毕业设计江挽个人简介曾长期从事计算机专业培训教学本人也热爱上课教学语言擅长Java、微信小程序、Python、Golang、安卓Android等开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。平常喜欢分享一些自己开发中遇到的问题的解决办法也喜欢交流技术大家有技术代码这一块的问题可以问我想说的话感谢大家的关注与支持网站实战项目安卓/小程序实战项目大数据实战项目深度学习实战项目