← 返回作品列表

微博评论采集与情感分析系统

Scrapy 舆情采集 + SnowNLP / DeepSeek 情感分析

🎯 个人独立开发 Vue3 + Flask + Scrapy 5,500+ 行代码

面向舆情分析场景的完整系统:Scrapy 按关键词采集微博正文、一级评论与二级回复并支持断点续爬; 管理后台在线维护关键词、微博 Cookie 与爬虫参数;采集结果经 SnowNLP 情感打分, 并可选调用 DeepSeek 大模型解读积极 / 消极情绪成因,最终以热度图、情感饼图、词云多维呈现。

  • 三层深度采集 — 正文 / 一级评论 / 二级回复,优先级可调,断点续爬
  • 后台热更新管控 — 关键词、Cookie、代理与参数无需重启即可更新
  • 情感分析双引擎 — SnowNLP 本地打分 + DeepSeek API 成因归因
  • 多维可视化 — 热度分析图、情感分布饼图、jieba + wordcloud 词云
  • 热门事件专项采集 — 独立爬虫通道跟踪热点事件
  • 完整管理后台 — 数据筛选 / 删除、管理员账号体系、爬虫控制台
Vue 3Element PlusFlask Flask-LoginPyMySQLScrapy MySQLSnowNLPDeepSeek API jiebawordcloudpandas
微博系统仪表盘
舆情仪表盘 —— 热度分析图 + 情感分布饼图
词云分析页
词云分析
爬虫控制台
爬虫控制台
数据库管理页
数据库管理 —— 关键词与日期筛选

项目框架

微博舆情系统功能模块与数据流程图

真实分析产出(系统生成)

微博热度分析
热度分析
情感分布饼图
情感分布
评论词云
评论词云