Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Python 爬取“工商秘密”微博后,我做了这个“可视化大屏”(附gif图)

Python 爬取“工商秘密”微博后,我做了这个“可视化大屏”(附gif图)

作者头像
数据森麟
修改于 2023-09-24 12:05:26
修改于 2023-09-24 12:05:26
74000
代码可运行
举报
文章被收录于专栏:数据森麟数据森麟
运行总次数:0
代码可运行
前言

微博作为我的日常软件之一,平时除了看看热搜、肖战(哈哈),我还会时不时看看秘密,虽然从来都没有投过稿,但还是会对一些感兴趣的内容评论评论或者点点赞,前两天刷秘密突然很想知道,

  • 秘密为同学们发布最多的是哪些内容?与哪些相关?
  • 或者哪些同学喜欢去秘密下方评论?
  • 评论最多的微博多于什么相关?
  • 秘密经常会在什么时间发布微博?
  • 发布的微博都是情感正向的还是负向的?

当然这些问题后台应该最清楚,也有直接的数据,不过这里我想通过爬取的数据来看看这些问题,或许会得出不一样的结论。

开始爬虫之旅 (注:内容只是娱乐,微博内容是公开的,评论者的ID名将进行处理,只显示一部分)

抓取网址:https://m.weibo.cn/u/2514127734?uid=2514127734&t=0&luicode=10000011&lfid=100103type%3D1&q=%E5%B7%A5%E5%95%86%E7%A7%98%E5%AF%86

想要的数据包括:发布时间、发布的微博内容、评论、评论者、评论中的评论、评论者中的评论者;

未拿到的数据:评论数、点赞数、转发数、发布微博来源等;

知道想要的数据后,接下来就开始寻找数据。一般接口数据都会存在 XHR,所以沿着这个方向基本能找到数据。

最终大屏效果

部分代码

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
for i in cards:
    # 在提取json数据时,使用get方法,有就提取,没有就为空
    # mblog可能有可能没有
    if i.get('mblog'):
        result1 = i.get('mblog')['text']
        ids = i.get('mblog')['id']
        # print(result1,ids)
        # print('\n')
        cop = re.compile("[^\u4e00-\u9fa5]") # 匹配不是中文、大小写、数字的其他字符
        string1 = cop.sub('', result1) 
        # print(string1)
        # print('\n')
        # result2 = re.sub('<[^<]+?>', '', result1).replace('\n', '').strip()
        sheet.append([string1,'0','0','0','0','0'])
        # =======微博下面的评论
        # time.sleep(1)
        # md = re.findall('<a href="(.*?)">',result1)[0].split('/')[-1]
        url = 'https://m.weibo.cn/comments/hotflow?id='+ ids +'&mid='+ ids +'&max_id_type=0'
        response1 = requests.get(url,timeout=30,headers=headers)
        dat1 = response1.json()
        
        if dat1['ok'] == 1:
            pinglun_num = dat1['data']['total_number']
            da = dat1['data']['data']
            for i in da:
                pinglun = cop.sub('', i['text'])
                created_at = i['created_at']
                user1 = i['user']['screen_name']
                sheet.append(['0',created_at,pinglun,user1,'0','0'])
                 # =======微博下面的评论的评论
                if i['total_number'] > 0 and i['comments']!=False:
                    comments = i['comments']
                    for g in comments:
                        text = cop.sub('', g['text'])
                        user2 = g['user']['screen_name']
                        sheet.append(['0','0','0','0',text,user2])

在线excel合并:http://www.docpe.com/excel/combine-excel.aspx

为了防止被封,这里在爬取时设置了随机头以及2秒的睡眠,并且没有一次性拿太多,分批次拿,每个批次保存在不同的excel文件,最终利用在线excel合并得到如下数据:

这里总的拿到接近10000条数据(包括无效数据),其中秘密内容和相关评论大概有近2000条,评论者8000左右(包括重复ID)

对数据进行处理,包括删除重复值、异常值(特殊字符)、数据脱敏等。基本的脏数据处理好之后,下面就可以开始分析啦。

秘密微博词云图

首先,把爬取到的所有微博筛选出来。

接下来,将数据导入程序中,得到如下的词云图。

或者,修改一下蒙版。

可以发现在最近这段时间,秘密发布的微博内容中这几个词出现得最多,包括:考研、图书馆、寝室、学校等,临近考研,同学们可能都比较关心学校啊、图书馆啊、座位位置啊这些,这里也祝愿咱们学校的考研人都能取得理想成绩,但行好事,莫问前程。

除此之外,喜欢、女朋友、男朋友等词语也常常出现在微博中,也许是冬天适合谈恋爱吧,记得多买一杯古茗奶茶,把它捧在手心里,暖暖的,很贴心!

秘密微博评论者

这里我一共拿到8010个用户ID(包括重复值),均进行了处理。

用数据透视表进行统计后,得到如下数据,可以看到最近一段时间在秘密下方评论最多的ID名是 海啸*****,其次是寻找****道长、最好18881、我可假猴子ha、工商**精。

数据可视化呈现代码如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from pyecharts.charts import *
from pyecharts import options as opts 
from pyecharts.globals import ThemeType  
import osos.chdir(r'C:\Users\Administrator\Desktop')
ID = ['海啸****','寻找****道长','最好****18881','我可****假猴子ha','工商***精']
values = [53,47,36,34,34]
c = (
        Pie(init_opts=opts.InitOpts(theme=ThemeType.CHALK))
        .add("", zip(ID,values),radius=["40%", "70%"])
        .set_global_opts(
            title_opts=opts.TitleOpts(title="秘密微博评论者TOP5",subtitle="卖山楂啦prss",pos_top="2%",pos_left = 'center'),
            toolbox_opts=opts.ToolboxOpts(
            # 是否显示该工具
            is_show=True,
            ))
        
        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}",font_size=18))
        .render("数据可视化.html")
    )

效果如下:

下面在看一下 ID 名为 海啸****同学,都在秘密平台上评论了些什么词语(这里数据较少)

评论的微博与哪些相关:

秘密微博情感分析

这里使用模型对每一条微博进行情感分析,分析其积极分值和消极分值。但有个问题是,秘密前段时间“改版了”,许多内容合并成一条发布,这就会导致最终的模型训练结果会有偏差,这里我并没有解决这个问题,所以结果可能具有不合理性。

进一步的判断出每条微博的情感倾向。

数据可视化:总的来说,最近秘密发布的微博的情感倾向还是比较均衡的,差异并不大,正向情感略高于负向情感。

秘密微博发布时间分析

由于忘记拿发布时间的数据,所以这里从头在爬取一次,这次只要发布是时间,拿到的数据如下。

这里的时间数据是中国标准时间,需要进行转换。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import pandas as pd
import numpy as np

df = pd.read_excel('C:\\Users\\Administrator\\Desktop\\发布时间.xlsx')

def trans_format(time_string, from_format='%a %b %d %H:%M:%S +0800 %Y', to_format='%Y-%m-%d %H:%M:%S'):
    """
    @note 时间格式转化
    :param time_string:
    :param from_format:
    :param to_format:
    :return:
    """
    time_struct = time.strptime(time_string,from_format)
    times = time.strftime(to_format, time_struct)
    return times

if __name__ == "__main__":
    df["处理后的时间"] = df['时间'].apply(trans_format)

转换后的数据如下:

利用python 将时分秒变成小数。因为时间就是至1之间的小数,0是一天的开始,1就是1天了,所以时间是至1之间的小数,也就是中午12点是0.5。

比如这里:

最终处理结果:

接下来开始分箱。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
bins = pd.read_csv(r"处理后的数据.csv")
bins
def cut_bins(x):
    if  0.083333<= x <0.250000:
        return '02:00:00--06:00:00'
    elif 0.250000 <=x <0.458333:
        return '06:00:00--11:00:00'
    elif 0.458333 <=x <0.541667:
        return '11:00:00--13:00:00'
    elif 0.541667 <=x <0.708333:
        return '13:00:00--17:00:00'
    elif 0.708333 <=x <0.791667:
        return '17:00:00--19:00:00'
    elif 0.791667 <=x <0.916667:
        return '19:00:00--22:00:00'
    else:
        return '22:00:00--02:00:00'

bins['所在时间段'] = bins['将时分秒改成常规'].map(cut_bins)
bins

结果如下:

统计:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
bins['所在时间段'].value_counts()

数据可视化:可以看到,秘密经常会在 22:00:00 – 02:00:00 这个时间段发布微博,其次是下午13:00:00–17:00:00。

可视化大屏

将图表整合,进行可视化大屏呈现。

效果链接:http://tan-07.gitee.io/ctbu-secret/

项目地址:https://gitee.com/tan-07/ctbu-secret

结果如下:

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-02-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据森麟 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【爬虫+数据清洗+可视化】“淄博烧烤”热评Python舆情分析大屏
自从2023.3月以来,"淄博烧烤"现象持续占领热搜流量,体现了后疫情时代众多网友对人间烟火气的美好向往,本现象级事件存在一定的数据分析实践意义。
马哥python说
2024/04/06
7880
【爬虫+数据清洗+可视化】“淄博烧烤”热评Python舆情分析大屏
Python实现单博主微博文本、图片及热评爬取
文章简介 经常刷微博的同学肯定会关注一些有比较意思的博主,看看他们发的文字、图片、视频和底下评论,但时间一长,可能因为各种各样的原因,等你想去翻看某个博主的某条微博时,发现它已经被删除了,更夸张的是发现该博主已经被封号。那么如果你有很感兴趣的博主,不妨定期将Ta的微博保存,这样即使明天微博服务器全炸了,你也不用担心找不到那些微博了。(自己的微博也同理哦。) 看网上一些微博爬虫,都是针对很早之前的微博版本,而且爬取内容不全面,比如长微博不能完整爬取、图片没有爬取或没有分类,已经不适用于对当下版本微博内容的
慕白
2018/07/06
1.6K0
微博(APP)榜单爬虫及数据可视化
首先对部分用户id进行可视化,字体大一点的是上榜2次的(这次统计中最多上榜的是2次)。
罗罗攀
2018/08/28
1.1K0
微博(APP)榜单爬虫及数据可视化
Python爬取热搜数据之炫酷可视化[通俗易懂]
现阶段、抖音、快手、哗哩哗哩、微信公众号已经成为不少年轻人必备的“生活神器”。在21世纪的今天,你又是如何获取外界的信息资源的?相信很多小伙伴应该属于下面这一种类型的:
全栈程序员站长
2022/08/31
7520
Python爬取热搜数据之炫酷可视化[通俗易懂]
python 新浪微博爬虫
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/7/1 上午3:29 # @Author : BrownWang # @Email : 277215243@qq.com # @File : sinaweibo.py # @Software: PyCharm # -*- coding: utf-8 -*- import urllib.request import json import time import s
葫芦
2019/04/17
1.6K1
数据分析入门系列教程-微博热点
在前面,我们学习了爬虫的基本流程和必备技能,对于刚刚入门的人来说,打好基础,掌握基本步骤是最为重要的。
周萝卜
2020/10/10
6300
数据分析入门系列教程-微博热点
用Python对鹿晗、关晓彤微博进行情感分析
專 欄 ❈大吉大利小米酱,Python中文社区专栏作者,Python爱好者,顽强地自学中,18线灵魂画手/段子手/脑洞女王。 简书: http://www.jianshu.com/u/8e45f2f3b6c1 知乎: https://www.zhihu.com/people/otakurice ❈ 前言:本文主要涉及知识点包括新浪微博爬虫、python对数据库的简单读写、简单的列表数据去重、简单的自然语言处理(snowNLP模块、机器学习)。适合有一定编程基础,并对python有所了解的盆友阅读。 相
Python中文社区
2018/02/01
1.5K0
用Python对鹿晗、关晓彤微博进行情感分析
爬取许嵩的所有微博并存入MongoDB
我很喜欢许嵩的音乐,我以前基本上他的每首歌都会唱,比如《素颜》、《灰色头像》、《玫瑰花的葬礼》、《清明雨上》、《庐州月》等等,打开播放器,基本上都是循环播放许嵩的歌,简直欲罢不能!
爱吃西瓜的番茄酱
2018/07/25
7380
爬取许嵩的所有微博并存入MongoDB
【可视化大屏】全流程讲解用python的pyecharts库实现拖拽可视化大屏的背后原理,简单粗暴!
针对TOP250排行榜的数据,开发一套可视化数据大屏系统,展示各维度数据分析结果。
马哥python说
2025/04/27
8560
【可视化大屏】全流程讲解用python的pyecharts库实现拖拽可视化大屏的背后原理,简单粗暴!
微博爬虫,python微博用户主页小姐姐图片内容采集爬虫
python爬虫,微博爬虫,需要知晓微博用户id号,能够通过抓取微博用户主页内容来获取用户发表的内容,时间,点赞数,转发数等数据,当然以上都是本渣渣结合网上代码抄抄改改获取的!
二爷
2020/12/11
1.2K0
微博爬虫,python微博用户主页小姐姐图片内容采集爬虫
微博的爬虫思路:Python通过移动端接口爬取,简单易操作
又快到了写论文的时间了,相信同学对获取数据都十分的头大,而要想能学会使用python或者第三方现成的采集器软件来采集想要的数据,这个学习成本也是不低,那么,拿来主义就是摆在很多同学面前最理想的追求了。
富泰科
2022/04/11
2.4K0
python实现在线微博数据可视化
完整代码gitee地址:https://gitee.com/lyc96/weibo
Python研究者
2020/09/28
8500
python实现在线微博数据可视化
【Python词云图】MU5735事件微博内容文本挖掘舆情分析
今天一早刷微博,热搜内容令人心痛。昨晚官媒发布消息称,MU5735航班上人员已全部遇难。
马哥python说
2025/07/14
1100
【Python词云图】MU5735事件微博内容文本挖掘舆情分析
Python 3.6实现单博主微博文本、图片及热评爬取
文章简介 经常刷微博的同学肯定会关注一些有比较意思的博主,看看他们发的文字、图片、视频和底下评论,但时间一长,可能因为各种各样的原因,等你想去翻看某个博主的某条微博时,发现它已经被删除了,更夸张的是发现该博主已经被封号。那么如果你有很感兴趣的博主,不妨定期将Ta的微博保存,这样即使明天微博服务器全炸了,你也不用担心找不到那些微博了。(自己的微博也同理哦。) 看网上一些微博爬虫,都是针对很早之前的微博版本,而且爬取内容不全面,比如长微博不能完整爬取、图片没有爬取或没有分类,已经不适用于对当下版本微博内容的完
Python中文社区
2018/03/26
1.9K0
Python 3.6实现单博主微博文本、图片及热评爬取
Scrapy框架的使用之Scrapy爬取新浪微博
前面讲解了Scrapy中各个模块基本使用方法以及代理池、Cookies池。接下来我们以一个反爬比较强的网站新浪微博为例,来实现一下Scrapy的大规模爬取。 一、本节目标 本次爬取的目标是新浪微博用户的公开基本信息,如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等,这些信息抓取之后保存至MongoDB。 二、准备工作 请确保前文所讲的代理池、Cookies池已经实现并可以正常运行,安装Scrapy、PyMongo库。 三、爬取思路 首先我们要实现用户的大规模爬取。这里采用的爬取方式是,以微博的几
崔庆才
2018/06/25
1.9K0
Python爬取近十年TIOBE编程语言热度数据并可视化可视化
本文介绍如何利用requests+正则表达式爬取TIOBE编程语言热度数据,并使用?openpyxl写入数据与?pyecharts时间轮播图进行可视化。 一、数据获取 我们需要爬取的目标url为ht
刘早起
2020/11/06
1.1K0
Python爬取近十年TIOBE编程语言热度数据并可视化可视化
Python告诉你:拿下60亿流量的《惊雷》都是哪些人在听?
【导语】:今天我们聊聊《惊雷》,Python技术部分可以直接看第三部分。公众号后台,回复关键字“惊雷”获取完整数据。
CDA数据分析师
2020/05/06
5310
Python解读:地摊经济火了,你想好摆摊去卖什么了吗?
【导语】:今天我们来聊聊地摊经济,Python技术部分请看第四部分。公众号后台,回复关键字“地摊”获取完整数据。
CDA数据分析师
2020/06/12
7940
Python采集微博热评进行情感分析祝你狗年脱单
如果自己需要爬(cai)虫(ji)的数据量比较大,为了防止被网站封Ip,可以分时段爬取,另外对于爬到的数据一般是用来存储数据库,这就需要对数据进行去重处理,记录上次爬取的状态,就可以实现在爬虫中断后,可以快速继续上次的状态,实现增量爬取,这里可以参考我之前写过的一个新闻采集,增量采集新闻数据,本文写的对新浪微博的数据采集和处理完整代码在我的Github。 玩微博的人大多数应该知道微博搞笑排行榜的,刚好写这篇文之前看到榜姐1月8号0点话题是一人说一个,追女孩的小道理,感觉这个话题简直是对广大单身男性的福利啊,ヾ(✿゚゚)ノ,故有了何不就采集一下评论来分析一波的想法。
Python攻城狮
2018/08/23
7410
Python采集微博热评进行情感分析祝你狗年脱单
微博数据可视化分析:利用Python构建信息图表展示话题热度
随着社交媒体的迅速发展,微博已成为人们交流观点、表达情感的重要平台之一。微博评论数据蕴含着丰富的信息,通过对这些数据进行分析和可视化,我们可以深入了解用户对特定话题的关注程度和情感倾向。本文将介绍如何利用Python进行微博评论数据的准备、探索、可视化和常见数据分析任务。
小白学大数据
2024/02/19
8921
推荐阅读
相关推荐
【爬虫+数据清洗+可视化】“淄博烧烤”热评Python舆情分析大屏
更多 >
领券
一站式MCP教程库,解锁AI应用新玩法
涵盖代码开发、场景应用、自动测试全流程,助你从零构建专属AI助手
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验