采集微博的热点数据

原创

用户6172015

修改于 2021-06-17 10:07:59

67200

代码可运行

文章被收录于专栏：网络爬虫网络爬虫

运行总次数：0

代码可运行

如何用 python 也做个微博热搜排名动态变化，动态看到微博排名变化经过这几天的实践也是通过python做出了获取热点的动态变化。

实现过程简单来说分为两个内容：

1、定时采集微博热搜排名数据

2、用 matplotlib 画出动态排名图

1.我们需要用到requests 模拟请求，去采集微博的热搜数据信息，可以直接打开微博网页，找到热搜然后打开浏览器的自带分析功能，将热搜数据发出请求获取数据即可。只需要每分钟采集一次，让采集的数据储存在文件中备用。

2.用matplotlib.animation画出动图然后，将文件中采集的数据进行读取放进去。接着将热搜内容和热度按排名顺序放置所画途中，然后做成数据表格格式即可。

如果要采集微博的热搜数据可以参考一下方案代码：

    #! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text