数据挖掘微博：爬虫技术揭示热门话题的趋势

# 在终端中输入以下命令
pip install scrapy

# 在终端中输入以下命令，其中weibo是项目名称
scrapy startproject weibo

weibo/ # 项目根目录
    scrapy.cfg # 项目配置文件
    weibo/ # 项目模块目录
        __init__.py # Python模块标识文件
        items.py # 定义爬取数据的结构
        middlewares.py # 定义中间件组件
        pipelines.py # 定义数据处理组件
        settings.py # 定义项目设置
        spiders/ # 存放爬虫代码的目录
            __init__.py # Python模块标识文件

# 导入scrapy库中的Item和Field类
import scrapy

# 定义一个类来表示微博热门话题数据结构
class WeiboTopicItem(scrapy.Item):
    # 定义各个字段及其类型
    date = scrapy.Field() # 日期，字符串类型
    rank = scrapy.Field() # 排名，整数类型
    keyword = scrapy.Field() # 关键词，字符串类型
    link = scrapy.Field() # 链接，字符串类型
    read_count = scrapy.Field() # 阅读数，整数类型
    discuss_count = scrapy.Field() # 讨论数，整数类型

# 导入scrapy库中的Spider类和Request类
import scrapy
# 导入项目中定义的数据结构类
from weibo.items import WeiboTopicItem
# 导入Python标准库中的日期处理模块
import datetime

# 定义一个类来表示微博爬虫，继承自Spider类
class WeiboSpider(scrapy.Spider):
    # 定义爬虫的名称，用于在命令行中调用
    name = 'weibo'
    # 定义爬虫的起始URL，可以是一个列表
    start_urls = ['https://s.weibo.com/top/summary']
    # 定义爬虫的日期范围，可以根据需要修改
    start_date = datetime.date(2023, 9, 1) # 起始日期，包含
    end_date = datetime.date(2023, 9, 21) # 结束日期，不包含

    # 定义一个方法来解析起始URL的响应内容
    def parse(self, response):
        # 获取当前日期
        today = datetime.date.today()
        # 判断当前日期是否在指定的日期范围内
        if self.start_date <= today < self.end_date:
            # 获取响应内容中的热门话题列表
            topics = response.xpath('//table[@class="list-table"]/tbody/tr')
            # 遍历每个热门话题
            for topic in topics:
                # 创建一个数据结构对象
                item = WeiboTopicItem()
                # 从话题中提取各个字段的值，并赋值给数据结构对象
                item['date'] = today.strftime('%Y-%m-%d') # 日期，格式化为字符串
                item['rank'] = int(topic.xpath('./td[@class="td-01 ranktop"]/text()').get()) # 排名，转换为整数
                item['keyword'] = topic.xpath('./td[@class="td-02"]/a/text()').get() # 关键词，直接获取文本内容
                item['link'] = response.urljoin(topic.xpath('./td[@class="td-02"]/a/@href').get()) # 链接，拼接为完整的URL
                item['read_count'] = int(topic.xpath('./td[@class="td-02"]/span/text()').get().replace('万', '0000')) # 阅读数，替换万为0000并转换为整数
                item['discuss_count'] = int(topic.xpath('./td[@class="td-03"]/span/text()').get().replace('万', '0000')) # 讨论数，替换万为0000并转换为整数
                # 将数据结构对象交给管道组件处理
                yield item
            
            # 计算明天的日期
            tomorrow = today + datetime.timedelta(days=1)
            # 构造明天的URL，添加date参数和Referer头部信息
            next_url = f'{self.start_urls[0]}?date={tomorrow.strftime("%Y%m%d")}'
            next_headers = {'Referer': response.url}
            # 创建一个请求对象，指定URL、头部信息和回调方法，并添加到调度器队列中等待发送
            yield scrapy.Request(next_url, headers=next_headers, callback=self.parse)

# 设置爬虫代理中间件的优先级
DOWNLOADER_MIDDLEWARES = {
    'weibo.middlewares.HttpProxyMiddleware': 100,
}

# 导入scrapy库中的HttpProxyMiddleware类
from scrapy.downloadermiddlewares.httpproxy import HttpProxyMiddleware
# 导入Python标准库中的base64模块
import base64

# 定义一个类来表示HTTP代理中间件，继承自HttpProxyMiddleware类
class HttpProxyMiddleware(HttpProxyMiddleware):
    # 定义一个方法来处理请求对象，添加代理信息
    def process_request(self, request, spider):
        # 亿牛云 爬虫加强版 定义代理服务器的域名、端口、用户名、密码
        proxy_host = 'www.16yun.cn'
        proxy_port = '7101'
        proxy_user = '16YUN'
        proxy_pass = '16IP'
        # 构造代理服务器的URL，包含用户名和密码
        proxy_url = f'{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}'
        # 对用户名和密码进行base64编码，生成代理认证字符串
        proxy_auth = base64.b64encode(f'{proxy_user}:{proxy_pass}'.encode()).decode()
        # 在请求对象中添加代理服务器的URL和代理认证字符串
        request.meta['proxy'] = proxy_url
        request.headers['Proxy-Authorization'] = f'Basic {proxy_auth}'

# 导入scrapy库中的ItemPipeline类
from scrapy import ItemPipeline
# 导入Python标准库中的csv模块
import csv

# 定义一个类来表示数据处理组件，继承自ItemPipeline类
class WeiboTopicPipeline(ItemPipeline):
    # 定义一个方法来初始化组件，打开CSV文件并写入表头
    def open_spider(self, spider):
        # 定义CSV文件的名称，可以根据需要修改
        self.file_name = 'weibo_topics.csv'
        # 打开CSV文件，并指定编码为utf-8和换行符为空
        self.file = open(self.file_name, 'w', encoding='utf-8', newline='')
        # 创建一个csv写入器对象，并指定分隔符为逗号
        self.writer = csv.writer(self.file, delimiter=',')
        # 写入表头行，包含各个字段的名称
        self.writer.writerow(['date', 'rank', 'keyword', 'link', 'read_count', 'discuss_count'])
    
    # 定义一个方法来处理数据结构对象，写入CSV文件并返回对象
    def process_item(self, item, spider):
        # 将数据结构对象转换为列表，并按照表头行的顺序排列各个字段的值
        row = [item['date'], item['rank'], item['keyword'], item['link'], item['read_count'], item['discuss_count']]
        # 写入数据行到CSV文件中
        self.writer.writerow(row)
        # 返回数据结构对象，以便后续的组件继续处理
        return item
    
    # 定义一个方法来关闭组件，关闭CSV文件
    def close_spider(self, spider):
        # 关闭CSV文件
        self.file.close()

# 启用数据处理组件，并指定其优先级
ITEM_PIPELINES = {
    'weibo.pipelines.WeiboTopicPipeline': 300,
}