分布式爬虫框架Scrapy-Redis实战指南

# -*- coding: utf-8 -*-
import scrapy
from scrapy_redis.spiders import RedisSpider

class CtripHotelSpider(RedisSpider):
    # 爬虫名称
    name = 'ctrip_hotel'
    # 允许的域名
    allowed_domains = ['flights.ctrip.com']
    # Redis 中的起始 URL 队列名称
    redis_key = 'ctrip_hotel:start_urls'
    
    def __init__(self, *args, **kwargs):
        super(CtripHotelSpider, self).__init__(*args, **kwargs)
        # 设置请求头，模拟浏览器访问
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
                          "(KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
        }
        # 示例 Cookie，实际项目中可根据需要动态更新
        self.cookies = {'sessionid': '1234567890abcdef'}

    def make_requests_from_url(self, url):
        # 使用自定义的请求头和 Cookie 发起请求
        return scrapy.Request(url, headers=self.headers, cookies=self.cookies, callback=self.parse)
    
    def parse(self, response):
        # 解析酒店信息：酒店名称、价格、用户评价
        hotel_list = response.xpath('//div[@class="hotel_item"]')
        for hotel in hotel_list:
            item = {}
            item['hotel_name'] = hotel.xpath('.//h2/text()').get()
            item['price'] = hotel.xpath('.//span[@class="price"]/text()').get()
            item['reviews'] = hotel.xpath('.//div[@class="reviews"]/text()').get()
            yield item
        
        # 可在此处增加逻辑，分析价格动态变化趋势并保存数据到数据库或文件

# 代理中间件：用于动态设置代理IP
class ProxyMiddleware(object):
    def process_request(self, request, spider):
        # 参考亿牛云爬虫代理的设置参数 www.16yun.cn
        proxy_user = "16YUN"          # 亿牛云代理用户名
        proxy_pass = "16IP"          # 亿牛云代理密码
        proxy_server = "proxy.16yun.cn"      # 亿牛云代理域名
        proxy_port = "8080"                   # 亿牛云代理端口
        
        # 构造代理 URL 格式：协议://用户名:密码@代理域名:端口
        proxy_url = f"http://{proxy_user}:{proxy_pass}@{proxy_server}:{proxy_port}"
        # 将代理设置到请求 meta 中
        request.meta['proxy'] = proxy_url

# settings.py

# 启用代理中间件和自定义 User-Agent 中间件
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.ProxyMiddleware': 350,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'myproject.middlewares.CustomUserAgentMiddleware': 400,
}

# Scrapy-Redis 调度器设置，实现分布式调度
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

# Redis 连接配置
REDIS_HOST = 'localhost'
REDIS_PORT = 6379

# 如需其他配置，可根据项目需求进一步扩展

# 自定义 User-Agent 中间件
class CustomUserAgentMiddleware(object):
    def process_request(self, request, spider):
        # 优先使用爬虫中定义的 User-Agent
        request.headers.setdefault('User-Agent', spider.headers['User-Agent'])

                   ┌─────────────────────────────────┐
                   │       Scrapy-Redis 框架         │
                   │  (分布式任务调度与去重机制)      │
                   └──────────────┬──────────────────┘
                                  │
          ┌───────────────────────┼────────────────────────┐
          │                       │                        │
 ┌─────────────┐         ┌─────────────────┐      ┌─────────────────┐
 │  Proxy      │         │   Cookie/User-  │      │   数据解析与      │
 │ Middleware  │         │   Agent 设置     │      │   数据存储       │
 │ (亿牛云)     │         │ (防反爬策略)      │      │ (价格趋势分析)    │
 └─────────────┘         └─────────────────┘      └─────────────────┘
          │                       │                        │
          └───────────────────────┼────────────────────────┘
                                  │
                      ┌─────────────────────┐
                      │ 目标网站数据采集       │
                      │  (携程热门酒店)       │
                      └─────────────────────┘