轻量级爬虫框架Feapder入门：快速搭建企业级数据管道

pip install feapder

# 代理设置格式：protocol://username:password@domain:port
proxy_url = "http://16YUN:16IP@proxy.16yun.cn:9000"

# 设置常用的User-Agent（可根据实际需要调整）
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 " \
             "(KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"

# 示例Cookie（豆瓣等部分网站可能需要登录态，此处仅作示例）
cookies = {"bid": "example_bid_value"}

# 导入 Feapder 模块
import feapder

# 定义爬虫类，继承 feapder.Spider
class DoubanMovieSpider(feapder.Spider):

    # 重写 start_requests 方法，构建初始请求
    def start_requests(self):
        # 示例：以“肖申克的救赎”为电影名称进行搜索
        movie_name = "肖申克的救赎"
        # 构造搜索 URL（豆瓣电影搜索接口示例，这里仅供演示，实际使用时需确认URL格式）
        search_url = f"https://movie.douban.com/subject_search?search_text={movie_name}"
        
        # 发起请求时设置代理、Cookie和User-Agent
        yield feapder.Request(
            url=search_url,
            headers={"User-Agent": user_agent},
            cookies=cookies,
            # 代理IP配置（使用亿牛云爬虫代理配置）
            proxy=proxy_url,
            callback=self.parse_search
        )

    # 搜索页面的解析方法
    def parse_search(self, request, response):
        """
        解析搜索结果页面，提取电影详情页 URL。
        这里需要根据豆瓣搜索页面的实际结构编写解析规则。
        """
        # 示例：直接指定一个详情页URL（实际开发时请根据response解析电影详情页链接）
        detail_url = "https://movie.douban.com/subject/1292052/"  # 示例：肖申克的救赎详情页
        yield feapder.Request(
            url=detail_url,
            headers={"User-Agent": user_agent},
            cookies=cookies,
            proxy=proxy_url,
            callback=self.parse_detail
        )

    # 详情页的解析方法，提取电影详细数据
    def parse_detail(self, request, response):
        # 使用XPath解析电影详细信息

        # 提取电影名称
        movie_name = response.xpath("//span[@property='v:itemreviewed']/text()").get()
        # 提取导演信息
        director = response.xpath("//a[@rel='v:directedBy']/text()").get()
        # 提取主演演员列表（可能有多个）
        actors = response.xpath("//a[@rel='v:starring']/text()").getall()
        # 提取剧情简介，注意可能带有多行或需要清理空格
        synopsis_list = response.xpath("//span[@property='v:summary']/text()").getall()
        synopsis = "".join(synopsis_list).strip()
        # 提取电影评分
        rating = response.xpath("//strong[@class='ll rating_num']/text()").get()

        # 输出日志记录采集到的信息
        self.logger.info(f"电影名称：{movie_name}")
        self.logger.info(f"导演：{director}")
        self.logger.info(f"演员：{actors}")
        self.logger.info(f"剧情简介：{synopsis}")
        self.logger.info(f"评分：{rating}")

        # 可进一步存储数据，如保存到数据库、文件等
        data = {
            "电影名称": movie_name,
            "导演": director,
            "演员": actors,
            "剧情简介": synopsis,
            "评分": rating
        }
        # 调用Feapder内置方法进行存储（示例）
        self.save_data(data)

if __name__ == "__main__":
    # 定义代理和请求头等全局参数
    proxy_url = "http://16YUN:16IP@proxy.16yun.cn:9000"  # 亿牛云代理配置
    user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) " \
                 "Chrome/95.0.4638.69 Safari/537.36"
    cookies = {"bid": "example_bid_value"}  # 示例Cookie

    # 启动爬虫任务
    DoubanMovieSpider(thread_count=1).start()