豆瓣图书评分数据的可视化分析

# 启用HttpProxyMiddleware中间件
DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 1,
}

# 设置亿牛云 爬虫代理服务器的配置
HTTPPROXY_AUTH_ENCODING = 'utf-8'  # 编码格式

# 亿牛云 爬虫代理服务器的域名、端口、用户名和密码
HTTPPROXY_HOST = 'www.16yun.cn'
HTTPPROXY_PORT = 12345
HTTPPROXY_USER = '16YUN'
HTTPPROXY_PASS = '16IP'

# -*- coding: utf-8 -*-
import scrapy
import csv

class DoubanSpider(scrapy.Spider):
    name = 'douban'
    allowed_domains = ['book.douban.com']
    start_urls = ['https://book.douban.com/']

    # 定义保存数据的列表
    data = []

    def start_requests(self):
        # 从豆瓣图书首页开始
        yield scrapy.Request(url=self.start_urls[0], callback=self.parse)

    def parse(self, response):
        # 解析首页，获取所有分类的链接
        categories = response.xpath('//div[@class="article"]/div[@class="indent"]/table//a')
        for category in categories:
            # 构造分类页面的请求对象
            url = category.xpath('./@href').get()
            yield scrapy.Request(url=url, callback=self.parse_book)

    def parse_book(self, response):
        # 解析分类页面，获取图书列表
        books = response.xpath('//li[@class="subject-item"]')
        for book in books:
            # 构造图书详情页的请求对象
            url = book.xpath('./div[@class="info"]/h2/a/@href').get()
            yield scrapy.Request(url=url, callback=self.parse_detail)

        # 获取下一页的链接，如果存在则继续爬取
        next_page = response.xpath('//span[@class="next"]/a/@href')
        if next_page:
            url = next_page.get()
            yield scrapy.Request(url=url, callback=self.parse_book)

    def parse_detail(self, response):
        # 解析图书详情页，获取图书的基本信息和评分数据
        item = {}
        item['title'] = response.xpath('//h1/span/text()').get() # 标题
        item['author'] = response.xpath('//span[contains(text(),"作者")]/following-sibling::a/text()').get() # 作者
        item['publisher'] = response.xpath('//span[contains(text(),"出版社")]/following-sibling::text()').get() # 出版社
        item['pub_date'] = response.xpath('//span[contains(text(),"出版年")]/following-sibling::text()').get() # 出版年
        item['price'] = response.xpath('//span[contains(text(),"定价")]/following-sibling::text()').get() # 定价
        item['rating'] = response.xpath('//strong/text()').get() # 评分
        item['rating_num'] = response.xpath('//a[contains(@href,"rating")]/span/text()').get() # 评分人数
        item['tags'] = response.xpath('//div[@id="db-tags-section"]/div[@class="indent"]/span/a/text()').getall() # 标签

        # 将数据添加到列表中
        self.data.append(item)

    def close(self, spider, reason):
        # 爬虫结束时，将数据保存为csv格式的文件
        with open('douban_books.csv', 'w', encoding='utf-8', newline='') as f:
            writer = csv.DictWriter(f, fieldnames=self.data[0].keys())
            writer.writeheader()
            writer.writerows(self.data)

# -*- coding: utf-8 -*-
import pandas as pd

# 读取csv文件，将数据转换为DataFrame对象
df = pd.read_csv('douban_books.csv')

# 去除空值和重复值，保证数据的完整性和唯一性
df.dropna(inplace=True)
df.drop_duplicates(inplace=True)

# 对部分字段进行类型转换，如将评分和评分人数转换为数值类型，将出版年转换为日期类型
df['rating'] = pd.to_numeric(df['rating'])
df['rating_num'] = pd.to_numeric(df['rating_num'])
df['pub_date'] = pd.to_datetime(df['pub_date'])

# 对部分字段进行拆分或合并，如将作者拆分为中文作者和外文作者，将标签合并为一个字符串 
df[‘tags’] = df[‘tags’].apply(lambda x: ‘,’.join(x))

# 对部分字段进行分组或分类，如根据评分区间划分为高分、中等、低分三类，根据出版年划分为不同的年代
df[‘rating_level’] = pd.cut(df[‘rating’], bins=[0, 7, 8.5, 10], labels=[‘低分’, ‘中等’, ‘高分’]) 
df[‘pub_year’] = df[‘pub_date’].dt.year 
df[‘pub_decade’] = (df[‘pub_year’] // 10) * 10
#数据清洗和处理完成，保存为新的csv文件
df.to_csv(‘douban_books_cleaned.csv’, index=False)

# -*- coding: utf-8 -*-
import matplotlib.pyplot as plt
import pandas as pd

# 导入matplotlib库，并设置中文显示和风格
plt.rcParams['font.sans-serif'] = ['SimHei'] # 设置中文显示
plt.rcParams['axes.unicode_minus'] = False # 设置负号显示
plt.style.use('ggplot') # 设置风格

# 读取清洗后的csv文件，将数据转换为DataFrame对象
df = pd.read_csv('douban_books_cleaned.csv')

# 绘制直方图，显示不同评分区间的图书数量
plt.figure(figsize=(8, 6)) # 设置画布大小
plt.hist(df['rating'], bins=20, color='steelblue', edgecolor='k') # 绘制直方图
plt.xlabel('评分') # 设置x轴标签
plt.ylabel('数量') # 设置y轴标签
plt.title('豆瓣图书评分直方图') # 设置标题
plt.savefig('rating_hist.png') # 保存图片

# 绘制饼图，显示不同评分等级的图书占比
plt.figure(figsize=(8, 6)) # 设置画布大小
rating_level_counts = df['rating_level'].value_counts() # 计算不同评分等级的图书数量
plt.pie(rating_level_counts, labels=rating_level_counts.index, autopct='%.2f%%', colors=['limegreen', 'gold', 'tomato']) # 绘制饼图
plt.title('豆瓣图书评分等级饼图') # 设置标题
plt.savefig('rating_level_pie.png') # 保存图片

# 绘制箱线图，显示不同年代的图书评分分布
plt.figure(figsize=(8, 6)) # 设置画布大小
decades = df['pub_decade'].unique() # 获取不同年代的列表
decades.sort() # 对年代进行排序
ratings_by_decade = [df[df['pub_decade'] == decade]['rating'] for decade in decades] # 获取每个年代对应的评分列表
plt.boxplot(ratings_by_decade, labels=decades) # 绘制箱线图
plt.xlabel('年代') # 设置x轴标签
plt.ylabel('评分') # 设置y轴标签
plt.title('豆瓣图书不同年代评分箱线图') # 设置标题
plt.savefig('rating_by_decade_box.png') # 保存图片

# 绘制散点图，显示评分和评分人数的关系
plt.figure(figsize=(8, 6)) # 设置画布大小
plt.scatter(df['rating'], df['rating_num'], color='steelblue', alpha=0.5) # 绘制散点图
plt.xlabel('评分') # 设置x轴标签
plt.ylabel('评分人数') # 设置y轴标签
plt.title('豆瓣图书评分和评分人数散点图') # 设置标题
plt.savefig('rating_num_scatter.png') # 保存图片