前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >十、豆瓣读书爬虫

十、豆瓣读书爬虫

作者头像
酱紫安
发布2018-04-16 15:57:13
1.1K0
发布2018-04-16 15:57:13
举报
文章被收录于专栏:python学习路

用了一上午的时间做了个这个,还是比较简单的。多练练,总会进步。遇到了很多问题,庆幸自己都解决了。

我的过程是:(python3)

1、先将豆瓣读书的所有标签以每行七个打印到页面上。

2、输入要爬取标签的名字,可以输入多个。

3、输入你想要爬取多少页。

4、爬取每本书的书名、作者、出版社、评分、评价人数、图书的url,封面图片的url

5、以标签名作为文件名存到本地文件中。(本来想保存到Excel中的,但是我下载的Python是最新版本,自己知道的库中,没有合适的)

6、把这些用到我练习的网站(用的Django)中,在Django下写一个脚本,将数据导入数据库

代码语言:javascript
复制
import time
import random
import requests
from bs4 import BeautifulSoup


def printTag():
    '''
    以每行七个、打印标签名,
    :return:
    '''
    response = requests.get('https://book.douban.com/tag/?view=cloud')

    soup = BeautifulSoup(response.text, 'lxml')

    tags = soup.select('.tagCol td a')
    tag_list = []
    start = 0
    end = 7
    for tag in tags:
        tag_list.append(tag.get_text())
    tr, td = divmod(len(tag_list), 7)
    # print(tr, td)
    if td != 0:
        tr = tr + 1
    for i in range(tr):
        print(tag_list[start:end])
        start, end = end, end + 7


def devideTag(book_tag_list):
    # 操作全局变量
    global START_PAGE
    for book_tag in book_tag_list:
        # 每个标签下的书籍
        bookSpider(book_tag)
        # 每爬完一个标签,将起始页归为1
        START_PAGE = 1


def bookSpider(book_tag):
    global START_PAGE

    # 设置请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}

    # 设置循环终止条件,小于你要爬取的页数,或遇到错误终止
    while START_PAGE <= int(end):
        # 分析一下url ,找规律
        param = 'start=' + str((START_PAGE - 1) * 20) + '&type=T'
        url = url = 'https://book.douban.com/tag/%s/' % book_tag
        # 休息一下,哈哈
        time.sleep(random.random() * 5)

        # 如果网址有错误,报错、退出
        try:
            # 拼接url
            response = requests.get(url, params=param, headers=headers)

        except Exception as e:
            print(e)
            break
        # 用Beautifulsoup解析这个页面
        soup = BeautifulSoup(response.text, 'lxml')
        # 这个页面是否有内容,如果没有退出
        try:
            content = soup.find_all('li', class_='subject-item')
        except:
            print('此页无内容')
            break

        # 获取你想要的数据
        loadData(content, book_tag)


def loadData(content, book_tag):
    global START_PAGE

    for book_info in content:
        # 书名需要处理一下,split以空格分隔,移除空字符串,返回一个列表
        f_title = book_info.select('.info h2')[0].get_text().split()
        # 连接字符串
        b_title = ''.join(f_title)
        pub_info= book_info.select('.info .pub')[0].get_text().strip()
        desc_list = pub_info.split('/')
        book_url = '图书链接地址' + book_info.select('.info h2 a')[0].get('href')
        pic_url = '图片链接地址' + book_info.select('.pic img')[0].get('src')
        try:
            author_info = '作者/译者: ' + '/'.join(desc_list[0:-3])
        except:
            author_info = '作者/译者: 暂无'
        try:
            pub_info = '出版信息: ' + '/'.join(desc_list[-3:])
        except:
            pub_info = '出版信息: 暂无'
        try:
            rating = book_info.select('.info .rating_nums')[0].get_text().strip()
        except:
            rating = '0.0'
        try:
            # people_num = book_info.findAll('span')[2].string.strip()
            people_num = book_info.select('.info .pl')[0].get_text().strip()

        except:
            people_num = '0'

        # 以标签为文件名,保存起来
        with open('%s.txt' % book_tag,'a', encoding='utf8') as f:
            f.write('%s  %s  %s  %s  %s  %s  %s' % (b_title, rating, people_num, author_info, pub_info,book_url,pic_url))
            f.write('\n')
    # 打印出下载的页面
    print('Downloading Information From Page %d' % START_PAGE)
    # 页数加1
    START_PAGE += 1


if __name__ == '__main__':
    START_PAGE = 1
    book_tag_list = []
    # 打印的标签名
    printTag()
    while True:
        inp = input('请输入要抓取的标签名(q退出):')
        if inp.lower() == 'q':
            break
        book_tag_list.append(inp)
    # 页数:
    end = input('想抓取的页数:')
    # 抓取每个标签底下的书籍
    devideTag(book_tag_list)

结果:

代码语言:javascript
复制
['小说', '日本', '历史', '外国文学', '文学', '中国', '心理学']
['漫画', '随笔', '哲学', '中国文学', '推理', '绘本', '美国']
['经典', '爱情', '日本文学', '传记', '文化', '散文', '社会学']
['青春', '英国', '旅行', '科普', '东野圭吾', '科幻', '生活']
.........................................
['散文随笔', '国学', '时间管理', '当代文学', '日系推理', '心灵', '科幻小说']
['法国文学', '温暖', '政治哲学', '科学', '英文原版', '灵修', '毛姆']
['BL']
请输入要抓取的标签名(q退出):国学
请输入要抓取的标签名(q退出):轻小说
请输入要抓取的标签名(q退出):q
想抓取的页数:40
Downloading Information From Page 1
Downloading Information From Page 2
..............
Downloading Information From Page 39
Downloading Information From Page 40

Downloading Information From Page 1
Downloading Information From Page 2
..........................
Downloading Information From Page 39
Downloading Information From Page 40 

写一个脚本,导入Django的数据库中:

代码语言:javascript
复制
#!/usr/bin/env python
import os
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")
 
def main():
    from blog.models import Book
    f = open('轻小说.txt')
    BookList = []
    for line in f:
        title,author............ = line.split( )
        book = Book(title=title,author=author..........)
        BookList.append(book)
    f.close()
     
    Blog.objects.bulk_create(BlogList)
 
if __name__ == "__main__":
    main()
    print('Done!')

遇到的问题:

1、最大的问题就是将数据写入本地文件中,出错:

'gbk' codec can't encode character解决方法 使用Python写文件的时候,或者将网络数据流写入到本地文件的时候,大部分情况下会遇到:UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position ... 这个问题。 网络上有很多类似的文件讲述如何解决这个问题,但是无非就是encode,decode相关的,这是导致该问题出现的真正原因吗?不是的。 很多时候,我们使用了decode和encode,试遍了各种编码,utf8,utf-8,gbk,gb2312等等,该有的编码都试遍了,可是编译的时候仍然出现: UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position XXX。 崩溃了。     在windows下面编写python脚本,编码问题很严重。     将网络数据流写入文件时时,我们会遇到几个编码:     1: #encoding='XXX' 这里(也就是python文件第一行的内容)的编码是指该python脚本文件本身的编码,无关紧要。只要XXX和文件本身的编码相同就行了。 比如notepad++ "格式"菜单里面里可以设置各种编码,这时需要保证该菜单里设置的编码和encoding XXX相同就行了,不同的话会报错     2:网络数据流的编码 比如获取网页,那么网络数据流的编码就是网页的编码。需要使用decode解码成unicode编码。     3:目标文件的编码 要将网络数据流的编码写入到新文件,那么我么需要指定新文件的编码。写文件代码如: 复制代码代码如下: f.write(txt)   ,那么txt是一个字符串,它是通过decode解码过的字符串。关键点就要来了:目标文件的编码是导致标题所指问题的罪魁祸首。如果我们打开一个文件: 复制代码代码如下: f = open("out.html","w")   ,在windows下面,新文件的默认编码是gbk,这样的话,python解释器会用gbk编码去解析我们的网络数据流txt,然而txt此时已经是decode过的unicode编码,这样的话就会导致解析不了,出现上述问题。 解决的办法就是,改变目标文件的编码: 复制代码代码如下: f = open("out.html","w",encoding='utf-8')   。这样,问题将不复存在。

2、获取的标签列表很多,不能每个标签打印一次,独占一行。也不能一次都打出,这么多标签占一行:

代码语言:javascript
复制
有点像网页分页的问题,自己也是按照这种思路解决的,用切片的方式从列表中取出
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-04-13 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档