社区首页 >专栏 >实战：异步爬取之异步的简单使用

实战：异步爬取之异步的简单使用

渔父歌

发布于 2018-09-26 10:43:31

72400

代码可运行

文章被收录于专栏：数据结构笔记数据结构笔记

运行总次数：0

代码可运行

一、使用异步的注意事项

异步代码中不能有耗时的 I/O操作，像文件读写、网络请求、数据库读写等操作都需要使用对应的异步库来代替。
异步代码要尽可能短小，短小的意思就是功能要尽可能细分，前面讲过异步在任务量较少的时候性能并不能达到最优，我们可以通过合理地拆分代码来增加任务量，从而达到提高性能的目的。

二、使用异步需要了解的两个重要的类

AbstractEventLoop，我们可以把它简称为 EventLoop类或者事件循环。事件循环是整个异步的基础，所有的异步操作都在事件循环里完成。这里我们需要了解并学会使用它的如下几个方法：
- run_until_complete(Future) 该方法接受一个或多个 Future对象作为参数，然后运行这些对象直到全部完成并返回它们的结果
- run_forever() 让事件循环一直运行下去，直到 stop() 方法被调用，当 stop() 方法被调用时，会继续执行完正在执行的任务，但是这些任务的回调和未被执行的任务将不再执行。
- create_task()、create_future() 光看名字可能大家会误以为这两个方法的功能是创建一个 Task类或者 Future类并将其返回，事实上这两个方法的功能确实包括这个，但是除此之外它们还会将创建的对象添加到事件循环中去。
Future，Future对象类似于 JavaScript里的 Promise对象，简单来说就是该对象承诺未来的某个时候会返回一个结果，但是具体的时间是不确定的。所以我们一般在回调函数里使用 Feture对象，因为这时候 Feture对象一定有返回结果。
- add_done_callback(func) 这个方法为 Future对象添加一个回调函数，该函数接收一个 Future对象作为第一个参数，在函数里我们可以通过这个对象来取得其执行结果。
使用过 asyncio库的朋友可能会疑惑为什么没有 Task类，这是因为 Task 类是 Future 类的子类，我们可以将它们视作具有相同功能的两个类

三、使用异步的基本方法

首先，对于少量的请求（几百）我们不推荐使用异步，一般是成千上万的请求我们才使用异步，比如说爬取全站。

在同步代码中我们爬取的一般步骤是：请求页面---->解析页面---->获取结果---->保存结果

异步中也是类似的顺序，不过我们需要使用回调来确保它们按顺序执行，像下面这样：

请求页面---->回调：解析页面---->获取结果---->保存页面(异步)

比如我们要获取简书用户的关注列表，我们的代码顺序应该是：

请求页面---->回调：处理页面---->获取结果并打印，代码如下：

#-*- coding: utf-8 -*
import asyncio
import aiohttp
import random

from lxml import etree


PER_NUM = 9

async def get_response(url, **kwargs):
    if 'headers' not in kwargs:
        kwargs['headers'] = {
            'User-Agent': "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
        }

    async with session.get(url, **kwargs) as response:
        print(response.status)
        return await response.read()

def process_response(future):
    dom = etree.HTML(future.result())

    items = dom.xpath('//ul/li//div[@class="info"]')

    for item in items:
        user = {}

        user['uid'] = item.xpath('./a/@href')[0].split('/')[2]
        user['follow_num'] = int(item.xpath('./div/span[1]/text()')[0].replace('关注', '').strip())
        user['fans_num'] = int(item.xpath('./div/span[2]/text()')[0].replace('粉丝', '').strip())
        user['article_num'] = int(item.xpath('./div/span[3]/text()')[0].replace('文章', '').strip())

def entry_point(param):
    if isinstance(param, asyncio.Future):
        users = param.result()
    else:
        users = param

    for user in users:
        uid = user['uid']
        follow_num = user['follow_num']
        max_page = int(follow_num / PER_NUM) if (follow_num % PER_NUM) == 0 else int(follow_num / PER_NUM)+1
        following_urls = ['https://www.jianshu.com/users/{}/following?page={}'.format(uid, i) for i in
                          range(1, max_page+1)]

        for following_url in following_urls:
            task = loop.create_task(get_response(following_url))
            task.add_done_callback(process_response)


loop = asyncio.get_event_loop()
session = aiohttp.ClientSession(loop=loop)

users = [{'uid': 'a3ea268aeb60', 'follow_num': 525, 'fans_num': 2521, 'article_num': 118}]

entry_point(users)

loop.run_forever()