Python用yield from 实现异步协程爬虫

Python中的yield from语法可以用于实现异步协程爬虫。yield from语法可以将一个生成器作为子生成器，使得子生成器可以直接返回值给调用方，而不需要通过中间层来传递值。这样可以简化代码结构，提高代码可读性和可维护性。

在Python 3.5之前，实现异步协程需要使用yield语句和回调函数，代码结构比较复杂。而在Python 3.5之后，引入了async/await语法，可以更加方便地实现异步协程。但是，yield from语法仍然是一种有效的实现异步协程的方式。

以下是一个使用yield from语法实现异步协程爬虫的示例代码：

import asyncio
import aiohttp

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def crawl(urls):
    async with aiohttp.ClientSession() as session:
        for url in urls:
            html = await fetch(session, url)
            print(html)

if __name__ == '__main__':
    urls = ['https://www.example.com', 'https://www.example.org']
    loop = asyncio.get_event_loop()
    loop.run_until_complete(crawl(urls))

在上面的代码中，fetch函数使用aiohttp库发送HTTP请求，并返回响应的文本内容。crawl函数使用async/await语法定义异步协程，使用yield from语法调用fetch函数，实现异步爬取多个网页的功能。最后，在主函数中使用asyncio库的事件循环来运行异步协程。

参考链接：