爬虫框架Scrapy之介绍与安装

Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。整体架构大致如下

在Scrapy的数据流是由执行引擎控制，并且是这样的：

1. 引擎（Engine ）获得从爬虫（Spider）的初始请求。.

2. 引擎（Engine ）调度调度程序（Scheduler）中的请求，并请求下一个爬虫请求。

3. 调度程序（Scheduler）返回引擎（Engine ）的下一个请求。

4. 引擎（Engine ）发出的下载请求，通过下载中间件（Downloader Middlewares）（即process_request()）。

5. 一旦页面完成下载下载器（Downloader ）产生一个响应（与页面）并把它发送到引擎（Engine ），通过下载中间件（即process_response()）。

6. 引擎（Engine ）从下载器（Downloader ）接收响应并将其发送到处理的爬虫（Spider），通过爬虫中间件（ Spider Middleware）（即process_spider_input()）。

7. 爬虫（Spider）程序的返回响应并和新的请求（跟随）到引擎（Engine ），通过爬虫中间件（ Spider Middleware）（即process_spider_output()）

8. 引擎（Engine ）将处理过的项目发送到项目管道（ Item Pipelines），然后将处理过的请求发送给调度程序（Scheduler），并请求下一个爬虫请求。

9. 进程重复（从步骤1），直到不再有来自调度器（Scheduler）的请求。

2、Components：

1. 引擎(EGINE)

引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。有关详细信息，请参见上面的数据流部分。

2.调度器(SCHEDULER)

用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

3. 下载器(DOWLOADER)

用于下载网页内容, 并将网页内容返回给EGINE，下载器是建立在twisted这个高效的异步模型上的

4. 爬虫(SPIDERS)

SPIDERS是开发人员自定义的类，用来解析responses，并且提取items，或者发送新的请求

5. 项目管道(ITEM PIPLINES)

在items被提取后负责处理它们，主要包括清理、验证、持久化（比如存到数据库）等操作

6. 下载器中间件(Downloader Middlewares)

位于Scrapy引擎和下载器之间，主要用来处理从EGINE传到DOWLOADER的请求request，已经从DOWNLOADER传到EGINE的响应response，（免费学习资源分享请继续往下翻）你可用该中间件做以下几件事爬虫中间件(Spider Middlewares)

1. 处理一个请求之前，它被发送到下载器（即右scrapy的请求发送到网站之前）；

2. 在将它传递给爬虫之前更改接收的响应；

3. 发送一个新请求，而不是将接收的响应传递给一个爬虫；

4. 在不抓取网页的情况下对爬虫传递响应；

5. 默默地放弃一些请求。

7. 位于EGINE和SPIDERS之间，主要工作是处理SPIDERS的输入（即responses）和输出（即requests）

3、官网链接：

https://docs.scrapy.org/en/latest/topics/architecture.html

4、安装

好啦，Scrapy的介绍与安装就讲到这里，虽然讲的有点简单并且书面化，但是希望能够帮到大家。如果大家有什么问题的话可以联系小编。二八四四二八二六二五希望能够帮到大家。