爬虫课堂（十八）|编写Spider之使用Selector提取数据

上个章节说到从Spider的角度来看，爬取的运行流程如下循环：

• 以初始的URL初始化Request，并设置回调函数。当该Request下载完毕并返回时，将生成Response，并作为参数传给该回调函数。
• 在回调函数内分析返回的（网页）内容，返回Item对象或者Request或者一个包括二者的可迭代容器。返回的Request对象之后会经过Scrapy处理，下载相应的内容，并调用设置的callback函数（函数可相同）。
• 在回调函数内，可以使用选择器(Selectors) 来分析网页内容，并根据分析的数据生成Item。
• 最后，由Spider返回的Item将被存到数据库或存入到文件中。

可以看出来使用Selector来分析提取网页内容是在编写Spider中必不可少，同时也是最重要的工作之一，这一章节我们就来学习使用Selector如何提取网页数据。

一、选择器（Selectors）介绍

当抓取网页时，做的最常见的任务是从HTML源码中提取数据。在Python中常用以下库处理这类问题：

• BeautifulSoup BeautifulSoup是在程序员间非常流行的网页分析库，它基于HTML代码的结构来构造一个Python对象，对不良标记的处理也非常合理，API简洁易用，但解析速度较慢。
• lxml lxml是一个基于 ElementTree (不是Python标准库的一部分)的Python化的XML解析库（也可以解析HTML），它解析速度较快，API较复杂。

Scrapy结合上面两者优点自己实现了提取数据的一套机制，它们被称作选择器（seletors）。Scrapy选择器构建于 lxml 库之上，并简化了API接口。

Scrapy选择器包括XPath和CSS两种。XPath是一门用来在XML文件中选择节点的语言，也可以用在HTML上。CSS 是一门将HTML文档样式化的语言。

二、XPath选择器介绍及使用

关于XPath选择器的介绍和使用详见之前写的文章：爬虫课程（八）｜豆瓣：十分钟学会使用XPath选择器提取需要的元素值

三、CSS选择器介绍及使用

3.1、CSS选择器介绍

和XPath选择器比起来，CSS选择器的语法比XPath更简单一些，但功能不如XPath强大。相对来说，前端工程师可能会更加喜欢使用CSS选择器，同时它的使用方式跟写.css时方法基本一样。

CSS的基本语法如下表所示：

3.2、CSS选择器使用

还是以提取豆瓣读书书籍信息为例：

豆瓣读书书籍信息

我要选择<ul>元素并且class=“cover-col-4 clearfix”下的li元素。

使用XPath为：

book_list = sel.xpath('//ul[@class="cover-col-4 clearfix"]/li')

使用CSS为：

book_list = sel.css('ul.cover-col-4.clearfix li')

其他的更多使用方式，我在后面的实战章节详细讲解下。

四、其他

有兴趣的可以查看下Selector对象源码。

Selector对象的源码

从源码中，发现当调用Selector对象的CSS方法时，在其内部会将CSS选择器表达式翻译成XPath表达式，然后调用Selector对象的XPath方法。