爬虫从头学之Requests＋正则表达式爬取猫眼电影top100

★

预计阅读时间： 2分钟

★

爬取思路

当我们想要爬取一个页面的时候，我们要保证思路清晰，爬虫的思路分四个步骤，发起请求，获取响应内容，解析内容，存储内容。根据这四个内容我们的思路就很清晰。以下为具体步骤

使用requests库爬出单页内容

根据返回值使用正则表达式分析

保存至文件

对目标网站进行循环以及多线程爬取

项目实战部分

1.

使用requests库爬出单页内容

爬取url：http://maoyan.com/board/4?

猫眼对爬虫有一个反爬虫策略，如果请求头没有模仿为浏览器的请求头会出现禁止访问，所以这里我们设置请求头。

2.

根据返回值使用正则表达式分析

上一步，我们通过requests库爬取目标网页的所有内容，可是我们需要的是去除HTML标签后的部分信息，怎么办呢，正则表达式派上用场了。这部分主要是正则表达式的书写，所以学会爬虫，一个重要的点就是正则表达式，使用正则匹配完页面所有的相符合内容后，使用yield生成器对正则匹配到的信息进行处理。

3.

保存至文件

对目标网页的信息处理完成后，我们就需要将其存储到一个文件中，存储为.txt文件，并将编码格式为utf-8，存储完成后关闭文件。

我们就可以看到result.txt文件，打开文件我们可以看到爬取的排名。

4.

对目标网站进行循环以及多线程爬取

最后就是对网站进行循环爬取了，到目前为止，我们只是爬取一个页面，只有10个数据，我们分析下从第一页到最后一页的地址变化http://maoyan.com/board/4?offset=90，我们可以发现offset参数是翻页地址的变化原因，这样我们就可以得到从第一页到最后一页的地址。

好了，使用requests库+正则表达式爬取猫眼电影top100完成了，其实很简单，只要我们多动手做做，多分析具体网址，基本就可以将我们想爬取的网站爬取。

这一路走来，我们一起分享技术，

一起看见更大的世界！