Python爬虫简单笔记之BeautifulSoup4的简单用法

记录一下Python爬虫常用库BeautifulSoup4的简单用法。其中demo均以自己的博客网站为对象。

1 urllib和urllib2

Python中包含了两个网络模块，分别是urllib与urllib2，urllib2是urllib的升级版，拥有更强大的功能。urllib，让我们可以像读文件一样，读取http与ftp。而urllib2，则在urllib的基础上，提供了更多的接口，如cookie、代理、认证等更强大的功能。

这里借鉴下文章一和文章二的说法：

urllib仅可以接受URL，不能创建，设置headers的request类实例；

但是urllib提供urlencode()方法用来GET查询字符串的产生，而urllib2则没有（这是urllib和urllib2经常一起使用的主要原因）

编码工作使用urllib的urlencode()函数，帮我们讲key:value这样的键值对转换成‘key=value’这样的字符串，解码工作可以使用urllib的unquote

该两个库都是Python自带库，且由于简单爬虫所需要的功能比较少，所以不做更多赘述。

2 BeautifulSoup

中文文档：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#id13

现在的Mac已经不能用

来安装pip，而只能用一个get-pip.py的方法，网上有大量教程。然后安装完毕后用pip来安装beautilfulsoup4。

安装完以后一个简单的例子（环境Python2.7，其实Python3在这段代码也差不多）：

网页不存在的情况如何判断

方法一：空值判断

方法二：try-catch

这里从O`Reilly系列图书《Python网络数据采集》中摘抄一个完整例子：

2.1 常用方法

2.1.1 find()

格式：

find(name, attributes, recursive, text ,keywords)

参数介绍

name：标签名，如a，p。

attributes：一个标签的若干属性和对应的属性值。

recursive：是否递归。如果是，就会查找tag的所有子孙标签，默认true。

text：标签的文本内容去匹配，而不是标签的属性。

keyword：选择那些具有指定属性的标签。

find()示例：

结果：

2.1.2 find_all()

find_all(name, attributes, recursive, text , limit, keywords)

参数介绍

name：标签名，如a，p。

attributes：一个标签的若干属性和对应的属性值。

recursive：是否递归。如果是，就会查找tag的所有子孙标签，默认true。

text：标签的文本内容去匹配，而不是标签的属性。

limit: 个数限制，find其实就等于limit=1，查看find源码即可发现。

keyword：选择那些具有指定属性的标签。

可以简写为

find_all()示例：

结果：

2.2 常用对象

2.2.1 tag对象

即html中的标签。其中两个属性就是name和attributes。使用如下：

结果：

2.2.2 NavigableString对象

用来表示包含在tag中的文字。注意！如果tag中包含子tag，navigableString对象会是None！

2.2.3 Comment对象

用来查找HTML里的注释标签。是一个特殊的NavigableString，所以也有其性质。

2.3 导航树（Navigating Trees）

2.3.1 子节点们

对tag级别调用属性可得到该tag的所有子节点：

结果：

2.3.2 兄弟节点（们）

属性和属性可以查询兄弟节点们。

和可以查下一个/上一个兄弟。

需要注意的是，很可能直接相邻的上一个下一个兄弟节点并不是Tag而是一个换行符啊标点符号啊等NavigableString对象（字符串节点）。

2.3.3 父节点（们）

属性得到某元素父节点。

属性递归得到所有的父节点。

2.4 过滤器

2.4.1 字符串

即上文提到和。

2.4.2 标签列表

形如则会去寻找a标签和p标签。

2.4.3 True

可以匹配任何职，但是不会返回字符串节点

2.4.4 正则表达式

引入Python自带的re（regular expressions）

示例：

结果：

2.4.5 自定义方法作为参数

这个不知道该怎么表述，有兴趣的可以去官方文档看一下，这里直接来一个demo：

结果返回了该篇文章4个img中的3个：