Python使用标准库urllib模拟浏览器爬取网页内容

爬取网页内容的第一步是分析目标网站源代码结构，确定自己要爬取的内容在哪里，这要求对HTML代码有一定了解，对于某些网站内容的爬取还需要具有一定的Javascript基础。但是，如果目标网站设置了反爬机制，就需要一些特殊的手段了，本文介绍一种使用爬虫程序模拟浏览器来对抗反爬机制的简单用法。

以下面的网页为例，使用浏览器可以正常浏览，也可以正常查看网页源代码。

然而，使用Python去读取网页源代码时却显示403错误，禁止访问。

对抗这种反爬机制比较简单的方式是，添加UserAgent信息，让程序假装自己是浏览器。