urllib模拟浏览器登录

听城

发布于 2018-04-27 17:08:33

1.3K0

发布于 2018-04-27 17:08:33

文章被收录于专栏：杂七杂八

使用build_opener()修改报头

由于urlopen()不支持一些HTTP的高级功能，所以，我们如果要修改报头，可以使用urllib.request.build_opener()进行，比如，如果要爬取刚才无法爬取的网页，我们可以使用如下代码:

import urllib.request

url = 'https://www.baidu.com/'
headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
print(data.decode('utf-8'))

使用add_header()添加报头

我们还可以使用urllib.request.Request()下的add_header()实现浏览器的模拟

import urllib.request

url = 'https://www.baidu.com/'
req = urllib.request.Request(url)
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
data = urllib.request.urlopen(req).read()
print(data.decode('utf-8'))

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2017.08.08 ，如有侵权请联系 cloudcommunity@tencent.com 删除

https