首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python网络爬虫:request库中的常见异常以及爬虫基本代码框架

各位学习过python爬虫的小伙伴们肯定都用过request库。request库是python中提供的一个方便用户进行网页请求的一个库,我们在网页请求的过程中难免会遇到异常情况,因此,request库针对异常也有相应的处理。

python的request库中常见异常:

上图中主要区别两个异常的概念,一个是connecttimeout异常,一个是timeout异常。各位小伙伴们应该能猜出来,timeout是整个请求到返回结果的过程超时的异常,而connecttimeout仅仅是连接服务器的超时异常。

response的异常:

在使用python过程中难免遇到异常,所以需要进行异常处理,这样才能保证我们爬虫代码的健壮性。

在python中使用request进行爬虫的一个基本代码框架如下图:

这段代码包括了异常的处理,这段python代码演示了简单的异常处理。

我们可以测试一下这个代码框架:

正常情况下,执行这段python代码我们可以获得网页上的内容,而如果出错,比如我们故意将url地址书写错误,这时就会产生异常。这样简单的代码结构,使得这个爬虫代码更加安全有效。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20200601A0FZS600?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券