各位学习过python爬虫的小伙伴们肯定都用过request库。request库是python中提供的一个方便用户进行网页请求的一个库,我们在网页请求的过程中难免会遇到异常情况,因此,request库针对异常也有相应的处理。
python的request库中常见异常:
上图中主要区别两个异常的概念,一个是connecttimeout异常,一个是timeout异常。各位小伙伴们应该能猜出来,timeout是整个请求到返回结果的过程超时的异常,而connecttimeout仅仅是连接服务器的超时异常。
response的异常:
在使用python过程中难免遇到异常,所以需要进行异常处理,这样才能保证我们爬虫代码的健壮性。
在python中使用request进行爬虫的一个基本代码框架如下图:
这段代码包括了异常的处理,这段python代码演示了简单的异常处理。
我们可以测试一下这个代码框架:
正常情况下,执行这段python代码我们可以获得网页上的内容,而如果出错,比如我们故意将url地址书写错误,这时就会产生异常。这样简单的代码结构,使得这个爬虫代码更加安全有效。
领取专属 10元无门槛券
私享最新 技术干货