前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >检测网页是否正常打开 原

检测网页是否正常打开 原

作者头像
双面人
发布于 2019-04-10 08:52:54
发布于 2019-04-10 08:52:54
1.5K0
举报
文章被收录于专栏:热爱IT热爱IT

import urllib.request   import time   opener = urllib.request.build_opener()   opener.addheaders = [('User-agent', 'Mozilla/49.0.2')]   #这个是你放网址的文件名,改过来就可以了   # file = open('test.txt')   # lines = file.readlines()   aa=['http://www.jd.com/','https://top.jd.com/?cateId=794&itemId=6254701']   # for line in lines:   #     temp=line.replace('\n','')   #     aa.append(temp)   # print(aa)   print('开始检查:')   for a in aa:       tempUrl = a       try :           opener.open(tempUrl)           print(tempUrl+'没问题')       except urllib.error.HTTPError:           print(tempUrl+'=访问页面出错')           time.sleep(2)       except urllib.error.URLError:           print(tempUrl+'=访问页面出错')           time.sleep(2)       time.sleep(0.1)  

(adsbygoogle = window.adsbygoogle || []).push({});

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018/05/30 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
检测地址能否打开[python] 原
import urllib.request   import time   opener = urllib.request.build_opener()   opener.addheaders = [('User-agent', 'Mozilla/49.0.2')]   #这个是你放网址的文件名,改过来就可以了   # file = open('test.txt')   # lines = file.readlines()   aa=['http://www.baidu.com/','http://www.baidu.com']   # for line in lines:   #     temp=line.replace('\n','')   #     aa.append(temp)   # print(aa)   print('开始检查:')   for a in aa:       tempUrl = a       try :           opener.open(tempUrl)           print(tempUrl+'没问题')       except urllib.error.HTTPError:           print(tempUrl+'=访问页面出错')           time.sleep(2)       except urllib.error.URLError:           print(tempUrl+'=访问页面出错')           time.sleep(2)       time.sleep(0.1)  
双面人
2019/04/10
5090
Python3 Urllib库的基本使用
  将结合Urllib的官方文档进行说明。首先是urllib.request模块:
py3study
2020/01/10
1.2K0
Python 刷网页访问量
额……有这种想法,感觉自己坏坏哒……其实,自己刚开始写CSDN博客,看到朋友们的博客访问量都达到几十万几百万了,而自己刚开始写,一星期过去了访问量才两位数,好拙计啊……说白了还是自己的虚荣心在作怪……尝试一下吧……
bear_fish
2018/09/20
3.4K0
Python一日一练05—-怒刷点击量[通俗易懂]
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/115762.html原文链接:https://javaforall.cn
全栈程序员站长
2022/01/31
8870
使用 Python 刷 csdn 访问量
直接丢代码,把代码挂到服务器上可以策马奔腾~,也可以生成二进制文件放到 Windows 桌面上随时使用~ 打包 exe 参考
Cell
2022/02/25
1K0
Python自带爬虫库urllib使用大全
这篇文章主要来讲解下Python自带的爬虫库urllib常见用法,主要围绕urllib定义、urllib的常用模块和urllib+lxml爬虫案例三个部分进行展开。
Python进阶者
2020/12/17
7950
不骗你,步步案例,教你一文搞定python爬虫
很久以前写了一篇爬虫的文章,把它放在CSDN上(livan1234)没想到点击量竟然暴涨,足以看到大家在数据获取方面的需求,爬虫技术现在已经非常普遍,其用途也非常广泛,很多牛人在各个领域做过相关的尝试,比如:
数据森麟
2019/09/27
5620
不骗你,步步案例,教你一文搞定python爬虫
python简单爬虫笔记
python模拟游览器爬取相关页面 import urllib.request url="https://blog.51cto.com/itstyle/2146899" #模拟浏览器 headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36") opener=urllib.request.build_
py3study
2020/01/15
3990
爬了知乎60W个网页,发现了一些很有趣的东西
我们先讲讲爬虫,这10w个网页我没有写代码去实现抓取,当时在上班,不想花太多时间去抓取这些内容(flag)。所以就采用Chrome浏览器的插件Web Scrape去实现抓取。
Techeek
2018/07/02
3.7K4
爬了知乎60W个网页,发现了一些很有趣的东西
Python 爬虫爬取微信文章
--------------------------------------------------------------
py3study
2020/01/09
1.2K0
Python 爬虫爬取微信文章
[代码与实例] 爬虫 爬ooxx图 嘿嘿
在这里还是要推荐下我自己建的 Python学习群:721195303,群里都是学Python的,如果你想学或者正在学习Python ,欢迎你加入,大家都是软件开发党,不定期分享干货(只有Python软件开发相关的),包括我自己整理的一份2021最新的Python进阶资料和零基础教学,欢迎进阶中和对Python感兴趣的小伙伴加入! **以下内容无用,为本篇博客被搜索引擎抓取使用 (* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄) python 是干什么的 零基础学 python 要多久 python 为什么叫爬虫 python 爬虫菜鸟教程 python 爬虫万能代码 python 爬虫怎么挣钱 python 基础教程 网络爬虫 python python 爬虫经典例子 python 爬虫 (* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)( ̄︶ ̄)( ̄︶ ̄) 以上内容无用,为本篇博客被搜索引擎抓取使用
全栈程序员站长
2022/11/04
3210
python爬虫第六天
    headers=('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36')
py3study
2020/01/17
5890
Python网络爬虫(实践篇)
读取内容常见的3种方式,其用法是: file.read()读取文件的全部内容,并把读取到的内容赋给一个字符串变量 file.readlines()读取文件的全部内容,并把读取到的内容赋给一个列表变量 file.readline()读取文件的一行内容
Python研究者
2020/09/28
7560
Python爬虫之Urllib库的基本使
# get请求 import urllib.request response = urllib.request.urlopen("http://www.baidu.com") print(response.read().decode('utf-8')) # post请求 import urllib.parse import urllib.request data = bytes(urllib.parse.urlencode({"word":"hello"}), encoding='utf8') respo
py3study
2020/01/20
5650
Python自学笔记——多线程微信文章爬取
# -*- coding: utf-8 -*- """ Created on Tue Dec 26 10:34:09 2017 @author: Andrew """ #线程1专门获取对应网址并处理为真是网址,然后将网址写入队列urlqueue中,该队列专门用来存放具体文章的网址 #线程2与线程1并行,从线程1提供的网址中依次爬取对应文章信息并处理,处理后将我们需要的结果写入对应的本地文件中 #线程3主要用于判断程序是否完成。因为在此如果没有一个总体控制的线程,即使线程1、2执行完,也不会退出程序 #在
企鹅号小编
2018/01/25
6370
Python——网络爬虫
此篇文章继续跟着小甲鱼的视频来初学网络爬虫,除了小甲鱼的网站上可下载视频,发现b站上也有全套的视频哦,会比下载来的更方便些。 网络爬虫,又称为网页蜘蛛(WebSpider),非常形象的一个名字。如果你
闪电gogogo
2018/01/08
1.5K0
Python——网络爬虫
Python爬虫之urllib库—进阶篇
urllib库除了一些基础的用法外,还有很多高级的功能,可以更加灵活的适用在爬虫应用中,比如,用HTTP的POST请求方法向服务器提交数据实现用户登录、当服务器检测出频繁使用同一IP而发出禁令时,如何使用代理IP来应对,如何设置超时,以及解析URL方法上的一些处理,本次将会对这些内容进行详细的分析和讲解。
Python数据科学
2018/08/06
5390
Python爬虫之urllib库—进阶篇
python爬虫——分析天猫iphonX的销售数据
  这篇文章是我最近刚做的一个项目,会带领大家使用多种技术实现一个非常有趣的项目,该项目是关于苹果机(iphoneX)的销售数据分析,是网络爬虫和数据分析的综合应用项目。本项目会分别从天猫和京东抓取iphoneX的销售数据(利用 Chrome 工具跟踪 Web 数据),并将这些数据保存到 Mysql 数据库中,然后对数据进行清洗,最后通过 SQL 语句、Pandas 和 Matplotlib 对数据进行数据可视化分析。我们从分析结果中可以得出很多有趣的结果,例如,大家最爱买的颜色是,最喜欢的是多少G内存的iphoneX等等,当然本文介绍的只是一个小的应用,时间够的话如果大家刚兴趣可以进一步进行推广。
Niucas_Mao
2018/04/11
4K5
python爬虫——分析天猫iphonX的销售数据
Python 爬虫IP代理池的实现
很多时候,如果要多线程的爬取网页,或者是单纯的反爬,我们需要通过代理IP来进行访问。下面看看一个基本的实现方法。
py3study
2020/01/08
2.3K0
004:Python爬虫实战 由易到难(图文解析)
相信有了前面三章的基础了解,我们对爬虫的基础知识已经有所掌握。 本篇内容是从易到难给大家讲解一些常用爬虫的手写。 包括图片爬虫、链接爬虫、多线程爬虫等等。
李玺
2021/11/22
4290
004:Python爬虫实战 由易到难(图文解析)
相关推荐
检测地址能否打开[python] 原
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档