前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >selenium加载时间过长

selenium加载时间过长

作者头像
机器学习和大数据挖掘
发布于 2019-07-02 01:35:51
发布于 2019-07-02 01:35:51
2.5K00
代码可运行
举报
文章被收录于专栏:数据挖掘数据挖掘
运行总次数:0
代码可运行

为了获取网站js渲染后的html,需要利用selenium加载网站,但是会出现加载时间过长的现象,因此可以限制其加载时间以及强制关掉加载:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# !/usr/bin/python3.4
# -*- coding: utf-8 -*-
from selenium.common.exceptions import TimeoutException
from selenium import webdriver

# 打开谷歌浏览器
browser = webdriver.Chrome()
# 设定页面加载限制时间
browser.set_page_load_timeout(10)

# 如果10秒内没有加载完成就会报错
# selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from renderer: 1.684
try:
    browser.get('http://www.amazon.com/dp/B001UPMC1Y')
    # 打印html
    print(browser.page_source)
except TimeoutException:
    # 报错后就强制停止加载
    # 这里是js控制
    browser.execute_script('window.stop()')
    print(browser.page_source)

browser.quit()
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016-11-24 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Python 爬虫(四):Selenium 框架
Selenium 是一个用于测试 Web 应用程序的框架,该框架测试直接在浏览器中运行,就像真实用户操作一样。它支持多种平台:Windows、Linux、Mac,支持多种语言:Python、Perl、PHP、C# 等,支持多种浏览器:Chrome、IE、Firefox、Safari 等。
Python小二
2020/08/18
1.2K0
Python 爬虫(四):Selenium 框架
python爬虫---从零开始(六)Selenium库
  自动化测试工具,支持多种浏览器。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。
小菜的不能再菜
2019/09/18
1.2K0
python爬虫---从零开始(六)Selenium库
selenium中的备胎
基本上就是超时的error. 如果页面超时,会导致后面的所有都不执行。 selenium是单进程在执行,我们考虑搞一个备用的进程,如果主进程死了,就可以切换过来,如同我们生活中的备胎。 这样就不需要重新启动selenium。
赵云龙龙
2019/07/11
8300
selenium中的备胎
爬虫selenium+chromdriver
由于requests模块是一个不完全模拟浏览器行为的模块,只能爬取到网页的HTML文档信息,无法解析和执行CSS、JavaScript代码,因此需要我们做人为判断;
菲宇
2019/06/11
2.4K0
selenium用法详解
selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。
顾翔
2019/12/11
1K0
selenium用法详解
Python之Selenium模拟浏览器
模拟浏览器功能,自动执行网页中的js代码,实现动态加载。使请求更加真实(好像是真的浏览器在请求)
鱼找水需要时间
2023/02/16
1.6K0
Python之Selenium模拟浏览器
一文搞懂浏览器自动化测试框架selenium!
1、selenium是什么? Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Per
石晓文
2018/04/11
1.5K0
python爬虫从入门到放弃(八)之 Selenium库的使用
本文主要介绍了如何通过Python的Selenium库来自动化操作浏览器,包括打开浏览器、输入网址、获取页面元素、模拟用户操作等。同时,还介绍了如何通过调用JavaScript来实现更复杂的操作。
coders
2018/01/04
3.1K0
python爬虫从入门到放弃(八)之 Selenium库的使用
selenium+phantomjs爬取
今天自己实战写了个爬取京东商品信息,和上一篇的思路一样,附上链接:https://www.cnblogs.com/cany/p/10897618.html
py3study
2020/01/16
6550
08 Python爬虫之selenium
当获取一个网站的图片数据时,只能爬取到图片的名称,并不能获得链接,而且也不能获得xpath表达式。这是应用了图片懒加载技术。
py3study
2020/01/15
1.1K0
网络爬虫 | selenium 爬取动态加载信息
使用selenium实现动态渲染页面的爬取。selenium是浏览器自动测试框架,模拟浏览器,驱动浏览器执行特定的动作,并可获取浏览器当前呈现的页面的源代码,可见即可爬。该工具支持IE浏览器、Mozilla Firefox及Google Chrome等。
数据STUDIO
2021/06/24
1.2K0
selenium使用
pip insatll selenium 由于如果需要使用selenium的话,需要为本机配置对应浏览器的驱动,下面以chomedriver为例,首先安装chromedriver,chrome版本可以在标签页输入chrome://version/看到。chromedriver下载地址,其版本与支持对应的chrome版本如下: v2.41 v67-69 v2.40 v66-68 v2.39 v66-68 v2.38 v65-67 v2.37 v64-66 v2.36 v63-65 v2.35 v62-64 v2.34 v61-63 v2.33 v60-62 v2.32 v59-61 v2.31 v58-60 v2.30 v58-60 v2.29 v56-58 v2.28 v55-57 v2.27 v54-56 v2.26 v53-55 v2.25 v53-55 v2.24 v52-54 v2.23 v51-53 v2.22 v49-52 v2.21 v46-50 v2.20 v43-48 chromedriver解压后放到Python或者其他配置了环境变量的目录下。
听城
2018/08/30
1.1K0
Python教程:selenium模块用法教程
selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题
Python学习者
2023/02/07
1.9K0
【测试】Selenium Webdriver API
更多操作: http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement
瑞新
2020/07/07
2.6K0
XSS Bot从入门到完成
xss在近几年的ctf形式中,越来越受到了人们的重视,但是出xss的题目最重要的可能就是xss bot的问题了,一个合格的xss bot要稳定还能避免搅屎。下面我们就来看看一个xss bot是怎么完成的。 bot之前 一般来说,对于xss bot来说,最重要的是要bot能够执行js,事情的本质是我们需要一个浏览器内核来解析js,这里我们一般会用selenium+webdriver。 而webdriver一般有3种chrome webdriver、firefox webdriver、phantomjs。 se
FB客服
2018/02/24
2K0
XSS Bot从入门到完成
selenium设置proxy、headers(phantomjs、Chrome、Firefox)
文章参考:https://www.zhihu.com/question/35547395
周小董
2019/03/25
4.8K0
Selenium的使用方法简介
Selenium是一个自动化测试工具,利用它可以驱动浏览器执行特定的动作,如点击、下拉等操作,同时还可以获取浏览器当前呈现的页面的源代码,做到可见即可爬。对于一些JavaScript动态渲染的页面来说,此种抓取方式非常有效。本节中,就让我们来感受一下它的强大之处吧。 1. 准备工作 本节以Chrome为例来讲解Selenium的用法。在开始之前,请确保已经正确安装好了Chrome浏览器并配置好了ChromeDriver。另外,还需要正确安装好Python的Selenium库,详细的安装和配置过程可以参考第
崔庆才
2018/04/02
5.3K0
Selenium的使用方法简介
python_selenium智联搜索
去招聘会工作,奈何网上仅仅提供招聘会的公司名字,没有提供招聘的职位,SO我写了个小代码给别人在智联上面搜索职位,由于时间紧迫,前程的就不写了
机器学习和大数据挖掘
2019/07/02
5430
Selenium自动化爬虫
Selenium 打开页面后,默认是在父级 Frame 里面操作,如果页面中还有子 Frame,Selenium 是不能获取到子 Frame 里面的节点的。这时就需要使用 switch_to.frame 方法来切换 Frame。
北山啦
2022/11/27
1.3K0
Selenium自动化爬虫
selenium设置Chrome
关闭图片 from selenium import webdriver options = webdriver.ChromeOptions() prefs = { 'profile.default_content_setting_values': { 'images': 2 } } options.add_experimental_option('prefs', prefs) browser = webdriver.Chrome(chrome_options=options
机器学习和大数据挖掘
2019/07/02
1.5K0
相关推荐
Python 爬虫(四):Selenium 框架
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验