Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >我正在抓取以下网站,其中包含java脚本,但得到一个错误

我正在抓取以下网站,其中包含java脚本,但得到一个错误
EN

Stack Overflow用户
提问于 2020-11-15 10:13:06
回答 1查看 46关注 0票数 0

我试图抓取一个网站,但当我试图运行程序时,我得到了以下错误。以下是我的代码

代码语言:javascript
运行
AI代码解释
复制
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.expected_conditions import presence_of_element_located

driver = webdriver.Chrome(executable_path = '/home/danish-khan/webscraping/rgcrawler2/chromedriver')
driver.get('https://www.researchgate.net/institution/Islamia_College_Peshawar/department/Department_of_Computer_Science/members')



chrome_options = Options()

element = WebDriverWait(driver, 20).until(EC.presence_of_element_located((By.XPATH, '//*[@id="rgw9_5fac070727fc2"]/div[3]/h5/a]')))
print(element.text)`

代码语言:javascript
运行
AI代码解释
复制
Traceback (most recent call last):
  File "resgt3.py", line 14, in <module>
    element = WebDriverWait(driver, 20).until(EC.presence_of_element_located((By.XPATH, '//*[@id="rgw9_5fac070727fc2"]/div[3]/h5/a]')))
  File "/home/danish-khan/miniconda3/lib/python3.7/site-packages/selenium/webdriver/support/wait.py", line 80, in until
    raise TimeoutException(message, screen, stacktrace)
selenium.common.exceptions.TimeoutException: Message: 
EN

回答 1

Stack Overflow用户

发布于 2020-11-15 13:23:47

代码语言:javascript
运行
AI代码解释
复制
element = WebDriverWait(driver, 20).until(EC.presence_of_element_located((By.XPATH, '//*[@id="rgw9_5fac070727fc2"]/div[3]/h5/a]')))

当页面加载时,您的程序等待20秒以等待XPATH元素'//*[@id="rgw9_5fac070727fc2"]/div[3]/h5/a]'出现。

如果XPATH元素在定义的时间之后没有出现,就会得到一个超时错误。这是一件好事,否则如果XPATH元素根本不出现,您的程序将永远停滞。

我认为您应该仔细检查所提供的XPATH是否正确,或者它是否没有随着时间的推移而改变。

票数 -1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64843218

复制
相关文章
一些我用得到的 Python 脚本
下面的python脚本有一部分是我百度然后修改的,一部分是我自己写的,如果以后有什么新的我用的到的脚本或者这些脚本有修改我也会在这里更新,这些源码放在这里仅以备份为目的
猫猫摸大鱼
2022/07/21
6630
抓取得到App音频数据
这两天知识星球Python绿色通道铁粉集中营上有球友要求布置一个抓取得到App数据的作业,于是我二话不说就撸了一把.
龙哥
2018/10/22
1.7K0
抓取得到App音频数据
Java得到年在一个季度的错误的第一天
而FisrtDayOfMonth.getFisrtDayOfMonth(year, month)是String类型的,format()方法内的事对象或者是Date类
全栈程序员站长
2022/07/06
3440
密码最短长度为7,其中必须包含以下非字母数字字符1 完美解决方案
大家用2005网站配置中遇到"密码最短长度为7,其中必须包含以下非字母数字字符1" 问题没有? 在这里给出解决方法: 方法一:7位密码中请用输入~!@#$^&*()_+中的一个 方法二:到C:W
脑洞的蜂蜜
2018/02/01
8610
网站抓取频率是什么,如何提高网站抓取的频率?
网站抓取频率是什么,如何提高网站抓取的频率? 每天都有数以万计的URL被搜索引擎爬行、抓取。这些URL透过相互链接,构成了我们现存的互联网关系。它在SEO日常工作中,扮演着重要的角色,并且给网站优化,
小唐同学.
2022/02/23
2.4K0
网站抓取频率是什么,如何提高网站抓取的频率?
网站抓取频率是什么,如何提高网站抓取的频率? 每天都有数以万计的URL被搜索引擎爬行、抓取。这些URL透过相互链接,构成了我们现存的互联网关系。它在SEO日常工作中,扮演着重要的角色,并且给网站优化,
开心分享
2020/08/06
1.6K0
爬虫抓取网站有什么技巧,要如何避免错误代码?
我们在爬虫作业的时候,经常会遇到HTTP返回错误代码,那这些错误代码代表了什么意思呢?爬虫作业的时候又该如何避免这些问题,高效完成我们的项目?
阿秋数据采集
2023/05/09
5930
如何使用robots.txt及其详解
在国内,网站管理者似乎对robots.txt并没有引起多大重视,应一些朋友之请求,今天想通过这篇文章来简单谈一下robots.txt的写作。
全栈程序员站长
2022/06/30
1.3K0
爬虫篇 | 抓取得到App音频数据
这两天知识星球上有球友要求布置一个抓取得到App数据的作业,于是我二话不说就撸了一把.
龙哥
2019/10/29
2.4K0
爬虫篇 | 抓取得到App音频数据
PHP登入网站抓取并且抓取数据
有时候需要登入网站,然后去抓取一些有用的信息,人工做的话,太累了。有的人可以很快的做到登入,但是需要在登入后再去访问其他页面始终都访问不了,因为他们没有带Cookie进去而被当做是两次会话。下面看看代码
超级小可爱
2023/02/20
1.7K0
一个python网站刷量脚本
基于python && selenium 不同ip(代理ip需自行查找或购买), 随机user-agent(ua.txt 可自行添加修改), 随机浏览器窗口大小(windsize.txt 可自行添加修改), 循环访问urls.txt中网址,达到刷量效果 关于python-selenium 安装/使用,可看另一篇文章,不多介绍了 新建这4个文件,运行main.py即可 main.py #coding=utf-8 from selenium import webdriver import time impor
wo.
2021/06/15
2.2K0
使用shell脚本得到MySQL实例列表
之前从主机,实例,业务,集群几个维度来完善了运维平台的元数据信息,把流程贯穿起来,也确实看到了一些好处,但是有一个点很重要,也是我们容易忽略的:有些元数据我们也无法确认是不是完整,准确。大体有三个维度:
jeanron100
2018/07/26
1K0
使用puppeteer抓取受限网站
不要相信前端是安全的,今天简单验证一下(但是希望大家支持正版,支持原作者,毕竟写书不易)。
Jerremy
2018/05/03
3.1K0
使用puppeteer抓取受限网站
PHP远程抓取网站图片
PHP远程抓取网站图片并保存在文件中,虽然是原生PHP写的,但也值得一看(用yii2.0.15.1的时候实践过)
友儿
2022/09/11
4K0
我的shell脚本实战-编写一个系统发布脚本
平常我们会使用Jenkins发布系统,Jenkins可以从代码更新,编译到发布这样的一条龙服务。操作成本很低,作为程序员,肯定不满足于简单的界面操作。
Lvshen
2022/05/05
6210
我的shell脚本实战-编写一个系统发布脚本
使用puppeteer抓取网站数据
记一下使用puppeteer抓取开源中国上的推荐软件数据 1.安装 npm install puppeteer 2.引入 const puppeteer = require('puppeteer'); 3.抓取代码 const sleep = time => new Promise(resolve => { setTimeout(resolve, time); }) const url = `https://h5.oschina.net`; ;(async () => { consol
薛定喵君
2019/11/06
2.3K0
网页抓取 - 完整指南
Web Scraping,也称为数据提取或数据抓取,是从网站或其他来源以文本、图像、视频、链接等形式提取或收集数据的过程。
海拥
2023/02/26
3.6K0
网页抓取 - 完整指南
网站建设具体包含什么?
我们经常看到网上有网站建设全包,或许我们会疑问,这个网站建设全包到底是包含哪些服务内容呢?今天华专网络就这个话题跟大家聊聊。
华专网络
2020/03/20
8620
物联网芯片正在积极开发 明年将得到爆发
随着物联网边缘智能需求的不断增长,芯片制造商们开始积极开发低功耗、低成本的物联网芯片,帮助物联网企业实现最优的无线连接解决方案。2018年微型控制器MCU市场将会有新一番景象,我们可能会看到各种各样的边缘设备,包括工业网关、路由器和传感器等更多具有智能和连通性的产品,这对于微型控制器来来说,无疑是一个巨大的市场机遇。 低功耗无线处理器是一个巨大的机会。美国科技市场研究公司Linley集团高级分析师Mike Demler表示,Linley集团的物联网边缘设备发货量将在未来几年猛增,从2017年的6亿台,到20
企鹅号小编
2018/01/15
5860
物联网芯片正在积极开发 明年将得到爆发
点击加载更多

相似问题

我正在尝试通过cmd安装ionic,但得到以下错误

20

我正在抓取一个亚马逊网站,使用selenium作为产品链接,但得到下面附加的错误

219

我正在使用Python中的一个基本脚本,但得到了以下错误。什么意思?

13

我正在尝试定义以下向量函数,但始终得到一个错误

120

试图抓取网站上的数据,但得到一个错误403

23
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档