我正在使用selenium和scrapy来抓取一个包含ajax内容的网站。首先，由于"csrf“的原因，我无法模拟ajax请求。page=230 a::text'
浏览 20提问于2017-12-24得票数 0
回答已采纳
1回答
我正在尝试使用scrapy和selenium来抓取javascript网站。我使用selenium和一个chrome驱动程序打开javascript网站，使用scrapy从当前页面抓取到不同列表的所有链接，并将它们存储在一个列表中(到目前为止，这是最好的方法，因为尝试使用seleniumRequest然后，我循环遍历URL列表，在selenium驱动程序中打开它们
浏览 36提问于2021-02-05得票数 0
回答已采纳
1回答
然而，我找不到一种方法绕过谷歌的分页，因为URL几乎保持不变，只是有一些事情发生了变化。请参阅以下链接和屏幕截图 Hotel List Dublin on Google ? 我已经成功地从第一页抓取了数据，但我需要为那里的每一页做这件事 请看下面我的当前代码。
浏览 10提问于2019-12-18得票数 0
1回答
抓取句柄302重定向
、、、、
我正在尝试用一个粗糙的CrawlSpider抓取一个网站，问题是这个网站一直在随机地重定向我，这意味着一个url有时可能会加载，有时会被重定向到某个页面。我试着改变我的用户代理，尝试通过创建一个类似于浏览器发送的http头来模仿浏览器的行为，即使我使用crawlera发送请求，也没有解决我的问题。如果有人能帮我度过难关，我将不胜感激2017-11-06 02:11:14 [scrapy.core.engine] INFO: Spider opened
2017-11-06 02:11:14 [scrapy.ex
浏览 2提问于2017-11-06得票数 0
2回答
我试图运行我的基础蜘蛛的动态分页，但我没有获得成功的爬行。我使用了selenium ajax动态分页。我使用的网址是：。这是我的代码：import scrapy
def
浏览 4提问于2014-12-17得票数 1
回答已采纳
3回答
我使用scrapy来抓取所有的链接，用selenium抓取所有的页面。Selenium抓取了大部分页面，但在加载页面时留下了几个页面。我尝试了timeout()，但似乎不起作用，然后我尝试了使用execute_script
driver.execute_script(“返回document.readyState==”完成“；”)WebDriverWait.until(expected_conditions.execute_scrip
浏览 4提问于2020-08-23得票数 0
1回答
到目前为止，我一直在使用scrapy和编写自定义类来处理使用ajax的网站。但是，如果我使用scrapy-splash，据我所知，它会在javascript之后抓取呈现的html，爬虫的速度会受到严重影响吗？使用scrapy抓取一个普通的html页面所需的时间与使用scrapy-splash抓取javascript渲染的html所需的时间进行了怎样的比较？最后，<
浏览 3提问于2018-04-18得票数 12
回答已采纳
我想抓取这个链接中的“日历”内容：我想知道我是否可以在不使用selenium的情况下使用python scrapy来抓取这些内容。因为我无法从网络选项卡中找到任何信息。谢谢!
浏览 0提问于2017-11-15得票数 0
我是新手使用scrapy和python我想开始从搜索结果中抓取数据，如果你会加载页面默认内容将会出现，我需要抓取的是过滤后的内容，同时做分页？下面是我需要从时间过滤器中抓取项目的URL："Today“我所做的就是这些，但更多的是关于布局结构。class TmcnfSpider(scrapy.Spider):allowe
浏览 1提问于2019-05-10得票数 0
2回答
我想从一个显然使用javascript生成表的站点(这个站点是oddsportal.com)中抓取内容。我看到Scrapy无法加载动态内容，我阅读selenium可以处理它，但我计划使用web服务器。
有什么方法可以解析这个站点或获取动态请求并使用scrapy解析它吗？例如，我想从这个页面导入完整的表，包括标题、匹配名和赔率。
浏览 3提问于2016-01-28得票数 1
回答已采纳
1回答
我必须抓取和刮相当多的网站，这些网站是由React / javascript / html技术组合而成的。这些网站在所有地方都有大约。10万至50万页。我计划使用Selenium和Scrapy来完成爬行和抓取。单是Scrapy就不能对页面进行抓取，使用Selenium来抓取常规的javascript/html是非常耗时的。
浏览 3提问于2019-12-04得票数 0
回答已采纳
我是一个初学者，正在学习如何在Python中使用Scrapy进行网络抓取。有人能指出哪里出了问题吗？我的目标是抓取所有后续的页面。from indeed.items import IndeedItem name = "indnext_page_extension is not None:
next_page = response.urljoin(n
浏览 27提问于2021-04-25得票数 3
如果网站使用AJAX和JavaScript加载内容，则可能很难从站点中抓取数据。数据可以动态生成并存储在JavaScript变量中，使web刮刀无法访问数据。
浏览 7提问于2022-05-11得票数 0
我们知道，在浏览器中，可以查看->网络-> XHR -> Headers和get Request Header。然后可以将这些标头添加到Scrapy请求中。但是，有没有一种方法可以使用Scrapy请求自动获取这些请求头，而不是手动获取？我尝试使用：response.request.headers，但此信息还不够：
{b'Accept': [b'text/html,application/xhtml+xml,application/
浏览 50提问于2021-05-21得票数 0
回答已采纳
我正在尝试抓取以下url ()，表内容是我感兴趣的内容，但是看起来表隐藏在某个地方：
右键单击表上的检查，我可以得到表(后面是)，但是在scrapy shell中，如果我执行response.xpath(‘//*@ ==$0’)，它不会返回任何内容，这意味着我不能通过这种方式抓取内容……请在这个问题上提供帮助，谢谢。更新:最终的解决方案是使用Selenium (伟大的工具)来完成这个任务，当网页内容</em
浏览 58提问于2018-05-17得票数 0
回答已采纳
当我使用Selenium时，我可以看到浏览器GUI，是否可以使用scrapy或严格基于scrapy命令行？
浏览 4提问于2015-11-03得票数 1
回答已采纳
1回答
我正试图结合Selenium编写一个Scrapy蜘蛛，以访问我正在抓取的页面上的一些JavaScript内容。我已经成功地使用Selenium打开了页面，并等待内容出现。现在，我想从完全加载的页面构建一个Scrapy TextResponse。我的代码看起来如下(我删除了URL和选择器字符串，它们并不重要)：from scrapy import signals
from
浏览 2提问于2016-02-29得票数 1
回答已采纳
我想抓取链接的下一页：https://www.thetoptens.com/animals/，使用scrapy-selenium点击next按钮，但它抓取了链接的第一页。我也尝试过使用webdriver，但显示了相同的结果。使用scrapy-selenium的代码： import scrapy
from scrapy_selenium imp
浏览 35提问于2020-12-17得票数 1
1回答
**from scrapy_selenium import SeleniumRequest name
浏览 7提问于2020-09-09得票数 2
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
