from scrapy_selenium import SeleniumRequestfrom selenium import webdriver} documentation on scrapy-selenium我已经一步一步地遵循了说明，但是驱动程序没有遵循任何链接。我相信这两个请求都是由scrapy处理的
浏览 68提问于2019-05-17得票数 1
1回答
我使用和Scrapy来爬行网站。Crawled 1 pages (at 1 pages/min)
我使用CSS选择器而不是XPATH来优化时间。
浏览 4提问于2016-08-19得票数 3
回答已采纳
问题是它总是从第一个url ("")抓取，而不是遵循我给它的url。为什么下面的代码不能从我在reqeusts中传递的新urls中抓取？我没主意了.from scrapy.http.request import Requestfrom selenium.webdriver.common.byimport By
from selenium.webdriver.support i
浏览 2提问于2017-06-14得票数 1
我试着用Scrapy和Selenium来刮一些urls。有些urls由Scrapy直接处理，而其他urls则首先使用Selenium处理。问题是: Selenium在处理url时，Scrapy没有并行处理其他url。它等待work驱动程序完成它的工作。但似乎我没有经验去纠正它。
import <em
浏览 5提问于2020-04-13得票数 3
回答已采纳
> div.pricing > div.price > div.standardprice').text {"using": by, "value": value})['value']
File "/usr/local/lib/
浏览 0提问于2017-01-10得票数 0
2回答
我的代码选择了美洲，但是没有加载新数据。我认为在后台有一些javascript没有被激活。from scrapy.http import FormRequest, Request
fromselenium
浏览 0提问于2015-07-17得票数 0
1回答
scrapy和硒似乎是相互影响的
、、、、
您好，我没有太多的经验在网络抓取或使用抓取和硒。如果我的代码中有太多糟糕的做法，请先道歉。我的代码背景简介:我尝试使用scrapy从多个网站抓取产品信息，我还使用selenium，因为我需要单击网页上的“查看更多”按钮和“不谢谢”按钮。由于网站上有不同类别的href，我也需要请求那些“子链接”，以确保我不会错过根页面上没有显示的任何项目。问题是，我注意到在这个for循环for l in product_links:中，scrapy和selenium的行为似乎很奇怪。from webScr
浏览 20提问于2019-01-13得票数 0
回答已采纳
我开始了一个新的scrapy项目，并创建了一个爬虫：2019-07-05 14:14:44 [scrapy.middleware] WARNING: Disabled SeleniumMiddleware: SELENIUM_DRIVER_NAMEand SELENIUM_
浏览 19提问于2019-07-06得票数 1
回答已采纳
1回答
我正在尝试使用scrapy和selenium来抓取javascript网站。我使用selenium和一个chrome驱动程序打开javascript网站，使用scrapy从当前页面抓取到不同列表的所有链接，并将它们存储在一个列表中(到目前为止，这是最好的方法，因为尝试使用seleniumRequest然后，我循环遍历URL列表，在selenium驱动程序中打开它们，并从页面中抓取信息。到目前为止，这个网站每分钟抓取16个页面，考虑到这个网站上的列表数量，这并不理想。理想
浏览 36提问于2021-02-05得票数 0
回答已采纳
我已经使用webdriver编写了一个selenium应用程序。我希望在远程服务器上运行它。当我通过putty (以及Xming)登录服务器时，selenium尝试只在服务器上打开浏览器，并通过外部显示器加载页面。有没有可能发生这样的事情，或者只在服务器上打开是唯一的选择(这是痛苦的缓慢)。如果我也遗漏了什么，请告诉我。
提前谢谢。
浏览 3提问于2013-06-04得票数 3
1回答
我在使用Scrapy+Selenium，但我真的希望在这个项目中使用ScrapyJS/Splash。然而，看起来刮起/飞溅的组合受到了该网站私人浏览墙的影响。
能告诉Scrapy使用Chrome吗？我知道Selenium有相当多的驱动程序，关于如何使用每个驱动程序都有很好的文档记录，但是我无法找到任何关于Scrapy是否支持其他浏览器或其他人是否已经支持其他浏览器的信息。谷歌/所以搜索也没有为我照亮这一点。
浏览 3提问于2016-03-22得票数 3
回答已采纳
我试图对此进行并行化，但时间并没有变得更好，因为如果驱动程序实例(使用Chrome或PhantomJS)的创建占用了大部分时间，那么创建时间就不会更好。1) scrapy是否以paralel自动运行多个url请求？2)如何使用scrapy设置动态超时，如Selenium的WebDriverWait wait.until()
3)如果没有可用于刮除的动态设定时间，解决方案是使用scrapy</e
浏览 5提问于2017-09-18得票数 3
回答已采纳
我正在使用Scrapy和Selenium和chrome驱动程序来抓取一个网站。我不能刮网站使用Scrapy只是因为有一些保护机制在网站上实施，这是给404。当我在scrapy中使用selenium时，我能够访问页面html。但问题是，当我使用selenium时，我无法保留通过scrapy访问的所有链接上的会话cookie。# -*- coding: utf-8 -*-from selenium</
浏览 0提问于2017-09-18得票数 0
我使用了的火狐驱动程序来加载和废弃项目中的一些蜘蛛中的网页。问题：--不使用Selenium的蜘蛛
这个蜘蛛没有使用Selenium，我希望它不会运行Firefox。class MySpider(scrap
浏览 3提问于2016-12-10得票数 2
回答已采纳
我可以让Chromedriver加载我想要的基本Selenium程序的页面，但是关于第二个项目(使用Scrapy)的一些内容阻止了它加载URL。相反，它只能在地址栏中显示数据：、。/chromedriver")第二个项目(不加载页面)：from scrapy_selenium importchromedriver")
d
浏览 13提问于2022-04-25得票数 -1
1回答
刮伤请求不起作用
、、、、
我正在使用和Scrapy从selenium中抓取每一个信息。# -*- coding: utf-8 -*-from scrapy.contrib.link
浏览 5提问于2015-03-12得票数 2
问题是，我能够与"sortby“选项交互，并使用Selenium选择”最近“，并使用Scrapy为第一页抓取数据。但是，我无法提取其他页面的数据，Selenium Web驱动程序不知何故不呈现下一页。代码片段附在这里(一些信息由于机密性而被删除)import selenium.webdriver as webdriverfrom
浏览 8提问于2022-09-17得票数 0
import scrapy name = "product_spider/a')
next.click()
break
浏览 0提问于2018-06-06得票数 4
回答已采纳
2回答
虽然我的selenium浏览器正在浏览所有的页面，但是scrapy响应仍然是相同的，并且它最终抓取了相同的响应(页面次数)。item['url'] = response.urljoin(sel.xpath('@href').extract()[0])
request = scrapy.Request
浏览 0提问于2015-11-29得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
