我正在使用以下代码(简化)： for x in xrange(8): )我想遍历一个db表，获取每个抓取的起始页(random_form_page)，然后为每个起始页生成一个请求在我的代码中，我可以看到，尽管它循环了8次，但它只产生了对第一个起始页的请求。我做错了什么？
浏览 7提问于2016-09-26得票数 0
回答已采纳
我没主意了.from scrapy.http.request import Requestfrom selenium.webdriver.common.byTimeoutExceptionimport time
class TechcrunchSpider(scrapy.Spiderelem.get_attribute("
浏览 2提问于2017-06-14得票数 1
1回答
我正在使用谷歌距离矩阵API。但是我无法计算出API的成本，它已经在他们的网站上写了“每个元素的价格”。那么，如果我有两个起点和1000个目的地，那么我的总API成本是多少?使用Google OR tools的示例程序是否足以运行1000个目的地距离的API调用并求解矩阵？
请帮帮我！！
浏览 11提问于2020-05-12得票数 1
1回答
硒与Scrapy结合
、、、、
是否有任何方法有效地将Selenium集成到Scrapy中，以实现其页面呈现功能(以便生成屏幕截图)？在Scrapy已经处理完这个请求之后，我看到的很多解决方案只是在WebDriver上抛出一个Scrapy请求/响应URL，然后就可以完成了。这会产生两倍多的请求，在许多方面失败(需要登录的站点，具有动态或伪随机内容的站点，等等)，并使许多扩展/中间件失效。
有什么“好”的方法让这两个人一起工作吗？有没有更好的方法来生成</e
浏览 3提问于2015-07-13得票数 6
2回答
如果scrapy的性质是正确的，它会移动到另一个页面，直到收到前一个页面的响应。向下滚动后，我看到使用了async def，这意味着通过添加显式地使该方法成为异步方法。
浏览 108提问于2020-05-07得票数 2
回答已采纳
我用Scrapy从不同的网站抓取网页。对于每个scrapy.Request()，我都设置了一些元数据，用于生成一个项。我的代码也可能为相同的url生成多个scrapy.Request()，但是具有不同的元。yield scrapy.Request(url='http://www.example.com', meta={'some_field': 'some_value'} ..)现在我可以设
浏览 7提问于2022-09-01得票数 0
回答已采纳
我有2个项目，一个是内容，另一个是多个评论。问题是内容和多个评论会产生不同的请求。我想要新闻的内容和它的多个评论应该产生或返回作为一起或作为一个。流水线的时间或顺序对我来说并不重要。在项目文件中： title = scrapy.Field() hour= scrapy.Field()
image
浏览 2提问于2017-01-29得票数 1
回答已采纳
1回答
然后，我将迭代这个数组，并在新URL上调用一个新的蜘蛛(它位于代码的末尾)import scrapy name = "project"
start_urls = ['https://www.url1.com/',#I want here call parse method again but with ne
浏览 1提问于2018-08-13得票数 0
回答已采纳
1回答
我是scarpy嵌套的url使用CrawlSpider，但抓取爬行项目后，侧边查找错误：from scrapy.spiders import CrawlSpider,Rule,Spider
浏览 2提问于2016-05-20得票数 0
回答已采纳
1回答
刮伤请求不回调。
、、、、
除了返回价格(将从每个请求的回调函数中返回)之外，一切正常工作，我得到一个请求对象，如下所示：回调函数根本不被调用，为什么？product = product[0].split(';') i
浏览 0提问于2016-07-18得票数 0
回答已采纳
我实现了一个依赖Scrapy同时运行多个蜘蛛的解决方案。根据我在这里所读到的()，为了优雅地向蜘蛛发出死亡的信号，我应该提出一个CloseSpider异常如下： raise CloseSpider(reason="Received kill signal")
然而，虽然代码在遇到异常时确实会引发异常，但是请求仍然被蜘蛛处理了很长时间我意识到Scra
浏览 0提问于2014-11-18得票数 2
回答已采纳
href').extract() url = "http://canadianlawlist.com" + p url2 = "http://canadianlawlist.com" + e
yield scrapy.Request
浏览 1提问于2018-08-16得票数 0
1回答
我可以用scrapy创建cookie，但无法修改现有的cookie。在我正在工作的电子商务网站中，这个cookie处理邮政编码，每个页面都使用这个邮政编码来修改产品属性。我可以使用selenium修改邮政编码，抓取每一页，但抓取过程太慢。我只想使用scrapy，修改这个请求/响应邮政编码cookie。我可以使用下面的代码根据我的请求创建cookie在spider.py
浏览 4提问于2020-10-03得票数 0
2回答
我应该从单个项目的多个请求中刮取数据。我一直在使用请求元( requests )在这样的请求之间积累数据； data = 'something'
url='url for another page for scraping images',
method='GET',pars
浏览 0提问于2019-07-15得票数 1
回答已采纳
不管我怎么使用CONCURRENT_REQUESTS，我的scrapy程序只使用一个CPU核心。scrapy中的一些方法是否可以在一个scrapy爬虫中使用所有的cpu核心？ps:它似乎在早期版本中有争议的max_proc使用，但我现在找不到它。
浏览 0提问于2017-07-10得票数 5
6回答
刮取-如何管理cookie/会话
、、、、
对于cookies如何与Scrapy一起工作，以及您如何管理这些cookie，我有点困惑。当你访问网站时，你会得到一个会话曲奇。我的剧本：搜索页由parse()请求，搜索表单响应被传递给search_generator()如果cookies是在每只蜘蛛的水平上
浏览 7提问于2011-02-12得票数 62
回答已采纳
1回答
因此，我要发送cookie请求一个新的货币和一个新的国家。在“设置”中：COOKIES_DEBUG = Trueclass HtSpider(scrapy.Spider): joint = urljoin(url, player)
yield scrapy.Request(Cookie: currency=USD; country=US;
浏览 0提问于2021-01-05得票数 0
这是一个简单的抓取蜘蛛 name = "dmoz"但在scrapy文档和许多youtu
浏览 1提问于2016-08-15得票数 8
回答已采纳
1回答
不久前我偶然发现了pyexecjs，我想知道它是否可以与scrapy一起用于抓取JS生成的数据。
我检查了应该如何使用该库的示例，但我不确定如何将其与scrapy集成。
浏览 4提问于2014-10-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
