我正在尝试使用Rule和LinkExtractor来提取链接，这是我在scrapy shell中的代码from scrapy.linkextractorsimport LinkExtractorurl= f'https://www.google.com/searchurl)
x=LinkExtr
浏览 5提问于2019-07-10得票数 2
回答已采纳
我正试图在亚马逊上构建一条关于“与此项目相关的赞助产品”的规则，但是，每个产品的ASIN都嵌入到xpath //ol/li/div/@data-asin中，我希望从其中生成以下链接格式f"https://www.amazon.com/dp/{ASIN} (对于与此项目相关的赞助产品中的每一项)
scrapy shell https://
浏览 0提问于2019-07-25得票数 0
回答已采纳
1回答
抓取爬行器输出
、、
我在Scrapy文档中的中有一个问题。它似乎爬得很好，但我很难将它输出到CSV文件(或任何真正的文件)。所以，我的问题是，我可以用这个：还是我必须创建一个import scrapyfrom scrapy.contrib.linkextrac
浏览 4提问于2014-10-23得票数 0
回答已采纳
1回答
我刚开始使用Scrapy，我想了解这些规则是如何在CrawlSpider中使用的。如果我有一个在亚利桑那州图森市的纸杯蛋糕列表的黄页中爬行的规则，那么产生一个URL请求如何激活该规则--具体地说，它是如何激活restrict_xpath属性的？
谢谢。
浏览 1提问于2014-08-17得票数 23
回答已采纳
3回答
我希望提取A页中的一些数据，然后将数据存储在数据库中，并提取要遵循的链接(这可以通过CrawlSpider中的规则来完成)。我将A页的链接页称为B页，这样我就可以编写另一个parse_item()来从B页提取数据，但是我想在B页面中提取一些链接，所以我只能使用规则来提取链接吗？如何处理
浏览 4提问于2012-12-30得票数 12
回答已采纳
2回答
我正在尝试使用scrapy抓取一个网站，但网站没有网站地图或页面索引。如何使用scrapy抓取网站的所有页面？
我只需要下载网站的所有页面，而不提取任何项目。我只需要在蜘蛛规则中设置关注所有链接吗？但我不知道scrapy是否会以这种方式避免复制urls。
浏览 0提问于2013-01-06得票数 5
回答已采纳
我发现我的CrawlSpider只爬行start_urls，没有任何进展。from scrapy.linkextractors import LinkExtractor )
r
浏览 2提问于2017-04-08得票数 1
回答已采纳
2回答
我的问题是关于CrawlSpider的我可以在运行时更改rules吗，比如def set_rules(cls,rules):cls.rules = rulesself.set_rules(rules)我的用例：
我正在使用scrapy</e
浏览 0提问于2015-08-13得票数 0
1回答
我的目标是只从网站的一部分(一个HTML节点)中提取链接。我试图通过将正则表达式中的“page”传递给以下规则来实现这一点:允许、allow_domain和restrict_text。response.css(
"a::attr('href')&quo
浏览 2提问于2020-04-15得票数 1
回答已采纳
Scrapy具有LinkExtractor类，该类跟踪链接并返回回调
Linkextractor是否检查来自每个yield(ed) Request的响应中的链接？是否包含被其他规则yield(ed)的页面中的链接？
浏览 1提问于2015-08-13得票数 0
我正在使用scrapy抓取网站并从中提取数据，scrapy使用基于regex的规则来检查页面是否必须解析，或者是否必须遵循链接。我正在为我的蜘蛛实现一个简历功能，这样它就可以从最后访问的页面继续爬行。为此，当启动爬行器时，我从数据库获取最后关注的链接。我的站点urls看起来像http://foobar.com/page1.html，所以，通常情况下，规则</em
浏览 2提问于2011-03-06得票数 1
回答已采纳
1回答
我的目标是提取一个特殊的数据在不同的links.For为目标链接的例子主页是，我想收集的价格价值
My code is like that :
fromscrapy.spiders import CrawlSpider,Rule
from scrapy.linkextractors import LinkExtra
浏览 0提问于2016-03-15得票数 0
1回答
抓取网页，但不刮项目
、、、
这是我的蜘蛛from scrapy.spiders import CrawlSpider, Rule items.append(item)问题是，按照规则<em
浏览 1提问于2018-04-12得票数 0
回答已采纳
1回答
我正在试用刮擦的规则/链接提取器。"restrict_css“下的css是正确的，我可以在scrapy中使用response.css检索链接，但由于某种原因，在爬行器、uner规则和链接提取器中运行这个链接时，不会调用parse_product
浏览 4提问于2017-04-25得票数 0
回答已采纳
我一直在尝试理解在web抓取中使用BaseSpider和CrawlSpider的概念。我读过，但在BaseSpider上没有提到。如果有人能解释BaseSpider和CrawlSpider之间的区别，我会很有帮助的。
浏览 5提问于2015-09-17得票数 15
回答已采纳
1回答
我有一个包含许多URL的文件。我愿意从这些网址中提取链接，然后提取不同页面的标题和metas。for link in
浏览 4提问于2017-02-10得票数 0
回答已采纳
你好，我怎么才能让我的爬虫蜘蛛工作，我能够登录，但什么都没有发生，我真的没有得到不刮。另外，我一直在看抓取文档，我真的不明白抓取的规则。为什么在“成功登录，让我们开始爬行！”之后什么也没有发生！我在else语句的末尾也有这个规则，但删除了它，因为它甚至没有被调用，因为它在我的else块中。所以我把它移到了start_request()方法的顶部，但是得到了错误，所以我删除了我的规则。rules = (
浏览 0提问于2013-07-13得票数 7
回答已采纳
我试图抓取一个网站与抓取，其中的item_id与一些数据在一个页面上，并从这个项目的其他信息在另一个页面上。 我面临的问题是，如何将附加信息分配给在page1上找到的同一数据集？项目： class GetIt(scrapy.Item): name = scrapy.Field() 我的爬虫的相关部分如果规则触发，
浏览 20提问于2018-12-26得票数 0
回答已采纳
2回答
我目前正在尝试使用scrapy创建一个小型的web抓取原型。我目前的问题与链接提取和跟踪相关。我试图让scrapy浏览页面并找到指向页面的链接(目前不是图像和其他内容)，但我不知道如何正确设置参数。这是我正在使用的蜘蛛： session_id = -1
rules = [
浏览 2提问于2017-03-01得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
