我是新来Scrapy的。我尝试从此站点https://book24.ru/knigi-bestsellery/?section_id=1592获取到下一页的链接 html是什么样子的：enter image description here 在scrapy shell中，我写了这个命令： response.css_next a::attr(href)'
浏览 46提问于2021-10-15得票数 2
回答已采纳
2回答
import scrapy name = 'quotes' def parse(self, response):
next_page_url = response.cssif nex
浏览 8提问于2017-12-11得票数 1
回答已采纳
我想从这个网站上抓取信息： (全国驾驶学校列表)，在地图上映射邮政编码和公司名称(我已经从邮政编码映射到坐标)，以找到学校聚集区。最佳结果将是一个选择器，它提取710家公司()的所有相关信息。我已经尝试复制了想要的表()的CSS "selector“和，但是在Scrapy中运行CSS选择器/ XPath时，它什么也不返回。复制的CSS<
浏览 2提问于2020-04-04得票数 0
回答已采纳
我正试图在href中搜索“下一页”。 ? 但是为什么scrapy shell返回一个空列表呢？我使用的语句是： response.css("li.ais-pagination--item ais-pagination--item__next a").xpath("@href") 请告诉我如何使用Scrapy刮这个。
浏览 28提问于2020-01-07得票数 0
我试着使用刮除选择器从网络上抓取数据表，但是得到了一个空数组。有趣的是，当我试图保存该文件并对其进行刮除时，我得到了预期的数组(非空)。有关Scrapy版本、选择器命令和预期响应的信息可以在下面找到。刮伤版lxml : 3.2.3.0Twisted : 13.1.0连接到web的
浏览 2提问于2013-09-23得票数 1
3回答
class HomedepotcrawlSpider(scrapy.Spider): allowed_domains = ['homedepot.com(next_page), )我获得..hd页面化__链接的方式是使用CSS选择器扩展google，并选择下一个页面图标因此，我尝试了一些事情，这是我最有意义的
浏览 4提问于2020-02-13得票数 5
回答已采纳
i am trying to scrape yellow page by using scrapy and python getting all other result right but notgetting the business name 尝试更改xpath，甚至尝试css选择器，但没有得到正确的结果
浏览 20提问于2020-04-05得票数 0
回答已采纳
mode=advanced&name=&operator=%3E%3D&query=&species=&status%5B0%5D=available&status%5B1%5D=on-hold 有一些奇怪的事情正在发生，我不知道如何获得某些元素，比如Next按钮中的href。'>] 但是当我查看控制台时，我看到了一个附加的<section class="specimen-list">，它没有显示在那里，并且其中包含导航按钮。我
浏览 14提问于2021-03-29得票数 1
1回答
Python没有通过所有标签
、、、、
我正在尝试写一个ebay脚本，它在一个页面中遍历每个产品，然后进入下一个页面，并执行相同的操作。但是问题是，刮伤只通过页面中的第一个链接，跳过页面的其余部分，然后转到下一个页面。
对于每一页，刮除只取一
浏览 0提问于2017-05-12得票数 0
回答已采纳
我坐了一个测试刮刀，它看起来是这样的： name = 'test' nr_pages = response.xpath('//div[@class="desktop-buttons"]/a[@class="cssresponse):
浏览 4提问于2020-10-22得票数 0
回答已采纳
我正在尝试抓取一个网站(我得到了他们的授权)，我的代码在scrapy shell中返回了我想要的东西，但我的爬行器什么也得不到。我想要理解为什么xpath选择器与scrapy shell一起工作(我得到的正是我需要的链接)，但是当我在我的爬行器中运行它时，我总是得到一个null列表。如果它能提
浏览 36提问于2018-04-25得票数 1
回答已采纳
1回答
我正在为瑞典电子商务网站Blocket.se建立一个与Scrapy有关的替罪羊。它正在按原样刮第一页，但下一页不会跳。下一个url的命令当我在Scrapy shell中尝试时，输出一个“q=cyke
浏览 1提问于2018-11-03得票数 0
回答已采纳
1回答
我试图在CSS选择器中为下一页选择一个价格；
response.css('strong.object-header__price').xpath('normalize-space()').extract(']&
浏览 6提问于2021-12-12得票数 1
回答已采纳
1回答
我一直在抓取这个网站，并试图存储属性，虽然有些属性确实被抓取了，但有些只是抓取而不是抓取： class CapeWaterfrontSpider(scrapy.Spider):
bedrooms = prop.c
浏览 11提问于2019-07-03得票数 0
回答已采纳
1回答
我正在尝试抓取指向此第一页上的列表的链接(或者更确切地说，是列表ID)。我认为正确的css选择器必须是至少当我在Element Inspector中搜索这个选择器(没有::attr(href))时，它似乎应该返回正确的数据。我对<
浏览 9提问于2019-11-13得票数 0
2回答
我正在试着废弃这个网站： https://www.coolblue.nl/en/our-assortment 我正在收集产品类别的所有网址的列表。几乎所有的我都能买到。出于某种原因，那些“更多..”标签页真的很难得到。 我相信这与我的选择器有关。在这一点上，我试图得到那些具体的“更多..”shell中的URL，只是为了弄清楚如何正确地选择它们。例如，在“笔记本电脑、台式机和显示
浏览 22提问于2019-03-14得票数 0
回答已采纳
2回答
刮伤:在登录后爬下一页
、、、
在成功登录到quotes.toscrape.com网站之后，我正在尝试在页面上爬行。我的代码(scrapytest/spiders/quotes_spider.py)如下：from scrapy.http import FormRequest
from .(VSC)上通过$ scrapy爬行剪贴引用运行这段代码时，代码只会设法刮到登录和刮取第一页。它总是不能爬到第二页。] INFO: Spider cl
浏览 5提问于2020-10-10得票数 0
回答已采纳
这是我的代码抓取RSS BBC，但它没有返回任何东西。
name = "bbc"
allowed_domains = ["feeds.bbci.co.uk
浏览 1提问于2019-11-12得票数 0
回答已采纳
1回答
我试图告诉Scrapy移动到下一页并抓取内容，但它停在第一页。import scrapyfrom scrapy.linkextractors import LinkExtractor'//*[@id="__next"]/div[2]/div[2]/div[1]/div/ul
浏览 12提问于2021-09-16得票数 0
回答已采纳
2回答
刮刮识别重定向和停止循环
、、、
我在试着重复几页。网站的不同页面都标有or10、or20、or30等。即是第一页是第二页第3页等 return break问题是，即使页面不存在，我也需
浏览 0提问于2019-02-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
