1回答
显示第一页的结果，我想从所有页面的结果，它应该爬行喜欢第2页，然后第3页 import scrapy
name = 'quotes
浏览 20提问于2021-04-15得票数 0
回答已采纳
我正在尝试使用scrapy从flipkart.com中抓取一些数据。除了翻到下一页，我什么都拿到了。首先，我尝试使用scrapy，然后使用selenium。实际上，一个类有上一页和下一页的两个链接。 使用scrapy:我无法获取任何结果。我得到的是空白输出。 使用selenium:每当我尝试点击下一页时，从第一页到第二页都可以正常工作。但是然后不
浏览 45提问于2021-02-10得票数 1
1回答
我正在尝试提取这些搜索结果中每个房车单位详细信息页面的链接，以及搜索结果的下一页，这样我就可以获得他们在上拥有的每个房车单位的链接 next_page_link= response.urljoin(next_page)
yield scrapy.Request(url=ne
浏览 5提问于2019-02-06得票数 1
1回答
class A1Spider(scrapy.Spider): allowed_domains = ["www.amazon.com"] self.page += 1最后几行用于请求下一页。当我只抓取sta
浏览 0提问于2016-06-01得票数 0
2回答
刚刚开始使用Scrapy，我希望能在正确的方向上有所作为。我想从这里抓取数据：
import scrapy name = 'sportstatsresults.append(result) print(result)
现在我需要转到下一个页面，我可以在浏览器中通过单击
浏览 2提问于2016-05-12得票数 0
我正试图在href中搜索“下一页”。 ? 但是为什么scrapy shell返回一个空列表呢？我使用的语句是： response.css("li.ais-pagination--item ais-pagination--item__next a").xpath("@href") 请告诉我如何使用Scrapy
浏览 28提问于2020-01-07得票数 0
1回答
我已经创建了一个蜘蛛，它在当前页面上找到next_page url，然后跟踪并销毁它，在那个页面上，蜘蛛再次搜索next_page url并销毁它等等。它工作得很好，唯一的问题是它跳过了在start_urls中提到的页面上的报废--它总是从下一页开始刮起。它应该从当前页面(如start_urls )开始刮擦，然后跟随下一页。我知道我错过了什么。import scrapy
from scrapy.contrib.spiders import Crawl
浏览 1提问于2014-12-08得票数 1
回答已采纳
我的问题类似于这篇文章：
我要我的爬虫遍历所有的“下一个”链接。我已经搜索了很多，但大多数人只关注如何解析ULR，或者简单地将所有URL放在初始URL列表中。到目前为止，我能够访问第一页并解析下一页的链接。但我不知道如何使用相同的爬虫(蜘蛛)访问那个页面。我尝试将新的URL添加到我的URL列表中，它确实附加了(我检查了长度)，但后来它没有访问链接。注意，在我的例子中，我只知道第一页的URL。第二页
浏览 0提问于2017-06-16得票数 0
回答已采纳
我正在抓取一个搜索结果页面，并从同一页面抓取标题和链接信息。因为它是一个搜索页，所以我也有指向下一页的链接，这是我在SgmlLinkExtractor中指定允许的。这个问题的描述是，在第一页，我找到了Page2和Page3的链接来抓取，它做得很好。但是当它抓取第二页时，它又有到Page1(上一页)和Page3(下一页)的链接。我使用的scrapy
浏览 3提问于2013-02-27得票数 4
我对Python、BeautifulSoup和Scrapy都是新手，所以我不是百分之百确定如何描述我遇到的问题。我想刮掉‘下一步’按钮提供的网址你可以看到，它在图片链接'tiff‘或'jpeg’旁边。description = soup.find(&#
浏览 17提问于2018-08-01得票数 0
我对Scrapy比较熟悉，这就是为什么我选择它作为抓取工具。目前，该脚本只能从第一页(最大12)下载图像。例如，。第二页的链接是。在第2<em
浏览 15提问于2016-07-19得票数 3
回答已采纳
2回答
但只为第二页！不管我怎么努力，我都不能让它正常工作。from scrapy.contrib.spiders import CrawlSpider, Rulefrom scrapy.selector import HtmlXPathSelector
cla
浏览 1提问于2013-09-18得票数 2
回答已采纳
我正试图从这个网站：中抓取大学的名称和链接，并且在处理分页时遇到了一个问题，因为指向下一页的按钮的href是javascript:void(0)，所以我无法用scrapy.Request()或response.follow()到达下一页，有什么方法可以这样处理分页吗？此网站的URL不包含params，如果单击下一个页面按钮，URL将保持不变，因此我无法通过更改URL来处理分页。下面的代码片段只能在第一页</e
浏览 9提问于2022-05-12得票数 -1
回答已采纳
1回答
我正在尝试使用Selenium+Scrapy来抓取一个以恐龙方式生成的网站。2.-提取完成后，搜索next按钮并获取href属性。from selenium.webdriver.support import expected_condit
浏览 2提问于2022-03-27得票数 1
我能够从第一页抓取所有的故事，我的问题是如何移动到下一页，继续抓取故事和名字，请检查下面的代码。# -*- coding: utf-8 -*-from cancerstories.items import CancerstoriesItem name = scrapy.Field()class MySpider(sc
浏览 2提问于2016-02-10得票数 2
回答已采纳
1回答
刚开始使用scrapy，我试着在整个数据库中逐页搜索一个通用的搜索引擎，并抓取一些我需要的链接，但是当我试图进入下一个页面时，我会得到这个错误。不太确定如何去下一页，将感谢任何帮助与正确的方法！这是我的密码： allowed_domains = ["exploit-db.com"]<em
浏览 8提问于2016-06-09得票数 2
回答已采纳
sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=test中转到下一页请给我引路。非常感谢。scrapy shell "https://www.google.com.tw/webhp?
浏览 1提问于2015-01-23得票数 2
1回答
我正在谷歌搜索结果爬行通过这个链接。 https://www.google.com/search?q=telsa+"model3"+intext:model3&hl=en&rlz 我在Chrome浏览器中禁用了Javascript，并获得了Next的XPath值。 ? //*@id="main"/footer/div1/div/div/a -> xpath 以下是我的代码 imp
浏览 23提问于2021-07-04得票数 0
特别是下一页分页不起作用。有很多页每页有50个项目。我在parse_items中捕获了第一页的50个项目(链接)，下一页的项目也在parse_items中被丢弃。import scrapyfrom fake_useragent import UserAgent
浏览 1提问于2018-03-05得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
