我正在尝试使用scrapy抓取this website上可用的文章。我正在尝试使用以下代码。class Langham_Crawler(scrapy.Spider):
next_page_flag = True
浏览 51提问于2021-03-17得票数 0
这是我的蜘蛛from lawn.items import LawnItemimport re
# Defining rows to be scraped
rows = response.xpath('//ul[@id="horizontal-list"]')for row
浏览 1提问于2019-11-27得票数 0
回答已采纳
1回答
我对Scrapy还不熟悉，但我遇到了一个问题，即根据scrapy的构建一个准确的选择器，基本上，我正在尝试提取州州目录中的所有办事处，为了确定哪个部门属于我需要的(我认为) h6标签中的内容，但也包括从每个地方降下来的ul/li元素：
这段代码运行良好，我可以将每个office的输出保存到一个json以供以后处理，但是它上面没有分支，只是一个空空间。&#
浏览 1提问于2020-07-22得票数 1
回答已采纳
我以前用过Scrapy抓取过几个网站，所以我很熟悉它的语法，似乎不能捕获下面的class元素： ? = {}
for card in response.xpath("//ul[@class='list⤍ResultsList⤚21s3j']/li/div/div/h2/a").get⤚21s3j > li</e
浏览 28提问于2021-04-05得票数 0
我正在尝试刮刮一个网站使用Scrapy，为其产品链接。我已经知道了如何获得所有子类别的链接，但是现在当我进入显示产品的页面时，我无法找到使用Xpath提取所有元素的解决方案。最初的问题是如何处理Xpath / Scrapy中的不同行号以获取所有项？目标页面示例：
我要先在Scrapy Shell上测试
浏览 4提问于2022-03-17得票数 0
回答已采纳
1回答
我正在尝试从网站上嵌入的JS下拉列表中抓取市场列表：https://e27.co/startups 使用scrapy shell，我试图从“markets”下拉菜单中抓取市场列表，但无法这样做。在运行了scrapy shell 'https://e27.co/startups'之后，我尝试了同时使用response.css()和response.xpath
浏览 9提问于2019-06-13得票数 0
回答已采纳
1回答
蜘蛛没有刮到适当数量的物品
、、、、
在过去的几天里，我一直在学习Scrapy，并且在获取页面上的所有列表元素时遇到了困难。="name">Name1</li> </li> <ul>
&l
浏览 2提问于2015-02-03得票数 4
回答已采纳
3回答
=scrapy.selector(响应)TypeError中：‘_runCallbacks’对象不可调用
xpath = scrapy.selector(response)
titles = xpath.select(&qu
浏览 3提问于2017-08-09得票数 0
回答已采纳
2回答
我想用刮伤提取一些包含在.xpath或.css上的标签上的信息。 <div id="detail" data-tabs-pane="" class="estateTabs-panel active">
<ul</<e
浏览 0提问于2018-04-10得票数 0
回答已采纳
我发现，尽管它已经在选择器列表中循环，但我从sel.xpath('a/text()').extract()获得的平铺仍然是一个列表，其中包含一个字符串。在后面的示例中，将列表分配给作为item['title'] = sel.xpath('a/text()').extract()的项，我认为这在逻辑上是不正确的。):
for sel in response.xpath(
浏览 1提问于2016-02-26得票数 5
回答已采纳
查询：机器人： for href in response.xpath('//div/div/div/ul</em
浏览 2提问于2015-11-10得票数 1
回答已采纳
这是我的Code.When我抓取其他url.it，这是没有问题的，但当我抓取这个url问我列不匹配。我不知道为什么计数长度是字符长度，而不是字典长度？= ['http://www.fromgeek.com/topic/']
sel = Selector(response)jike_list = sel.xpath('//ul[@i
浏览 1提问于2017-05-06得票数 0
2回答
我的头撞在墙上，这可能是我错过的很简单的东西。我有一个HTML无序列表(ul)，如下所示： <li>Elm 1</li> <ul> <li</
浏览 1提问于2018-12-07得票数 1
回答已采纳
2回答
我正在抓取的html的一部分如下所示：<ul><li> <b>Name</b></li><li> <b>Blood Type:</b>
浏览 1提问于2017-07-29得票数 3
回答已采纳
1回答
下面是HTML的样子：<ul> <li>Bikes</li></ul><h4>Brands</h4>
&l
浏览 0提问于2018-06-19得票数 0
回答已采纳
我在lottery.net/powerball/numbers/#year上使用了基本相同的代码，没问题。为什么这次不行？我已经改变了所有的信息，我需要做的链接和XPath的差异。): inspect_response(response, self)
for drawing&#x
浏览 5提问于2022-09-20得票数 0
2回答
刮伤xpath不捕获标记
、、、
在这种情况下，我想让Scrapy提取出“圆形大小”。但事实证明，Scrapy无法捕捉dl下的任何子节点。response.xpath('//[@id="termsheet"]/div/section[1]/div/dl/li[2]/dt/span').extract()
Xpath表达式是从Chome inspect生成<e
浏览 7提问于2016-06-06得票数 0
回答已采纳
2回答
刮擦解析第一页
、、
我正在使用刮伤的.24.4，我试图从威胁专家那里抓取一些信息，我几乎已经得到了，除了第一页(或start_url)之外，我可以在所有页面上获取所有的信息。我尝试过parse_start_url和添加规则，只是无法让它发挥作用。我肯定这只是我忽略的东西，但我整个周末都在看，只是需要休息一下。如果有人有什么建议的话，我会很感激的。哦，我确实让它在start_url的一个范围内工作，但是它看起来有点不雅致，我正在努力学习正确的</e
浏览 3提问于2015-01-05得票数 0
回答已采纳
" href="https://aarushmay.com/fashion">Fashion </a> </ul> def parse(self, response):
hrefE
浏览 16提问于2022-03-29得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
