2回答
我正在尝试获取动态创建的html标签ID的文本。我在那里，无论如何我都能理解。： <p class="old-price"> <span class="price" id="old-price-8886"> ৳300 </span>
&l
浏览 17提问于2018-12-19得票数 0
我需要从这个页面中抓取到图片的链接：我编写了这个xpath：
response.xpath('//li[@class="geodir-active-slide"]/img/@src').extract
浏览 0提问于2018-09-21得票数 0
回答已采纳
1回答
我正在尝试使用Scrapy提交一个动态生成的用户登录表单，然后解析对应于成功登录的页面上的HTML。
我想知道我怎么能用Scrapy或者Scrapy和Selenium的组合来做到这一点。Selenium使在DOM上找到元素成为可能，但我想知道在获得完整的HTML之后是否可以“将控制权还给Scrapy”，以便使它能够执行表单提交并保存必要的cookie、会话数据等，以便抓取页面。基本
浏览 2提问于2015-03-21得票数 1
回答已采纳
我是新的抓取和使用它从拉扎达网站刮数据。我得到了200条HTTP消息，这意味着响应将成功返回。但是我不能解析响应，尽管xpath查询是正确的。有谁可以帮我？谢谢。这是代码：name = 'lazada' all_products = response.xpath('//div[@clas
浏览 19提问于2020-10-28得票数 0
我现在正试图从其他网站上获取其他的数据，这一次是使用SCRAPY。我尝试了以下URLS：
name = "whisky"
with open(filename, 'wb') as f:
f.write(response.bo
浏览 4提问于2020-10-22得票数 0
2回答
我试图使用scrapy和selectorlib来刮掉amazon的优惠页面(www.amazon.it/gp/goldbox)amazon.pyimport scrapyimport selectorlib
name = 'amazon'next' in data:
浏览 2提问于2019-12-08得票数 1
来自以下源代码：...<script bounce ="bla">....</script>我想提取(bla bla)，它肯定是在(，null，")之后出现的，直到点(")。我不能通过脚本名称id和div访问的原因是因为它们对于我通过scrapy抓取的每个<
浏览 30提问于2018-07-20得票数 1
回答已采纳
1回答
我有一个包含多个输入字段的内联网页面，我需要Scrapy使用网页“搜索产品”输入字段进行搜索，它有一个"searchBox“id。我已经能够锁定正确的搜索框使用Scrapy和Beautiful，但我不知道如何将数据正确地传递回Scrapys表单提交功能。在方法1中，我尝试将结果简单地作为输入传递给Scrapys FormRequest.from_response函数，但是它不起作用。方法1-使用Sc
浏览 0提问于2019-03-09得票数 1
我正在使用scrapy，并试图提出一个restrict_xpaths规则，这样爬虫将总是只去下一个图像。我的目标是不断地抓取下一个。有人建议我应该使用什么规则吗？谢谢!
浏览 0提问于2015-11-19得票数 0
因此，我从一个粗糙的shell开始，并写道：然后，我使用chrome通过右键单击HTML代码的位置来复制Xpath，chrome给我的结果是：然后，我使用Xp
浏览 0提问于2017-12-12得票数 0
我是Python的完全初学者，我想用scrapy从抓取一些图像with open('baiduImage.html', 'wb') as f:这似乎是一个完整的页面，所有元素在Chrome中都表现良好，但我没有使用
f.write(response.xpath('/html/body').extract()[0我想原因
浏览 2提问于2014-11-17得票数 0
回答已采纳
我想刮掉需要登录的Javascript页面。我想知道是否可以使用Selenium加载并登录到页面，然后Selenium将呈现的代码传递给Scrapy进行数据提取。import scrapyfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expecte
浏览 28提问于2019-07-24得票数 1
我想知道是否有人能告诉我如何在上选择xpath？例如：我无法使用上面的选择器获取response.xpath中的数据，有人能帮我吗？
浏览 1提问于2015-08-19得票数 0
1回答
我已经检查了chrome中的元素：
我想使用scrapy获取红色框(可以不止一个)中的数据。我使用了以下代码(参见scrapy文档中的教程)： name = "kamusset_spider"
start_urls = ['http://kbbi.web.<em
浏览 15提问于2017-07-07得票数 0
在Scrapy shell上执行fetch(url)fetch(r)
response.xpath@class='c1_t2i']/div[@class='c2prKC']/div&#
浏览 1提问于2020-07-24得票数 1
1回答
我已经尝试过Xpath (//*[@id="da_price"]，//*[@id="da_price"]/text())，.get('')，.extract()，.get('').strip()，Css#da_price，#da_price::text，我也用过漂亮的汤和scrapy_splas hand返回无或空的结果。我仍然不想尝试使用selenium，因为链接的数量相当大。
浏览 14提问于2021-01-08得票数 1
回答已采纳
我想了解如何使用Python中的Scrapy从下面的页面提取数据
https://fincaraiz.com.co/inmueble/apartamento-en-arriendo/florida-blanca/bogota/6738284问题
这个页面动态加载内容，所以当我从Scrapy
浏览 18提问于2022-02-18得票数 0
1回答
是否可以使用Scrapy生成一个网站的站点地图，包括每个页面的URL及其级别/深度(我需要从主页上跟踪的链接数量)？站点地图的格式不一定是XML，它只是关于信息。此外，我希望保存爬行页面的完整HTML源代码，以供进一步分析，而不是只从其中抓取某些元素。有经验使用Scrapy的人能告诉我，对于Scrapy来说，这是否是一个可能的/合理的场景，并给我一些关于如何找到指令的提示？到目前为止，我只能找到更复杂的场景，而没有
浏览 0提问于2017-11-07得票数 5
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
