1回答
我是scrapy的新手，我正在尝试从一个网站获取一个列出名字的简单csv文件。在一个粗糙的shell中，它似乎可以工作，但使用爬行器没有任何响应。我使用的是以下代码：name = "jupiter"
start_urls = ["http:/
浏览 11提问于2017-08-06得票数 0
回答已采纳
2回答
我正在尝试爬行这个，但是我得到了空响应，我使用了scrapy，我尝试了打印xpath，但是我得到了空数组，虽然这是一个直接的任务，但是现在我无法从表中获取数据。这是我的密码。import scrapy
name = 'share'
浏览 16提问于2022-11-14得票数 1
回答已采纳
我正在尝试刮这个，当我执行scrapy shell "https://redsea.com/en/apple-iphone-x-64gb-silver.html"时，它下载html页面，我可以在浏览器中使用view(response)查看下载的html：
但是，当我试图获取任何数据-product名称时，例如，通过response.css('.page-title')，它会给出空的响应：
抓取一个使用rest<e
浏览 0提问于2017-11-07得票数 3
回答已采纳
1回答
我的目标问题responseresponse.xpath('//h1/p')获取响应</e
浏览 4提问于2020-12-15得票数 0
回答已采纳
1回答
我正试图从房地产上市页面中获取详细信息。我可以抓取所有的数据，但我似乎无法导出..
我使用yield关键字的方式可能有问题。它也从这里获取了一些信息，但我似乎无法返回这些数据来将其包含在我的HousingItem()类中。名称= 'f_app‘allowed_domains = 'example.com’start_urls =‘example.com def解析(self，响应)：scrapy.Request(url="，callback
浏览 3提问于2018-07-19得票数 0
回答已采纳
1回答
这是我尝试使用Scrapy和Scrapy-Splash呈现所需的页面，但仍然得到相同的响应。我使用Docker在端口8050上运行scrapinghub/splash容器的一个实例。我甚至访问了网页http://localhost:8050并手动输入了我的网址，但它无法呈现数据，尽管消息显示成功。
这是我为爬虫写的代码。它实际上什么也不做，它唯一的
浏览 12提问于2019-07-07得票数 0
1回答
被刮掉的URL数量和获得200个响应状态的URL数量是不一样的。另外，我想得到的URL与他们各自的反应。我正在使用Scrapy抓取70000个URL，同时希望通过Scrapy获取每个URL的HTTP响应状态，以便在获取特定URL的内容之后，我们还将获得该URL的响应代码：如何获得相应URL的响应代码？
浏览 1提问于2018-09-03得票数 0
2回答
如何获取刮伤壳中的刮伤响应
、、、、
我对Scrapy项目很陌生，我读过很多教程。它们似乎都假设您知道如何立即解析响应对象，并且可以立即调用响应回调(例如scrapy.Request(url=url, callback=self.parse))。但在现实中，我需要使用试用和错误的CSS选择器。
如何取回Scrapy响应对象，以便能够交互地操作它？scrapy.Request(url=url)的响应似乎是我无法处理的(见屏幕截图)--不需要解析HTML -
浏览 4提问于2017-04-09得票数 2
回答已采纳
我试图使用scrapy解析来自某些json响应的不同I，但我无法做到这一点，尽管我使用请求模块获得了成功。我试图从这个中获取不同的ids。Ids看起来像1397099，539728 e.t.c，它的请求版本可以毫无瑕疵地获取。(失败)：import jsonfrom scrapy.crawler import CrawlerProce
浏览 3提问于2020-07-18得票数 0
回答已采纳
我试图从wiki的主权列表中收集不同主权的种群，并将它们添加到每个响应的数组中。在下面的代码中，allList应该有一个列有“国家”名称和“人口统计学”中人口的分类列表。非常感谢。# -*- coding: utf-8 -*-import loggingimport pprint
href = givenLink['href']
nam
浏览 0提问于2017-04-25得票数 0
在我的scrapy中，我只想要来自自定义url的变量中的html响应。假设我有一个url现在，我想要获取该页面的html以进行解析我想要这样的东西唯一的问题是我不能在我的爬虫中使用上面这行代码，因为我的会话已经
浏览 1提问于2012-12-19得票数 1
我是新的抓取和使用它从拉扎达网站刮数据。我得到了200条HTTP消息，这意味着响应将成功返回。但是我不能解析响应，尽管xpath查询是正确的。有谁可以帮我？谢谢。这是代码：name = 'lazada'
allowed_domains = ['lazada.com.myUPDATE：我确实尝试过获取存储在javascript中的数据，或者使用</em
浏览 19提问于2020-10-28得票数 0
3回答
我只想从请求中获取响应内容。然后，我将把响应传递到教程代码中，但是我无法发出请求并获取响应的内容。建议会很好response = Response(url=url)
print
浏览 6提问于2017-02-15得票数 8
1回答
我似乎不能从这个链接呈现一个完整的html响应： http://gabgoh.github.io/COVID 我之所以使用splash扩展，是因为我用常见的scrapy实践尝试的方法都不起作用，但这也不起作用这是我的python代码(我正在用docker run -p 8050:8050 scrapinghub/splash运行splash docker ) import scrapy
from scrapy.utils.logimport configure_lo
浏览 10提问于2020-04-01得票数 0
回答已采纳
1回答
我正在对特定端点执行请求，使用python请求添加一些头和json。但是，由于我正在编码的存储库的体系结构是基于scrapy的，所以我想提出相同的请求，但要翻译为scrapyjson_data = { 'page_size没有给我预期的反应的粗糙的替代方案from scrapy.http import JsonRequest
j_response = JsonRequest(url=endpoint
浏览 5提问于2022-10-11得票数 0
2回答
我在python的scrapy中编写了一个脚本，使用get_proxies()方法生成的代理进行代理请求。我使用requests模块获取代理，以便在脚本中重用它们。但是，问题是，我的脚本选择使用的代理可能不是好的代理，因此有时它无法获取有效的响应。
import scrapyimport
浏览 2提问于2019-02-21得票数 6
回答已采纳
2回答
我正在尝试从网页的响应页面中的键中提取一些值。不幸的是，当我这样做时，它只返回键，而且我似乎无法获取这些值。因为每个键都是一个长列表，而且它们都是编号的，所以我似乎无法弄清楚如何为所有这些键获取值。例如，下面是我的工作代码：from scrapy.crawler import CrawlerProcess
from scrapy.loader import ItemLoaderfrom scrapy.it
浏览 1提问于2021-12-20得票数 0
回答已采纳
1回答
我正在尝试使用Scrapy的facebook。我尝试使用firebug并检查XHR。我得到了这个：我试图检查所有这些请求的响应，但它们都没有包含posts的实际数据。提前感谢
浏览 0提问于2014-04-04得票数 0
1回答
我是个新手，正在尝试提交一个表单，然后从获取回复。scrapy shell "https://www.fbo.gov/index?s=opportunity&tab=search&mode=list"print(response)
返回none。我试着只使用"“和其他变体，但似乎都不起作用。我遵循的示例使用了
浏览 5提问于2017-08-10得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
