1回答
我在这里开始学习Scrapy，我正在努力得到回应。//*[@class="text-center"]') 我对所有这些都是空白的。任何想法或建议都是值得感谢的。 谢谢
浏览 78提问于2020-08-25得票数 0
回答已采纳
因此，如果它遇到一个pdf文件，它将把响应通过一个PDFReader，否则它将读取html文件的原样。= ['doc.scrapy.org']import scrapy
class QuotesSpide
浏览 1提问于2018-09-23得票数 0
回答已采纳
[0]Index error: list index out of range如何防止刮伤创建空白行？这似乎是一个常见的问题，但当导出到CSV时，每个人都面临这个问题，而对我来说，这是导出CSV之前的粗糙响应。Items.py：from scrapy.item import Item, Field
浏览 1提问于2018-10-10得票数 0
回答已采纳
1回答
我试图使用Python中的Scrapy框架从中抓取数据，但是当我在并尝试学习如何提取数据，使用或
response.xpath然后，当我在的shell中获取和查看响应时，我会得到一个几乎空白的页面，它不包含我想要刮掉的数据(项目、价格等)。在这种情况下，Scrapy还会为我的目的工作吗？若否，是否有其他选择？谢谢!
浏览 1提问于2018-07-29得票数 0
回答已采纳
代码的工作方式是-原样，但是我在登录和请求是如何通过后续请求之间的逻辑上有一个空白。
根据文档，请求对象返回响应对象。此响应对象作为回调函数的第一个参数传递。我明白了。我不理解的是响应对象是如何在身份验证之后对下一个请求调用进行响应的。在下面的代码中，解析方法返回使用FormRequest方法进行身份验证时创建的结果对象。我不明白的是，作为参数传递给after_login方法的响应是如何在产生结果之后发送给请求的。这是怎么发生的？# import <e
浏览 3提问于2014-01-05得票数 1
回答已采纳
但是scrapy没有串行地请求从链接list.after请求这些链接抓取数据成功，但当保存到csv文件时，它使一个完整的抓取项目后每一次都是一个空行。我期待它将从链接列表中串行请求，它不会使任何空白row.how我能做到吗？我使用的是python 3.6和scrapy版本1.5.1import scrapy
name = 'marketextract()
for link in Coi
浏览 3提问于2018-12-02得票数 0
1回答
我想从图像中的响应中抓取特定的html代码。以下是响应及其标头： ? 下面是响应(我想要抓取的html )： ? 我可以使用Inspect工具找到该HTML。我的代码返回的是html，我可以用"View page source“工具看到它。因此，这意味着Javascript在嵌入代码之前会对代码进行修改。但是，启动角色是运行javascript并返回HTML，不是吗？？response.body返回页面的源代码，而不是我在上面提到的响应中需要的html
浏览 18提问于2019-05-30得票数 1
1回答
被刮掉的URL数量和获得200个响应状态的URL数量是不一样的。另外，我想得到的URL与他们各自的反应。我正在使用Scrapy抓取70000个URL，同时希望通过Scrapy获取每个URL的HTTP响应状态，以便在获取特定URL的内容之后，我们还将获得该URL的响应代码：如何获得相应URL的响应代码？
浏览 1提问于2018-09-03得票数 0
1回答
我在Python3中使用Scrapy (Scrapy==1.6.0)库。我想知道，在代码中Scrapy实际上在哪里做HTML请求？另外，响应的确切位置也是一样的？现在我的爬行器找不到任何页面，所以我想我要么得到一个空白的HTML文档，要么得到一个403错误，但是我不知道从哪里去确认这一点。熟悉scrapy库的人能告诉我在代码中我可以检查这些参数的确切位置吗？
浏览 12提问于2019-03-14得票数 0
1回答
下面是我的代码： name = "teamdata"
#yield scrapy.Request(url=url, callback
浏览 3提问于2020-03-30得票数 0
1回答
我想直接与木星笔记本中的Scrapy response对象进行交互，就像在命令行中输入scrapy shell "some-url"之后，您可以这样做。在笔记本中，我可以在没有错误的情况下运行这些命令：request = scrapy.Request("some-url")
通常，请求对象在蜘蛛中生成并在系统中传递，直到它们到达下载器，后者执行请求并返回</e
浏览 1提问于2018-04-18得票数 8
回答已采纳
如何立即执行Scrapy请求并在parse方法中获得返回的响应？
我需要从另一个链接获取一些信息，并将其与我从原始链接(在parse方法中)获得的当前信息组合在一起。因此，我需要能够执行scrapy请求并获得返回的响应。
浏览 2提问于2017-12-17得票数 0
1回答
如何使Scrapy爬行不需要用户名和密码的FTP服务器？我尝试将url添加到启动url中，但是Scrapy需要一个用户名和密码才能访问FTP。我已经重写了start_requests()，以提供默认的用户名‘匿名’，当我使用Linux的ftp命令时，一个空白的密码可以工作)，但是现在我从服务器上得到了550个响应。使用Scrapy爬行FTP服务器的正确方法是什么?理想情况下，这种方法可以工作于所有不需要用户名或密码访问的FTP服务器？
浏览 1提问于2015-01-04得票数 9
回答已采纳
2回答
404, 408]
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware'myspider.comm.rotate_useragent.RotateUserAgentMiddleware' : 100,
'scrapy.con
浏览 6提问于2013-12-12得票数 9
回答已采纳
我已经使用requests.get()编写了爬虫程序，并在scrapy.selector.Selector()和解析数据中使用响应。我的问题是，是否有任何方法可以使用scrapy.Request()来获取响应，而不是在回调函数中使用它。我需要如下所示的相同位置的响应(如下所示)，sizes = response.xpath('sizesXpath').extract()
我知道<em
浏览 2提问于2018-07-13得票数 3
但是，当dont_filter=False时，日志是2017-07-19 13:54:25 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-07-19 13:54:25 [scrapy.extensions.telnet] DEBUG:
浏览 3提问于2017-07-19得票数 0
回答已采纳
2回答
抓取句柄302响应代码
、、、
默认情况下，Scrapy跟随302重定向到目标位置，并且某种程度上忽略了最初请求的链接。在一个特定的站点上，我遇到了一个302重定向到另一个页面的页面。我的目标是记录原始链接(响应302)和目标位置(在header中指定)，并在CrawlSpider的CrawlSpider方法中处理它们。请引导我，我怎样才能做到这一点？我访问http://www.example.com/page1，它发送302个重定向HTTP响应并重定向到http://www.example.com/page2。
浏览 6提问于2016-02-11得票数 4
回答已采纳
http://prntscr.com/o56670 请查看截图 我正在使用python 3并在我的终端上使用scrapy。fetch("https://angel.co/adil-wali") 当请求链接时，它以403响应。所以我已经改变和轮换了用户代理和机器人，但仍然显示403响应，所以这次我购买了爬虫计划，但爬虫仍然说523响应 您知道为什么在scrapy shell中请求返回403而不是200响
浏览 5提问于2019-06-22得票数 0
回答已采纳
2回答
然而，在这段代码中，Scrapy没有收到任何响应(因为没有主机返回响应)，当scrapy遇到这样的域时，它会返回
未找到:错误号11001 getaddrinfo失败。
浏览 3提问于2014-10-28得票数 2
2回答
其中包括： "myurl"
$ scrapy crawl parker -o items.json 2016-05-31 16:53:55 [scrapy] INFO: Closingspider (finished)
2016-05-31 16:53:55 [scrapy<
浏览 4提问于2016-05-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
