2回答
因此，Scrapinghub正在为Scrapy质量保险发布一项新功能。该公司表示，它具有历史比较功能，可以检测当前刮擦数量是否仅低于前一次刮擦数量的50%，这是可疑的。但是，我如何应用它呢？
浏览 33提问于2019-03-18得票数 1
目前，Scrapy Spidermon扩展只显示了一个使用Amazon Simple email Service发送电子邮件的示例。有没有可能用Mandrill来代替呢？又是如何做到的呢？
浏览 24提问于2019-03-19得票数 1
我正在使用ScrrapyVersion2.1运行scrapyd1.2，守护进程突然停止工作。它将安排作业，但它们在一秒钟后结束，状态为“已完成”，此蜘蛛的日志文件将其显示为最后一行：调度蜘蛛返
浏览 0提问于2020-05-17得票数 0
1回答
到目前为止，我一直在使用scrapy和编写自定义类来处理使用ajax的网站。但是，如果我使用scrapy-splash，据我所知，它会在javascript之后抓取呈现的html，爬虫的速度会受到严重影响吗？使用scrapy抓取一个普通的html页面所需的时间与使用scrapy-splash抓取javascript渲染的html所需的时间进行了怎样的比较？最后，scrapy spl
浏览 3提问于2018-04-18得票数 12
回答已采纳
我做了一个简单的蜘蛛，我使用命令行将我的数据导出为CSV格式，但是数据的顺序似乎是随机的。如何在输出中排序CSV字段？我使用以下命令行获取CSV数据：根据fields_to_export Scrapy文档，我应该能够使用BaseItemExporter但我不知道如何使用这一点，因为我没有找到任何简单的例子可仿效。
请注意：这个问题非常类似于 1。然
浏览 8提问于2013-12-24得票数 21
回答已采纳
我刚运行了一个爬行器，花了大约两个小时(见下面的截图)，但是我忘记使用命令行选项--logfile FILE (cf )。将记录的输出保存到文件中。
浏览 2提问于2017-04-20得票数 0
回答已采纳
使用Visual Studio 2015 Update 2和git作为源代码管理，如何在分支上的2次提交之间进行区别？请注意，我不是在谈论粒度文件级(即.查看文件和比较的历史记录)，而不是整个提交。我希望在查看分支的历史记录时能够进行比较，但该选项并不存在。下面是我在查看分支历史记录时右键单击提交时看到的右击菜单：比较在哪里？？
浏览 95提问于2016-06-15得票数 25
如何每次使用MVC3.0中的MySQL C#将当前记录与同一表中的前一个记录进行比较。-----------------------------------------------------------------------
现在，我希望得到这样的结果:将更新的类型记录与前一个记录进行比较，以便将前一个记录显示为前一个历史记录，以及通过与前一个记录进行比较而获得的记录，并且只将更新的字段显示为当前历史记录。现在根
浏览 3提问于2012-10-15得票数 0
我根据用户的元数据和历史行为对筛选过的项列表进行排序。一种方法可以是在训练和测试数据集中划分历史数据(例如90%和10%)。现在，从测试数据和排序输出比较用户的实际项。
浏览 0提问于2020-01-08得票数 2
1回答
我做了一个简单的抓取我所在城市房价广告的Scrapy爬虫。
name = 'example'
start_urls = [
浏览 9提问于2017-02-22得票数 2
回答已采纳
我已经在10到15个项目中使用了scrapy，并尝试了scrapy的解析器和lxml解析器。
我想知道哪一个是在python中可以使用的最好的解析器(就解析速度而言)。我试着比较他们的性能，通过测试他们在电子商务网站上为一个类别刮起产品名称。但却找不出速度。1.我使用lxml在scrapy 2内部进行解析。
浏览 0提问于2019-06-14得票数 1
回答已采纳
1回答
所以我想要一些想法，以及如何实现它们来改善这一点，例如，我有产品ID，所以如果我已经访问了一个包含该ID的链接，我就不想再访问它了。我想抓取所有的网页，但只访问包含产品的网页……但我不知道如何实现这两个想法:/import urllibfrom itertoolsis_url_already_visited, found_urls) pass
例如，在爬虫中，我<e
浏览 0提问于2015-11-23得票数 1
1回答
我正在尝试让Scrapy输出彩色日志。我对Python日志记录不是很熟悉，但我的理解是我必须制作自己的格式化程序，并让Scrapy使用它。我成功地使用Clint制作了一个格式化程序来对输出进行着色。我的问题是我不能让它在Scrapy中正常工作。我本以为爬行器中的记录器对象会有一个处理程序，然后我会切换该处理程序的格式化程序。crawler.spider.logger.logger.addHandler(sh)，其中sh是使用我的颜色格
浏览 8提问于2017-02-08得票数 4
回答已采纳
程序本身按照预期工作，但现在我不知道如何让它继续循环作为页面监视器工作。我计划出租一台服务器，让它无限期地在那里运行，如果在可用性或价格上有变化，它会通过松弛通知我。我只使用了一个蜘蛛，所以我的代码如下所示： name = 'page_monitor'
sitemap_urls
浏览 3提问于2017-09-26得票数 1
回答已采纳
1回答
我正在使用scrapy从一个网站抓取数据，.And我得到了这种格式的数据。注意:我使用的是Scrapy框架。
浏览 3提问于2020-06-03得票数 0
2回答
我从github下载了scrapy-redis，并按照说明运行它，但它失败了，并给出了这个错误： Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/Scrapy-0.16.3-py2.7.egg/scrapy</em
浏览 0提问于2013-01-04得票数 1
回答已采纳
2回答
我有两个表，我的目标是当我上传文件(该文件包含多个数据)时，我已经在表历史记录中插入了文件数据，第一步是，如果上传的文件包含EDC中存在的数据，则要将历史表与称为EDC表的表进行比较，如果匹配，则更新历史表(历史表包含列isExist)，如果不匹配，则希望将列isExist更新为0。S.IsExistEDW = 1 UPDATE set我搞错了
在合并语句的'WHEN no
浏览 3提问于2021-08-10得票数 0
回答已采纳
2回答
我对Scrapy很陌生。我正在研究如何使用它来抓取整个网站的链接，在其中我会将条目输出到多个JSON文件中。所以我可以把它们上传到Amazon搜索中进行索引。据我所读，项目出口商只能输出到每个蜘蛛一个文件。但是我只使用一个CrawlSpider来完成这个任务。如果我能对每个文件中包含的项目的数量设置一个限制，比如500或1000，那就太好了。下面是我迄今为止设置的代码(基于本教程中使用的Dmoz.org )：import
浏览 3提问于2015-09-30得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
