我想通过以下方式将设置发送到爬网程序：setting=request_user=2scrapyd.schedule(project,spider,settings={'request_user':2})fromscrapy.utils
浏览 14提问于2018-08-05得票数 0
2回答
我正在寻找一种在scrapyd中设置作业的方法，它在本地创建一个文件，然后在下一次爬网时覆盖它的内容，而不是附加它。据我所知，只有使用scrapy我才能使用这个命令但是似乎没有办法在scrapyd或curl命令行(我用来设置scrapyd)中
浏览 9提问于2018-12-03得票数 1
我试图在虚拟Ubuntu16.04服务器上运行Scrapyd，我通过SSH连接到该服务器。当我通过简单的跑来跑去的时候我可以通过连接到web界面。但是，一旦我关闭了SSH连接，web接口就不再可用了，因此，我认为我需要以某种方式在后台运行Scrapyd。
浏览 4提问于2017-11-01得票数 9
回答已采纳
我有以下两个具有以下配置的Scrapy项目[settings][deploy]和项目2的scrapy.cfgdefault = Project2.settings
浏览 6提问于2017-12-09得票数 1
我试过什么但是，Scrapyd记录每个刮过的Scrapy项目。在检查scrapyd 时可以看到这一点。我在一个Docker容器中运行scrapyd，它占用了太多的存储空间。
我尝试过，但这似乎对刮伤日志没有任何作用。所有蜘蛛日志记录设置似乎都被scrapyd忽略了。如果省略items_dir设置，似乎不会发生项日志记录。据说默认情况下这是禁用的。我没有
浏览 4提问于2016-04-24得票数 1
回答已采纳
1回答
我有一个带有多个蜘蛛的Scrapy项目。此项目托管在一个scrapyd实例上。我希望能够动态地更改项目settings.py文件(如DOWNLOADER_MIDDLEWARES)中的设置。是否可以在向scrapyd实例发送请求时更改这些设置。请注意，我不希望创建多个项目，因为这将导致跨项目重复公共代码。
谢谢
浏览 0提问于2014-09-23得票数 0
回答已采纳
我们在ubuntu18.04上运行python3.6中的scrapy2.1.0和scrapyd，遇到了一个问题，需要帮助我理解如何解决正确的方法。usr/local/lib/python3.6/dist-packages/scrapy/utils/project.py:94: ScrapyDeprecationWarning:不建议使用以SCRAPY_为前缀的环境变量来覆盖设置。我可以在scrapy项
浏览 2提问于2020-05-22得票数 3
2回答
我正在尝试根据我的环境(例如开发、生产)使用多种配置来开发我的Scrapy应用程序。我的问题是，有一些设置我不确定如何设置它们。例如，如果我必须设置我的数据库，在开发中应该是"localhost"，在生产中必须是另一个。
在执行scrapy deploy时，如何指定这些设置？我可以在命令行中使用变量来设置它们吗？
浏览 1提问于2014-05-13得票数 1
我目前正在使用Scrapyd启动爬行器，并且在Scrapy设置中设置了设置。由于@John响应，我发现有可能将设置传递给scrapyd的schedule方法 'unique_id': unique_id, # unique ID for2.1; +htt
浏览 0提问于2018-07-23得票数 1
回答已采纳
例如，调用没有问题。现在，我想设置scrapyd web服务来部署我的蜘蛛。由于上面提到的内容不起作用，我尝试让scrapyd服务器只使用scrapy命令从我的Scrapy项目目录中运行。从我的Scrapy项目的顶层目录执行scrapy server将产生以下结果：User
浏览 7提问于2012-08-31得票数 10
我试图将用户定义的参数传递给scrapy的爬行器。有谁能建议一下如何做到这一点吗？
我在某处读到过一个参数-a，但不知道如何使用它。
浏览 7提问于2013-03-25得票数 121
回答已采纳
1回答
看起来没有合法的方式来暂停/继续使用Scrapyd进行爬行，就像Scrapy本身一样(抓取爬行器-s JOBDIR=jobdir/ spider -1)。那么，是否可以使用Scrapyd暂停/继续作业？
耽误您时间，实在对不起
浏览 0提问于2017-09-26得票数 4
1回答
生产中的刮刮+ Django
、、、、
我正在编写一个Django web应用程序，它利用了Scrapy，并且在本地都很好，但是我想知道如何建立一个生产环境，在这个环境中，我的蜘蛛会定期和自动地启动(我的意思是，一旦蜘蛛完成它的工作，它会在一定时间后重新启动目前，我使用一个定制Django命令启动我的蜘蛛，该命令的主要目标是允许使用Django的ORM存储已刮过的项目，因此我运行：
python manage.py scrapy crawl myspider我安装了，因为这似乎是在生产中运行scrapy的首选方法，但不幸的是，我不能在不编写猴子补丁(我想避免)的
浏览 4提问于2014-10-27得票数 0
2回答
我正在使用django开始抓取抓取spiders = scrapyd.list_spiders("default") scrapyd.schedule("default", spider, list_id=list.id, spiders_number将信息从spider发送到django很
浏览 1提问于2020-03-26得票数 0
1回答
在我的scrapy.cfg文件中有：url = http://localhost:6800/我用scrapyd-deploy -l测试test http://localhost:6800/setup( vers
浏览 3提问于2017-03-24得票数 1
回答已采纳
我正试图将我的项目从scrapy更改为scrapyd，因为我的主机提供者告诉我这样做更容易。然而，我发现可用的文档确实令人困惑。在我的scrapy.cfg文件中，我取消了[deploy]下面的注释。问题是，当我运行scrapyd-deploy -l (如中所指出的)时，它没有获得一个包含可用目标的列表，而是要求我在文本编辑器中打开一个文件。打开的文件如下：当我运行默认设置时，这个文件也会打开。或者只是剪贴-部署。以及应该设置的用户名和密码。
如果这是基本问题
浏览 0提问于2016-05-27得票数 0
回答已采纳
Scrapy从settings.py获取设置(有默认设置、项目设置、每个爬行器的设置)。我正在寻找的是能够有一个以上的文件与设置，并能够在它们之间切换，因为我启动我的蜘蛛快速。如果你从Java世界了解Spring Boot，就会有一个关于配置文件的概念。您有包含基本设置的application.settings文件。我已经找到了一种不需要支持代码的Scrapy方法。方法是使用SCRAPY</
浏览 0提问于2019-03-14得票数 3
我正在运行Scrapyd，在同时启动4个爬虫时遇到了一个奇怪的问题。Process finished: project='thz' spider='spider_4' job='abb7bb8e50ce11e19123c8bcc8cc6233' pid=2549 [scrapyd]为什么Scrapyd没有在同一时间运行蜘蛛，就像他们计划的那样快？
浏览 0提问于2012-02-06得票数 9
回答已采纳
23回答
这是Windows 7和python 2.7我的蜘蛛位于caps\caps\spiders\campSpider.py我加入了这个项目，然后尝试运行我犯了一个错误，就是找不到蜘蛛。spider = self.crawler.spiders.create(spname, **opts.spargs)
File "c:\Python27\lib\site-packages\<
浏览 6提问于2012-03-26得票数 43
回答已采纳
1回答
我正在尝试配置使用slyd创建的蜘蛛以使用，因此我发送-d parameter=value来配置它：ELASTICSEARCH_USERNAME = ''ELASTICSEARCH_INDEX = 'scrapy'
ELASTICSEARCH_TYPE = 'i
浏览 2提问于2014-09-11得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
