我一直在使用堆栈溢出(https://stackoverflow.com/a/43661172/5037146)中描述的方法，使用爬虫运行程序从脚本中运行scrapy，以允许重新启动进程。但是，当我通过CrawlerRunner运行进程时，我没有得到任何控制台日志，而当我使用CrawlerProcess时，它会输出状态和进度。
浏览 19提问于2019-08-30得票数 0
回答已采纳
我正在尝试从Django调用scrapy spider，views.py file.The spider确实被调用了，但它的输出显示在命令提示符中，并且没有保存在Django模型中以将其呈现到页面上。我单独检查了运行爬虫以验证scrapy和Django是否连接并且工作正常，但当使用CrawlerRunner()脚本进行自动化时，它不能正常工作。所以在Django Views.py文件的CrawlerRunner()实现中缺少一些组件。import signals
from twisted
浏览 44提问于2020-02-01得票数 0
回答已采纳
我正在尝试更改Scrapy的设置。我之前已经成功地为CrawlerProcess做到了这一点。但我似乎不能让它在CrawlerRunner上工作。日志应该被禁用，但我仍然可以看到日志的输出。import scrapyfrom scrapy.crawler import CrawlerRunner
fromscrapy.utils.log import configure_loggi
浏览 3提问于2017-03-24得票数 2
render_template, request, redirect, url_for, session, make_responsefrom scrapy.spidersimport CrawlSpider, Rulefrom scrapy.crawler import在finish-crawl.html中，用户可以下载具有输出的文件(没有包含它，因为
浏览 19提问于2020-12-31得票数 1
回答已采纳
2回答
我正在尝试使用CrawlerRunner()从脚本启动一个剪贴画，以便在AWS Lambda中启动。代码如下：from scrapy.crawler import CrawlerRunner
configure_logging({'L
浏览 0提问于2019-01-29得票数 0
我使用脚本文件在scrapy项目中运行爬行器，并且爬行器记录爬虫的输出/结果。但是我想在脚本文件中使用爬行器输出/结果，在某些函数中，.I不想将输出/结果保存在任何文件或DB中。下面是从获取的脚本代码from scrapy.crawler import CrawlerRunner
from scrapy.utils.logimport configure_loggi
浏览 3提问于2016-10-25得票数 12
我正在使用scrapy2.6，这是我的代码：from football.spiders.laliga importLaligaSpider
process = CrawlerProcess(settings
浏览 19提问于2022-03-20得票数 3
默认用法是：from twisted.internet import reactorfromscrapy.utils.log import configure_logging
# Your fir
浏览 7提问于2022-10-14得票数 1
回答已采纳
1回答
books = Book.objects.filter(title__contains=key) # I want to call the scrapy
浏览 3提问于2016-04-27得票数 6
我试着在下面的代码上调试运行，并在settings.py文件中有一个断点，它完成时没有进入这一行代码：runner = CrawlerRunner()
我想做的是在一次运行中运行多个蜘蛛
浏览 1提问于2017-05-15得票数 2
回答已采纳
1回答
下面是我的代码： from scrapy.spiders import CrawlSpider, Rule
name
浏览 16提问于2020-12-30得票数 2
回答已采纳
import scrapy }
runner2 = CrawlerRunnerrunner2 = Crawle
浏览 2提问于2022-09-12得票数 0
回答已采纳
蜘蛛代码：name = 'content'start_urls = []
app = Flask(__name__)
crawl_runner = CrawlerRunner()
浏览 5提问于2020-08-15得票数 0
回答已采纳
from scrapy.crawler import CrawlerRunner runner = CrawlerRunner因此，使用CrawlerRunner时，在执行爬行器时不会
浏览 1提问于2018-10-31得票数 7
1回答
根据documentation ，我正在尝试从python脚本运行scrapy
spider = PitchforkSpider(domain='"pitchfork.com我的版本是Scrapy 1.1.2
浏览 5提问于2016-09-26得票数 0
回答已采纳
我在Scrapy中测试了代码并运行良好。from scrapy.crawler import CrawlerRunner
浏览 3提问于2022-09-28得票数 0
回答已采纳
1回答
我试着这样做： from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
浏览 19提问于2019-02-28得票数 2
回答已采纳
1回答
如何在芹菜中运行抓取蜘蛛
、、、
关于如何在芹菜任务中设置Scrapy，避免重新启动Twister反应器以防止twisted.internet.error.ReactorNotRestartable错误，有几个帖子。我尝试过使用CrawlerRunner作为和，但要使其工作，必须从代码中删除以下行：reactor.run() # Script这是完整的代码：
@app.task(bind=True,
浏览 5提问于2022-02-02得票数 1
在我的close函数中，我正在检查今天刮过的文档是否存在，如果找不到这样的文档，我想告诉我的蜘蛛再刮一次。基本上，我需要一个强大的方法，让刮刀继续调用它的爬行例程，直到满足某个条件或MAX_RETRIES已经用尽。
浏览 5提问于2022-02-11得票数 0
回答已采纳
我想在这个url上保存信息，我按照Scrapy教程学习了如何使用这个工具。但是，有没有一种方法可以在MyScrapClass.crawl()这样的Python项目中启动爬行，而不是使用linux命令scrapy crawl MyScrapProject？
浏览 1提问于2016-03-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
