找不到Scrapy - Spider - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

找不到Scrapy - Spider

python、scrapy

我一直在尝试运行一个机器人，但一直收到找不到错误蜘蛛的消息。我在目录中检查了蜘蛛确实在那里。下面是错误。我也试图chna=anged蜘蛛的名字，但它不起作用。任何帮助都将不胜感激。谢谢。: Scrapy 2.1.0 started (bot: 2021-02-08 15:12:58 [scrapy.utils.log] INFO: Versions: lxml_spiders[spider_name] During hand

浏览 19提问于2021-02-09得票数 0

2回答

刮伤:蜘蛛破坏者(del)从未执行过

python、scrapy、destructor、scrapy-spider

我已经创建了一个运行良好的爬行器(它完成了应该做的事情)，但是当完成工作时，它不会执行析构函数代码(del)stuff stuff_1 当MySpider完成时，我如何执行我的“add-1”代码？

浏览 3提问于2015-07-09得票数 0

2回答

ModuleNotFoundError:我的项目中文件夹结构问题？

python、scrapy

我刚开始使用scrapy和vscode，我的项目非常好，直到我决定在上传github之前整理文件夹。在那之后，整个项目就不再有效了。我很确定我搞砸了文件夹结构： ├── project1/ │ │ ├── spiders/ │ │ │ └── project1__spider.py │ │

浏览 5提问于2022-05-14得票数 -1

5回答

在本地运行Scrapy中的所有爬行器

python、web-crawler、scrapy

有没有办法在不使用Scrapy守护进程的情况下运行Scrapy项目中的所有爬行器？过去有一种方法可以用scrapy crawl运行多个爬行器，但这种语法被删除了，Scrapy的代码也发生了很大的变化。我尝试创建自己的命令：from scrapy.utils.misc import load_object File "/usr&#

浏览 0提问于2013-03-22得票数 17

回答已采纳

2回答

(Python)在导入的模块scrapy中找不到任何项目

python、directory、scrapy

我在此路径C:\Users\PATTY\Desktop\Project_Website\Scrapy上使用scrapy启动了一个项目import scrapy class QuotesSpider(scrapy.Spider): # ErrorCannot find reference Spider in imported m

浏览 11提问于2017-03-02得票数 0

回答已采纳

3回答

在scrapy中为1个网站并行运行多个爬虫？

python、web-scraping、scrapy、web-crawler、scrapy-spider

我试着有两个不同的类，并运行它们scrapy crawl secondSpider 但我认为这并不明智。

浏览 2提问于2016-09-07得票数 6

回答已采纳

23回答

刮擦蜘蛛找不到错误

python、scrapy

这是Windows 7和python 2.7我的蜘蛛位于caps\caps\spiders\campSpider.py我加入了这个项目，然后尝试运行我犯了一个错误，就是找不到蜘蛛。spider = self.crawler.spiders.create(spname, **opts.spargs) File "c:\Python27\l

浏览 6提问于2012-03-26得票数 43

回答已采纳

1回答

如何在风流DAG中运行状态1下退出死气沉沉

python、scrapy、airflow、directed-acyclic-graphs

我正试图退出scrapy，状态代码1处于异常状态。脚本正在通过DAG运行。但是，状态代码1没有退出该任务。'ImageId']).content logging.error("Error is " + str(e)) sys.exit(1) 2019年-08-21 09:34:16,199 {bash_operator

浏览 1提问于2019-08-21得票数 2

2回答

Scrapy:如何一个接一个地运行两个爬虫？

python、scrapy

我在同一个项目中有两个蜘蛛。其中一个依赖于另一个先运行。它们使用不同的管道。如何确保它们按顺序运行？

浏览 1提问于2014-12-11得票数 3

1回答

从脚本运行Scrapy -挂起

python、scrapy

我正在尝试从脚本中运行scrapy，就像讨论的一样。它建议使用代码片段，但当我这样做时，它会无限期地挂起。这是在.10版本中写回的；它仍然与当前的稳定版本兼容吗？

浏览 1提问于2011-06-27得票数 7

回答已采纳

1回答

如何将start_urls传递给scrapy

python、scrapy

基于here的建议，我正在尝试： scrapy crawl spider-name -a start_urls="https://start-url.com/" 我得到了： Traceback (mostrecent call last): File "/usr/local/lib/python3.9/site-packages/scrapy/core/engine.py", line 1

浏览 47提问于2021-09-08得票数 0

0回答

Scrapy - basic scraper示例不返回任何输出

python、scrapy

我在Anaconda上运行scrapy，并尝试运行中的示例代码，如下所示：from scrapy import Spider name = "brickset_spider" start_urls = ['http://brickset.com/sets/year-2016&

浏览 9提问于2018-07-06得票数 0

回答已采纳

1回答

在抓取蜘蛛中运行多个蜘蛛-找不到

python、scrapy

一个蜘蛛，news_spider使用以下命令工作scrapy crawl quotes_spider -o quotes.json │ └── quotes_spider.cpython-

浏览 1提问于2020-10-22得票数 0

回答已采纳

2回答

我怎样才能把这两个蜘蛛组合成一个呢？

python、scrapy

spiderA包含： import scrapy name = "spiderA" pass spiderB包含： import scrapyimport pkgutil class StockSpider(

浏览 15提问于2019-03-17得票数 4

回答已采纳

1回答

init()得到了一个意外的关键字参数'_job‘

python、python-2.7、selenium、scrapy、scrapyd

import shikariItem name = "run"import Displayfrom shikari.items import shikariItem class Radiate(scrapy.Spider/crawler.py", line 70, i

浏览 4提问于2016-02-23得票数 2

回答已采纳

2回答

为什么我的剧本不见了？

python、scrapy

这可能是一些基本的东西，但我找不到任何最近(非反对)的例子。Item): link = Field() name = "dmoz" start_urls = [scrap

浏览 3提问于2014-02-21得票数 0

回答已采纳

2回答

Scrapy如何找到蜘蛛类的名字？

python、scrapy

说我有一只蜘蛛： name ='spname'spider= SomeSpider()crawler.configure()....crawler.crawl('spname') ## I give just the spider

浏览 2提问于2014-04-02得票数 2

回答已采纳

1回答

一个项目中蜘蛛的不同项管道

scrapy

我想有一个包含两个蜘蛛的抓取项目。我希望每个人都能以不同的方式配置它们的项目管道。任何帮助都将不胜感激，我试着在谷歌上搜索解决方案或任何变通方法。我没有发现任何有意义的东西。

浏览 6提问于2021-09-21得票数 1

回答已采纳

6回答

scrapy:在爬虫退出时调用函数

python、scrapy

有没有办法在Spider类中的方法终止之前触发它？但我找不到任何关于如何确定蜘蛛何时自然退出的信息。

浏览 2提问于2012-09-13得票数 51

回答已采纳

1回答

Scrapy ` `ReactorNotRestartable`：运行两个(或多个)蜘蛛的一个类

scrapy、twisted、scrapy-spider

我正在用Scrapy两阶段爬行来聚合日常数据。第一阶段从索引页面生成URL列表，第二阶段为列表中的每个URL编写HTML到Kafka主题。from twisted.internet import reactorfrom scrapy import log, signals from scrapy_somesite.spiders.create_urls_s

浏览 3提问于2015-06-21得票数 5

回答已采纳

点击加载更多