我输入了‘`scrapy version`，但它触发或加载了文件夹中的其他爬行器
scrapy version是Scrapy框架中的一个命令，用于查看安装的Scrapy版本号。当执行该命令时，Scrapy会加载项目文件夹中的其他爬虫。
Scrapy是一个开源的Python框架，用于快速、高效地爬取和提取网页数据。它基于异步网络库Twisted，具有高度可定制性和可扩展性。Scrapy框架采用了分布式架构，支持多个爬虫同时运行，可以通过配置文件进行灵活的配置。
当执行scrapy version命令时，Scrapy会首先加载项目文件夹中的配置文件（scrapy.cfg），然后根据配置文件中的设置加载其他爬虫。这些爬虫可以是单独的Python文件，也可以是Scrapy框架中的Spider类。
加载其他爬虫的目的是为了方便在同一个项目中管理和运行多个爬虫。通过将不同的爬虫放置在项目文件夹中，并在配置文件中进行配置，可以实现对不同网站的并行爬取和数据提取。
在Scrapy框架中，可以通过编写Spider类来定义爬虫的行为。Spider类包含了爬取和解析网页的逻辑，可以通过配置文件或命令行参数指定要运行的Spider类。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：提供高度可扩展的容器化应用管理平台，支持快速部署和管理容器化应用。详情请参考：腾讯云容器服务
- 腾讯云云服务器（CVM）：提供弹性计算能力，支持按需创建、配置和管理云服务器实例。详情请参考：腾讯云云服务器
- 腾讯云对象存储（Cloud Object Storage，COS）：提供安全、稳定、低成本的云端存储服务，适用于各种数据存储和应用场景。详情请参考：腾讯云对象存储
- 腾讯云人工智能（AI）：提供丰富的人工智能服务和解决方案，包括图像识别、语音识别、自然语言处理等。详情请参考：腾讯云人工智能
- 腾讯云区块链服务（Tencent Blockchain as a Service，TBaaS）：提供简单易用的区块链服务，支持快速搭建和管理区块链网络。详情请参考：腾讯云区块链服务
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求进行评估和决策。
相关·内容
我对Scrapy比较陌生，我只是像下面这样输入scrapy version；但它确实触发了文件夹中的爬虫。 显然，我正在开发一些爬行器，例如，一个爬行器在init方法中打开Chrome web驱动程序，只需输入Scrapy version就可以打开Chrome浏览器。为什么Scrapy要加载文件夹中的所有蜘蛛？如何避免这种情况？ (django_corp_data):~/sherlockit$ scrapy version
['version']
corp_data.spiders.quote
version
Scrapy 1.8.0
浏览 11提问于2020-04-01得票数 0
我已经在中建立了一个网站。我需要使用网络爬行功能。所以我安装了Scrapy。正如他们的教程中所述，Scrapy是通过使用
scrapy startproject dmoz
但这适用于有自己文件的diff文件夹。
是否可以在Django类中使用Scrapy函数并将数据放入Django变量中？
浏览 1提问于2011-06-04得票数 1
回答已采纳
5回答
嗨，我在scrapy上工作，我用scrapy startproject example创建了一个scrapy文件夹，并编写了爬行器来抓取url中的所有数据，我已经使用scrapy crawl spider_name命令运行了爬行器，它工作得很好，能够提取数据。
但是我有一个要求，我需要用创建的单个爬虫文件运行scrapy，我的意思是单个py文件，类似于
python -u /path/to/spider_file_inside_scrapy_folder_created.py
在创建包含spider.py文件的scrapy项目文件夹后，是否可以在没有scrapy crawl命令的情况下运行爬行
浏览 1提问于2012-09-29得票数 8
回答已采纳
在Ubuntu13.04中，我从tarball中为python-2.7安装了Scrapy。执行爬行命令将导致以下错误：
ImportError:错误加载对象‘scrapy.telnett.elnetConsole’：没有名为conch的模块
我还尝试过使用easy_install和tarball安装扭曲的海螺。我还从python中删除了scrappy.egg和.info以及主文件文件夹。
重新安装刮伤也没有帮助。
某个人能把我引向正确的方向吗？
浏览 6提问于2013-06-23得票数 5
1回答
我设法使用调试爬行器找到了要隔离的属性，但我不确定是否正确地将其合并到我的爬行器中。当爬行器运行时，我没有得到明确的错误信息，所以我想我只是间接地输入了选择器。
我正在爬行的网站是"“，我在调试爬行器中输入的路径命令是"response.xpath('//div@class="show_sec_button"/text()')"，，它会拉出我正在寻找的确切响应。
这是我的蜘蛛：
import scrapy
from smiling_moose.items import SMItem
class Smspider (scrapy.Spi
浏览 2提问于2015-12-07得票数 0
Scrapy文档列出了所有并解释了。但是，您声明的任何ItemLoaders都将应用于所有已处理的项。您可以使用稍微修改它们的行为，但这通常不够细粒度。
假设我有一个Scrapy项目，其中的爬行器和项都继承了相同的基本爬行器和项加载器，但爬行器都包含特定于站点的逻辑和一些公共函数。在Scrapy文档中，我找不到任何关于向ItemLoaders添加类方法的内容，而不是：
import mymodule
class MySpider(BaseSpiderName):
def parse_item(self, response):
product = ItemLoader(item=P
浏览 0提问于2019-02-02得票数 1
我正在尝试使用子进程调用运行scrapy爬行器，但它不接受任何参数，它知道什么是scrapy。例如：
from subprocess import call
call(["scrapy"], shell=True)
工作正常，并给出预期的输出-
Scrapy 1.1.1 - project: instagram
Usage:
scrapy <command> [options] [args]
Available commands:
bench Run quick benchmark test
check Check s
浏览 4提问于2016-12-21得票数 0
我在命令行中创建了一个scrapy项目，并添加了两个爬行器myspider1和myspider2。每当我运行"scrapy crawl myspider1“或""scrapy crawl myspider2”“时，它都会启动"myspider1”。
当我运行"scrapy list“时，它也会启动myspider1
我在python的vertualenv下运行它，但我不明白它为什么要这样做。似乎每当我使用scrapy运行命令时，它总是执行我的爬行器文件夹中的第一个爬行器。
你知道为什么会发生这种事吗？
浏览 2提问于2016-02-09得票数 1
1回答
我有一个利用项目管道的scrapy项目。我使用Scrapy的"startproject“命令来创建我的项目，所以我认为我的文件夹结构是准确的。
我已经尝试将VersionSpider.py文件移动到外部目录，即与items模块相同的目录，这是可行的。但是，当我运行scrapy crawl命令时，它找不到爬行器，因为它不在正确的目录中。
文件结构：~
from CFBScraper.items import VersionItem
ModuleNotFoundError: No module named 'CFBScraper'
浏览 0提问于2019-10-06得票数 1
1回答
示例:如果爬行器在page15上抛出异常，它应该能够在第15页重新启动。
当我阅读Scrapy文档时，在作业:暂停和继续爬行主题下，我使用文档中提到的命令运行爬行器，即scrapy爬行蜘蛛名称-s JOBDIR=目录路径。
因此，当我进入特定的目录-路径时，我可以看到已经创建了三个文件，即requests.queue、requests.seen和spider.state --我可以看到只有spider.state有1KB大小，rest两个文件是0KB，但是在运行蜘蛛时，在requests.queue文件夹下将创建一个名为p0的文件，但是一旦蜘蛛停止并再次运行，requests.queue文件夹
浏览 0提问于2018-11-29得票数 1
回答已采纳
2回答
我试着在我的centOs中运行scrapy。由于centos附带安装了python2.6，而scrapy需要python2.7，所以我尝试创建虚拟环境并在其中运行scrapy，但仍然出现错误
Scrapy 0.24.4 requires Python 2.7.
以下是我关于启动爬行器的输出
(scrapyproject)[imadmin@IM03 tutorial]$ python --version
Python 2.7.6
(scrapyproject)[imadmin@IM03 tutorial]$ scrapy gen_spider
Scrapy 0.24.4 requires Pyt
浏览 0提问于2014-11-04得票数 3
我习惯于这样做，以便检查HTML并找出xpath：
$ scrapy shell http://www.domain.com/whatever
现在我有了一个爬虫，它必须接受一些参数。就像这样
$ scrapy crawl -a arg1=one MySpiderForDomainDotCom
而且我仍然想从命令行调用shell。但是现在scrapy尝试使用/加载我的爬行器(文档说它是这样做的)，我得到一个错误，说爬行器没有参数。我的问题是，当爬行器必须接收参数时，如何从命令行调用shell？
我试过一些东西和组合，在网上搜索过，但什么都没有...
PS: scrapy 0.22.2
PS2:
浏览 2提问于2014-03-20得票数 1
有人能给我解释一下Scrapy中的暂停/恢复功能是如何工作的吗？
我使用的scrapy版本是0.24.5
没有提供太多细节。
我有以下简单的爬虫：
class SampleSpider(Spider):
name = 'sample'
def start_requests(self):
yield Request(url='https://colostate.textbookrack.com/listingDetails?lst_id=1053')
yield Request(url='https://colostate
浏览 0提问于2015-03-04得票数 8
我在同一个工作区中有一个包含django和scrapy文件夹的项目：
my_project/
django_project/
django_project/
settings.py
app1/
app2/
manage.py
...
scrapy_project/
scrapy_project/
settings.py
scrapy.cfg
...
我已经将scrapy与我的django app1模型连接
浏览 1提问于2017-02-28得票数 7
我正在使用scrapy创建一个示例web爬虫作为一个Nameko依赖提供商，但它没有爬行任何网页。下面是代码
import scrapy
from scrapy import crawler
from nameko import extensions
from twisted.internet import reactor
class TestSpider(scrapy.Spider):
name = 'test_spider'
result = None
def parse(self, response):
TestSpider.
浏览 0提问于2017-09-03得票数 1
回答已采纳
4回答
我不得不使用scrapy框架抓取使用TLSV1.2的。但在请求URL时，它无法加载和引发[<twisted.python.failure.Failure <class 'OpenSSL.SSL.Error'>>]。
在git 上有讨论过的问题，但它对我不起作用。我有scrapy版本0.24.5和扭曲版本>=14。
当我尝试爬行另一个同样使用TLSV1.2的站点时，它可以工作，但不适用于。如何解决这个问题？
浏览 0提问于2015-06-24得票数 5
我刚刚在Windows32上下载了Scrapy (网络爬虫)，并且刚刚使用dos中的"scrapy-ctl.py startproject dmoz“命令创建了一个新的项目文件夹。然后，我使用以下命令创建了第一个爬行器：
scrapy-ctl.py genspider myspider myspdier-domain.com
但它不起作用，并返回错误：
Error running: scrapy-ctl.py genspider, Cannot find project settings module in python path: scrapy_settings.
我知道我设置的路径
浏览 3提问于2010-05-16得票数 2
回答已采纳
1回答
到目前为止，我们使用已经有一段时间了。它为一个scrapy项目提供了一个很好的包装器，并且它的爬行器可以通过HTTP API控制爬行器：
Scrapyd是一个用于运行Scrapy爬行器的服务。
它允许您部署Scrapy项目并使用HTTP JSON API控制它们的爬行器。
但是，最近我注意到了另一个“新鲜”的包-- ，根据项目描述，它听起来非常有前途，类似于Scrapyd
Scrapy 服务器，它提供了用于调度Scrapy爬行器和使用爬行器进行请求的应用程序接口。
这个包是Scrapyd的替代品吗？若有，两者有何分别？
浏览 120提问于2016-05-18得票数 26
回答已采纳
大家好，我正在建立一个使用scrapy框架和python的web scraping项目。在我的项目的爬行器文件夹中，有两个名为spider1和spider2的爬行器
spider1.py
class spider(BaseSpider):
name= "spider1"
........
........
spider2.py
class spider(BaseSpider):
name="spider2"
............
...........
settings.py
SPIDER_MODULES =
浏览 5提问于2013-08-01得票数 2
我设置了一个Scrapy爬行器来解析xml提要，处理大约20,000条记录。
出于开发的目的，我想限制处理的项目数量。通过阅读我确定的Scrapy文档，我需要使用扩展。
我遵循了如何启用它的指南-在我的爬虫配置中，我有以下内容：
CLOSESPIDER_ITEMCOUNT = 1
EXTENSIONS = {
'scrapy.extensions.closespider.CloseSpider': 500,
}
但是，我的爬行器从不终止-我知道CONCURRENT_REQUESTS设置会影响爬行器实际终止的时间(因为它将继续处理每个并发请求)，但它只设置为默认值16，而
浏览 0提问于2017-06-15得票数 4
我正在尝试使用Scrapy shell测试一些XPaths，但它似乎调用了我不完整的爬虫模块来执行抓取，这不是我想要的。有没有一种方法来定义蜘蛛刮痕与它的外壳一起使用？更重要的是，为什么Scrapy要这样做；难道它不应该知道爬虫还没有准备好使用吗？这就是我使用shell的原因，对吗？否则我就会用
scrapy crawl spider_name
如果我想使用特定的蜘蛛。
编辑:在一直查看了Spider文档之后，我发现了shell中使用的spider实例的以下描述。
爬行器-已知用于处理URL的爬行器，如果没有为当前URL找到爬行器，则为BaseSpider对象。
这意味着，scrapy已经将U
浏览 0提问于2011-07-03得票数 5
回答已采纳
1回答
我试图使用scrapy访问“爬行”命令，但它会引发“未知命令:爬行”错误。所以我想我必须去刮刮的地方然后从那里跑。不过，当我试着做这个的时候：
C:\Python27\Lib\site-packages\scrapy>scrapy crawl my_spider
Scrapy 1.4.0 - no active project
Unknown command: crawl
我真的不知道我该做什么。谢谢你的帮助<3
编辑：
当我运行我的项目文件，也就是我在D dir上创建自己时，仍然会引发相同的错误。这是我的项目文件：
D:\atexit\crawl>ls
source.py
浏览 1提问于2017-09-08得票数 1
回答已采纳
1回答
我写了一个简单的爬行器，我想要跟随域中的所有链接(在这个例子中是amazon.com)这是我到目前为止的代码 # -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from urllib.parse import urlparse
from scrapy.utils.response import open_in_browser
class ExampleSpider(CrawlSpid
浏览 8提问于2020-04-14得票数 0
回答已采纳
我正在刮一个需要referer的网站。
我把它设成这样。
DEFAULT_REQUEST_HEADERS = {
'Referer': 'http://www.referer.com'
}
当我在项目文件夹中尝试scrapy shell url时(其中一个文件夹有scrapy.cfg)，这意味着它在settings.py文件中使用相同的设置，我可以看到referer在请求中，但是我得到了一个403响应。
scrapy.core.engine调试:爬行(403) (引用者：)
然而，在不改变任何事情的情况下，scrapy crawl my_spide
浏览 3提问于2018-09-06得票数 0
我按照教程制作了一个网络刮刀。
概述：-
创建病毒环境(virtualenv .)
激活它(.\Scripts\activate)
scrapy.cfg所在的dir (cd quotetutorial)
创建quotes_spider.py
执行scrapy crawl quotes和scrapy genspider quotes quotes.toscrape.com并获得相同的错误
spider_quotes.py文件内容：-
class QuoteSpider(scrapy.Spider):#inheriting from class scrapy from
浏览 3提问于2021-06-06得票数 1
1回答
在Scrapy中，您必须定义start_url，但是我如何从其他urls中爬行呢？
到目前为止，我有一个登录脚本，登录到一个网页。登录后，我希望从不同的urls中提取xml。
import scrapy
class LoginSpider(scrapy.Spider):
name = 'example'
start_urls = ['login page']
urls = ['url','url']
def parse(self, response):
return scrapy.FormReq
浏览 2提问于2015-06-05得票数 1
回答已采纳
下面的代码cd进入刮取文件夹，并输入命令"scrapy爬行黄色“。它工作得很好，但是我想让这个更面向对象的外观，使用类似的东西
if__name__== "__main__"
不知道如何实现这类代码。最终，我希望这是一个可执行文件，这就是为什么我试图使它更加面向对象。
App.py
import os
import subprocess
cw = os.getcwd()
path = '/scrape'
ourPath = cw + os.path.join(path)
if(ourPath):
os.chdir(ourPath)
浏览 0提问于2019-01-28得票数 -3
回答已采纳
1回答
我目前正在尝试使用Scrapy框架来简单地收集一堆URL，以便稍后存储和排序。然而，我似乎不能让URL打印或在回调时存储在文件中，无论我尝试过什么或改编自其他教程。下面是我的爬行器类在这个特定示例中要做的事情，选择一个小站点：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from crawler.items imp
浏览 0提问于2013-05-23得票数 0
我正在尝试构建一个runner.py文件来帮助我调试我的爬行器代码。调试runner.py文件应该与调试函数一起使用是Visual Studio，带我到我的" dogbreeds“爬行器，并逐行运行THe爬行器代码。以下是我拥有的runner.py文件代码：
import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from **puppyfind**.spiders.dogbreeds import dogbreedsSpi
浏览 14提问于2019-11-04得票数 0
回答已采纳
在scrapy 2.0.1中，我尝试设置每个爬行器的深度设置。虽然它可以在全局设置中工作，但它不适用于每个爬行器的单独设置：
class GetbidSpider(CrawlSpider):
name = 'test'
custom_settings = {
'DOWNLOAD_DELAY': 5,
'DEPTH_LIMIT': 1,
}
还有这个中间件：
from scrapy import signals
class BidSpiderMiddleware(object):
浏览 1提问于2020-04-22得票数 1
我尝试运行站点地图蜘蛛，但它拒绝爬行，压缩的sitemaps.It给出了以下错误
[scrapy] WARNING: Ignoring non-XML sitemap
是否有需要启用的设置才能允许解析gzipped站点地图？
我使用的是scrapy版本0.15
浏览 0提问于2011-12-23得票数 3
我使用脚本文件在scrapy项目中运行爬行器，并且爬行器记录爬虫的输出/结果。但是我想在脚本文件中使用爬行器输出/结果，在某些函数中，.I不想将输出/结果保存在任何文件或DB中。下面是从获取的脚本代码
from twisted.internet import reactor
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
from scrapy.utils.project import get_project_settings
configure_logging({
浏览 3提问于2016-10-25得票数 12
1回答
我有scrapy项目(Scrapy 1.4，Python 3.x)。当条件不满足时，我想重新运行我的爬行器。我在我的spider_closed函数中这样做
def __init__(self):
dispatcher.connect(self.spider_closed, signals.spider_closed)
def spider_closed(self):
if sth1 != sth2:
RESTART SPIDER
else:
FINISH SPIDER
我尝试了所有可能的方法:使用os命令运行爬行器，在bash脚本中运行
浏览 1提问于2017-11-14得票数 1
1回答
启用deltafetch后，scrapy仍然在爬行以前爬行的urls。
系统为RHEL6.5
[root@hostname ~]# python -V
Python 2.6.6
我通过pip安装了deltafetch：
[root@hostname ~]# pip search scrapy
Scrapy - A high-level Python Screen Scraping framework
INSTALLED: 0.18.4
LATEST: 0.22.2
[root@hostname ~]# pip search scrapyli
浏览 1提问于2014-06-20得票数 2
回答已采纳
我使用的是带有刮擦命令行的CrawlSpider。一切都很好：
刮痕爬行--nolog新产品履带机
现在我想使用CrawlerProcess，当导入它时，item模块会崩溃。
发生异常: ModuleNotFoundError
没有名为“产品监督”的模块
同样，在setting.py中，我启用了具有类似模块的管道，并且没有加载它。
from productsupervision.responseitem import ResponseItem
startUp.py
[...]
process = CrawlerProcess(get_project_settings())
浏览 1提问于2018-12-28得票数 0
1回答
我对Scrapy的经验是有限的，每次我使用它，它总是通过终端的命令。我如何从django模板中获取表单数据(一个要被刮掉的url )来与scrapy通信，从而开始进行抓取？到目前为止，我只考虑从django的视图中获取表单的返回数据，然后尝试将表单数据的url添加到爬行器的spider.py中。从那里开始，我真的不知道如何触发实际的爬行，因为我习惯于使用诸如“”之类的命令严格地通过我的终端进行爬行。谢谢。
小编辑:刚刚发现了剪贴..。我想我这样做可能会朝着正确的方向发展。
浏览 1提问于2014-11-14得票数 11
回答已采纳
对于一个scrapy项目，我开发了多个爬行器，并将它们存储在同一个爬行器文件夹中。
我使用以下命令通过cmd运行所有的抓取器: scrapy crawl spidername
然而，我注意到它遵守了项目或文件夹中的所有爬虫，尽管它们存储在不同的python文件中，具有不同的文件名，不同的爬行器名称，不同的类名和不同的输出名称。
我注意到这种情况的发生，因为我在代码中生成了csv，尽管只运行了一个爬行器，所有其他爬行器的输出csv也都生成了，但文件大小为0kb。另一个例子是，如果我运行spider1并获得spider1所需的输出csv；然后运行spider2，spider1的输出csv文件将被重
浏览 0提问于2015-01-12得票数 0
我正在尝试连续运行两个爬行器，以下是我的模块的结构 class tmallSpider(scrapy.Spider):
name = 'tspider'
...
class jdSpider(scrapy.Spider):
name = 'jspider'
...
process = CrawlerProcess(get_project_settings())
process.crawl('tspider')
process.crawl('jspider')
process.start(sto
浏览 158提问于2020-07-09得票数 0
我正试图在Scrapyd1.2的帮助下安排一只2.1.0蜘蛛。
curl --insecure http://localhost:6800/schedule.json -d project=bid -d spider=test
这应该在理论上开始爬行蜘蛛测试在项目投标。相反，它输出错误消息：
{"node_name": "spider1", "status": "error", "message": "Scrapy 2.1.0 - no active project\n\nUnknown command
浏览 6提问于2020-05-04得票数 1
回答已采纳
我是SEO专家，不太喜欢编码。但是想要尝试用Scrapy模块在Python中创建一个坏链接检查器，它将爬行我的网站，并向我展示404代码的所有内部链接。
到目前为止，我已经成功地编写了以下代码：
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from crawler.items import Broken
class Spider(CrawlSpider):
name
浏览 0提问于2021-01-19得票数 1
回答已采纳
我是Python-Scrapy.的新手我无法弄清楚如何在项目之外保存被刮掉的输出文件(Project在Eclipse中)。
我的项目结构是：
这就是我如何运行我的刮刮项目：
将“命令行提示符”更改为项目位置文件夹，即，
cd D:/Y/Forum
Scrapy爬行论坛-o output.json
这是将我刮过的输出文件保存到项目位置。
但是，我希望在运行时将该输出文件保存在用户指定的位置(该位置不是项目位置的本地)。
下面是将输出文件保存在不同位置的命令，
Scrapy爬行论坛-o D:/output.json
但这是行不通的。我的输
浏览 2提问于2016-02-05得票数 1
2回答
这是我用来爬行网页的代码。我想刮的站点已经启用了图像延迟加载，所以刮伤只能抓取100个图像中的10个，其余的都是placeholder.jpg。在Scrapy中处理延迟加载映像的最佳方法是什么？
谢谢!
class MasseffectSpider(scrapy.Spider):
name = "massEffect"
allowed_domains = ["amazon.com"]
start_urls = [
'file://127.0.0.1/home/ec2-user/scrapy/amazon/amazon.html',
]
浏览 2提问于2016-04-30得票数 3
回答已采纳
1回答
我想解析的PDF文件，遇到时，爬行网站使用scrapy。我使用下面的代码从PDF文档中提取HTML页面源代码，但它不起作用
a = response.xpath("//html").extract()
如何从PDF文档中获取内容并将其合并到scrapy工作流中？
浏览 1提问于2015-02-13得票数 0
正在尝试实现项目加载器。 我在items.py中的类名： SiemensLinkcontentItem 我在爬行器中的import语句： import scrapy
from scrapy.loader import ItemLoader
from siemens_linkcontent.siemens_linkcontent.items import SiemensLinkcontentItem 我得到以下错误： No module named 'siemens_linkcontent.siemens_linkcontent' 我的路径图如下： ?
浏览 11提问于2019-05-08得票数 1
回答已采纳
1回答
我需要读取一个配置文件，从该文件中加载爬行器所需的非抓取相关配置属性，并从所有爬行器中使用该配置。
最简单的解决方案是使用settings.py文件，但我认为这不是此文件的目的，我想将scrapy模块配置与我的配置文件分开。
我有一个已经从配置文件读取和加载配置的类，但我不想从每个爬行器导入这个模块，因为我希望配置只加载一次，并在爬行器之间共享。
实现这一点的最干净的方法是什么？我是否应该以某种方式覆盖SpiderLoader类？
浏览 0提问于2016-11-27得票数 0
1回答
我想要构建的Scrapy程序有问题。代码如下。
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class LinkscrawlItem(scrapy.Item):
link = scrapy.Field()
attr = scrapy.Field()
class someSpider(CrawlSpider):
name = 'mysitecrawler'
item = []
a
浏览 1提问于2022-02-22得票数 2
回答已采纳
我使用Scrapyd来调度和启动爬行器作业。
在Item Pipeline类中，我在类中设置了特定于作业的变量，这些变量不应该被其他爬行器/作业共享。
所以我的问题是，Scrapy/Scrapyd是否为每个爬行器作业/进程创建新的管道类实例？
浏览 2提问于2020-09-25得票数 0
3回答
在过去的一个月里，我一直在使用Scrapy进行一个我已经开始的网络爬行项目。
这个项目涉及到拉下的所有网页的完整文件内容在一个单一的域名，可以从主页上到达。使用Scrapy编写这段代码非常简单，但它运行起来太慢了。在2-3天内，我只能拉下100,000页。
我已经意识到，我最初认为Scrapy不适合这种爬行的想法正在暴露出来。
我已经开始关注Nutch和，希望能有更好的性能。在爬行过程中，我需要存储的唯一数据是网页的完整内容，最好是页面上的所有链接(但即使是这样，也可以在后处理中完成)。
我正在寻找一个爬虫，是快速的，并采用了许多并行请求。
浏览 0提问于2010-08-06得票数 5
回答已采纳
2回答
我发现了很多Scrapy教程(如)，它们都需要下面列出的步骤。结果是一个项目，有很多文件(project.cfg +一些.py文件+一个特定的文件夹结构)。
如何使这些步骤(如下所列)作为一个可以与 python mycrawler.py一起运行的自包含的python文件工作？
(而不是一个包含大量文件、一些.cfg文件等的完整项目，而不得不使用scrapy crawl myproject -o myproject.json__.顺便问一下，scrapy似乎是一个新的shell命令？这是真的吗？)
注意：，但不幸的是，它被废弃了，不再工作了。
1)使用scrapy startproject
浏览 4提问于2015-01-02得票数 5
回答已采纳
我基本上是试图启动一个HTTP服务器，它将响应从一个网站的内容，我可以爬行使用Scrapy。为了开始爬行网站，我需要登录到它，并这样做，我需要访问一个数据库的凭据等。这里的主要问题是，我需要所有的东西都是完全异步的，到目前为止，我还在努力寻找一种组合，使所有东西都能正常工作，而不需要太多草率的实现。
我已经让Klein + Scrapy工作了，但是当我实现DB访问时，我的头脑就变得一团糟了。有没有办法使PyMongo与扭曲或其他东西异步(是的，我见过TxMongo，但文档很糟糕，我想避免它)。我还找到了一个带有ad浸的实现，但是我想要一些更类似于PyMongo的东西)。
从另一个角度来看，我确
浏览 0提问于2018-07-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
