覆盖scrapy.spider的__init__方法的风险是什么？
覆盖scrapy.spider的init方法的风险是可能导致Scrapy框架的正常运行受到影响，引发一系列的错误和异常。init方法是Scrapy框架中Spider类的构造方法，用于初始化Spider对象的属性和设置。
以下是覆盖scrapy.spider的init方法可能带来的风险：
- 功能丢失：如果在覆盖init方法时没有正确地调用父类的构造方法，可能会导致Spider对象缺少必要的属性和方法，从而导致功能丢失或无法正常运行。
- 爬虫参数错误：Scrapy框架通过命令行参数传递给Spider对象的参数，如start_urls、allowed_domains等，如果在覆盖init方法时没有正确处理这些参数，可能会导致爬虫无法正常启动或无法正确解析URL。
- 中间件失效：Scrapy框架中的中间件（Middleware）用于在请求和响应之间进行处理，如果在覆盖init方法时没有正确设置中间件，可能会导致中间件失效，无法对请求和响应进行预处理和后处理。
- 资源泄露：如果在覆盖init方法时没有正确释放资源，如数据库连接、文件句柄等，可能会导致资源泄露，进而影响系统的稳定性和性能。
- 兼容性问题：Scrapy框架会不断更新和改进，如果在覆盖init方法时依赖于特定版本的Scrapy或特定的内部实现细节，可能会导致兼容性问题，使得代码在其他版本或环境下无法正常运行。
为了避免这些风险，建议在覆盖scrapy.spider的init方法时，务必遵循以下几点：
- 调用父类的构造方法：在覆盖init方法时，首先应该调用父类的构造方法，以确保Spider对象的属性和方法被正确初始化。
- 正确处理参数：如果需要处理命令行参数或其他传递给Spider对象的参数，应该在init方法中正确处理这些参数，避免参数错误导致的问题。
- 合理设置中间件：如果需要使用中间件，应该在init方法中正确设置中间件，确保中间件能够正常工作。
- 资源释放：如果在init方法中申请了资源，如数据库连接、文件句柄等，应该在Spider对象销毁时正确释放这些资源，避免资源泄露。
总之，覆盖scrapy.spider的init方法需要谨慎操作，确保正确处理父类的构造方法、参数、中间件和资源释放，以保证Scrapy框架的正常运行。
相关·内容
在一些堆栈溢出问题中，我看到了一些公认的答案，其中scrapy.spider超类的__init__方法被用户定义的爬行器覆盖。例如：。
我的问题是，这样做的风险是什么？超类的__init__如下所示：
class Spider(object_ref):
"""Base class for scrapy spiders. All spiders must inherit from this
class.
"""
name = None
custom_settings = None
def __in
浏览 50提问于2020-05-20得票数 0
回答已采纳
1回答
我希望在自定义的基础蜘蛛类中为蜘蛛提供一些通用的功能。
通常，刮伤蜘蛛是从scrapy.Spider类继承的。
我尝试在scrapy的蜘蛛文件夹中创建一个BaseSpider类，但是没有工作
import scrapy
class BaseSpider(scrapy.Spider):
def __init__(self):
super(scrapy.Spider).__init__()
def parse(self, response):
pass
这是我真正的蜘蛛
import scrapy
import BaseSpider
cla
浏览 3提问于2017-06-17得票数 0
回答已采纳
cities = ['LED', 'KUL', 'MOW']
sp = AirwaySpider(cities)
给出了错误
sp = AirwaySpider(cities)
TypeError: __init__() takes exactly 1 argument (2 given)
在AirwaySpider代码中：
class AirwaySpider(scrapy.Spider):
def __init__(self, **kw):
super(AirwaySpider, self).__init__(**kw
浏览 1提问于2015-12-16得票数 0
class MySpider(scrapy.Spider):
name = 'Random'
start_urls = ["http://someRandomsite.aspx"]
custom_settings = {
'FEED_URI': 'file://%(data_dir_path)s/data.csv',
'FEED_TEMPDIR': '%(raw_dir_path)s'
}
def __init__(self
浏览 29提问于2019-02-15得票数 0
我正在尝试请求一个参数site_search_url，但在运行时得到以下错误：
start_requests = iter(self.spider.start_requests())
TypeError: 'NoneType' object is not iterable
代码：
class BrickSetSpider(scrapy.Spider):
def __init__(self, site_search_url):
self.site_search_url = site_search_url
def start_requests(se
浏览 17提问于2017-02-06得票数 5
回答已采纳
1回答
将参数传递给刮伤
、、
我遵循了这两个帖子的建议，因为我还试图创建一个通用的刮擦蜘蛛：
但是我得到了一个错误，我应该作为参数传递的变量没有被定义。我是不是在init方法中遗漏了什么？
代码：
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from data.items import DataItem
class companySpider(BaseSpider):
name = "woz"
def __init__(self, domains="&#
浏览 2提问于2013-07-19得票数 3
回答已采纳
我正在做一个差劲的项目。我想知道如何将scrapyd api调用中的参数传递给爬行器类。
我希望将关键字参数(file_path='C:\')传递给爬行器类中的字典变量。
我尝试了以下两种方法，但都不起作用。
方法1：
class MySpider(scrapy.Spider):
name = 'MySpider'
custom_settings = { 'FEED_URI': self.file_path }
方法二：
class MySpider(scrapy.Spider):
name = 'MySpide
浏览 8提问于2020-05-05得票数 0
1回答
我在研究刮伤的框架。
我有一些共同的属性，我想在我所有的蜘蛛，所以我做了一个BaseSpider。
BaseSpider
import scrapy
from src.LoggerFactory import get_logger
import ConfigParser
from redis import Redis
class BaseSpider(scrapy.Spider):
logger = get_logger()
def __init__(self, *args, **kwargs):
super(scrapy.Spider, self).__
浏览 2提问于2017-06-19得票数 0
回答已采纳
粗糙的内置伐木者：
scrapy.utils.log
scrapy.crawler
scrapy.middleware
scrapy.core.engine
scrapy.extensions.logstats
scrapy.extensions.telnet
scrapy.core.scraper
scrapy.statscollectors
非常冗长。
我试图设置一个不同的日志级别，调试，与用户蜘蛛日志级别，INFO。这样我就能减少噪音。
这个助手函数可以工作，有时：
def set_loggers_level(level=logging.DEBUG
浏览 0提问于2018-04-25得票数 1
1回答
我正在开发一个分析JAR文件的封闭源代码java应用程序。由于java可以很容易地反编译，并且混淆并不是什么大问题，所以我想提供一个在线服务，它将在我的服务器上执行应用程序，并返回结果，就像这里的芒花一样:www.reverted-java.com/ fernflower /。
问题是，我担心让我的应用程序在服务器上加载任何潜在有害的jars会导致灾难，即使我从来没有运行过jars。我所要做的就是使用和加载它们。
为了执行恶意代码，我正在加载的jar是否会覆盖原始应用程序中的类，或者弄乱我的程序？
动态加载jars的风险是什么？
浏览 0提问于2011-11-29得票数 3
回答已采纳
1回答
这是我的蜘蛛，我只能得到第一个元素结果( Praxy Paris )。我需要把所有的数据都放在最重要的评论页面上。怎么弄到？
from scrapy.spider import BaseSpider
from selenium import webdriver
class SeleSpider(BaseSpider):
name = "see"
start_urls = ['https://www.facebook.com/HRCMallOfAmerica/reviews']
def __init__(self):
浏览 3提问于2015-02-03得票数 1
嗨，我下面有这段代码(我删除了很多if循环，并将其简化为易于理解)。problem是这个刮伤，擦伤只是网站的第一页。我发现hte scrapy.request并没有得到新的url，并且在项目‘url’中总是只有基url被追加并因此下载。
import scrapy
from collections import Counter
from scrapy.selector import Selector
from Mycode.items import *
class ExampleSpider(scrapy.Spider):
name = "full_sites"
浏览 6提问于2016-12-14得票数 1
回答已采纳
import scrapy
class MySpider(scrapy.Spider):
start_urls = []
def __init__(self, **kwargs):
for i in range(1, 1000):
self.start_urls.append("some url"+i)
def parse(self, response):
print(response) 在这里，我们在__init__函数中排队1000个urls，但如果失败或返回一些不需要的东西，我想停止所有
浏览 11提问于2020-06-21得票数 0
1回答
使用scrapy，我有一个蜘蛛：
class IndexSpider(scrapy.Spider):
name = "indices"
def __init__(self, *args, **kwargs):
super(IndexSpider, self).__init__(*args, **kwargs)
# set custom settings
custom_settings = {
'DOWNLOAD_DELAY': 2,
'IT
浏览 0提问于2018-09-12得票数 4
回答已采纳
我注意到，虽然这是行不通的：
class MyClass:
def __init__(self, i):
self.5i = i
myobj = MyClass(5)
print(myobj.5i)
这样做是可行的：
class MyClass:
def __init__(self, i):
setattr(self, '5i', i)
myobj = MyClass(5)
print(getattr(myobj, '5i'))
更重要的是，这也适用于：
class MyClass:
def __i
浏览 0提问于2019-02-12得票数 0
这方面的最佳实践是什么？
比方说，我想初始化一些计数器或读取一个文件，以便稍后在解析时使用。我该怎么做呢？是否覆盖__init__？还是有其他更好的方法呢？
浏览 0提问于2012-09-27得票数 0
我正在开发一款名为Scuba Adventure的游戏，在尝试查找属性错误的来源时，我遇到了另一个错误，类似于“来自外部作用域的对象阴影”。我发现错误的来源是缩进。在定义一个名为Bubble的类来控制气泡对象和精灵组时，我意外地缩进了def __init__()中的方法。我的类是这样的： import pygame
from pygame.sprite import Sprite
class Bubble(Sprite):
"""A class that manages bubbles released from the diver.""&#
浏览 17提问于2020-08-16得票数 0
这听起来像是一个简单的问题，但是我在网站上找不到一个简单的答案。
示例代码：(大多数情况下，人们会这样编写元类。)
class MyMeta(type):
def __new__(meta, name, bases, dct):
return super(MyMeta, meta).__new__(meta, name, bases, dct)
def __init__(cls, name, bases, dct):
print "Initializing class", name
super(MyMe
浏览 3提问于2017-05-03得票数 1
1回答
"if self:“是什么意思？
、、、、
示例：
class Bird:
def __init__(self):
self.sound = "chirp!"
def reproduce_sound(self):
if self:
print(self.sound)
bird = Bird()
bird.reproduce_sound()
if self:是什么意思？reproduce_sound函数调用不打印任何内容的情况是什么？
浏览 79提问于2021-05-18得票数 3
回答已采纳
阅读自定义字段的 (在“字段解构”下)：
如果您没有在继承的字段顶部添加任何额外的选项，那么就没有必要编写一个新的析构()方法。但是，如果要更改__init __()中传递的参数(就像在HandField中一样)，则需要补充传递的值。
提供的示例(不包括解构函数代码) HandField是：
from django.db import models
class HandField(models.Field):
description = "A hand of cards (bridge style)"
def __init__(self, *arg
浏览 4提问于2015-10-06得票数 0
回答已采纳
我正在运行一个类似于scrapy runspider script.py -a search_url=www.website.com的脚本
更新的类
class BrickSetSpider(scrapy.Spider):
base = 'http://www.website.com'
def __init__(self, search_url):
self.search_url = search_url
self.start_urls = [self.base + search_url]
def parse(self,
浏览 1提问于2017-02-07得票数 0
回答已采纳
1回答
我有这样的东西：
from some_module import SomeClass
class BaseClass:
...
class AnotherClass(BaseClass, SomeClass):
def __init__(self, parameter, **kwargs):
BaseClass.__init__(**kwargs)
self.parameter
def some_abstract_method(self, **kwargs):
# this is an abstract meth
浏览 0提问于2019-07-31得票数 0
我正在编写一个爬行器来爬行一个网站，但是当我运行scrapy crawl scraper_bot_name时，我会收到一个ModuleNotFound错误：No module named scrapy.spider，其中scrapy.spider是第一个导入语句。
此外，我在VSCode中签入是否还能找到其他内容，我看到了所有from … import …语句的这个问题，错误读- Unable to import ‘scrapy.spider’pylint(import-error)。
我试图找到一个解决方案，提到的最常见的修复方法是检查项目目录结构。具体来说，需要检查项目中的任何文件是否被命
浏览 2提问于2020-08-03得票数 0
回答已采纳
这是我的网刮的简单结构。
import scrapy,urllib.request
class TestSpider(scrapy.Spider):
def __init__(self, *args, **kw):
self.timeout = 10
name = "quotes"
allowed_domains = ["finance.yahoo.com"]
url_nasdaq = "ftp://ftp.nasdaqtrader.com/SymbolDirectory/nasdaqliste
浏览 0提问于2017-10-20得票数 0
回答已采纳
1回答
我用Torndo做我的项目。我用这个骨架做服务器。使用此代码，我通过和对我的方法进行了寻址。此代码在生产中工作。
class MainHandler(SessionBaseHandler):
def __init__(self, *args, **kwargs):
global logger
super(MainHandler, self).__init__(*args, **kwargs)
@tornado.web.asynchronous
@tornado.gen.coroutine
def post(self
浏览 2提问于2016-05-25得票数 0
回答已采纳
我想向爬行器发送参数，并根据参数命名输出(json，csv)。
F.e.，
$ scrapy crawl spider_name -a category=category1 -a subcategory=subcategory1
我想要的是：
category1_subcategory1.json (或者csv，都无关紧要)。
我的意思是我需要json name作为spider的参数。
class MySpider(scrapy.Spider):
name = 'my_spider'
# how can I get to this place ?
customs_settin
浏览 0提问于2017-01-26得票数 2
1回答
我有一本草草的手稿。
class QuotesSpider(scrapy.Spider):
name = 'quotes'
def __init__(self, *args, **kwargs):
super(QuotesSpider, self).__init__(*args, **kwargs)
self.cat = [kwargs.get('cat')]
print(self.cat)
def start_requests(self):
#print(self.params)
urls = ['http
浏览 1提问于2020-03-03得票数 0
1回答
如何在内存存储库中进行测试，该存储库正在资源文件夹中从JSON文件中读取对象？
仓库：
@Repository
public class MyRepository{
private TreeMap<String, MyObject> objects;
private ObjectMapper mapper;
@Autowired
public MyRepository(ObjectMapper objectMapper) throws IOException {
// mapping objects from /resources
浏览 2提问于2017-08-15得票数 0
回答已采纳
1回答
我想在Scrapy中连接多个爬虫，这样一个蜘蛛的输出就可以供给另一个蜘蛛。我知道Scrapy用于连接解析函数和使用请求的Meta参数来通信项的方式。
class MySpider(scrapy.Spider):
start_urls = [url1]
def parse(self, response):
# parse code and item generated
yield scrapy.Request(url2, call_back=self.parse2, meta={'item': item})
def par
浏览 5提问于2016-05-13得票数 0
我有个家长班
class Vehicle():
def __init__(self, num_wheels=4):
self.reset_horsepower(num_wheels)
def reset_horsepower(self, num_wheels):
self.hp = num_wheels * 20
def upgrade_engine(self):
self.hp *= 2
我想把它细分成这样：
class Car(Vehicle):
def __init__(self):
su
浏览 1提问于2020-05-26得票数 0
3回答
考虑一个具有“私有”方法的类，例如：
class Foo(object):
def __init__(self):
self.__method()
def __method(self):
print('42')
当我尝试将Foo子类化并覆盖方法__method时，可以看到仍然调用了Foo.__method，而不是MoreFoo.__method。
class MoreFoo(Foo):
def __method(self):
print('41')
>>> MoreFoo
浏览 1提问于2013-02-15得票数 15
回答已采纳
1回答
我编写了以两个类变量开头的刮伤蜘蛛，然后希望从Runner运行它。我确实试过：
yield runner.crawl(MySpider1, variable1, variable2)
或
yield runner.crawl(MySpider1, [variable1, variable2])
或
yield runner.crawl(MySpider1, (variable1, variable2))
或
yield runner.crawl(MySpider1(variable1, variable2))
但得到
缺少1必需的假设论证
这是我的代码：
from twisted.in
浏览 0提问于2019-03-16得票数 0
我目前正在从sentdex的教程中学习tkinter，对我来说，我似乎是在编写自己的定义来运行__init__，这样的代码行是什么意思？它是tKinter的__init__函数吗？ class seaOfBTCapp(tk.Tk):
def __init__(self,*args,**kwargs)
tk.Tk.__init__(self,*args,**kwargs)
浏览 27提问于2020-04-25得票数 0
回答已采纳
我想在Manager's __init__方法中获得一个模型的__init__，以设置QuerySet结果的分页。我想在__init__方法中设置分页的原因是因为我在Manager中有许多简单的方法，比如getPage和getNumberOfPages等等，以简化抽象，而且我不想在所有这些方法之间复制代码来安装Paginator。
例如，假设有一个Article模型，它有一个自定义的ArticleManager，它看起来有点像这样：
class ArticleManager(models.Manager):
def __init__(self):
super(A
浏览 1提问于2016-05-28得票数 0
回答已采纳
1回答
假设我想在一栋楼里预订，而选择是根据所选的楼层而改变的。
在我的forms.py中
class BookingForm(forms.Form):
name = forms.CharField()
room = forms.ChoiceField()
def __init__(self, room_choices, *args, **kwargs):
super(BookingForm, self).__init__(*args, **kwargs)
self.fields['room'].choices = room_choices
在views.
浏览 6提问于2015-10-22得票数 0
回答已采纳
让我们考虑下面的虚拟示例：
class A:
def __init__(self, a):
self.a = a
self.backup_a = a
def reset_a(self):
self.a = self.backup_a
print ('Stop touching my stuff!')
class B(A):
def __init__(self, a, b):
super().__init__(a)
self.
浏览 2提问于2021-01-14得票数 2
回答已采纳
1回答
对于简单的继承，例如
class Base:
def __init__(self, env: str = 'prod'):
#...
class Derived(Base):
def __init__(self, env: str = 'prod'):
super().__init__(str)
如何避免在两个类中都重新定义默认构造函数参数？如果我实例化Derived()，我确实希望env默认为'prod'，我只是不想在多个类中重新定义这个值。如果我后来决定默认值应该是其他值(例如'dev')，那么我将不
浏览 29提问于2019-08-13得票数 3
回答已采纳
我是python的新手。我想在scrapy类中创建自己的类实例variable_1, variable_2。下面的代码运行良好。
class SpiderTest1(scrapy.Spider):
name = 'main run'
url = 'url example' # this class variable working find
variable_1 = 'info_1' # this class variable working find
variable_2
浏览 0提问于2019-03-09得票数 0
假设我必须覆盖一个ModelForm (在forms.py中)，以不同的方式设置labels或widgets。即：
class SomeForm(ModelForm):
def __init__(self,*args,**kwargs):
super(someForm, self).__init__(*args, **kwargs)
self.fields['someVal'].label = ...
self.fields['someVal'].widget = ...
那么如何设置req
浏览 2提问于2013-01-05得票数 0
回答已采纳
7回答
我有一个带有很多__init__参数的基类：
class BaseClass(object):
def __init__(self, a, b, c, d, e, f, ...):
self._a=a+b
self._b=b if b else a
...
所有继承类都应该运行基类的__init__方法。
我可以在每个继承类中编写一个调用超类__init__的__init__()方法，但这将是一个严重的代码重复：
class A(BaseClass):
def __init__(self, a, b, c, d, e, f, ..
浏览 3提问于2011-06-30得票数 72
回答已采纳
我在一次面试中被问到这个问题。我所做的努力如下：
class A:
l = []
def __init__(self):
if len(A.l)==0:
A.l.append(self)
else:
return A.l[0]
a = A()
b = A()
我回到家，运行了这段代码，并明白它是行不通的。
因此，我想知道解决这个问题的正确方法是什么。预期的结果是，当第二次调用A()时，b应该指向已经存储在a (第一个创建的对象)中的对象。
浏览 0提问于2018-10-24得票数 0
回答已采纳
我试图通过提取所有链接中的"huis“(="house”，荷兰语)来抓取一个网站。跟着，我在尝试
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from Funda.items import FundaItem
class FundaSpider(scrapy.Spider):
name = "Funda"
allowed_domains = ["funda.nl
浏览 0提问于2016-07-12得票数 3
回答已采纳
1回答
请有人解释一下，在类卡和StandardDeck中“对象”和“列表”参数的用途是什么？我几乎找不到这方面的信息。
Phy魅力在class Card()中提到了“object”：类层次结构的基类。调用时，它不接受任何参数，并返回一个新的无特征实例，该实例不具有实例属性，不能被赋予任何属性。
类卡是否因为“object”参数而被视为基类？来自类super().__init__()的StandardDeck继承自类卡吗？我真的希望有人能给我一个很好的解释，我已经挣扎了几个小时了。
def main():
class Card(object):
def __init__(sel
浏览 0提问于2021-10-02得票数 0
我试着用密码
allSpanDate = self.driver.find_element_by_xpath("//span[text()='08/28']").click()
但是只单击了第一个元素。
所以我就这样编辑，但不起作用
allSpanDate = self.driver.find_element_by_xpath("//span[text()='08/28']")
for spanDate in allSpanDate:
spanDate.click()
网站是
http://211.21.63.217:81
浏览 4提问于2021-08-27得票数 1
回答已采纳
1回答
从文档中： 由于类私有成员有一个有效的用例(即避免名称与子类定义的名称之间的名称冲突)，因此对这种机制的支持有限，称为名称损坏。表单的任何标识符 _ _ 垃圾邮件(至少两个前导下划线，最多一个尾部下划线)将以文本形式替换为 _ 类名 _ _ 垃圾邮件，其中classname是去掉了前导下划线的当前类名。这种损坏是在不考虑标识符的语法位置的情况下完成的，只要它发生在类的定义中即可。 我的解释是： 破坏父类方法的名称 允许子级使用额外的参数重载它 ..。这样，当您调用 ，额外的参数不会被传递给父类，也不会混淆父类。 如果您计划保留相同的方法签名，但更改一些内部功能，则不需要修改。您仍然可以
浏览 32提问于2021-03-01得票数 1
回答已采纳
我有这门课，我的游戏是一个现场经理。我遵循了一个教程，我很困惑为什么self.scene.manager等于self
class SceneManager(object):
def __init__(self):
self.go_to(TitleScene())
def go_to(self, scene):
self.scene = scene
self.scene.manager = self #<--
在主要的游戏场景中，我也发生了类似的事情。
class GameScene(Scene):
def __in
浏览 0提问于2019-05-31得票数 1
1回答
我是一个结构化编程的人。所以我对面向对象编程的尝试总是“正在进行中.”
我的意图是有一个类，它将根据外部输入来调整自己。我在另一篇文章中看到(我再也找不到)，我可以更改对象的类，所以我制作了这个MWE，它可以工作：
class Base:
def __init__(self, name):
self.name = name
def set_text(self, text):
self.text = text
class Terminator(Base):
terminator = '!'
def __ini
浏览 1提问于2021-06-16得票数 1
回答已采纳
1回答
数据类型继承
、、、
我正在尝试理解在数据类型中使用继承时的良好实践是什么。假设我想要一个包含一组变量和方法的“抽象”父类，然后是继承这些方法和变量的一系列子类，其中每个变量都有一个不同的默认值。
from dataclasses import dataclass
@dataclass
class ParentClass:
a_variable: str
def a_function(self) -> None:
print("I am a class")
# ONE
@dataclass
class DataclassChild1(ParentClas
浏览 6提问于2022-08-31得票数 1
我正在尝试使用scrapy抓取this website上可用的文章。我正在尝试使用以下代码。 class Langham_Crawler(scrapy.Spider):
name = "Langham Hotels"
def __init__(self, target_date, scraped_data_list, **kwargs):
self.target_date = parser.parse(target_date).date()
self.start_urls = ['https://www.langha
浏览 51提问于2021-03-17得票数 0
请问这里的专家，在中响应时间分布的目的是什么？我不知道在下载的CSV中50%，60%意味着什么。
浏览 5提问于2015-07-21得票数 16
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
