首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

2020-10-16 21:53:19 [scrapy.core.scraper]错误:爬行器必须返回request、item或None,在<GET Spider中获取'str‘

2020-10-16 21:53:19 [scrapy.core.scraper]错误:爬行器必须返回request、item或None,在<GET Spider中获取'str'

这个错误是由于在Scrapy爬虫中,爬虫函数必须返回一个Request对象、一个Item对象或者None,但是你的爬虫函数返回了一个字符串('str')。因此,你需要将你的爬虫函数修改为返回一个Request对象、一个Item对象或者None。

请确保在你的爬虫函数中使用了yield关键字来返回Request对象或Item对象。如果你不想返回任何数据,可以使用return None。

以下是一个示例的Scrapy爬虫函数:

代码语言:txt
复制
def parse(self, response):
    # 进行网页内容的解析和数据提取
    # ...

    # 返回Request对象继续进行下一次请求
    yield scrapy.Request(url='http://example.com', callback=self.parse_another_page)

    # 或者返回Item对象保存提取到的数据
    yield item

    # 如果不需要返回任何数据,可以直接返回None
    return None

通过以上示例,你可以根据具体的爬虫逻辑进行相应的修改和调整。记得在爬虫函数中使用yield关键字返回Request对象、Item对象或者使用return None来解决该错误。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

领券