2020-10-16 21:53:19 [scrapy.core.scraper]错误:爬行器必须返回request、item或None,在<GET Spider中获取'str'
这个错误是由于在Scrapy爬虫中,爬虫函数必须返回一个Request对象、一个Item对象或者None,但是你的爬虫函数返回了一个字符串('str')。因此,你需要将你的爬虫函数修改为返回一个Request对象、一个Item对象或者None。
请确保在你的爬虫函数中使用了yield关键字来返回Request对象或Item对象。如果你不想返回任何数据,可以使用return None。
以下是一个示例的Scrapy爬虫函数:
def parse(self, response):
# 进行网页内容的解析和数据提取
# ...
# 返回Request对象继续进行下一次请求
yield scrapy.Request(url='http://example.com', callback=self.parse_another_page)
# 或者返回Item对象保存提取到的数据
yield item
# 如果不需要返回任何数据,可以直接返回None
return None
通过以上示例,你可以根据具体的爬虫逻辑进行相应的修改和调整。记得在爬虫函数中使用yield关键字返回Request对象、Item对象或者使用return None来解决该错误。
没有搜到相关的沙龙
领取专属 10元无门槛券
手把手带您无忧上云