1回答
我让我的代码比实际代码更简单 company = scrapy.Field()
class GmarketLoader(ItemLoader如果页面无效，我认为项目’‘owner’填充为None。_values[key]
KeyE
浏览 17提问于2019-11-05得票数 1
ItemLoader objects classs crapy.loader.ItemLoader(item=None, selector=None, response=None, parent=None, **context)用户友好的抽象，通过应用字段处理器来抓取数据来填充数据项。Parameters item (scrapy.item.Item) --使用对add_xpath()、add_css()或add_value()的后续调用填充项实例。我已经阅读了scra
浏览 4提问于2022-09-12得票数 1
回答已采纳
2回答
我正在尝试弄清楚如何在scrapy项目加载器中使用regex。我曾尝试将lambda函数与split()一起使用，但得到了以下错误。无法定义拆分。您可以看到该函数在项目加载器类中被注释掉了。我要做的是删除日期之前的所有文本，包括日期项的"/“。日期项是我刚刚解析的url。如何将正则表达式与scrapy项目加载器一起使用？response.url)
items
浏览 4提问于2018-02-20得票数 0
回答已采纳
使用刮伤外壳时：并试图提取网址的标题：import scrapyfrom scrapy.contrib.linkextractors
浏览 1提问于2014-10-27得票数 0
回答已采纳
我有一个试图用itemLoader填充的对象： "domains": "string", "titlecategories', '//ul[@class=\'breadcrumbs\']//li[not(contains(@class, \'home\'))]'
浏览 3提问于2016-12-26得票数 2
我试图使用itemLoader在Scrapy中给空项一个默认值，如items.py中的如下所示： default=[],)
因此，如果没有设置prod_specs，它应该给它一个空对象。我认为，我使用的是item['prod_specs']，而不是items.py中的ite
浏览 2提问于2014-07-11得票数 1
回答已采纳
3回答
站点项的xpath选择器以列表的形式生成内容；不过，我希望它将其转换为没有行提要等的单个字符串。我知道，规范化的空格和条带()将是可行的，但是它们只删除前导/尾随行提要，从而将['']作为输出。
浏览 1提问于2020-07-09得票数 0
回答已采纳
2回答
当我查阅官方scrapy文档时，我发现字段可以动态添加，但我不知道如何做到这一点 我尝试了ItemLoader的一个演示，它像测试代码一样成功： 我为ItemLoader传递了一个field_name_listfield_list = [] field_list.append(key)
loader = ItemLoaderFile "F:\Newspider\news_project\new
浏览 10提问于2019-04-02得票数 2
回答已采纳
1回答
of review ids
item = response.meta['item']下面是我的items.json ("review_review“正在被删除，解析方法中的项也被删除
浏览 3提问于2014-07-15得票数 0
//div[@class="details"]/h2/a[@href]/text()')Item.py - Itemloader title_in = MapCompose(unidecode)我有点不知所措，因为我认为我遵循了Scrapy手册，用"title_in
浏览 2提问于2017-01-21得票数 1
回答已采纳
1回答
import CrawlSpider, Rulefrom scrapy.loader import ItemLoader'parse_collections', follow=True), l = ItemLoaderresponse.url)
def p
浏览 1提问于2018-11-21得票数 1
回答已采纳
但是，您声明的任何ItemLoaders都将应用于所有已处理的项。您可以使用稍微修改它们的行为，但这通常不够细粒度。假设我有一个Scrapy项目，其中的爬行器和项都继承了相同的基本爬行器和项加载器，但爬行器都包含特定于站点的逻辑和一些公共函数。而不是： def parse_item(self, response):
product = ItemLoader尽管这似乎是一种显而易见的扩展ItemLo
浏览 0提问于2019-02-02得票数 1
1回答
我有一个使用scrapy的运行脚本，它从表中获取数据。但是由于原始数据是按行参数顺序保存的，所以它是按格式保存的：firstitem...如果没有类似的“名称”，我如何将这个数据保存为行格式
21:
浏览 3提问于2019-02-22得票数 1
回答已采纳
我有一个使用2.0版本的scrapy项目，但是当我升级到2.4版本时，我得到了上面的错误。
浏览 1提问于2020-10-21得票数 1
假设CrawlSpider如下：from scrapy.loader import ItemLoader for selector in response.css('div.content'):以及相应的items.py：from
浏览 0提问于2016-06-17得票数 3
我正在尝试使用scrapy项目加载器，我过去只使用项目，我希望我的代码较少例如:如果我想从页面解析汽车信息列表，我需要car_name，car_color...but用于某些汽车，颜色是None，我过去写成这样CarItem() item['car_color'] = car_color但是最近，我发现了Itemloader，它可以简化代码，从文档中，我发现它是这样工作的：
loader = <em
浏览 11提问于2017-01-20得票数 2
如果我有一个已经填充的Item()，我将如何用它加载一个项目加载器？例如 desc_out = MapCompose(\n\ta\n'}))#output still: {'desc': "\r\t\n some text \t\n"}
我想
浏览 4提问于2014-12-14得票数 1
回答已采纳
我试图使用来自多个页面的ItemLoader解析数据填充项。但是，正如我现在所看到的，我不能更改我在初始化ItemLoader时使用的选择器。它要么是构造函数中给出的选择器，要么是使用default_selector_class在构造函数中给出的响应创建的选择器。此属性意味着只读。response)
for
浏览 0提问于2014-04-07得票数 6
回答已采纳
1回答
我开始在scrapy中使用项目加载器，基本功能运行良好，如下所示：to_int = Compose(TakeFirst(), int)
desc
浏览 0提问于2018-04-22得票数 1
回答已采纳
假设我想使用选择器从中抓取文本从这里，我得到了项目列表[u'My image 1', u'My image 3', u'My image 5']
如何合并
浏览 1提问于2014-12-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
