抓取时，我的输出顺序与爬虫/项目文件中的书面顺序不匹配。items['Bild'] = final_image "Adresse": "....html",
"Bild&
浏览 9提问于2020-03-29得票数 1
回答已采纳
1回答
我是Scrapy的新手，已经尝试了一段时间了。提前谢谢。我想获取来自不同页面的链接列表。每个解析方法都会生成一个包含链接列表的对象，但是输出文件只是转储这些对象，而没有将它们放入列表中，因此它不是有效的json。输出为{"links": *list of links*}[{"links": *list of links*},使
浏览 22提问于2020-05-13得票数 0
1回答
我正在使用scrapy从一个网站抓取数据，.And我得到了这种格式的数据。/06/2020'，'LTV'：'90'，}{ 'Date'：'03/06/2020'，'LTV'：'80'，}
{ 'Date'：'03/06/2020'，'LTV'：'70'，} ...I要更改此顺序注意:我使用的是
浏览 3提问于2020-06-03得票数 0
我有下面的Scrapy蜘蛛从文件url.txt中的urls列表中获取页面的状态from scrapy.contrib.spiders import CrawlSpider] = response.url yield itemimport scrapyclass StatusLinkItem(scrapy.Item):
浏览 2提问于2015-05-12得票数 2
回答已采纳
默认的顺序是字母表，我已经阅读了一些文章来使用OrderedDict输出项目的定制顺序。执行蜘蛛并输出到csv文件。scrapy crawl info -o info.csv
字段顺序是我定制的顺序。'address': ['浙江省杭州
浏览 3提问于2019-04-25得票数 5
回答已采纳
1回答
但是，项目结果如下所示：不幸的是，我需要它在以下顺序-->标题，发布日期，描述，链接。如何才能使每个item类的输出完全按照该顺序进行？下面是我的蜘蛛的一个简短样本：from tickers.items import tickersItem，所以我不知道为什么输出顺序不正确。Items.py：
import scr
浏览 4提问于2017-06-20得票数 1
我有Scrapy项目，例如： class QuotetutorialItem(scrapy.Item): country = scrapy.Field()
state = scrapy.Field() 当我生成这个项目时，我会得到按字母顺序排列的字段。如何保持字段顺序与类结构中的顺序相同？
浏览 22提问于2019-06-29得票数 1
我发现了关于如何通过重写类OrderItem按特定顺序提取数据的几种解决方案。class OrderedItem(scrapy.Item): self.for k, v in six.iteritems(dict(*args, **kwargs)):我有更多正在提取的数据，每次顺序不同时(self)：返回json.dumps(OrderedDict(self)，ensu
浏览 1提问于2019-07-16得票数 0
回答已采纳
1回答
刚刚安装了Scrapy，并希望安装Portia在Python2.7.6 (32位)Windows7 (64位)上连接到IPv4 DNS互联网服务。:0: UserWarning: You do not have a working installation of the service_identity这个项目可以创建，但是Scrapy似乎也对蜘蛛没有反应。Scrapy</
浏览 1提问于2014-05-30得票数 2
回答已采纳
1回答
所以我想要一些想法，以及如何实现它们来改善这一点，例如，我有产品ID，所以如果我已经访问了一个包含该ID的链接，我就不想再访问它了。我想抓取所有的网页，但只访问包含产品的网页……但我不知道如何实现这两个想法:/import urllibfrom itertoolsfound_urls) pass
例如，在爬虫中，我使用单词"#C“来知道这是一个产品页面并获
浏览 0提问于2015-11-23得票数 1
在scrapy 2.0.1中，我尝试设置每个爬行器的深度设置。custom_settings = { 'DEPTH_LIMIT': 1, 还有这个中间件： @classmethod # This method is used by S
浏览 1提问于2020-04-22得票数 1
我希望在scrapy中使用不同的项目设置，我的目录结构是： -project1 -settings.py -settings.py我的scrapy.cfg是：default = project1.settings那么，我如何使用project1的Project1设置和project2的Project2设置呢？我能把它放在s
浏览 1提问于2018-07-26得票数 1
我正在编写一个网络爬虫在python与Scrapy。其目的是以预定的时间间隔监视网页的变化。在登录到网站后，爬行器每X分钟请求一次web页面，并从页面中提取特定数据并保存到文本文件中。原来，只有当爬行器关闭时，才会写入文本文件，并且文本文件中的行不是按时间顺序排列的。我搞不懂到底发生了什么。也许这是Scrapy模块的一种特定的工作方式？有什么想法吗？import scrapyfrom scrapy.http import
浏览 1提问于2017-11-17得票数 1
我做了一个简单的蜘蛛，我使用命令行将我的数据导出为CSV格式，但是数据的顺序似乎是随机的。如何在输出中排序CSV字段？我使用以下命令行获取CSV数据：根据fields_to_export Scrapy文档，我应该能够使用BaseItemExporter但我不知道如何使用这一点，因为我没有找到任何简单的例子可仿效。
请注意：这个问题非常类似于 1。然而，这个问题已经有两年多的历史了，没有向Scr
浏览 8提问于2013-12-24得票数 21
回答已采纳
from scrapy.spiders import CSVFeedSpider
name = 'cs_spider
浏览 10提问于2022-02-22得票数 0
1回答
我正在考虑使用ItemLoaders of scrapy来消除这可能产生的丑陋代码。span.css_to_two::text').get()其想法是，它随后被传递到项中： variable_name = scrapy.Field(
input_processor = MapCompose(remove_tags我似
浏览 3提问于2022-01-21得票数 0
回答已采纳
2回答
这对我来说不是问题，没有它我可以活下去，但我只是好奇它是否可能，以及如何。
今天，我了解到，scrapy.Request不会以与它们已经启动的顺序相同的顺序结束。但是，我今天学到的是，yield scrapy.Request不会按照与它们开始时相同的顺序结束。在我的例子中，在每一页上，每页有25个广告，我启动yield scrapy.Request(add_url, callback=self.parseAd)以从每个广告中获得更多信息。在此之后，我将使用yield <
浏览 1提问于2018-05-08得票数 1
回答已采纳
1回答
按DFS顺序不爬行
、、、
Scrapy似乎在按BFS顺序爬行页面，尽管文档说默认情况下订单应该是DFS。这是我的蜘蛛from scrapy.http import FormRequest, Request
print "URL FROM PARSE_DATA_AGAIN: ", response.url
输出
浏览 4提问于2015-09-11得票数 2
回答已采纳
dmoz_spider.pyfrom tutorial.items import DmozItem
item['desc'] = sel.xpath('text()').extract()我试着根据声明输入/输出处理器items.pyfrom scra
浏览 3提问于2016-05-16得票数 6
回答已采纳
1回答
在每个员工的页面上，我想我正确地识别了XPaths：from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors
浏览 0提问于2019-01-20得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号