我正在学习NLP，为此，我使用Scrapy抓取了一篇亚马逊书评。我已经提取了所需的字段，并将它们输出为Json文件格式。当此文件作为df加载时，每个字段都被记录为一个列表，而不是一个单独的逐行格式。我如何拆分这个列表，以便df对每个项目都有一行，而不是将所有项目条目记录在单独的列表中？代码：
name =
浏览 66提问于2018-07-08得票数 0
回答已采纳
2回答
我正在尝试部署我的scrapy项目，但我被卡住了deploy@susychoosy:~/susy_scraper$ scrapy当我做scrapy list时，它会显示所有蜘蛛的列表。我修改了我的scrapy.cfg文件，使它看起来像这样：default = clothes_spider.settings
浏览 2提问于2013-03-09得票数 0
回答已采纳
2回答
我对刮伤的json输出有问题。爬虫工作良好，cli输出没有问题。XML项导出程序工作正常，输出以正确的编码保存，文本不转义。
尝试使用管道并直接从那里保存项目。从页面中提取的数据被分配给以utf-8编码的scrapy项目的items.py中定义的变量。这是没有问题的，因为所有的东西都能很好地处理XML输出。抓取爬行--nolog -output=output.json<
浏览 4提问于2015-06-19得票数 1
我正在使用Scrapy从下面的链接中抓取财务数据：
我尝试使用常规回归来拆分响应，然后将其转换为json，但它没有显示json对象，以下是我的代码： Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/scrapy&#x
浏览 262提问于2018-06-10得票数 0
回答已采纳
7回答
我有一个Windows机器上的Visual代码，我正在它上做一个新的。爬行器工作正常，但我想调试代码，为此我在我的launch.json文件中添加了以下内容： "name": "Scrapy with Integrated Terminal/Console","type": "python",
浏览 1提问于2018-03-09得票数 23
回答已采纳
1回答
我有一个python3脚本，我在其中调用了2个抓取爬行器，以便在代码中的某个时刻输出一个JSON文件。目前，我通过运行如下所示的bat脚本来做到这一点：Bat脚本：scrapy cr
浏览 20提问于2020-07-30得票数 1
回答已采纳
我正在编写自己的Scrapy项目管道，以便将单个JSON文件输出到S3中。到目前为止，这是我的代码，但我无法解决如何将每个项序列化为JSON。注意:这是关于如何序列化对象的问题，而不是关于如何序列化对象的一般问题。(item)
File "/usr/local/Cellar/python/2.7.13/Frameworks/Python</em
浏览 2提问于2017-01-01得票数 1
回答已采纳
2回答
我在Windows 7 x64上使用Python2.7 (Anaconda)。我通过pip安装了Scrapy。安装的版本为1.0.1。runspider stackoverflow_spider.py -o top-stackoverflow-questions.json
C:\Anaconda\lib\s
浏览 3提问于2015-07-17得票数 1
回答已采纳
我已经用scrapy编写了一个爬虫&在python脚本(而不是scrapy cmd提示)中运行它。我想要配置设置，以便获得特定文件(例如output.json)中的废弃数据。如果我在提示符下运行以下命令就可以得到结果：“scrapy crawl myspider -o scrapedData.json -t json”
但我希望通过运行脚本而不是通过cmdline工具获得相同的输出谢谢你的帮
浏览 0提问于2014-02-18得票数 3
我在这里发布了我的代码来寻求帮助，我只是想获得JSON字符串格式的响应体数据，但在多次尝试后都没有成功。此数据位于SOAP Web服务之后，它不是XML或HTML格式的常规格式，因为它在Ajax中加载数据。# coding: utf8
from scrapy.spider import BaseSpider
f = open("stock_<e
浏览 0提问于2013-12-23得票数 0
我正在尝试保存scrapy crawl命令的输出，我已经尝试过scrapy crawl someSpider -o some.json -t json >> some.text，但它不起作用，有人告诉我如何将输出保存到文本文件中...我的意思是通过scrapy打印的日志和信息……我正在尝试保存scrapy crawl命令的输出，但它不起作用。
浏览 5提问于2013-05-20得票数 12
回答已采纳
2回答
在阅读Scrapy教程时，我注意到Python并没有产生任何输出到命令提示符。我能够跟随教程一直到尝试Shell中的选择器。到那时为止，大多数事情都如愿以偿:输出文件是按预期创建的；但是，没有出现控制台输出。
浏览 11提问于2015-03-01得票数 6
回答已采纳
我正在使用scrapy从这个中抓取作业数据。一个作业页面看起来像。静态数据可以很容易地被scrapy抓取，但是google地图apis生成的动态数据，如“距离”和“时间”，给我带来了问题。当我在chrome中打开控制台，然后在脚本部分的网络选项卡中，我可以看到一个对googles map api发出的java请求("DirectionsService.Route")，所有我需要的值都是JSON格式的。有没有一种方法可以让我使用<em
浏览 1提问于2015-02-05得票数 0
1回答
我是Scrapy的新手，已经尝试了一段时间了。提前谢谢。我想获取来自不同页面的链接列表。每个解析方法都会生成一个包含链接列表的对象，但是输出文件只是转储这些对象，而没有将它们放入列表中，因此它不是有效的json。输出为{"links": *list of links*}[{"links": *list of links*},
{&q
浏览 22提问于2020-05-13得票数 0
我正在尝试使用Scrapy shell来浏览网页，然后再编写爬行本身。有一件事我发现很难读懂杂乱无章的shell输出。有没有什么方法可以让输出更漂亮呢？例如，使用以下命令运行shell然后使用shell发出命令：
response.css("ul.directory.dir-
浏览 0提问于2015-10-30得票数 4
我使用脚本文件在scrapy项目中运行爬行器，并且爬行器记录爬虫的输出/结果。但是我想在脚本文件中使用爬行器输出/结果，在某些函数中，.I不想将输出/结果保存在任何文件或DB中。下面是从获取的脚本代码from scrapy.crawler import CrawlerRunner
from scrapy.utils.logimport config
浏览 3提问于2016-10-25得票数 12
我正在尝试让scrapy将结果写入到S3存储桶中。我的配置文件中有以下内容： 'scrapy.pipelines.files.S3FilesStore': 1FEED_URI = 's3://1001-results-bucket/results.json'我的解析函数非常简单：
cla
浏览 9提问于2018-02-14得票数 1
通过下面的命令，我可以看到scrapy模块中的名称：>>>dir(scrapy)$find / -name "scrapy*" -print
浏览 0提问于2018-07-28得票数 0
回答已采纳
1回答
抓取-数据提取(如json)
、、、、
我试图通过使用刮除来废弃两个网页，但我没有得到预期的输出。还试图将数据提取为json文件，但输出文件为空。到目前为止，我已经尝试了下面提到的代码：
name的形式获得输出，我使用了以下命令：
scrapy crawl plants -o trees_json.
浏览 2提问于2018-03-18得票数 0
回答已采纳
我在我的scrapy-project的scrapy文件中插入了以下内容：这导致执行scrapy crawl quotes_splash -o Outputs/quotes_splash.json时出现以下错误输出
(scrapy_course) andylu@andylu-Lubuntu-PC:~$ scrapy crawl quotes_spla
浏览 1提问于2020-12-02得票数 1
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号