我正在尝试用Scrapy抓取一个游戏信息网站。抓取过程是这样的:抓取类别->抓取游戏列表(每个类别有多个页面) ->抓取游戏信息。抓取的信息应该放到一个json文件中。我的蜘蛛： import scrapy name =文件： import scrapy
c
浏览 26提问于2021-02-09得票数 0
1回答
我是Scrapy的新手，已经尝试了一段时间了。提前谢谢。我想获取来自不同页面的链接列表。每个解析方法都会生成一个包含链接列表的对象，但是输出文件只是转储这些对象，而没有将它们放入列表中，因此它不是有效的json。输出为{"links": *list of links*}[{"links&q
浏览 22提问于2020-05-13得票数 0
我的Php代码工作的GET方法，当我得到"ID“和GET "Rate”我的SQLDatabase更新，我的输出是树参数EncodedJson ( OldRate，YourRate，TotalRate)。在对PHP输出进行编码后，它看起来是正确的，但在AndroidStudio中，我的GET请求方法有问题。com.android.volley.ParseError: org.json.JSONExceptionJSO
浏览 22提问于2018-01-20得票数 0
回答已采纳
2回答
我正在尝试遵循Scrapy教程，但我不理解的逻辑。scrapy crawl spidername -o items.json -t json
我不明白以下的意思：
谢谢你的帮助
浏览 4提问于2012-12-28得票数 14
回答已采纳
1回答
我希望将多个数组显示为一个数组，这样，每次创建对象时，它都会得到一个键值，然后形成一个更具体的对象，下面是一个简短的例子。, phone{}}, {name:{}, surname{}, phone{}}]
我在php中导出这个JSON对象，这样我就可以在AngularJs ng-重
浏览 2提问于2017-06-08得票数 2
回答已采纳
2回答
将刮过的值返回到数组中
、、、
Scrapy似乎正确地提取了数据，但是正在格式化我的JSON对象中的输出，就像它是一个数组一样：def parse(self, response):
sel = Selector(re
浏览 1提问于2014-05-06得票数 2
回答已采纳
我正在尝试保存scrapy crawl命令的输出，我已经尝试过scrapy crawl someSpider -o some.json -t json >> some.text，但它不起作用，有人告诉我如何将输出保存到文本文件中...我的意思是通过scrapy打印的日志和信息……我正在尝试保存scrapy crawl命令的输出，但它不起作用。
浏览 5提问于2013-05-20得票数 12
回答已采纳
我有一个从web服务返回的JSON对象，它是一个对象数组。我需要将“数据”数组相加在一起，形成一个相加的数组。JSON响应如下所示： { 0,3,8,2,5 "someKey":"someValue" {&qu
浏览 5提问于2015-10-22得票数 0
回答已采纳
3回答
设置导出新的spider_output.csv时，Scrapy将其附加到现有的spider_output.csv中。我能想到两种解决方案，
我已经读到(令我惊讶的是) Scrapy目前要做的
浏览 18提问于2017-04-25得票数 3
回答已采纳
1回答
我有一个设备实体，它与图片实体有一对多的关系。就像一个设备有很多图片一样。如何在JSON中输出所有设备属性和图片数组？当我尝试的时候：我得到了带有一些附加信息的laravel对象数组。我试图以某种方式来做，但没有设法得到一个简单的图片对象的数组(或数组
浏览 1提问于2013-05-23得票数 1
回答已采纳
1回答
我试图让我的输出以json格式显示如下。www.url.com"},但是在使用项目之后，我看到了一些值，但并不是所有的值都存储在一个列表中class MyItem(scrapy.Item):
title = scrapy.Fiel
浏览 2提问于2022-01-31得票数 0
回答已采纳
1回答
我使用Scrapy并尝试输出一个json文件。当我不使用item，但我想使用它们时，它工作得很好。所以我的爬虫代码是： import jsonfrom scrapy.loader import ItemLoader })
yield loader
浏览 20提问于2019-03-18得票数 1
回答已采纳
1回答
我正在用scrapy爬行一个页面，我想将响应保存在一个JSON文件中。数据有不同的编解码器(波斯语和英语)。对于波斯语，使用UTF-8编码很好，但是当波斯语单词之间有英文单词时，会给我带来一个错误：
import json{"text&
浏览 0提问于2018-04-10得票数 0
我在这里发布了我的代码来寻求帮助，我只是想获得JSON字符串格式的响应体数据，但在多次尝试后都没有成功。此数据位于SOAP Web服务之后，它不是XML或HTML格式的常规格式，因为它在Ajax中加载数据。# coding: utf8
from scrapy.spider import BaseSpider
f = open("stock_<e
浏览 0提问于2013-12-23得票数 0
1回答
我正在使用Scrapy从一个网站中提取一些值。其中一个领域是“价格”，我有如下内容： "amount": float_number }
我将输出设置为JSON文件，并生成一个字典项。问题是，当我用项目打开输出JSON时，我会看到以下内容： "t
浏览 4提问于2022-05-19得票数 0
1回答
此时此刻，我正在尝试创建一个这样的json。= "[\n{\n\"name\":\"" + "module beschrijving" + "\",\n"; $("
浏览 0提问于2018-05-26得票数 0
1回答
我使用python框架Scrapy来抓取网站并将数据存储在一个json数组中。要存储数据，我使用以下命令：但是，每次我调用此命令时，它都会在文件中创建一个新的JSON数组。有没有一种方法可以简单地附加到文件中已经存在的JSON数组中？
我意识到Scrapy<
浏览 0提问于2014-01-29得票数 1
1回答
我正在对特定端点执行请求，使用python请求添加一些头和json。但是，由于我正在编码的存储库的体系结构是基于scrapy的，所以我想提出相同的请求，但要翻译为scrapyjson_data = { 'page_sizeresponse = requests.post(endpoint, headers=
浏览 5提问于2022-10-11得票数 0
我对爬虫设置、蜘蛛设置、settings.py和项目设置感到困惑，我在函数中看到了关于刮伤的文档，而我还没有理解difference.For示例 "FEEDS": { },区别是什么，以及如何使用它们。对不起我的英语不好。
我想知道them.and之间的</e
浏览 7提问于2022-11-23得票数 1
我有一个字符串的JSON数组，它只是从服务器接收的响应。现在，我希望遍历数组对象并形成一个字符串，并对整个字符串执行字符串操作。status.last}"> </c:if>但是这里我不想以这种方式，而是像Toyota Mazda Hyundai那
浏览 0提问于2018-05-07得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号