我正在使用刮刀刮掉steam游戏平台，并且我在分页方面遇到了问题。我想用Scrapy的FormRequest函数来模拟这个请求，并一次性获得所有的评论。我不知道该怎么做。我的头和表单数据应该是什么样子的？如何设置我的FormRequest以获取所有注释(在本例中为1-134)？
浏览 1提问于2021-06-25得票数 1
2回答
我正在尝试用scrapy从中抓取数据。但是当我在shell中尝试view( response )时，一些响应丢失了。当我打开chrome dev工具时，我分析了网络，并意识到我正在搜索的数据来自get请求，其中对它的响应是一个包含我需要的数据的json文件。但是请求失败的原因是
有没有办法在scrapy中手动执行get请求来获取json文件？
浏览 38提问于2019-08-10得票数 0
回答已采纳
1回答
我正在对特定端点执行请求，使用python请求添加一些头和json。但是，由于我正在编码的存储库的体系结构是基于scrapy的，所以我想提出相同的请求，但要翻译为scrapyjson_data = { 'page_size=json_data)我想要的答复(简单地说，因为原来的更大)
...
浏览 5提问于2022-10-11得票数 0
我得到了200条HTTP消息，这意味着响应将成功返回。但是我不能解析响应，尽管xpath查询是正确的。有谁可以帮我？谢谢。这是代码：name = 'lazada'
allowed_domains = ['lazada.com.myUPDATE：我确实尝试过获取存储在javascript中的数据，或者使用selenium来模仿人类的浏览行为，但是在尝试
浏览 19提问于2020-10-28得票数 0
1回答
我正在尝试使用拼搏从一个公共网站上获取一些数据。谢天谢地，数据主要可以在以下xhr请求中找到：
但是，当我双击查看实际响应时，search_results项中没有数据：我只是想知道请求是怎么回事，我如何访问这些数据，目前我试着喜欢这个，但显然它没有从响应中获取任何数据。import scrapy name = "whi
浏览 6提问于2022-09-11得票数 1
回答已采纳
1回答
我正在尝试抓取一个使用调用HTML的API的网站，因此为此，我需要抓取API，然后从API抓取HTML结果 我已经使用这篇文章设法获得了API响应，并从中获得了HTML。resp = json.loads(response.text)
selector= scrapy.Selector(text=resp['results'], type="html") 而且它工作得很好，当我试图从页面获取属性时，我可以使用CSS或Xpath选择器来获取<
浏览 10提问于2020-12-16得票数 1
所以，我正在尝试抓取一个无限滚动的网站。我遵循了这个关于无限滚动网页的教程：https://blog.scrapinghub.com/2016/06/22/scrapy-tips-from-the-pros-june-2016 但是给出的示例看起来非常简单，它是一个有序的JSON对象，其中包含您想要的数据。www.bahiablancapropiedades.com/buscar#/terrenos/venta/bahia-
浏览 38提问于2019-02-24得票数 0
回答已采纳
我希望从我查询的RESTful应用程序接口获得JSON响应。我输入了URL，但得到的只是一个HTML响应，而不是JSON。如果我能直接得到JSON响应就好了，而不必解析所有的HTML。注意:当我将URL放到浏览器中时，它会给出一个HTML站点，其中的JSON数据是一种漂亮的、可折叠的格式。当我使用Python requests模块发送GET请求时，它会给出JSON数据。如何在Scrapy中实现相同的功能？
浏览 1提问于2017-05-06得票数 0
所以我想使用Scrapy来获取 { "data": { ...但是，Scrapy中的response.text对象使用不同的编码: "<div class="\"iblock\"">\
浏览 2提问于2017-02-06得票数 1
回答已采纳
2回答
我正在尝试使用scrapy从json响应中提取数据。目的是使产品在答复中列出:eimport json
name = 'depop'
allowed_domains1645&itemsPerPage=24&country=gb¤cy=GBP&sort=relevance&#x
浏览 19提问于2021-12-20得票数 0
回答已采纳
我试图使用scrapy解析来自某些json响应的不同I，但我无法做到这一点，尽管我使用请求模块获得了成功。我试图从这个中获取不同的ids。Ids看起来像1397099，539728 e.t.c，它的请求版本可以毫无瑕疵地获取。()['Products']:使用刮伤(失败)：import json
from urllib.parse import代码
浏览 3提问于2020-07-18得票数 0
回答已采纳
2回答
我正在尝试在ajax请求之后抓取加载的数据。scrapy shell https://www.youtube.com/user/testedcom/videos
浏览 1提问于2015-10-24得票数 1
1回答
Scrapy反应的不恰当编码
、、、、
当我昨天试用Scrapy时，我正在尝试获取一个中国Ruby论坛的帖子的标题。但是，不知何故，Scrapy的输出都是Unicode，如下所示我已经检查了响应的编码为UTF因此，我搞不懂为什么我使用Scrapy选择器来选择标题并将输出放到Json文件中。然后，文件内容都是字符指针，就像\u5317一样。任何帮助都将不胜感激。
浏览 3提问于2017-05-23得票数 1
我正在尝试编写一个python/scrapy脚本，以便从获得一个广告列表，我对获取单个广告的urls感兴趣。我发现该页面正在向发出XHR请求。尝试编写刮擦的shell脚本来尝试我的想法：url = 'https://www.donedeal.ie/search/api/在Chrome工具中，我看到这样的请求给出
浏览 4提问于2015-10-17得票数 1
回答已采纳
1回答
试着在刮破的壳里做
>>>scrapy shell 'https://www.trendyol.com/trendyolmilla/cok-renkli-desenli-elbise-twoss20el0573
浏览 2提问于2021-06-24得票数 0
回答已采纳
1回答
被刮掉的URL数量和获得200个响应状态的URL数量是不一样的。另外，我想得到的URL与他们各自的反应。我正在使用Scrapy抓取70000个URL，同时希望通过Scrapy获取每个URL的HTTP响应状态，以便在获取特定URL的内容之后，我们还将获得该URL的响应代码：如何获得相应URL的响应代码？
浏览 1提问于2018-09-03得票数 0
1回答
嘿，所以我有一些抓取html的经验，但从不使用json，所以我需要使用scrapy，来抓取下面的网页，并且我在网上找到了一个教程，它使用scrapy和jmspath从web上刮取json数据。items.py
"""User item definition for jsonplaceholdername = scrapy.Field()
浏览 0提问于2019-06-28得票数 2
回答已采纳
2回答
我正在尝试爬行这个，但是我得到了空响应，我使用了scrapy，我尝试了打印xpath，但是我得到了空数组，虽然这是一个直接的任务，但是现在我无法从表中获取数据。这是我的密码。import scrapy
name = 'share'
浏览 16提问于2022-11-14得票数 1
回答已采纳
我正在使用Scrapy来抓取ntry.com它的主页的url是ntry.com/#/main.php，但出于一个我不知道的原因，我不能刮错一页。这是我的代码。import scrapy
name = "ntry"start_urls
浏览 0提问于2016-11-20得票数 0
我正在处理scrapy中的响应，并不断收到这条消息。f
浏览 1提问于2015-07-27得票数 3
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
