我正在尝试从这个page中抓取以下表单数据的内容： 我需要将County:设置为George's，并将DateOfFilingFrom设置为01-01-2000，因此我执行以下操作： % scrapyshell
In [1]: from scrapy.http import FormRequestIn [2]: request = FormRequest(url='https://registers.maryla
浏览 24提问于2020-08-24得票数 1
回答已采纳
from scrapy import FormRequest
fetch(url)但它让我犯了这样的错误：
浏览 5提问于2020-10-13得票数 0
1回答
我正在爬行一个带有一个表单的asp.net页面，其中包含多个具有不同选项的选择标记。每个select标记都附加了一个JavaScript函数，每次选择不同的值时都会触发该函数。该JS函数执行AJAX调用，该调用返回类似于JSON的文本响应，但它是文本。就是这里
我想用Scrapy来截取它，但是我没有得到这个小字符串，而是得到了整个页面。'NJGroup123390‘它是s
浏览 4提问于2014-02-11得票数 0
2回答
import scrapyfrom scrapy.http import Request, FormRequest self.log("#####################")我希望被重定向到主页并得到相应的内容我注意到，在默认情况下，scra
浏览 4提问于2016-12-01得票数 0
回答已采纳
1回答
刮擦填写邮寄表格
、、、
我认为FormRequest类可以完成这个任务，但是我不能处理javascript表单。刮痕爬虫什么也不回。from scrapy.http import FormRequest 'http://www.voyages-sncf.com&#
浏览 1提问于2015-06-02得票数 2
回答已采纳
2回答
Scrapy在页面上找不到表单
、、、、
我正在尝试编写一个自动登录到的爬虫。但是，当我尝试在shell中使用scrapy.FormRequest.from_response时，我得到了错误：当我在网站上检查元素时，我肯定可以看到表单，但当我尝试使用response.xpath()查找它时，它也没有在Scrapy
浏览 0提问于2018-06-30得票数 1
1回答
我正在尝试从批处理文件中运行scrapy shell，到目前为止工作的是启动批处理文件和交互式shell。然后，我希望能够将命令解析到scrapy控制台(在shelp()之后的命令行)。我的代码：scrapy shell
浏览 4提问于2020-02-28得票数 0
我正在尝试编写一个python/scrapy脚本，以便从获得一个广告列表，我对获取单个广告的urls感兴趣。我发现该页面正在向发出XHR请求。尝试编写刮擦的shell脚本来尝试我的想法：url = 'https://www.donedeal.ie/search/api/adType': "forsale&qu
浏览 4提问于2015-10-17得票数 1
回答已采纳
我想登录rediffmail，但是错误是生成的。exceptions.NameError:未定义全局名称“FormRequest”
import scrapyfrom scrapy.http import Request
from rediffmail.items import R
浏览 1提问于2016-01-04得票数 0
回答已采纳
2回答
我的意图是调用start_requests方法登录到网站。登录后，刮掉网站。基于日志消息，我看到了1。但是，我看到没有调用start_request。2.解析的call_back函数也没有调用。实际上发生的是蜘蛛只在start_urls中加载urls。
zau
浏览 0提问于2016-10-03得票数 0
回答已采纳
Im正在尝试使用Scrapy解析页面，为了显示隐藏的文本和价格，我在字段中输入了任意的邮政编码或随机数字：
<input aria-label="Enter your zip code" role="textbox" name="searchTerm" class="form-control js-list-zip-entry-input" placeholder="ZIP Code"
浏览 0提问于2016-11-30得票数 3
1回答
如何使用scrape从使用javascript框架加载数据的网站中刮取数据？从每个页面请求下载html，但有些网站使用js框架，比如Angular或VueJs，它将分别加载数据。我尝试使用Scrapy、Selenium和chrome驱动程序的组合来检索htmls，它为呈现的html提供了内容。但是，在使用此方法时，我无法保留用于选择国家和货币的会话cookie集，因为每个请求都由selenium或chrome
浏览 1提问于2018-03-20得票数 0
2回答
我对刮刮很陌生，但我处理的是一个特别复杂的网站，它涉及表单和java代码。我试图从联合国网站上抓取新闻发布数据，但我不认为该网站被正确渲染，因为没有任何东西被刮掉。下面是我的代码和输出。刮码import scrapy_splash
2018-04-25 13:
浏览 0提问于2018-04-25得票数 1
我试图向scrapy.FormRequest对象提供格式数据。，在scrapy shell中运行：method_post = 'POST'
formdata，使用不同的转义字符，以及在dict上的变体，以使其更容易接受，但是删除此错误的</
浏览 0提问于2019-04-09得票数 1
回答已采纳
我想在文本输入字段中输入一个值，然后提交表单，在表单提交之后，在页面上刮掉新的数据，这怎么可能呢？import pymongofrom issfst.itemsimport IssfstItem
class IssSp
浏览 0提问于2019-09-05得票数 5
回答已采纳
我有下面的蜘蛛，它应该是用来发布到表单中的。不过，我似乎没办法让它起作用。当我通过Scrapy做这件事的时候，我的反应从来没有显示出来。有人能告诉我我哪里出了问题吗？这是我的蜘蛛密码：from __future__ import unicode_literalsfrom scrapy.httpimport FormRequest
from scra
浏览 8提问于2016-03-13得票数 1
回答已采纳
该网站包含一个给房地产经纪人的电话号码，可以撤回为ajax的帖子请求。由scrapy生成的请求从服务器返回一个错误，而从Postman发送的相同请求则返回所需的数据。以下是网站网址：
我在chrome的dev tools中使用Network选项卡记录了请求。ajax请求的url是：发送请求所需的数据是包含在页面源中的CSRFtoken，它周期性地变化。在邮递员<e
浏览 0提问于2017-04-06得票数 0
回答已采纳
我打算用一个抓取的蜘蛛登录这个website。登录页面是一个GET请求方法 ? 如您所见，这是一个GET方法，没有显示id和passeword的任何属性。 ?但在HTML代码中，有一个链接(当我在浏览器的url栏中写它时，它不起作用)，它指示一个POST方法method="post"。但当我登录时，在浏览器控制台的网络中没有出现POST文件。
浏览 24提问于2019-02-09得票数 0
回答已采纳
我正在提交一个FormRequest来更改多个结果页面的页数。r = FormRequest(url, formdata=payload)...view(response)
但是，当我将post请求实现到我的代码中时，post会被引用回最初的搜索站点。为什么在我的代码中引用这个Post来搜索，而不是在shell中呢？我怎样才能在继续寻找下一组结果的</em
浏览 3提问于2017-05-21得票数 1
回答已采纳
1回答
为此，我使用Scrapy库创建了一个简单的Python程序，但我不能完全确定它是否被正确开发，因为我不知道如何调试它(或者这是否可能)，现在我没有得到任何结果。目前，我的代码如下所示：from scrapy import FormRequest我的第二个问题是来自自己页面的网络头，它看起来像这样：
这让我对我
浏览 2提问于2020-10-06得票数 1
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号