1回答
我想通过刮擦刮刮结果页面()。import sysfrom scrapy.http import FormRequest
from scr
浏览 3提问于2013-05-31得票数 5
1回答
为了与html页面进行交互，我试图把一些我需要的插件集合在一起。我需要的范围从简单的浏览和与按钮或网页链接(如“在这个文本框中写一些文本并按这个按钮”)进行交互，到解析html页面和向服务器发送自定义get/post消息。
浏览 3提问于2014-04-17得票数 1
回答已采纳
我正在尝试抓取一个使用Js的站点，但scrapy一直将下一个页面的url作为副本丢弃，并停止抓取。根据我的理解，scrapy通过检查请求所指向的资源的散列来检查重复项，默认情况下会丢弃URL中的片段。(参见下面的scrapy发布说明摘录) “scrapy.utils.request.request_fingerprint()的新keep_fragments参数允许为URL中具有不同片段的请求生成不同的指纹
浏览 20提问于2020-09-09得票数 0
回答已采纳
1回答
我已经用Scrapy一个月了。我能够抓取和抓取几个网站(事实上我已经抓取了900个网站)，基于pipelines.Now给出的关键字，问题是当我们遇到javapages (ajax)时，抓取不能抓取。我正在尝试使用以下代码，并对抓取ajax页面进行适当的更改第二个问题是，我面临的问题是scrapy无法抓取登录页面<
浏览 2提问于2013-06-19得票数 0
回答已采纳
在创建我的第一个爬虫时，我想检查网站是否使用了某个框架。我知道我可以使用SplashRequest来使用无头浏览器来呈现它，但这样做效率不高。我如何才能弄清楚哪些网站需要通过Splash，哪些网站不需要这样做，而不是真正制作无用的SplashRequests？
浏览 3提问于2021-03-26得票数 0
1回答
如何使用Scrapy更新价格
、、、、
我正在开发价格下降通知应用程序，我正在考虑使用Scrapy，但是，我不确定如何使用它，我是否需要在特定间隔后定期检查产品价格，或者有任何其他方法来做到这一点。
浏览 2提问于2021-06-13得票数 0
它应该做的是浏览几个网站，点击一些按钮，抓取所需的信息，存储收集的信息，并填写一些表格。使用Python可以做到这一点吗？如果是，那么最紧凑的方法是什么？
浏览 1提问于2013-05-07得票数 0
2回答
我试图用Scrapy登录一个网站，但收到的响应是一个只包含内联JavaScript的超文本标记语言文档。JS重定向到我想要从中抓取数据的页面。但是Scrapy不执行JS，因此不会路由到我想要的页面。'request_id': request_id, }
yield scrapy.FormRequestc
浏览 72提问于2017-06-22得票数 3
我有一个elasticsearch管道，它将索引所有抓取的内容到elasticsearch。我的问题是从start_urls页面抓取的内容被编入了索引。在scrapy中有什么设置可以实现它吗？scrapy是否只考虑从start_url页面抓取页面中的抓取内容？
浏览 0提问于2014-08-26得票数 0
我对BeautifulSoup比较熟悉，但对Scrapy crawler不太熟悉。
浏览 323提问于2013-10-30得票数 146
回答已采纳
2回答
我正在尝试使用scrapy抓取一个网站，但网站没有网站地图或页面索引。如何使用scrapy抓取网站的所有页面？
我只需要下载网站的所有页面，而不提取任何项目。我只需要在蜘蛛规则中设置关注所有链接吗？但我不知道scrapy是否会以这种方式避免复制urls。
浏览 0提问于2013-01-06得票数 5
回答已采纳
scrapy shell https://www.indiegogo.com/projects/functional-footwear-run-pain-free#/
response.css('.t-h3
浏览 1提问于2020-08-03得票数 0
我是Scrapy & Python的新手。我尝试从以下URL获取注释，但结果始终为null：from scrapy.spiders import Spider
from scrapy.selector import Selector
浏览 4提问于2016-05-12得票数 0
回答已采纳
1回答
到目前为止，我一直在使用scrapy和编写自定义类来处理使用ajax的网站。但是，如果我使用scrapy-splash，据我所知，它会在javascript之后抓取呈现的html，爬虫的速度会受到严重影响吗？使用scrapy抓取一个普通的html页面所需的时间与使用scrapy-splash抓取javascript渲染的html所需的时间进行了怎样的比较？最后，scrapy splash和Selenium的比较如何？
浏览 3提问于2018-04-18得票数 12
回答已采纳
我正在尝试使用抓取来抓取www.mywebsite.com。我如何告诉scrapy我需要它来抓取重定向的url？我只需要它来爬行重定向的网址，而不是其他网址，导致的网站(如facebook页面等)
2016-11-27 14:48:42 [scrapy
浏览 1提问于2016-11-27得票数 1
1回答
我正在尝试使用scrapy和selenium来抓取javascript网站。我使用selenium和一个chrome驱动程序打开javascript网站，使用scrapy从当前页面抓取到不同列表的所有链接，并将它们存储在一个列表中(到目前为止，这是最好的方法，因为尝试使用seleniumRequest跟踪链接并回调到解析新页面函数已经导致了很多错误)。然后，我循环遍历URL列表，在selenium驱动程序中打开它们，并从页面中抓取信息。到目前为止，这个
浏览 36提问于2021-02-05得票数 0
回答已采纳
我正在抓取一个包含URL列表的大文件。显然，我不能连续地抓取所有的URL。我当前的解决方案从文件中读取URL。一旦它从该页面抓取和下载文档，我就会写入一个新文件，如下所示： # > scrapy c
浏览 6提问于2019-10-11得票数 0
1回答
---- * <-- START / #-----*-----/ 这是一个我想用scrapy处理的网站的结构，其中*是一个页面，-表示链接。我想抓取#页的数据。我已经做了一个可以从一个页面抓取数据的抓取器。import scrapy
class MyItem(scrapy</
浏览 2提问于2017-03-07得票数 1
我一直在测试下面的Scrapy代码，以递归地抓取www.whoscored.com站点上的所有页面，该站点用于足球统计：from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selectorfrom scrapy.item impor
浏览 0提问于2014-07-18得票数 11
回答已采纳
1回答
我正在尝试抓取#页的数据。我已经做了一个可以从一个页面抓取数据的抓取器。但它在刮掉第一页后突然完成了工作# -*- coding: utf-8 -*-import csvfrom scrapy.selector import Selector
class Proddduct(scr
浏览 11提问于2019-11-07得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
