我听说scrapy不支持javascript。我想知道我是否可以使用scrapy抓取我们内部网站的链接，我们的内部网站有javascript，我相信当你点击一个链接时它就会生成，但我不是100%确定。我还能不能用scrapy的爬虫抓取每个链接？如果我不能，你能推荐另一个我可以使用的工具吗？支持javascripts和post身份验证登录(Https)。
谢谢!
浏览 2提问于2013-07-16得票数 0
我试图爬行一个网站，搜索所有的JS文件来下载它们。我刚接触Scrapy，我发现我可以使用CrawlSpider，但我似乎对LinkExtractors有一个问题，因为我的解析器没有执行。import scrapyfrom scrapy.linkextractors import LinkExtractor'example.com']
start_urls = ['http:
浏览 25提问于2021-02-17得票数 0
回答已采纳
1回答
import scrapyfrom scrapy.loader import ItemLoader articles = response.xpath('//div[@class="postArticle postArticle--short js-postArticlejs-
浏览 1提问于2020-02-24得票数 0
回答已采纳
1回答
因此，在抓取这个url之前，我通过scrapy登录，然后通过这个结果页面登录。但是，即使这个页面的http响应是200，它也不会丢弃任何数据。守则如下：from scrapy.spider import BaseSpiderfrom scrapy.selectorimport HtmlXPathSelector
from scrapy.contrib.spiders import CrawlSpider, R
浏览 3提问于2013-05-31得票数 5
您可以看到，某些类具有:js-变量，而有些类禁用js-变体。但是这不能正常工作，并且给出了所有的值，即使是在其中禁用了类的值。
浏览 4提问于2022-11-01得票数 0
回答已采纳
我想使用Scrapy从一个给定的网站获得所有链接。我正试着这样做-import unidecodefrom scrapy.linkextractorsimport LinkExtractor
name = 'linkdataparse(self, r
浏览 3提问于2016-10-07得票数 2
回答已采纳
1回答
我正在努力刮这个，并且我很难理解css选择器与Scrapy一起工作。css css：.css-truncate-target .messagetime-ago.css-truncate-target .message::texttime-ago::textimport scrapy<
浏览 3提问于2017-12-03得票数 1
回答已采纳
我有一个用命令scrapy crawl mynamefile启动的python脚本。我想从我的node js应用程序的js文件中运行python cli命令scrapy crawl，然后在控制台中显示它。 问题是我不知道如何在节点中导入scrapy python库。 谢谢你的帮忙!
浏览 24提问于2019-03-07得票数 0
我正试着用Scrapy从Youtube上收集一些评论。但是，当我进入scrapy shell模式并使用view(response)打开它时，除了加载旋转器之外，我找不到任何注释。scrapy shell https://www.youtube.com/watch?v=kkl7-NzqxWo在注释部分显示无限旋转器。
浏览 1提问于2018-12-01得票数 0
回答已采纳
2回答
import scrapyfrom scrapy.http import Request, FormRequestfrom fandromeda.items import FandromedaItem
class FandromedaC(CrawlSpider我注意到，在默认情况下，scrapy正在发出get请求而不是post。scrapy</
浏览 4提问于2016-12-01得票数 0
回答已采纳
1回答
│ ├── bootstrap.bundle.min.js│ │ │ ├── bootstrap.js│ │ │ ├── bootstrap.min.js│ │ │ └── bootstrap.min.js
浏览 21提问于2019-03-17得票数 2
回答已采纳
1回答
基于邮编的动态数据提取方法
、、、、
我对Scrapy很陌生，通过一些教程，我可以刮几个简单的网站，但我现在面临一个新网站的问题，在那里我必须填写一个搜索表格并提取结果。我得到的回应没有结果。
浏览 0提问于2013-07-25得票数 2
回答已采纳
1回答
这是我的python代码(我正在用docker run -p 8050:8050 scrapinghub/splash运行splash docker ) import scrapyimport scrapy_splash
class Covid_Spider-- Global site tag (gtag.js) - Go
浏览 10提问于2020-04-01得票数 0
回答已采纳
我可以编写一个xpath表达式，它可以在我的浏览器中工作：但是当我尝试使用Scrapy外壳时：
response.xpath("//*/section/div
浏览 8提问于2021-08-23得票数 0
回答已采纳
1回答
init.py
class RsdataSpider(scrapy.Spider//h2/span[@class="property-card__title js-cardLink js-card-title"]/text()').extract_first()//span[@class="pr
浏览 0提问于2021-08-18得票数 0
回答已采纳
from scrapy_splash import SplashRequest
name = 'jsdemo'def start_request(self): url = 'http://quotes.toscrape.com/js爬行jsdemo‘一起运行的(我已经在本地虚拟环境中安装了scr
浏览 0提问于2018-05-11得票数 0
回答已采纳
2回答
我试图用Scrapy登录一个网站，但收到的响应是一个只包含内联JavaScript的超文本标记语言文档。JS重定向到我想要从中抓取数据的页面。但是Scrapy不执行JS，因此不会路由到我想要的页面。'request_id': request_id, }print
浏览 72提问于2017-06-22得票数 3
2回答
import scrapy author = scrapy.Field= ["http://quotes.toscrape.com/js/"]
for url in self.start_urls\tutorial\spi
浏览 5提问于2020-10-14得票数 4
回答已采纳
1回答
为什么刮痕不发送正确的url？
、、、、
parse: url = 'http://quotes.toscrape.com/js=0.8", "Accept-Language": "en"}, "html": 1, "png": 0, "url": "http://quotes.to
浏览 4提问于2020-08-02得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
