scrapy被redis阻塞

文章/答案/技术大牛

发布

2回答

python、redis、scrapy、yield

我使用一个抓取的爬虫来充当消费者，也有一个生产者来产生urls并不定期地将它们放在redis中，我的代码如下： def start_requests(self): for msg in self.redis_sub.listenmeta={'pageCount': pageCount, 'id': id, 'dont_redirect': True}) 代码可以正常接收urls，但是当它阻塞在第二行等待urls时，所有的scrapy都会暂停，包括之前产生

浏览 52提问于2019-01-23得票数 0

回答已采纳

1回答

scrapy Redis无法连接到AWS

amazon-web-services、amazon-ec2、redis、amazon-elasticache

我有两个运行Scrapy的Ubuntu EC2实例，它们都使用scrapy来控制dupe。我正在尝试使用ElastiCache红宝石作为刮红店。我有完全相同的设置在不同的AWS帐户，它运行良好。两个EC2实例和ElastiCache实例都在同一个VPC中，我遵循这篇文章允许安全组从Scrapy实例访问ElastiCache。您可以看到下面的设置：ElastiCache实例位于选定的安全组中；其他两个组是两个Scrapy EC2实例。这个问题被隔离到Scrapy，因为我可以使用<em

浏览 0提问于2019-06-01得票数 0

2回答

Scrapy-Redis中的Dupefilter没有按预期工作。

python、redis、scrapy

我感兴趣的是使用来存储在Redis中刮过的物品。特别是，似乎是一个有用的特性。page/1/', ] '

浏览 25提问于2017-05-04得票数 1

回答已采纳

1回答

scrapy-redis如何将第一个请求实现为post请求

python、scrapy

我们知道scrapy_redis可以通过重写start_request函数来实现post请求，那么scrapy呢？

浏览 26提问于2019-03-18得票数 0

2回答

为什么scrapy-redis不起作用？

python、redis、scrapy、web-crawler

我从github下载了scrapy-redis，并按照说明运行它，但它失败了，并给出了这个错误： Traceback (most recent call last): File "/usr/local/lib/python2.7/dist-packages/Scrapy-0.16.3-py2.7.egg/s

浏览 0提问于2013-01-04得票数 1

回答已采纳

0回答

如何利用golang和redis实现一个分布式的阻塞锁？

go、云数据库 Redis®、分布式

k是一个redis的key 当执行到redis.synchronize_free(k) ，释放分布式锁，释放所有被k阻塞的

浏览 561提问于2021-02-06

1回答

定制BaseSpider刮伤

python、scrapy、scrapy-spider

通常，刮伤蜘蛛是从scrapy.Spider类继承的。我尝试在scrapy的蜘蛛文件夹中创建一个BaseSpider类，但是没有工作 def __init= Redis(host='redis', port=6379)给出这个错误 TypeError: Error when calling= R

浏览 3提问于2017-06-17得票数 0

回答已采纳

1回答

重新抓取一台机器已经爬行的url

python、scrapy、web-crawler、distributed

我使用scrapy-redis.编写了一个分布式蜘蛛SCHEDULER = "scrapy_redis.scheduler.Scheduler"SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPri

浏览 1提问于2016-08-23得票数 0

回答已采纳

1回答

scrapy_redis停止我的蜘蛛在x次空闲之后

python、web-scraping、redis、scrapy

我有一个scrapy_redis蜘蛛池，它侦听红色队列(蜘蛛的数量并不总是相同的)。这个队列由另一个脚本提供。我希望我的蜘蛛在没有活动的X分钟后停下来，那时红色的队列里什么都没有了。这是我的settings.pyDUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilterCrawlera User Agent

浏览 2提问于2017-04-21得票数 4

3回答

Twisted:为什么将延迟回调传递给延迟线程会使线程突然阻塞？

python、multithreading、twisted、redis

我尝试使用txredis (适用于redis的非阻塞扭曲api )创建持久化消息队列，但没有成功，我正在处理一个scrapy项目。我发现，尽管客户端没有阻塞，但它变得比本来可以慢得多，因为在反应器循环中本应是一个事件的东西被分成了数千个步骤。下面是我对一些示例代码的解释

浏览 2提问于2010-03-18得票数 7

回答已采纳

2回答

Nodejs redis方法BLPOP阻塞事件循环。

node.js、redis

我使用库节点-redis：let blpopAsync = util.promisify(client.blpop).bind(client0); // the program is blocked at here // call some redismethod await rpushAsync('queue

浏览 22提问于2020-07-30得票数 3

1回答

scrapy添加scrapy_redis后出现报错？

python、http、编程算法、scrapy

最近学习scrapy框架，在settings中添加scrapy_redis参数 # Ensure all spiders share same duplicates filter throughDUPEFILTER_CLASS = "scrapy</em

浏览 880提问于2020-03-05

1回答

Scrapy请求方法的meta是浅拷贝，而请求方法的meta在scrapy_redis.Why中是深拷贝？

scrapy

scrapy:from scrapy.spider import Request 输出： L-id: 2769118042568秒这是浅拷贝 scrapy_redisfrom scrapy_re

浏览 2提问于2018-08-17得票数 4

回答已采纳

2回答

我应该把db/redis连接绑定到什么地方？

python、web-scraping、scrapy、web-crawler、scrapy-pipeline

我应该将db/redis连接绑定到scrapy、Spider或Pipeline的哪个位置。此外，redis/db的连接池是首选？我只是缺乏实地经验来做决定。需要你的帮助。提前谢谢。因为当你使用红色连接时，它就被阻塞了。只能同时使用一个连接。

浏览 5提问于2020-07-10得票数 1

回答已采纳

1回答

我是否正确地使用scrapy-redis来抓取大量URL？

scrapy

我对分布式scrapy爬虫是个新手，但是我发现了scrapy-redis并且一直在使用它。我在一个覆盆子pi上使用它来抓取大量我推送到redis的URL。我所做的就是在Pi中创建多个SSH会话，然后运行scrapy crawl myspider让爬行器“等待”。然后我启动另一个SSH并执行redis-cli lpush "my links“。我真的只是在寻找在实现这个基本版本的scrapy-redis之后的“下一步”。编辑:我是从这个答案开

浏览 0提问于2020-07-31得票数 0

1回答

无法访问子实例中的父实例变量

python、scrapy

BaseSpiderfrom src.LoggerFactory import get_loggerfrom redis importRedis logger = get_logger() super(scrapy.Spider, self)./co

浏览 2提问于2017-06-19得票数 0

回答已采纳

1回答

如何在parse_item调用之间传递一些信息？

scrapy

看起来整个Twisted被阻塞，直到一个‘请求’请求结束。伪码： for item in item_list:我们不能让Scrapy像Redis这样的东西会起作用，但是嘿，在Scrapy中有没有更好的(更简单，更快)的方法来做到这一点？我不敢相信事情一定这么复杂。

浏览 0提问于2014-06-09得票数 1

回答已采纳

1回答

如何从redis获得一个正常的url，而不是通过url cPikle转换？

python、redis、scrapy、scrapy-spider、scrapy-pipeline

我使用scrapy简单地构建了一个分布式爬虫，从机器需要读取url形式的主队列url，但是有一个问题是，我到达url从机器是在cPikle转换后的数据，我想从redis- url队列中获得url是正确的示例：from scrapy.spider import Spider re

浏览 5提问于2016-03-21得票数 1

回答已采纳

11回答

非阻塞Redis* pubsub可行吗？*

python、redis、redis-py

我想使用redis的pubsub来传输一些消息，但不希望使用listen被阻塞，就像下面的代码：rc = redis.Redis() ps.subscribeif item['type'] == 'message': print item['data'] 最后一个for部

浏览 0提问于2011-10-24得票数 32

回答已采纳

1回答

如何设置scrapy-redis设置以密码连接远程redis-server？

redis、scrapy、remote-access、remote-server

我尝试了两种解决方案：REDIS_PORT = 12000但它会引发以下问题inlineCallbacks File "/home/yuyanggo/.local/lib/python3.6/site-packages/scra

浏览 0提问于2017-11-23得票数 0

点击加载更多