腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
分布式
芹菜
调度
器
、
我正在寻找一个
分布式
的类似cron的Python
框架
,我找到了芹菜。然而,文档中说“你必须确保一次只有一个
调度
程序在运行一个
调度
程序,否则你会得到重复的
任务
”,Celery使用的是celery.beat.PersistentScheduler,它将
调度
存储到一个本地文件中那么,我的问题是,除了默认实现之外,是否还有其他实现可以将
调度
“放入集群”,并协调
任务
执行,以便每个
任务
只运行一次?我的目标是能够在集群中的所有主机上以相同的时间表运
浏览 0
提问于2011-08-10
得票数 12
1
回答
Python:如何快速上传到Google BigQuery?
、
、
我跟踪了大约25万个时间序列文件,我已经上传到Google bigquery。每天,每个系列都有大约200个新行,这些行应该通过一些API下载,然后上传到bigquery。我已经设置了一个python脚本,它首先连接到Google BigQuery以获取每个时间系列的最后日期,然后该脚本使用多进程创建10个进程,每个进程连接到一些API并下载丢失的数据。下载后,大约需要2秒,我需要将数据输入BigQuery。目前,我使用名为pandas的to_gbq函数上传数据,并计时了上传所需的时间,结果如下: 10,000 rows take
浏览 2
提问于2017-07-07
得票数 0
回答已采纳
6
回答
分布式
作业
调度
、管理和报告
、
、
、
最近,我在上玩了一圈,它对MapReduce作业的
调度
、管理和报告给我留下了深刻印象。它似乎使新作业的分配和执行非常无缝,使开发人员能够集中精力实现他们的作业。我想知道在Java域中是否存在不容易表示为MapReduce问题的作业的
分布式
执行?例如: .B..-.--C 那么,是否有一个提供这样
浏览 4
提问于2009-12-16
得票数 10
回答已采纳
1
回答
如何在
分布式
dask中找到
任务
失败的原因?
、
、
我正在使用dask.distributed开发一个
分布式
计算系统。我提交给它的带有Executor.map函数的
任务
有时失败,而其他
任务
似乎相同,成功地运行。由Executor.map运行的函数返回None。我在地图上有40000多个
任务
,所以学习日志有点乏味。
浏览 1
提问于2016-09-22
得票数 2
回答已采纳
1
回答
使用Redisson的
分布式
独占
任务
?
、
、
、
我正在使用Redisson
分布式
执行器服务。
任务
类A被设计用来处理由队列ID标识的给定队列。有多个这样的队列。我需要确保在集群中的任何时候,在同一队列上工作的
任务
类A的实例不超过一个。因此,
任务
实例的预分配不是一个选项。如何使用Redisson executor实现这一点?
浏览 4
提问于2020-08-05
得票数 1
1
回答
动态集群中
分布式
计算的C/C++
框架
、
、
、
、
我正在寻找一个用于C++
分布式
数字处理应用程序的
框架
。存在一个主节点,它将问题域划分为小的独立
任务
。
任务
分散到具有不同能力的工作节点(例如,支持CPU类型/GPU)。我正在寻找一个快速的C/C++
框架
来完成这个设置。总之,我的主要要求是: 可选:加密和认证通信
浏览 1
提问于2012-07-12
得票数 8
1
回答
了解纱线环境中的TaskManager和
任务
槽
我对Flink很陌生,也没有机会阅读Flink源代码来理解源代码的JobManager、TaskManager和
任务
槽。在纱线容器中运行的是
任务
槽进程?也就是说,
任务
槽类似于Spark的executor进程。 我对JobManager、TaskManager和、没有很好或清晰的理解
浏览 0
提问于2019-01-25
得票数 0
回答已采纳
1
回答
Sun Grid Engine上的Python MapReduce
、
、
、
我对
分布式
计算比较陌生,所以如果我误解了这里的一些基本概念,请原谅。我很幸运地用运行了基本的
分布式
作业,但我真的很想要一个功能更丰富的
框架
来运行我的作业。我读过像和这样的工具,这两个工具似乎都提供了真正的映射-排序-简化作业处理,但它们似乎没有对SGE的任何明显支持。这让我想知道是否有可能使用网格
调度
器实现真正的MapReduce功能,或者人们只是不支持它,因为它们不经常使用。你能在网格引擎上执行Map-Sort-Reduce
任务
吗?将现有的MapReduce工具配置为使用SGE作业
调度
浏览 0
提问于2014-01-04
得票数 2
1
回答
分布式
任务
调度
,作业队列
、
、
、
、
我必须通过电子邮件发送一个特定的
任务
通知,需要发送给用户谁期待它每6个小时。因此,我使用节点-cron在我的服务器上安排了一个
任务
,它每30分钟醒来一次,检查是否有任何用户没有回复他们的电子邮件,使用mysql db和updated_at col进行跟踪。工作得很好!但现在我必须让它在
分布式
环境下工作。使用弹性豆杆与1-4微ec2实例.除了我所拥有的(MySQL)之外,我不想添加任何其他db/存储/队列。 有人能把步骤和节点-cron一起画出来吗?(确保完成某项
任务
一次,我不想在6小时之前发送通知)
浏览 1
提问于2014-11-10
得票数 3
1
回答
Django -设置一个函数,在X秒内完成
、
、
我目前有一个项目,允许用户在X秒内设置一个由自己完成的操作(即使网站上没有用户),比如Cron。你在Django会怎么做?你能帮我安排些克伦·乔布斯吗?
浏览 3
提问于2013-07-27
得票数 1
回答已采纳
1
回答
为什么Apache的性能比本地集群上的R差?
、
、
、
我在比较本地机器上R和Apache的性能,而R似乎做得更好。这是因为我没有使用集群,还是我做错了什么?options = commandArgs(trailingOnly = TRUE)dates = seq(as.Date('2010-01-01'), as.Date('2015-12-31'), by=perday)ids = sample(paste0
浏览 3
提问于2015-06-11
得票数 2
1
回答
Spark并行运行多个操作
、
CompletableFuture[]::new);executor.shutdown(); 在Spark作业管理UI中,我注意到这50个
任务
是并行提交的,但处理仍然处于阻塞状态,一个
任务
开始运行,直到另一个
任务
完成。如何让多个
任务
并行运行,而不是一个接一个运行?
浏览 16
提问于2019-06-16
得票数 0
回答已采纳
1
回答
Django异步on模型保存函数
、
、
我有以下几点: for lang in ["es", "ar"]: super(Landmarks, self).save()是否可以异步地进行相同的操作?
浏览 4
提问于2013-09-07
得票数 6
回答已采纳
1
回答
调度
任务
完全基于空闲,而不是数据通信。
、
、
使用
分布式
调度
许多相互依赖的
任务
,运行在谷歌计算引擎上。当我在一半时间内启动额外的实例时,没有
任务
被
调度
到它(尽管它在
调度
程序中注册很好)。我认为这是因为(来自): 一旦我在
任务
树中运行一半,剩下的所有
任务
都取决于已经运行的
任务
的结果。是否可能允许这样做(例如,设置“
调度
程序策略”)?或者甚至有一个数
浏览 1
提问于2017-10-20
得票数 1
1
回答
LocalCluster
调度
程序没有使用所有内核,并且比默认线程
调度
程序慢吗?
、
我使用dask数组来加速一台机器(4核或32核)上的计算,使用默认的“线程”
调度
程序或dask.distributed LocalCluster (线程,没有进程)。考虑到dask.distributed
调度
器是新的,并且附带了一个很好的仪表板,我希望使用这个
调度
器。但是,我发现LocalCluster
调度
程序比默认
调度
程序慢(因子2或更多)。LocalCluster
调度
程序也没有充分利用所有请求的核心,偶尔在32核机器上只使用一个或几个内核。 问:这是预期的行为吗?如果没有,我可以做些
浏览 1
提问于2021-08-31
得票数 1
1
回答
python中的
分布式
任务
调度
器?
、
、
、
、
我想要建立一个应用程序,它可以调用定期
任务
在规定的间隔- cron替换类似,但没有产卵过程。我会有很多
任务
,大约每分钟10000件。 芹菜-可以作为一个
分布式
系统工作,但它
浏览 0
提问于2018-02-28
得票数 4
1
回答
芹菜是否支持两个
任务
之间的固定间隔?
、
我正在处理芹菜时间表
任务
,遇到了一个问题。 假设有一个计划
任务
每5分钟运行一次。 这个
任务
可以在我的一些API中手动执行, 我总是希望这个
任务
的间隔是5分钟。例如,如果该
任务
在8:00自动执行, 在8:01,我第二次执行了这个
任务
, 现在我希望下一次芹菜自动运行的时间是8:06。 那么有没有办法在芹菜中做到这一点呢?
浏览 12
提问于2020-08-21
得票数 0
回答已采纳
1
回答
如何在Dask中停止正在运行的
任务
?
当使用Dask的
分布式
调度
程序时,我有一个
任务
正在运行在我想要停止的远程工作人员上。 我该怎么阻止它?我知道cancel方法,但是如果
任务
已经开始执行,这个方法就不起作用了。
浏览 0
提问于2018-03-09
得票数 16
回答已采纳
1
回答
使用
分布式
Dask
调度
程序重复执行
任务
、
我正在使用Dask
分布式
调度
程序,在本地运行一个
调度
程序和5个工作人员。我向delayed()提交了一个compute()
任务
列表。当
任务
数为20 (一个数字>>比工作人员数)并且每个
任务
至少需要15秒时,
调度
程序将开始重新运行某些
任务
(或多次并行执行
任务
)。这是一个问题,因为
任务
修改了SQL,如果它们再次运行,最终会引发异常(由于db唯一性约束)。我不会在任何地方设置pure=True (我相信默认设置
浏览 2
提问于2017-01-31
得票数 5
回答已采纳
2
回答
Spring中的时间
调度
、
、
我有被要求的用户列表,我想每天下午7点上传用户列表。我如何使用Spring Boot.And --是的,它还应该检查列表是否可用。
浏览 1
提问于2019-01-24
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
分布式定时任务调度框架实践
分布式任务调度
比xxl-job 优秀的分布式定时任务调度框架
不可错过的新一代分布式任务调度与计算框架
分布式调度框架azkaban3.0
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券