腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
分布式
任务
队列(例如Celery)与crontab脚本
、
、
我在理解“
分布式
任务
队列”的目的时遇到了麻烦。例如,python的。谢谢。
浏览 1
提问于2013-04-26
得票数 103
回答已采纳
5
回答
如果没有HDFS,Apache纱线可以使用吗?
、
、
、
我想使用Apache same作为集群和资源管理器来运行一个
框架
,在这个
框架
中,资源将在同一
框架
的不同
任务
之间共享。我想使用我自己的
分布式
堆外文件系统。是否可以使用除HDFS以外的任何其他
分布式
文件系统? 运行纱线需要哪些Hadoop组件?
浏览 4
提问于2017-03-02
得票数 9
回答已采纳
1
回答
分布式
工作人员的Dask员工资源
、
当您在
分布式
多处理工作人员中定义员工资源()时,是否为所有进程定义了资源池?例如,在我正在运行的辅助主机上:现在,如果我提交需要resources={"HOST":1}的
任务
,这是否保证只有该机器上的一个进程会在特
定时
间执行此
任务
浏览 2
提问于2017-08-28
得票数 1
回答已采纳
1
回答
扩展Kafka Connect以处理10K S3存储桶
、
、
、
Kafka Connect似乎是这类
任务
最常用的工具,它的可插拔架构将使未来添加新源代码变得更容易,因此它非常适合。将每个S3存储桶配置为其自己的连接器将允许我为每个
任务
设置不同的
任务
数量(映射到优先级)和轮询间隔。为我期望的文件格式构建一个Java自定义Kafka Connect源
任务
听起来很合理。然而,Kafka Connect code表明,在
任务
的生命周期内,每个正在运行的
任务
都被分配了自己的线程。因此,如果我有10K个存储桶,每个存储桶都配置有自己的连接器,并且只有一个
浏览 49
提问于2021-07-28
得票数 2
1
回答
框架
是如何创建的?
我遇到过很多用于软件开发、测试、
分布式
系统等的
框架
,但是这些
框架
是如何创建的呢?专家是否对
框架
的性能、可用性和易用性进行了分析?因此,如果我找到了以一种简单的方式完成复杂
任务
的方法,它可以被称为
框架
吗?
浏览 5
提问于2013-04-13
得票数 1
回答已采纳
1
回答
多节点屏障
、
、
我试图获得与进程间通信障碍相同的功能,但现在用于
分布式
节点。 我的问题是,我有多个节点上的
分布式
进程。它们有一些不确定的设置,在安装之后,我希望它们同时开始运行。有没有一个简单的
框架
可以让我在Scala中完成这个
任务
?
浏览 4
提问于2015-08-13
得票数 0
回答已采纳
1
回答
在airflow中,是否可以在多个工作节点上运行单个
任务
,即以
分布式
方式运行
任务
、
、
单个批处理作业需要2小时才能完成(要处理的数据约为100万),因此决定以
分布式
方式运行,其中一个
任务
将分布在多个工作节点上,这样它就可以在较短的时间内执行。工作流中的其他作业(都是
分布式
的)需要一个接一个地按顺序运行。作业是多节点
分布式
作业(主/从架构),需要一个接一个地运行。 现在,我正在考虑在airflow上部署工作流。因此,在探索时,我找不到任何方法来运行分布在多台机器上的单个
任务
。这在气流中是可能的吗?
浏览 88
提问于2021-11-23
得票数 0
回答已采纳
3
回答
任何众所周知的启动web站点以便进行输出缓存的方法
、
、
、
、
让我们假设我们有一个运行在IIS 7.5上并使用ASP.NET MVC 3构建的网站。另外,假设这个网站有许多独特的产品页面,并且所有这些页面都在内存中缓存了24小时。还有其他页面也可以从输出缓存中受益。因此,我考虑构建一个控制台应用程序,它基本上做一件事:转到并消费网站的每个页面。
浏览 3
提问于2011-12-24
得票数 1
回答已采纳
2
回答
集群上的多线程Java应用程序?
、
我有一个用于一些研究模拟的多线程java应用程序。我工作的实验室有一个很大的linux集群,以及一堆个人计算机。我是一名研究生,已经用java编程很长一段时间了,但我对集群不是很熟悉。如果我在集群上运行我的应用程序,它是否能够将各种线程分配给不同的节点?我假设事实并非如此..做这件事最好的方法是什么?我在做一些谷歌搜索时看到了Terracotta,Hadoop和Jini,但我不清楚它们有什么不同,哪种选择(可能这里提到的都不是)是最好的?我想避免进行客户机/服务器编程,如果有一个软件解决方案能够分配我的程序创建的线程-那将是最好的。谢谢,乔
浏览 2
提问于2010-09-25
得票数 2
回答已采纳
1
回答
Php在x秒后返回
、
即使是这样的小延迟,也会防止容易的垃圾邮件发送,并且需要更
分布式
的攻击才能溢出我的web服务器。 这个特性的另一个(可能更重要的)潜力是防止
定时
攻击。如果所有的时间变化都可以从脚本中删除(开始异步
任务
,开始计数,返回从异步
任务
到达时准备好的任何内容),那么时间就不能用作一个可利用的变量。这对我特别有好处,因为我想要一个慢速的执行。我认为,这一方法的准确实现将决定使用这种方法对抗
定时
攻击和一般延迟的可行性。
浏览 4
提问于2020-05-02
得票数 1
1
回答
今天的流程同步是否有一种最先进的方法?
、
、
、
在过去的几天里,我不得不为大学处理
定时
进程同步的
分布式
算法。这是我的主要练习,重点是Leslie Lamport的算法(事件的偏序/全序),以及F. Mattern和C.J.在这三个人的想法中,我发现在
分布式
系统中使用他们的算法有很多优点和缺点。但我想知道,也没有发现在今天的
分布式
系统中,是否有一种“最先进”的
定时
进程同步算法。 这个问题现在是如何处理的?
浏览 11
提问于2014-03-17
得票数 0
6
回答
分布式
作业调度、管理和报告
、
、
、
我想知道在Java域中是否存在不容易表示为MapReduce问题的作业的
分布式
执行?例如: .B..-.--C 那么,是否有一个提供这样一个
分布式
计算环境的Java
框架
/平台呢?
浏览 4
提问于2009-12-16
得票数 10
回答已采纳
1
回答
使用Redisson的
分布式
独占
任务
?
、
、
、
我正在使用Redisson
分布式
执行器服务。
任务
类A被设计用来处理由队列ID标识的给定队列。有多个这样的队列。我需要确保在集群中的任何时候,在同一队列上工作的
任务
类A的实例不超过一个。因此,
任务
实例的预分配不是一个选项。如何使用Redisson executor实现这一点?如果不是直接的,这
浏览 4
提问于2020-08-05
得票数 1
1
回答
Hadoop作业依赖项与来自
分布式
的旧作业依赖项冲突
、
、
我正在使用hadoop-2.5.2 linux发行版来运行一个带有自定义Shuffle插件的作业。映射器和减少器实现与其他依赖项一起打包到single.jar中bin/hadoop -jar simple.jarjava.lang.NoSuchMethodError(org.hamcrest.core.AnyOf.anyOf(Lorg/hamcrest/Matcher;Lor
浏览 1
提问于2015-09-03
得票数 3
2
回答
启动和终止在多个平台上运行的多个Java进程
、
、
、
、
有没有一种方法可以使用Java应用程序执行以下操作:这是可以做到的吗?
浏览 0
提问于2012-01-31
得票数 0
3
回答
在同一个大规模数据集上对数百个模型进行评分的最佳实践?
我有预测各种事物的500+模型,以及一个由400m+个人和大约5,000个可能的自变量组成的大型数据库。这个过程耗时太长,容易出错(更多的是它变成的复杂代码网络的一个指标),代价很高(需要大量的云实例),并且只允许在R中构建模型(我想基本上不知道模型来自哪种语言,但我主要想启用Python和R--这是一个不
浏览 0
提问于2020-01-21
得票数 2
2
回答
存在什么方法来分发异步批处理
任务
?
、
、
、
我目前正在研究存在哪些与Java兼容的解决方案来满足我的需求,如下所示: 这些
任务
的本质(大量的XML生成,以及向基于web的接收节点的传递)意味着使用Quartz之类的东西在单个服务器上运行它们是不可行的。是的,有些
任务
应该在某些时候完成。它还被用于在没有规
定时
间的情况下控制吞吐量。
浏览 10
提问于2009-12-23
得票数 3
3
回答
推荐在Java中使用的最佳集群
框架
、
、
Java中是否有合适的
框架
可供使用。谢谢!
浏览 9
提问于2014-02-05
得票数 0
回答已采纳
2
回答
是否在c#中安排活动?
、
我有一个通过在线服务发送文本消息的应用程序。我的用户建议我实现一个功能,将消息安排在未来的日期/时间或重复出现的消息中。
浏览 1
提问于2011-11-24
得票数 1
1
回答
如何正确求和星火中.map函数中的整数?
、
val mapUrls = urls.map{x => (cont,x)问题是,在某种程度上,连续变量在一
定时
间后返回到1。 我做错什么了?
浏览 2
提问于2016-11-24
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
分布式定时任务调度框架实践
定时任务框架 Quartz
比xxl-job 优秀的分布式定时任务调度框架
分布式定时任务Elastic-Job框架在SpringBoot工程中的应用实践(一)
分布式定时任务Elastic-Job框架在SpringBoot工程中的应用实践(二)
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券