Dask是一个纯粹的基于python的分布式计算平台，类似于Apache Spark。有没有办法通过REST API运行和监控Dask分布式作业/任务，比如Apache Livy for Apache Spark？
浏览 41提问于2021-09-26得票数 1
1回答
DASK有一个非常强大的分布式api。据我所知，它只能支持原生python代码和模块。
有人知道分布式任务是否可以支持c++工作者吗？我在文件里找不到任何东西。除了将python绑定添加到cpp代码之外，是否还有其他方法来使用该功能？
浏览 2提问于2019-04-09得票数 1
/usr/bin/env python
from multiprocessing import Queueimport signal
浏览 3提问于2013-11-25得票数 0
每个线程都是一个Python进程，它提交R代码(即加载一个R .rds模型和相关的数据集转换逻辑)。这个过程耗时太长，容易出错(更多的是它变成的复杂代码网络的一个指标)，代价很高(需要大量的云实例)，并且只允许在R中构建模型(我想基本上不知道模型来自哪种语言，但我主要想启用Python和R--这是一个不可协商的需求re:如何将这个过程重新架构为1)更有效地运行(从$ PoV)和2)启用Python模型。
浏览 0提问于2020-01-21得票数 2
1回答
我已经编写了一个Python应用程序，它读取任务的数据库，并以不同的时间间隔执行schedule.enter()。每个任务在执行时都会重新调度自己。我想将此应用程序与WSGI框架集成，以便可以在响应HTTP请求时添加或删除任务。我假设我可以使用XML-RPC在框架进程和任务引擎之间通信，但我想知道是否有一个框架具有内置的事件调度，可以通过HTTP进行修改。
浏览 3提问于2010-09-03得票数 3
回答已采纳
1回答
我正在dask分布式，tensorflow，keras设置上优化ML模型。工作进程在内存中不断增长。我不想每次内存满时都重新启动，因为这会使操作停止一段时间，从而导致延迟。唯一的解决方案是重新启动工作进程。
还有人有其他解决方案吗？Dask分布式版本: 1.21.1 Python<
浏览 1提问于2018-04-07得票数 1
1回答
我想要建立一个应用程序，它可以调用定期任务在规定的间隔- cron替换类似，但没有产卵过程。我会有很多任务，大约每分钟10000件。
芹菜-可以作为一个分布式系统工作，但它并不是真正的调度器
浏览 0提问于2018-02-28得票数 4
基本上，会话将通过API使用GET和POST进行交换，首先发布输入，然后调用python文件来选择DB的输入形式，然后处理它，然后用检索出来的put.Finally更新数据库，GET用于获取输出、放置并显示它我是用以下方法开发的：Django:网站。谢谢,
浏览 3提问于2017-04-19得票数 0
除了web应用程序之外，我还有一个单独的模块，它有大约40个函数，它们接受一些参数，执行一些网络绑定任务并返回结果。这些函数(或入口点函数)可以从django视图中调用。该请求应该在服务器中并行地(以URL作为参数)启动这些函数(不一定是一次全部)
用户可以从web应用程序中请求获取已完成任务的列表和正在进行的操作的结果。
浏览 0提问于2018-04-01得票数 0
回答已采纳
1回答
我试图使用ZMQ推拉来构建一个分布式任务处理系统。这是在Java中通过队列和侦听器使用JMS实现的；空闲的侦听器可以接收队列的消息并执行it.Once --队列是跨节点分布的，这就像负载平衡器一样。使用ZMQ (使用Python -不想现在使用芹菜)，我正在尝试推拉。有不同的处理时间的工人。然而，即使是当一个工人是自由的，任务是严格循环的方式。这就是说，不管工人是否自由，任务都是以循环的方式进行的。
有什么方法可以用ZMQ模式来模拟分布式队列吗?这样，我就可以在每个节点中有一个工人‘轮询
浏览 1提问于2015-07-06得票数 0
基本上，我的项目是按照文档来构造的，其中包含一个训练器任务和一个单独的批预测任务。我想了解AI平台如何分配资源给我执行的任务。这些引擎/库使用专用的协调系统来分发工作人员，并且对所有机器学习算法都有单独的分布式实现。既然我的任务是使用ScikitLearn编写的，那么这些计算是如何在AI平台提供的集群中并行化的，因为sklearn没有任何这样的分布式计算能力？ --region $REG
浏览 1提问于2019-08-05得票数 1
回答已采纳
1回答
Ray中的角色抽象
、、、
在学习分布式Python的Ray技术时，我读到了关于Ray的以下声明，但我并不完全理解它的真正含义？任何带有一些应用程序上下文的解释都是值得赞赏的。
浏览 15提问于2020-09-14得票数 0
我现在有一个带有消息队列和on_message回调函数的paho-MQTT客户端脚本。 message = message.payload.decode()我需要对这些接收到的消息进行一些处理(我每3秒在队列中收到大约12条消息)
浏览 4提问于2020-03-02得票数 0
1回答
分布式任务调度，作业队列
、、、、
我必须通过电子邮件发送一个特定的任务通知，需要发送给用户谁期待它每6个小时。因此，我使用节点-cron在我的服务器上安排了一个任务，它每30分钟醒来一次，检查是否有任何用户没有回复他们的电子邮件，使用mysql db和updated_at col进行跟踪。工作得很好！但现在我必须让它在分布式环境下工作。使用弹性豆杆与1-4微ec2实例.除了我所拥有的(MySQL)之外，我不想添加任何其他db/存储/队列。
有人能把步骤和节点-cron一起画出来吗？(确保完成某项任务一次，我不想在6小时之前发送通知)
浏览 1提问于2014-11-10得票数 3
1回答
例如，如果我使用read_csv方法将数据加载到熊猫df中，我假设这不是一个分布式任务，对吗？同样，您在pyspark上导入和使用的任何python包也不是分布式的吗？
浏览 3提问于2017-11-16得票数 0
回答已采纳
1回答
我最喜欢Google的任务队列的一个特点是它的简单性。更具体地说，我喜欢它接受一个URL和一些参数，然后在任务队列准备好执行任务时发送到该URL。
每个<e
浏览 2提问于2010-03-10得票数 4
我有大约一百万的气流任务，使用相同的python功能。每个运行都需要有不同的开始日期和参数。问题这些任务不需要在上运行(因为它们起源于python函数)。实际上，它们最有可能
浏览 0提问于2019-03-25得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
