推荐的python科学工作流管理工具，它根据参数状态而不是时间来定义依赖完整性？
推荐的python科学工作流管理工具是Luigi。
Luigi是一个开源的Python模块，用于构建复杂的数据处理和分析工作流。它的设计理念是基于参数状态而不是时间来定义依赖完整性，这使得它非常适合处理数据科学中的任务调度和依赖管理。
Luigi具有以下特点和优势：
- 参数状态驱动：Luigi的任务依赖关系是基于任务的输入和输出参数状态，而不是固定的时间表。这意味着当输入参数发生变化时，只有受影响的任务会重新运行，提高了任务的执行效率。
- 声明式依赖：Luigi使用Python类和方法来定义任务和任务之间的依赖关系，使得任务的依赖关系清晰可见，易于理解和维护。
- 可扩展性：Luigi提供了丰富的扩展机制，可以自定义任务和依赖关系的行为，满足不同场景下的需求。
- 可视化界面：Luigi提供了一个Web界面，可以可视化地查看任务的依赖关系、执行状态和日志信息，方便任务的监控和调试。
Luigi在数据科学领域有广泛的应用场景，包括数据清洗、特征工程、模型训练和评估等。它可以帮助数据科学家和工程师更好地管理和组织复杂的数据处理流程，提高工作效率和可维护性。
腾讯云提供了与Luigi相匹配的产品和服务，例如云批量计算（BatchCompute）和云函数（SCF），它们可以与Luigi结合使用，实现分布式计算和任务调度。您可以通过腾讯云官方网站了解更多关于这些产品的详细信息和使用指南。
Luigi官方网站：https://luigi.readthedocs.io/ 腾讯云云批量计算产品介绍：https://cloud.tencent.com/product/bc 腾讯云云函数产品介绍：https://cloud.tencent.com/product/scf
相关·内容
对于我来说，从自定义的科学工作流管理(python)转向一些团队工作的时间已经过去了。简而言之，我的工作流程涉及长时间运行的(天)流程，其中包含大量共享参数。作为依赖图，节点是产生输出或执行某些其他工作的任务。这在工作流工具中似乎相当普遍。 然而，我需要的关键是每个任务都是由它所需的参
浏览 22提问于2020-03-31得票数 2
2回答
但是，在这样做时，我删除了所有现有的python包，包括默认的系统使用onces。现在，当我尝试执行yum时，它会出现以下错误：
然后，我用以下方式手动安装python2.6 (也尝试了2.7)。sudo wget https://www.python.org/ftp/python/2.7.9/
浏览 7提问于2022-02-04得票数 0
1回答
Django的BPMN动态工作流
、、、、
我想构建一个Django解决方案，该解决方案可以动态定义和更改工作流，希望可以通过更新BPMN图来实现，而不必更改源代码和重新部署。尽管这样的功能在Java中已经存在了很长一段时间(即Camunda和Bizagi)，但在Django的上下文中，它似乎没有引起同样的兴趣，因为我通常搜索的地方没有提供任何令人满意的答案。基于Django的工作流listed in Gi
浏览 253提问于2019-03-01得票数 19
2回答
现在，一旦客户端登录，无状态ejb是否可以直接从有状态会话bean获得客户端特定的数据，而不涉及客户端？
找不到有关上述问题的任何信息。
浏览 0提问于2012-06-21得票数 2
我希望找到实现MedicationRequest/MedicationAdministration工作流的最佳/推荐方法。MedicationRequests的MedicationRequest资源来指示每个单独的剂量
需要大部分运行时间的工作(必须评估时间对于通用工作流(例如，显示所有
浏览 0提问于2018-08-20得票数 2
回答已采纳
1回答
我有一个相对简单的任务，首先在1.2兆文件上运行，并为每个文件设置一个管道(保存中间产品的多个步骤)。我已经在luigi：中实现了这一点。我喜欢Luigi使用文件系统来查看任务是否已经完成。我还找到了一个实现，可以删除一个中间产品，管道将重新创建所有依赖的产品(因此我可以更改管道)。我如何在气流中做到这一点(或者也许我应该和Luigi呆在一起？)
浏览 6提问于2017-07-09得票数 1
回答已采纳
2回答
我有一个科学数据管理问题，这似乎很普遍，但我找不到一个现有的解决方案，甚至无法对它进行描述，这是我长期困惑的问题。我需要准确地跟踪这些数据是如何构建的，这样如果它适合问题(使用正确的规范值构建)或根据需要构建新数据，我就可以将其重用为另一个转换的输入。分析经常变化，并以计划外的方式建立在其他分析的基础上。我需要知道我有什么数据(什么参数或规范完全定义了它)，这样我
浏览 1提问于2010-06-20得票数 8
我正在编写一个脚本，它依赖于导入模块中的函数。由于IO (web请求)，这个脚本需要一段时间，我想对它进行几十万次的脚本块迭代。在尝试了几种不同的方法(由于Start-Job和其他方面的限制而没有成功)之后，当前的实现依赖于预先创建一个通过$shell = [Powershell]::Create()创建的powershell“我必须调用一个模块方法来引导shell (因此
浏览 0提问于2014-06-18得票数 16
回答已采纳
3回答
我最近开始读关于Docker的文章。
1)您有一个完全不同的环境，它保护您免受库和依赖关系问题的影响。2)如果您的应用程序修改了公司的数据库，那么首先要确保代码工作正常，不会对数据库造成不良后果。因此，首先使用Docker测试代码。我说得对吗?我说的第二个原因是关于沙拳吗？为什么Docker在数据科学中有用，还有
浏览 0提问于2019-08-17得票数 7
回答已采纳
我已经写了一个自定义的工作流程，是在帐户实体上注册的。我希望这个工作流每天运行以创建任务。当我在创建的记录上注册它时，工作流就可以正常工作了。但它不会触发当我安排它的每一天。
浏览 2提问于2014-12-12得票数 1
我正在寻找一些建议/意见，在实现从中央队列管理器协调的多个'Worker‘PC时使用哪个Python框架。
为了完整性，“工人”PC将运行音频转换例程(我不需要建议，并且有独立的代码可以工作)。音频转换需要很长的时间，我需要从一个中心位置协调任意数量的“工人”，交给他们转换任务(例如从哪里获得源文件，或者在哪里请求作业配置)，并向他们报告一些额外的信息，例如转换后的音频的运行时间
浏览 1提问于2011-11-22得票数 0
1回答
但是，这使任务处于未完成的状态。我正在寻找一种方法来设置我的工作流在某种“开发”或“调试”模式下运行，这样我就可以一次又一次地运行并重新运行它，即使所有的任务都正确运行，直到我确定工作流正在做我想做的事情。================后来添加了================
根据下面的注释，将输入参数更改为任务似乎不会导致其重新运行。这似乎违反了“幂等函数”的定义，因为更改输
浏览 4提问于2017-01-23得票数 1
回答已采纳
2回答
我正在浏览oozie文档，我知道它是一个分布式工作流调度程序。
它能够在提交oozie作业的集群上调度工作流吗？要重新表述，oozie能够在集群中的任意随机节点上调度作业或运行脚本，它是否能够在客户端机器/边缘节点/其他集群(例如distcp )上执行操作。
浏览 4提问于2016-01-04得票数 0
回答已采纳
4回答
在我正在处理的web应用程序中，项目可以通过多个状态(例如。(工作流)在每个工作流之后，可以在每个步骤之后运行规则，这可以停止流程或显示附加消息。更新：
这些规则可以如下所示。假设您提交了一张发票，但是如果它超过一定的金额，您只想从您的审批者那里授权它</
浏览 5提问于2009-10-22得票数 3
2回答
我有一个函数和一个字典，其中包含了对该函数的引用。def func1(): print('blah')
如果我按照给定的顺序将它们粘贴到python解释器中，所有这些操作都很好。func1()>>> dict1['func1']()但是，如果我从一个文件中导入dict1，解释器会说即使<
浏览 2提问于2017-12-21得票数 1
回答已采纳
7回答
我一直在寻找一个框架来简化Django应用程序中相当复杂的工作流的开发。我希望能够使用该框架来自动化状态转换、许可，也许还有一些额外的功能，比如审计日志和通知。我已经看过一些关于同一主题的更老的信息，但在过去的2-3年里并不是很多。我听说的主要选择是GoFlow (自2009年2月以来没有更新过)和django-workflow (似乎更活跃)。有没有其他值得考虑的选择，可能更好或
浏览 4提问于2011-07-23得票数 47
回答已采纳
最近，我从许多不同的资源中对算法分析做了大量的研究，而我目前困惑的一件事是，为什么时间复杂性通常是根据算法执行的步骤/操作的数量来定义的。我也看到其他资源也定义了时间复杂性。我对此有一个问题，因为，首先，它被称为时间复杂性，而不是“步骤复杂性”或“操作复杂性”。第二，虽然它不是一个确定的</e
浏览 4提问于2021-04-08得票数 1
回答已采纳
我发现了很多与我将要问的问题类似的问题，但它们似乎并不能完全帮助我理解如何做我想做的事情，假设它甚至是可行的。我非常喜欢Visual Studio，我想把它作为C++项目的开发环境，但如果我愿意的话，我也希望能够在我的双引导Linux系统上构建我的任何项目。我还希望能够将我的头文件和源文件组织到共享驱动器上的特定目录结构中。我想使用CMake来配置一个项目，以便在Linux上使用Make或在Windows上使用Vis
浏览 1提问于2013-02-21得票数 12
回答已采纳
1回答
众所周知，在Keras中，LSTM模型的输入形式是(batch_size，timesteps，input_dim)。我的数据是时间序列数据，其中n个时间步长的每个序列被馈入以预测n+1时间步长的值。他们处理序列中的每个时间步骤，还是可以同时访问所有这些步骤？当我检查每个LSTM层的参数数量时。它们有4*d*(n+d)，其中n是输入的维度，d是存储单元的数量。在我<
浏览 3提问于2017-07-07得票数 0
4回答
我遇到了一个恼人的问题，当我尝试进行简单的url验证时，我得到了未定义的。成功很好。我得到了一个有效的json回复：这是我的jQuery dataString
浏览 3提问于2010-07-23得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
