JSR352批处理作业的设计:几个步骤比一个大的batchlet更好的设计吗？

文章/答案/技术大牛

发布

1回答

control-m、jsr352、java-batch

我的JSR352批处理作业需要从数据库中读取数据，然后根据结果流到两条路径中的一条，每条路径都涉及更多的if/else场景。我想知道用一个大的batchlet编写一个步骤和几个由较小的batchlet组成的步骤之间的优缺点是什么。此作业</

浏览 23提问于2018-07-28得票数 1

回答已采纳

1回答

Spring boot - jsr352批处理实现-在jobxml中未获得引用的Beans

java、spring-boot、spring-batch、batch-processing、jsr352

我正在使用springboot 2.4.3 + jsr352实现一个批处理应用程序。这里定义了一个简单的batchlet类(Sleepybatchlet)。我正在尝试在JSL中引用它。但是，当使用joboperator启动作业时，它会失败，并显示classnotfound异常。sleepy-batchlet.xml： <job xmlns:xsi="http://www.w3.org/2001/X

浏览 10提问于2021-04-16得票数 0

1回答

JSR 352: Java Batch的最佳实践是什么，以确保最大的性能和效率？

java、websphere、websphere-liberty、jsr352、java-batch

我正在从数据库中执行典型的读取操作，并且我将在具有数百万(>1000万)条记录的数据集上处理和写入文件步骤。我使用的是IBM在Websphere using上实现的JSR352。

浏览 1提问于2016-07-18得票数 3

1回答

如何使用netbeans在java中运行批处理？

java、xml、batch-file、netbeans、batch-processing

我有一个实现批处理(jsr352)的问题。我已经在Netbeans中创建了一个web应用程序，我的代码是</step><&

浏览 1提问于2015-02-12得票数 0

2回答

WebSphere Liberty Java Batch我们是否可以将Batchlet步骤输出作为输入参数运行时传递到块步骤

websphere-liberty

在WebSphere Liberty Java Batch中，是否可以将第一步的输出作为输入参数传递到下一步。例如，第一步是Batchlet，第二步是块。一旦第一步完成，其执行输出应传递到第二步运行时。

浏览 0提问于2016-06-11得票数 1

1回答

AWS DynamoDB -如何设计一个表/索引，以便有效地检索具有特定值/状态的大量项

database、amazon-web-services、database-design、amazon-dynamodb

我有一个表格，记录每个项目的作业状态(只有几个)。假设是["initial", "executing", "executed"]，这个表中有大量具有不同作业状态的项。我的问题是如何设计一个表/索引，使其能够快速检索具有指定作业状态的所有作业。我考虑过创建一个以作业状态作为散列键的</e

浏览 0提问于2019-08-02得票数 3

回答已采纳

1回答

对部署在EC2中的Spring批处理应用程序的监视。有选择吗？

amazon-web-services、spring-boot、amazon-ec2、spring-batch

使用@EnableBatchProcessing注释的Spring应用程序在本地工作。我们希望在EC2/AWS中部署这个应用程序。我对如何在生产中监控批处理程序的健康感到困惑。我看到了三种可能的设计方案：使用Spring执行器。我可以重新启用嵌入式tomcat并使用执行器进行健康检查。但是，由于这个应用程序是一个批处理程序，没有任何功能的RestContr

浏览 2提问于2022-08-25得票数 0

1回答

如何为多个不同步骤的批处理作业设计错误监视？

error-handling、integration、monitoring

我正在开发一个软件来整合电子商务商店和ERP公司。所有的集成步骤都作为一个独特的批处理作业运行，每5分钟一次。我正在更改设计，这样单个单元的一个特定问题就不会停止这个过程，但是问题是在设计时提醒这个特定单元的集成失败了，并且不需要篡改日志来查找正在发生的事情。我已经考虑过一些方法，但我想知道是否有更好的方法来解

浏览 0提问于2015-12-02得票数 3

回答已采纳

2回答

春季集成和春季批处理项目有什么区别？

java、spring、spring-integration、spring-batch

我发现有三个项目：我不明白spring-integration和spring-batch之间的区别。我知道spring批处理涉及批处理、多步骤作业、分区、统计、异常处理，如果我们在2GB CSV文件中失败，我们以后可以从那个位置开始。我尝试搜索一些春季批处理的例子，找出读者和作者完全不同的例子(文件、数据库、消息队列、sftp文件等等)。我最初认为spring集成是一组连接到文件、数据库、

浏览 0提问于2019-07-31得票数 2

1回答

从相同的执行和步骤重新启动未完成的作业。

spring、spring-boot、spring-batch

我使用以下逻辑重新启动未完成的Spring批处理(例如，应用程序异常终止后)作业： } LOGGER.error(e.getMessage(), e);} 这很好，但有一个副作用-它不会重新启动失败的作业执行，而是创建一个新

浏览 0提问于2018-07-28得票数 5

回答已采纳

1回答

如果两个进程同时在两个事务中修改数据，并且表上有一个唯一的约束，会发生什么情况？

postgresql、triggers、transactions、race-condition、unique-constraint

每4:00在PostgreSQL中运行的夜间作业也会更改这些实体，从而更新表“版本”中的数据。这个过程的设计是为了在早上(在应用程序的用户开始使用它之前)完成它的工作，但不幸的是，它会运行到当天。由于这个过程是在一个函数中运行的，所以它是一个大事务。因此，它所做的更改对应用程序是不可见的。设置&qu

浏览 4提问于2015-01-12得票数 2

回答已采纳

1回答

slurm作业阵列与作业步骤绩效的差异

parallel-processing、slurm、gnu-parallel

阅读，我发现了以下内容：考虑将相关工作放入具有多个作业步骤的单一Slurm作业中，这既是出于性能原因，也是为了便于管理。每个Slurm作业可以包含多个作业步骤，而Slurm中用于管理作业步骤的开销要比单个作业低得多。作业数组是管理具有相同资源需求的批处理作业集合的有效

浏览 4提问于2019-07-25得票数 4

回答已采纳

2回答

批量Apex冲突和设计？

salesforce、apex-code

我需要一个设计问题和在批处理Apex发生什么帮助。或者，有没有办法安排您的批处理作业？我正在研究as

浏览 4提问于2012-06-15得票数 0

回答已采纳

2回答

flink操作符能用ApplicationCluster支持批处理作业吗？

apache-flink、flink-batch

当批处理作业完成时，ApplicationCluster状态应该是什么？“增加restartNonce”是一种重新运行工作的设计方式吗？我试图使用flink操作符来部署flink批处理作业，并每天在特定时间使用kubernetes Cron作业触发它。

浏览 19提问于2022-11-23得票数 0

回答已采纳

1回答

AWS阶跃函数调用动态并行步骤函数

amazon-web-services、aws-lambda、aws-step-functions、aws-batch

我正在使用step函数工作流来解决一个问题。前3个作业按顺序运行，4-7作业是动态步骤，也就是说，它们需要以指定的不同参数多次运行。对于每一个4-5-6-7工作流，根据参数的数量执行8-9-10个作业。看起来地图在这里是最合适的，但是如果任何任务在映射状态4-5-6-7中失败，整个步骤就会失败。我不想一</e

浏览 0提问于2020-05-19得票数 0

回答已采纳

1回答

是否可以使用固定的Spark上下文池并行运行多个spark作业？

apache-spark

我是Spark的新手，所以任何建议，无论是关于相关工具或针对我的用例建议的设计更改，都将不胜感激。我目前的情况是，我有几百万个独立的Spark作业，运行时间不是很长(平均几秒钟)，我使用Livy以批处理模式提交它们。问题是，初始化每个作业的Spark上下文所需的时间比运行作业本身所需的时间要长得多。因此，我的想法是初始化spar

浏览 2提问于2021-09-06得票数 1

1回答

批作业定义:如何运行动态计算的分区数？

jsr352、java-batch

作为批处理API (JSR-352)的新手，我在建模以下(简化)场景时遇到了一些困难：假设我们有一个Batchlet，它在第一个step中生成一组动态文件。在第二个step中，必须以chunk(通过ItemReader、ItemProcessor和ItemWriter)单独处理所有这些文件，从而生成一组新的文件。在第三个step中，需要将这些新文件打包到一个大型存档中。我找不到一</e

浏览 1提问于2019-10-17得票数 3

回答已采纳

2回答

拖放并使该元素响应

javascript、jquery、css、html、responsive-design

我想知道哪个是最可定制的插件？我们如何确保它适合所有屏幕大小？在拖放中存储这些参数时

浏览 8提问于2015-01-30得票数 1

回答已采纳

1回答

Spring批处理作业并行处理一组动态文件

spring-batch

我正在尝试设计一个spring批处理作业，我想要并行处理一组动态文件。这意味着当批处理作业本身启动时，要处理的文件数量是未知的-这些文件是动态可用的。该作业应在新文件到达时运行并继续并行处理这些文件，直到它完成对所有文件的处理。我已经浏览了spring batch项目页面，从我的理解来看，多线程步骤看起来很适合我的情况。但我不

浏览 0提问于2015-03-16得票数 1

1回答

如何在列表上设计流程循环(不能使用简单的ListItemReader，因为列表不在根级)+1查询每个项-弹簧批处理

java、spring、spring-batch

如果您中的一些人可以帮助我设计我的春季批处理过程，那就太好了:D我需要通过使用REST来执行ETL &然后从其中存储一些数据。你能帮我设计出最合适的方法来做我想做的事吗？我需要做的事情摘要：插入DB (只有我需要的数据，90%的数据对我来说是无用的)

浏览 1提问于2022-08-02得票数 0

回答已采纳

点击加载更多