首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

使用shell并行执行多个脚本

https://blog.csdn.net/wzy0623/article/details/53906996 有没有一种比较通用的并行执行多个SQL脚本的方法呢?...每种数据库都提供命令行接口执行SQL语句,因此最容易想到的就是通过初始化多个并发的会话并行执行,每个会话运行一个单独的查询,用来抽取不同的数据部分。...('2008-01-31','yyyy-mm-dd'); 通过简单的shell脚本,可以从命令行接收并行度参数,使这些调用并行执行。...等到循环里面的命令都结束之后才执行接下来的date命令。用这个示例说明并行执行多个SQL脚本文件(这里多次执行同一个文件a.sql,当然实际中应该是多个不同的SQL文件)。...而且所有并行技术都会使用更多的CPU和I/O资源,因此在执行任何并行抽取技术前需要评估对系统性能的影响。我们应该控制并发进程的个数,不然会影响系统其它进程的运行。

3.4K10

shell脚本后台运行

使用&符号在后台执行命令 你可以在Linux命令或者脚本后面增加&符号,从而使命令或脚本在后台执行,例如:. $ ./my-shell-script.sh & 2....使用nohup在后台执行命令 使用&符号在后台执行命令或脚本后,如果你退出登录,这个命令就会被自动终止掉。要避免这种情况,你可以使用nohup命令,如下所示: $ nohup ..../my-shell-script.sh & 3. 使用screen执行命令 通过nohup和&符号在后台执行命令后,即使你退出登录,这个命令也会一直执行。...Linux的screen命令提供了分离和重新连接一个会话的功能。当你重新连接这个会话的时候,你的终端和你分离的时候一模一样。 4....使用at将一个命令作为批处理执行 使用at命令,你可以让一个命令在指定的日期和时间运行,例如要在明天上午10点在后台执行备份脚本,执行下面的命令: $ at -f backup.sh 10 am tomorrow

4.3K50
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Java中运行shell脚本

    // 只能接收脚本echo打印的数据,并且是echo打印的最后一次数据 BufferedInputStream in = new BufferedInputStream(ps.getInputStream...// 只能接收脚本echo打印的数据,并且是echo打印的最后一次数据 BufferedInputStream in = new BufferedInputStream(ps.getInputStream...br.close(); } catch (Exception e) { e.printStackTrace(); } return result; } } 前提是:你的脚本有权限去运行...,即在linux上有权限去运行,否则不通; 如果不满足,如果不满足,下下策为执行脚本之前先执行以下赋予权限的命令 ,在执行你的命令 ShellUtils.exceShell("chmod -R 777...(在jar包里) (1)复制sh到操作系统的某个目录下(亲测,可用) 从jar包内复制文件到系统目录内_CBeann的博客-CSDN博客_java将jar包中文件复制到 (2)用方式二执行脚本

    18310

    开源异步并行框架,完成任意的多线程编排、阻塞、等待、串并行结合、强弱依赖

    然后就是将他们组合起来,完成各种异步回调,以及每个worker的正常、异常、超时等的回调。...更复杂的场景:要有任务的顺序编排,要有超时控制,要支持N个线程并行、串行、串并行结合 上面的demo过于简单,也不能实战于复杂的业务场景。...如a、b、c的串行,a、b的串行同时与c并行,a、b、c的并行 所以这一组执行单元可能长如下的样子: > 2 为每个执行单元提供执行成功、失败、超时、异常的回调 方便对整个流程的执行进行控制,当有很多个执行单元时...那么,可以指定依赖的任务是否must执行完毕。如果依赖的是must要执行的,那么就一定会等待所有的must依赖项全执行完毕,才执行自己。...还好,CompleteableFuture提供了allOf这个方法,它可以让你传入多个future,并且能够等待这多个future都完成时再统一返回。见下图代码。

    1.8K10

    4、shell脚本后台运行知识

    用途和方法 在实际工作中,一般会通过ssh连接服务器,隐藏可能就会有脚本或命令在执行期间不能中断的需求,若中断,则不仅前功尽弃,还可能破坏系统数据,下面是防止脚本执行终端的3种方法: 1)使用sh /server.../scripts/while_01.sh & 命令,即使用&在后台运行脚本 2)使用nohup /server/scripts/while_01.sh & 命令,即使用nohup加&在后台运行脚本 3)...使用screen保持会话,然后在执行命令或脚本,即使用screen保持当前会话状态 2.脚本前台后台运行命令 命令 命令说明 a.sh & 将a.sh放到后台执行,常用 ctrl+c 停止当前前台脚本或任务...ctrl+z 暂停当前前台脚本或任务 bg (background)把当前前台脚本或任务放到后台运行 fg (frontground)把后台脚本或任务放到前台执行,用fg加任务编号调出指定任务,如fg...2 jobs 查看当前执行的脚本或任务 kill 关闭执行的脚本任务,kill %1 3.

    2.6K20

    Shell脚本完成一键子域名收集

    我们在渗透测试中,如果要挖掘规模比较大的厂商时,往往需要花费很多很多的时间去进行信息搜集,信息搜集的阶段又在整个渗透测试的流程中起到至关重要的作用,搜集到更多有效的厂商信息,我们就能够看到更多的攻击面,...而熟练的使用一些脚本语言则可以简化我们的工作量,提高我们安全测试的效率,我们在进行子域名信息搜集的时候,如果只使用一个工具来进行子域名枚举,枚举出来的子域名可能会不全,所以我们可以结合其他的一些工具来强化我们子域名信息搜集的能力...,这个脚本是自己日常使用的脚本,所以只能在linux下运行写的比较简陋,需要下载好三款工具放在同一个文件夹下。...Shell脚本集成了:SubDomain,Sublist,Teemo 三款我最喜欢的子域名收集工具 源码: ?

    1.1K20

    Shell-使用&和wait让你的脚本并行执行

    文章目录 概述 常见的串行执行 使用&和wait改造 示例二 ? ---- 概述 我们知道shell中的命令都是串行执行的,如果想要充分利用服务器的资源,就需要些小技巧了。...假定业务上多个业务逻辑没有先后关系,每个脚本的执行时间也很长 ,推荐并行执行。 一般情况下,我们会把每个业务逻辑写到一个单独的脚本里,在服务器上逐一调用,每次都要手工去敲命令。...执行的时候去调用这个调用脚本,事实上linux会根据脚本中的顺序 串行去调用这些脚本,还不如自己在服务器上一个个的执行快呢,最起码手工逐个调用脚本还是并行的。...call_serial.sh 可知为【串行】 ---- 使用&和wait改造 在每个进程中使用&符号进行让脚本在后台运行,无需等待当前进程结束。...call_parallel.sh 可知为【并行】 通过上述的改造,可以大大的提高多个进程并发执行的效率。 对于可以同时执行的业务逻辑,可以充分利用主机资源,减少等待时间。 ---- 示例二 ?

    16K11

    利用php+mysql完成shell脚本的授权验证

    写在前面: 作者最近这几天写了一个shell脚本准备进行出售,由于单独出售利润不大,决定将脚本按照IP进行授权,出售授权,这样可以增加利润。...授权原理: 客户端运行shell脚本时,首先会利用curl从服务器获取两个数据,进行比对,如果两个数据相同,则表明此IP没有被授权,否则则授权成功。...服务端(验证端的编写) 原理:服务端利用php编写,共有两个文件. shell.php 授权核心代码,客户端访问时程序会对客户端IP进行判断,如果该IP存在数据库中,则返回此IP位于数据库第几行,不存在则返回客户端...> getip.php 没卵用,仅仅提供客户端IP与shell.php返回的数值进行比对. 代码如下: <?php function get_real_ip(){ $ip=false; if(!...正确" fi 由于shell脚本可以直接打开 所以这里使用shc加密 shc的使用具体可以看我博文 这样弄完之后就可以给用户使用了。

    1.6K00

    怎么正经的实现shell脚本单例运行?

    假设你的一个脚本已经在运行了,如果避免再次被执行呢?也就是如何实现单例运行? 看起来可行的方法 一个非常简单的思路就是,新的脚本被执行时,先检测当前脚本是否有其他实例正在运行,如果有则直接退出。 #!...test.sh脚本数,如果大于1,说明已经有在运行的了。...原因在于,shell脚本中一个命令执行相当于fork了一个进程执行,这里执行的是查找tesh.sh并grep的程序,另外还有一个就是当前运行的脚本程序,这样的方式自然就会出现每次都有两个了。...文件锁 实际上这种方法你已经在《如何让你的程序同时只有一个在运行》介绍过了,只不过之前是用于编写C/C++程序,而这里是用于shell脚本。.../test.sh already running 由于已经有实例在运行,发现新的程序无法运行了。而等旧的脚本运行完之后,新的就可以运行了。

    2.3K20

    02 Aug 2019 docker运行shell脚本问题

    这里有2个文件,分别是dockerfile和shell脚本,dockerfile的主要功能就是将shell脚本复制到容器中运行,shell脚本只有一个echo语句,表示脚本运行完毕。...shell脚本,没有任何问题。...但是我们发现,这里并没有什么二进制文件,只有一个shell脚本。于是,我使用指定的cmd再次运行docker: $ docker run -it demo sh / # ..../test.sh run test.sh done / # 发现脚本也能正常运行,到这里,大家应该能猜测到问题所在了,就是顶部的注释导致的。...如果docker直接运行shell脚本,且脚本顶部不是正确的shebang的话,就会出现这种错误。这是最近工作中遇到的一个小问题,当时由于环境复杂,没有及时定位出原因。

    35630

    通过JSch运行远程linux主机上的shell脚本

    如果您看完文章之后,觉得对您有帮助,请帮我点个赞,您的支持是我不竭的创作动力! 运行远程主机上的shell脚本 下面的例子是教给大家如何通过java程序,运行远程主机上的shell脚本。...(我讲的不是一个黑客学习教程,而是使用用户名密码去执行有用户认证资格的主机上的shell脚本)。并且通过java程序获得shell脚本的输出。...远程shell脚本 下面的代码放入一个文件:hello.sh,脚本的内容很简单只是用来测试,回显输出“hello ” #!...并且在远程主机上,为这个脚本设置可执行权限,方法如下: $ chmod +x hello.sh 本地java程序 我们可以使用下面的代码,去远程的linux 主机执行shell脚本,详细功能请看代码注释...= null) { jschSession.disconnect(); } } } } 最终在本地控制台,获得远程主机上shell脚本的执行结果。

    2.2K00

    【分享】并行或串行运行多个NPM脚本的CLI工具

    Dear,大家好,我是“前端小鑫同学”,长期从事前端开发,安卓开发,热衷技术,在编程路上越走越远~ 背景介绍: 我们的node项目的脚本通通都是放在了package.json的scripts节点下面...,当我们要在一个命令执行完后接着去执行下一个命令的时候(如:打包后需要推送打包内容到服务器)就需要增加一条脚本并使用&&进行拼接两条或多条命令来实现,并且符号&在windows下的...本期介绍的主角(npm-run-all): 今天主要想分享一个比较不错的Node包,我们可以通过提供的命令来制定脚本的执行计划,在你开发Node应用、Cli工具或着有复杂的多条script需要执行的时候会很有帮助...lint clean build:** run-s --silent --print-name lint clean build:** run-s -sn lint clean build:** 定制并行计划...提示: 代码非正常退出其他脚本将终止进程; & 操作符在windows系统的cmd.exe不被支持。

    1.4K30

    【shell脚本】$ 在shell脚本中的使用

    shell脚本中 '$' 与不同的符号搭配其表示的意义也会不同 特殊标志符 含义 $0 当前脚本的文件名 $n 传递给脚本或函数的参数。n 是一个数字,表示第几个参数。...例如,第一个参数是$1,第二个参数是$2 $# 传递给脚本或函数的参数个数 $* 传递给脚本或函数的所有参数 $@ 传递给脚本或函数的所有参数 $?...上个命令的退出状态 $$ 当前Shell进程ID $() 与 `(反引号) 一样用来命令替换使用 ${} 引用变量划分出边界 注释:$* 和 $@ 都表示传递给函数或脚本的所有参数,不被双引号(" "...)包含时,都以"$1" "$2" … "$n" 的形式输出所有参数。...但是当它们被双引号(" ")包含时,"$*" 会将所有的参数作为一个整体,以"$1 $2 … $n"的形式输出所有参数;"$@" 会将各个参数分开,以"$1" "$2" … "$n" 的形式输出所有参数

    6.2K20

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭
      领券