如何在gnu中并行运行时压缩tee输出？
在GNU中并行运行时压缩tee输出可以通过使用管道和压缩工具来实现。具体步骤如下：
- 首先，使用管道将tee的输出重定向到压缩工具。例如，可以使用gzip来进行压缩，命令如下：
- 首先，使用管道将tee的输出重定向到压缩工具。例如，可以使用gzip来进行压缩，命令如下：
- 这里的command是你要执行的命令，可以是任何产生输出的命令。
- 上述命令中的>(gzip > output.gz)部分是将tee的输出通过管道传递给gzip，并将压缩后的结果保存到output.gz文件中。你可以根据需要修改输出文件的名称和路径。
这样，当你运行该命令时，tee的输出将会同时显示在终端上，并且被压缩并保存到指定的文件中。
需要注意的是，GNU中的tee命令默认是按行缓冲的，如果你希望实时地将输出传递给压缩工具，可以使用stdbuf命令来修改缓冲模式。例如，将命令修改为：
command | stdbuf -oL tee >(gzip > output.gz)这样就可以实现实时压缩tee的输出了。
对于GNU中的并行运行，可以使用GNU Parallel工具来实现。GNU Parallel可以将多个命令并行执行，并提供了丰富的选项和参数来控制并行度、输出等。你可以参考GNU Parallel的官方文档来了解更多信息。
总结起来，使用管道和压缩工具，结合GNU Parallel工具可以在GNU中实现并行运行时压缩tee输出。
相关·内容
1回答
假设我在并行执行的命令中运行tee。... | tee --gzip the_file | and_continue
浏览 12提问于2019-03-26得票数 1
回答已采纳
4回答
应用程序主要输出我不想使用的数据，但是必须将一组有用的信息分割成单独的文件。例如，给定以下输出：JUNKJUNKJUNKC 1我可以像这样三次运行这个应用程序：.我也不想将所有的输出转储到一个文件中，并对其进行解析。
是否有任何方法组合上述三个操作，使我只需要运行应用程序一次，但仍然得到三个单独的输出文件？
浏览 0提问于2013-10-26得票数 31
回答已采纳
3回答
我想进入每个子目录，在几个终端中并行运行for循环脚本。我试过了，但它似乎是连续的(一个接一个)，但是我想并行地运行它们。
浏览 0提问于2017-05-29得票数 9
我有一个文件句柄，其中包含$my_fd中的压缩数据。我希望启动一个解压缩程序(如"lzop -dc")，将$my_fd重定向为标准输入，以便在$out_fd中读取解压缩输出。stuff on the decompressed data# Do more stuff on the original STDIN这是用于-压缩在<
浏览 1提问于2014-02-07得票数 2
回答已采纳
3回答
我希望将text连接到dir中的所有文件。我使用for完成这项工作，如下代码所示。我想知道是否有更简洁的代码来做同样的事情？
浏览 7提问于2020-08-07得票数 6
回答已采纳
我在远程主机上与xargs并行运行一些查询命令，这是高效和非常好的，但我在查找从哪个主机获得查询时遇到了一些问题。cmd1; cmd2; Output of: cmd1; cmd2; 为了实现可能看起来与最后显示的输出类似的输出output" ## will not work or even
# printf "%s\n%s" "$name" "$output" ## wi
浏览 0提问于2019-11-24得票数 2
回答已采纳
5回答
-type f -mtime +7 | tee compressedP.list | xargs compressfind .-type f -mtime +7 | tee compressedP.list | xargs -i{} compress {} &
。。出乎意料的是，它似乎将xargs发送到了后台？
浏览 2提问于2009-12-23得票数 13
回答已采纳
如何使用命令echo将文本放入多个文件echo "my text" > myfile.phpecho "my
浏览 0提问于2019-07-01得票数 5
回答已采纳
2回答
一旦一个或多个新的pcap被复制到一个文件夹中，就应该执行命令t鲨，并将得到的json数据存储在另一个文件中(以不同的顺序)。一旦转换完成，就应该删除pacap文件。wait_for_IN_folder_changed rm \in\in.pcap最好是启动多线程的tshark进程，以增加并行性
浏览 0提问于2019-05-15得票数 1
我想使用GNU并行来解决以下问题：似乎这是一个多个并行命令在所有文件上并行运行，然后对每个文件中的所有行并行运行的情况。/explore-bash.sh > {.}.out'
我不知道如何使用
浏览 0提问于2017-06-01得票数 1
2回答
tee将它的stdin转发给指定的每个文件，而pee也会这样做，但对于管道则是这样。这些程序将它们的stdin的每一行发送到指定的每个文件/管道。如果管道的坚固度也被收集到一个流中也会很好。pv infile | sed 's/something//' > outfile
要并行化，最好的方法是如果<e
浏览 0提问于2011-01-14得票数 2
回答已采纳
2回答
我正在bash中运行单元测试，这可能需要一段时间才能完成，这些测试在运行时打印输出。我希望这个输出被打印出来，我也希望输出被存储在一个变量中。但是，如果可能的话，我希望这些事情能够并发完成，就像tee命令在写入文件时所做的那样。也许tee在这种情况下也适用于…output=$(ginkgo -r -cover)但是，在所有测试运行之前，这显然不会打印单元测试输出</
浏览 0提问于2017-11-29得票数 3
回答已采纳
1回答
我有以下GNU并行命令。--out pdom-{}-diginorm.fq \ ::: 200bp 500bp 1kb 3kb 8kb pdom-{}.fq.gz \
浏览 1提问于2015-03-26得票数 3
回答已采纳
1回答
如何在将相同的输出放入压缩文件gzip或其他压缩文件的同时，维护程序中的可读输出，以便稍后解析它？
我运行了一个命令，它生成大量清晰的文本行，应该很容易压缩，但我也希望监视该命令的输出。我知道我可以使用tee打印，然后将stdin放入文件中。但是文件是巨大的(250MB+)。我也知道我可以使用gzip将stdin压缩成一个文件，但是我不会在屏幕上看到任何输出，gzip的--stdo
浏览 0提问于2023-03-20得票数 2
回答已采纳
2回答
gnu并行与多处理
、、、
multiprocessing模块和GNU并行有什么区别？另外，如果使用不同，哪种情况下是最理想的。如所见，所需时间为8分40分
我使用以下命令：
浏览 4提问于2019-09-18得票数 2
1回答
我正在运行GNU并行，过了一段时间，我得到了：我将limits.conf更改为unlimited，但之后无法使用sudo或登录作为root或ssh登录到我的框中，与这里相同。
浏览 0提问于2020-12-17得票数 1
回答已采纳
2回答
我在一个高性能计算系统上运行了一个批处理作业来对对齐读取进行排序，并使用GNU并行来加快我的工作速度，但是我的工作失败了，原因如下：
并行:错误:输出是不完整的。无法附加到$TMPDIR中的缓冲区文件。磁盘满了吗？并行:错误:用-tmpdir更改$TMPDIR或使用-压缩.
浏览 1提问于2015-07-30得票数 3
1回答
我拥有的几乎每个文件都在每天进行更改，有时只是更改文件中的日期和时间。
我遇到了一些命令，如pscp、prsync以及GNU并行。我在多个主机上进行了pscp和rdist的实验，两者的结果相似。我从我的测试中了解到，无论是prsync还是rdist，不要在单个主机上并行复制多个文件，它们只能在parallel.So中的多个主机上并行复制文件，这两者在性能方面有什么不同吗？我使用cp测试了GNU并行的本地副本，并使用zip进行了
浏览 0提问于2018-11-17得票数 4
0回答
使用gnu并行执行for循环
、、、、
我想在for循环中使用gnu并行来执行bash脚本中的一个函数，但我无法从网上获得的信息中找出是如何执行的。例如：GWS=(`get_gw`)COUNTER=0
parallel check_ping | teeoutput.txt 我想并行地执行for循环和内部发生的事情，同时控制并发作业的数量，并将所有内容输出到单个文件中
浏览 5提问于2017-11-25得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
