根据问题wget download files in parallel and rename的可接受答案 cat list.txt | xargs -n 2 -P 4 wget -O 该命令的GNU并行版本是什么我试过cat list.txt | parallel -N2 -j 20 --gnu "wget {2} -O {1} --no-check-certificate"，但没有成功
浏览 11提问于2019-04-25得票数 1
1回答
10001360495981714191.jpg 'https://media.breitbart.com/media/2018/07/Dan-Coats.jpg'cat list.txt | xargs -n 1 -P 4 -d '\n' wget -O
它使用xargs并行下载</e
浏览 109提问于2018-07-30得票数 3
回答已采纳
我正在构建一个小工具，它将使用wget下载文件，从不同的文件中读取urls。相同的url可能存在于不同的文件中；url甚至可能存在于一个文件中几次。下载几次页面(每次在列表中找到它的url )都是效率低下的。
因此，简单的方法是保存下载的文件，并指示wget在已经存在的情况下不再下载它。这将非常简单；但是urls非常长(许多获取参数)，因此不能用作文件名(wget给出的错误“不能写入. []文件名太
浏览 8提问于2009-10-21得票数 23
回答已采纳
4回答
我有一个以制表符分隔的urls列表，以及目标文件名urls_to_download.txt，例如：...我想使用几个连接来下载它例如，我可以这样做：
cat urls_t
浏览 1提问于2014-07-14得票数 0
1回答
所以，假设我有一个带有URL列表的数组，我想使用类似GNU并行的东西来并行下载URL。像这样的命令就能起作用。parallel -u wget -qc --show-progress ::: "${URLs[@]}"
这个命令的唯一问题是，当显示命令的进度时(特别是因为-u显示了正在发生的输出，而不是等待)，命令的输出都会转到同一行这会导致这样一种情况，即当一个wget实例输出时，它会在tty上覆盖上一个wget输
浏览 0提问于2023-04-06得票数 1
回答已采纳
我有一长串文件要下载，其语法如下：当然，YYYY是一年，MM是月份，DD是日子。有没有办法下载这个列表上的文件，并以YYYY DD.pdf的形式为每个文件指定一个名称？还是保留目录，并将每个file.pdf放在其适当的目录中？
浏览 0提问于2019-03-12得票数 0
回答已采纳
1回答
这样做的想法是，当wget运行并下载某些内容时，我可以添加另一个URL，该URL将在当前下载完成后下载。我一次只想下载一个文件。我写了这个剧本脚本将检查由URL组成的任何新行，如果有，它将再次重新运行wget，问题是这个脚本将继续循环，wget将继续下载相同的文件，如果它已经存在，只需重命名它们如果wget-d
浏览 1提问于2014-12-23得票数 3
据我所知，-i标志接受一个文件(其中可能包含URL列表)，并且我知道可以指定-o后面的名称来重命名使用wget下载的项目。示例：wget -o my_custom_name.mp3 http://example.com/some_file.mp3
我想使用wget下载这些带有
浏览 5提问于2014-12-23得票数 2
回答已采纳
3回答
我有一个URL列表，我希望使用--input-file将这些URL提供给wget。而xargs之所以出现，是因为我还想利用max-procs特性来进行并行下载。
浏览 0提问于2010-01-12得票数 4
回答已采纳
1回答
寻找一个干净的Python解决方案，一次下载多个文件。')wget.download(url)
此外，我还需要下载文件夹中的所有内容(22).jpg文件，并将该文件夹局部重命名为类似于NE
浏览 2提问于2018-08-24得票数 7
回答已采纳
我正在尝试使用wget下载一些文件。我已经将所有链接存储在一个.txt文件中。当我通过命令wget -i <filename>.txt读取该文件时，下载将启动，但会生成一个通知，说明file name is too long。在此之后，下载过程将被终止。如何重命名文件，使文件名保持在可接受的范围内，并继续下载。
是否有类似于：- wget -O <target filename> <URL>，用于从
浏览 6提问于2013-11-10得票数 1
回答已采纳
2回答
我有一个文本文件中的大量URL列表，我想使用wget下载它。这看起来很简单：while read CMD; do
但是，wget使用文件的基本名称作为下载位置，这会导致重命名方案，如$URL可能如下所示：
http://sub.domain.com/some/folder&#
浏览 0提问于2015-05-22得票数 0
3回答
递归模式下的Wget输出
、、、、
我使用wget -r从指定的网页下载3个.zip文件。这是我到目前为止所知道的：现在，压缩文件都以abc_*.zip开头，其中*似乎是随机的。我希望下载的第一个文件名为xyz_1.zip，第二个名为xyz_2.zip，第三个名为xyz_3.zip。非常感谢！
浏览 4提问于2011-03-10得票数 0
3回答
我正在尝试从包含链接(超过15 000+)的文件(000+)中下载文件。#!/bin/bash
url=$line
#by guessing
浏览 0提问于2018-02-06得票数 0
回答已采纳
我想把一堆文件下载到Python脚本中的一个目录中，这些文件在url上有托管和密码保护。我的愿景是有一天我能够使用joblib或其他东西并行下载每个文件，但现在，我只关注wget命令。现在，我可以使用以下命令下载单个文件：
os.system("wget --user myUser --password myPassword --no-parent -nH --recursive -A gz,pdf,bam,vcf,cs
浏览 0提问于2020-10-11得票数 0
1回答
每隔6小时，我就必须从web服务器下载bz2文件，解压缩它们并将它们合并到一个文件中。这需要尽可能高效和快速，因为我必须等待下载和解压缩阶段完成，然后再继续合并。通过这种方式，我可以直接将匹配模式传递给wget，而不必在本地构建服务器的内容列表，然后将其作为一个列表传递给-i到wget。为此，我首先等待第一个.bz2文件出现，然后运行并行化提取，直到服务器上出现最后一个.bz2 (这是两个until和while循环所做的)。
我对这种
浏览 5提问于2020-10-02得票数 1
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
