目前，我正在尝试下载一个大型数据集(大图像的200k+)，它全部存储在谷歌云上。作者提供了一个wget脚本来下载它： wget -r -N -c -np --user username --ask-password https://alpha.physionet.org/files/mimic-cxr/2.0.0/ 现在它下载了等等，但是已经2天了，它还在继续，我不知道要花多长时间。AFAIK它正在单独下载每个
浏览 32提问于2019-09-27得票数 0
当从FTP服务器递归获取wget时，如何只下载在给定日期之后修改的文件？
用例是，我需要每晚与多个服务器同步，但我只需要几天前的数据。--mirror标志就足够了，只不过同步其余的数据(哪怕只有一次)将花费很长时间。
浏览 0提问于2011-09-23得票数 4
1回答
我一直使用它从我存储在文本文件中的列表中获取大量URL：然而，在我看来，一次下载一个文件，然后转移到下一个文件。我可能弄错了，如果是的话，请随时通知我。但是如果我想让它同时下载10到20个文件呢？用一个简单的wget命令就可以做到这一点，还是需要更详细的操作？
顺便说一下，这些都是非常小的文件(~80 By )正在下载。当下载</
浏览 0提问于2015-10-24得票数 2
回答已采纳
2回答
我的意思是，当浏览器加载一个页面时，它也会下载所有相关的内容...有人能告诉我如何使用curl来做这件事吗？我不介意它甚至将二进制数据转储到终端上...我正在尝试对我的服务器进行基准测试(保持它最初的简单性，以测试bug……可能在这之后，我会使用像ab)这样的专用工具。
浏览 0提问于2010-02-04得票数 1
回答已采纳
我的问题是：$wgetCommandOutput = shell_exec($wgetCommand);
此命令递归地将所有文件和文件夹从网站下载到当前工作目录(除非另有规定)。问题是，当下载这些文件和文件夹时，我没有权限在此之后以编程方式读取它们。但是，如果
浏览 3提问于2018-10-06得票数 0
回答已采纳
我将使用wget从服务器下载相当多的数据(大约50-100 GB，几千个文件)。这将是相当关键的时间，所以我想问几个关于性能的问题。1)当运行wget时，似乎有一个很长的初始阶段，其中没有发生下载，然后突然启动。这个阶段似乎比实际的下载时间要长得多。在wget过程开始的时候会发生什么，有没有一种方法可以加速它？在这个阶段，没有网络活动，wget在top上似乎也不是很活跃。这可能与wget</
浏览 11提问于2017-02-26得票数 2
回答已采纳
3回答
我只想简单地探索一个dropbox文件系统，而不需要在CPU、内存和存储(即，在本地保存远程文件的副本)上增加很多额外的负载。官方客户端似乎消耗了大量的reosurces (并且会执行不必要的操作，比如同步) -- http://www.lowendtalk.com/discussion/3179/dropbox-memory-usage-on-linux(我想为public.me.com做些类似的事情：wget -r-like或FUSE)。Dropbox
浏览 0提问于2012-12-02得票数 12
2回答
目前，我正在使用shell脚本从FTP服务器下载文件。Ansible将执行我的脚本并继续执行其他自动化作业。下面的语法只用于下载单个文件，但我的要求是下载多个文件和目录。
感谢你的帮助。
浏览 12提问于2016-03-26得票数 3
回答已采纳
1回答
我已经看了很长一段时间了，还没有想出如何解决这个问题。wget --no-check-certificate -nc -nH -r -k -p -np --cut-dirs=3 \https://websitename/directory/folder_of_interest/
浏览 6提问于2012-11-09得票数 2
我有一个S3桶和一个大文件的URL。我想将内容存储在S3桶中的URL中。
我可以将文件下载到本地机器，然后用Cloudberry或Jungledisk等方式将其上传到S3。但是，如果文件很大，这可能需要很长时间，因为文件必须传输两次，而且我的网络连接比Amazon的要慢得多。如果我有大量数据要存储在S3中，我可以启动一个EC2实例，使用curl或wget检索文件到实例，然后将数据从
浏览 0提问于2010-08-01得票数 16
我的问题是，我仍然在尝试下载g++的扩展并在我的机器上编译它，但是这件事需要很长时间。正如在中所解释的，我试图让编译器源代码来编译它们。我实际上是在争取GCC 4.9的发行版。所以我决定直接用wget进行递归下载。wget -r -l 0 -np --erobots=off http://gcc.gnu.org/svn/gcc/branches
浏览 3提问于2013-10-03得票数 0
回答已采纳
1回答
根据链接到的文件是否也被下载，wget中的wget选项将链接转换为本地链接或远程链接。(更多细节请参见 )
是否可以以这种方式使用wget：我下载两个网页，比如www.example.com/1和www.example.com/2，其中第一个页面有到第二个页面的链接，而wget将链接转换为本地链接，因为第二个页面也被下载了。注意到：我不能使用深度为1的递归选项下载</em
浏览 6提问于2012-11-17得票数 1
回答已采纳
我正在通过.mp3下载一些wget文件(都是合法的)：有时我不得不停止下载，而在那个时候文件被部分下载。例如，一个10分钟的record.mp3文件变成4分钟的record.mp3文件。这是正确的发挥，但不完整的。如果使用上述相同的命令，因为本地计算机中已经存在record.mp3文件，所以wget将跳过该文件，尽管它
浏览 17提问于2015-06-25得票数 4
回答已采纳
1回答
我试图使用curl下载以下格式的大量文件：。。所以我使用了这个命令：我知道wget可以做到，但是wget似乎需要5倍的时间才能运行。我在wget中使用的命
浏览 1提问于2009-07-22得票数 1
回答已采纳
我想用Ubuntu中的wget递归地抓取一个网站，并在下载了300页之后停止它。我只保存页面的html文件。目前，我使用的命令是：我希望代码以某种方式计数本地-DIR中的html文件，如果计数器显示300，停止爬行。有这样的事吗？
浏览 0提问于2020-03-14得票数 1
回答已采纳
2回答
我正试着用wget建立一个网站。我希望进行递归下载，并将其存储在一个文件夹中，但避免使用查询文件；Home?query --在本例中是Home。为此，我尝试了一种模式的--reject，但我无法使它工作。*' \--no-check-certificate \如果我以这种方式运行它，我就会得到这个站点注意
浏览 0提问于2013-05-21得票数 2
回答已采纳
我想知道--是否可以通过httpclient或类似的Java库以递归方式下载路径(就像使用wget -r ...一样)？我是否需要从头开始实现，或者是否有现成的库/爬虫可供我使用？
你有什么推荐的？
浏览 1提问于2016-01-30得票数 1
2回答
同时运行多个Wget命令
、、、、
我有一个文本文件，它在每一行上都有一个url和所需的文件名(由空格分隔)。我正在循环浏览这个文本文件，下载url并使用wget将其保存为所需的名称： do wget $a -O $b问题是我的列表中包含了将近9000份文件，所以一个一个地下载它们需要很长时间。不管怎样，我可以同时下载<
浏览 2提问于2021-09-17得票数 0
回答已采纳
2回答
我想要将大量文件下载到我的服务器。我有一个要下载的不同文件的列表以及放置它们的位置。这一切都不是问题，我使用wget下载文件，使用shell_exec执行shell_exec($command);
这工作得很好，服务器启动所有
浏览 0提问于2010-03-09得票数 0
回答已采纳
2回答
子目录包含许多文件，我想从每个子目录中下载一个文件到我的linux机器上的一个位置，每个子目录中包含特定的序列字母'RMD‘。webpage/dir1/dir1a/file321RMD210...
webpage/dir2/dir2a/file416RM
浏览 1提问于2015-09-15得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
