我将使用wget从服务器下载相当多的数据(大约50-100 GB，几千个文件)。这将是相当关键的时间，所以我想问几个关于性能的问题。1)当运行wget时，似乎有一个很长的初始阶段，其中没有发生下载，然后突然启动。这个阶段似乎比实际的下载时间要长得多。在wget过程开始的时候会发生什么，有没有一种方法可以加速它？
浏览 11提问于2017-02-26得票数 2
回答已采纳
1回答
下载大型文件挂起系统
、、、
当我试图下载大型文件时，即在FireFox下下载1gb或更多，首先以非常快的下载速度开始，几秒钟内几乎达到最大值(~11 MBps)。它的下载速度非常快，但是当下载的大小接近700到800 my或更多时，我的系统几乎完全挂起，所以我什么也做不了--我只需要等到下载完成。
另外，当它挂起时，我看不到下载过程--它看起来完全挂起了。但是，有时，如果文
浏览 0提问于2011-06-25得票数 4
回答已采纳
1回答
我想使用/tool Wget命令从Oracle页面下载，但我不知道如何下载？wget --no-check-certificate http://download.oracle.com/otn-pub/java/jdk/7u11-b21/jdk-7u11-macosx-x64.
浏览 4提问于2013-01-18得票数 0
回答已采纳
1回答
wget只需要~4.6秒。为什么会有这么大的差异？这个简单的Python程序在将视频写入磁盘之前将整个视频加载到内存中，大约需要5.2秒。，我发现32 of的默认缓冲区大小使我获得了最佳的速度(这仍然比wget和reqeusts的reqeusts慢1.6到1.8倍)。并发/并行
我甚至写了一个相当长的程序，在头中使用range来并行<e
浏览 2提问于2016-09-22得票数 3
3回答
我需要将多个页面保存到我的harddisk.The页面中，其模式如下：http://example.com/page2.html
http:我需要保存大量的网页(大约5000)，.I尝试使用IDM，但是当我输入链接时它会挂起，可能是因为页面数量很多。我也尝试了WinHTTrack，但是它保存了一些不必要的东西，比如我真的不需要的站点上的</e
浏览 0提问于2015-01-17得票数 3
1回答
我想知道是否有一种方法可以使用终端中的find工具根据文件的下载时间来查找文件。我知道有access (-amin)、creation (-cmin)和modified (-mmin)选项，但我想不出根据下载时间过滤文件的方法。
我检查了一下，创建时间和下载时间不一样。如果find不能做到这一点，我还有什么最好的选择？
浏览 3提问于2015-09-28得票数 1
1回答
为<video>对象设置缓冲
、、、、
所以我试着播放托管在远程服务器上的视频，我遇到的问题是，大型视频需要很长时间才能开始播放。在视频开始播放之前，似乎需要下载整个视频(通过比较视频开始播放所需的时间和下载视频所需的时间)。有没有人有任何建议，如何设置的视频，以开始显示，即使是一小部分已经下载。
浏览 12提问于2015-10-04得票数 0
回答已采纳
我正在用wget从包含我需要下载的文件的URL的csv文件下载330 k科学文件。但是它们的数量太大了，如果只是一个又一个文件的话，用wget下载它们需要几天的时间。是否有wget命令可供我同时下载多个文件？注-我的问题不是重复许多其他关于下载许多文件从同一个网站。这可能是相关的</e
浏览 0提问于2021-11-24得票数 2
回答已采纳
2回答
aws实例停靠器拉出非常慢
、、、、
我正在从一个私人码头注册中心拉一个~3GB的图像，它大约需要10分钟。知道为什么要花这么长时间吗？当我从本地的开发机器中提取相同的图像时，“提取”所需的时间不到1分钟！
浏览 0提问于2017-10-09得票数 2
我有一个下载文件的链接，它在开始下载文件之前调用php脚本。有没有可能以某种方式获得要直接下载的文件的位置(可能是通过某个浏览器插件)？谢谢,
伊万
浏览 0提问于2011-03-01得票数 1
我正在用wget从包含我需要下载的文件的URL的csv文件下载330 k科学文件。所以，我使用的命令是我的文件all_the_urls.csv看起来像这样
http://dr16.sdss.org/sas/dr16/sdss/spectro但是它们的数量太大了，有时我需要
浏览 0提问于2021-11-23得票数 0
回答已采纳
3回答
为什么这个cron任务会在一段时间内反复执行，我能做什么来阻止它呢？在我的日志文件中我看到：
123.456.78.90 - - [28/Nov/2012:04:00:01 -0800] "GET /index/thing?param=1 HTTP/1.0" 200 4181 "-"
浏览 0提问于2012-11-28得票数 1
回答已采纳
我正在下载大约5000 .htm网页从一个网站使用惠特为Windows。页面大小在500 KB到1，5MB之间。wget -O 10001.htm https://www
浏览 0提问于2021-07-07得票数 3
回答已采纳
我正在尝试使用下载一系列的网页来检索其中的数据。但是当我在第一页之后浏览每一页时，例如：
然后更改回我发送的原始Wget下载的文件包含的是第1页的数据，而不是第2页的数据。我想告诉Wget在开始
浏览 6提问于2022-01-23得票数 -1
回答已采纳
1回答
缩短WGET下载完成时间
、、、
我正在使用Ubuntu中的wget程序，每天从web服务器下载一系列文件。最近，这个web服务器已经不堪重负，负责维护它的组织(NCEP)似乎已经开始限制下载请求的数量和速度。主要提示:在此之前，wget能够在15分钟内完成所有文件的下载。这个过程现在需要几个小时。服务器网址：我
浏览 3提问于2021-02-12得票数 0
回答已采纳
2回答
我目前有一个php文件，它必须读取数百个XML文件，我没有选择如何构建这些XML文件，他们是由第三方创建的。第一个xml文件是其余xml文件的大量标题，因此我搜索第一个xml文件以获得其余xml文件的文件名。这个过程真的很慢。我说的是5分半钟的运行时间...这对于一个网站来说是不可接受的，客户不会停留那么长时间。
有谁知道一种方法可以加速我的代
浏览 1提问于2011-12-14得票数 0
回答已采纳
运行cabal update时，从下载00-index.tar.gz需要很长时间，但是，当我从chrome下载它时，它只是一个9M文件，下载很快就完成了。那么，为什么cabal update速度这么慢，我可以通过手动下载文件来提高性能吗？
使用Cabal库的1.22.4.0版安装版本1.22.6.0
浏览 3提问于2015-08-06得票数 11
我正在处理一个大型数据集，其中每个文件(存储在网上)都有一个URL，看起来类似于 return中，我有一个要处理的日期时间列表。对于每个文件，我需要从互联网下载相应的文件(使用wget或类似的)。rule download: shell: #
浏览 5提问于2022-05-18得票数 1
回答已采纳
我正在尝试定期归档一些托管在社区网站上的文件类型，其中我们的管理员已经MIA多年，以防他死亡或只是停止支付托管费用。我可以使用wget -r -np -nd -e robots=off -l 0 URL下载我需要的所有文件，但这给我留下了大约60,000个额外的文件来浪费下载和删除的时间。我实际上只寻找扩展名为"tbt“和"zip”的文件。当我在输入中添加-A tbt,zip时，
浏览 4提问于2017-12-06得票数 2
我已经创建了一个批处理文件
wget -i links.txt --read-timeout=2 -t 0 -w 0 --waitretry=0 -c --no-check-certificate -blinks.txt包含我想下载的文件的下载链接。我将这个批处理文件和links.txt放在C:\Documents and Settings\user\Start Menu\Programs\Startup中，这样wget就可以在计算机启动时开始下载但是
浏览 1提问于2014-04-12得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号