Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >多线程下载一个大文件的速度更快的真正原因是什么?

多线程下载一个大文件的速度更快的真正原因是什么?

作者头像
Wu_Candy
发布于 2022-07-04 13:00:31
发布于 2022-07-04 13:00:31
8390
举报
文章被收录于专栏:无量测试之道无量测试之道
这是无量测试之道的第208篇原创

引言

  日常工作中,大家应该经常遇到要下载资源的场景,下载资源时,有时网络很给力,一会儿就下载成功了,有时下载很慢,几十分钟后都还在下载中,甚至更过分的是下载好长时间后直接来个下载失败。好不惹人生气。 当你在遇到这样的下载场景时,有没有思考过到底是什么原因影响着文件资源的下载速度呢?

实时网络带宽

  决定用户下载大文件速度快慢的终极因素,在于用户下载进程实时抢占网络带宽的大小。其它的因素与它相比,可以忽略不计。

  如果用户进程实时抢占的带宽 = 实时网络可用带宽,则在最理想的状态下,用户下载进程100%利用网络带宽,无论该下载进程是单线程(Thread)的还是多线程的,下载速度几乎没有任何区别。【因为此时没有别的进程使用网络带宽】。

  但是在现实中实际是用户进程实时抢占的带宽 <= 实时网络可用带宽!因为实时网络带宽每一刻都是在变化的,那它是怎么变化的呢?因为TCP流量控制

TCP流量控制

  传统的TCP流量探测机制有一个非常致命的缺陷:一旦检测到有丢包,立马将发送速率降为1/2。降速1/2后,如果没有丢包,将会在1/2速率的基础上,按照固定的增长值(线性增长),加大发送的速率。接下来就会一直按照这个节奏到达丢包的那一刻(实时可用带宽)为止。如果下一个检测周期依然有丢包现象,会在当前1/2速率的基础上继续降速1/2。循环往复,直到文件下载结束。

  很显然指数级的降速、但是线性的增速;这最后造成的结果就是真实的传输速率远远小于实时可用带宽。

多线程下载

  多线程下载时,由于多个线程在竞争实时可用带宽。尽管多线程逻辑上是并行的,但其实还是按时序的串行处理。所以每个线程处于的阶段并不一致。并且带宽资源是固定的。

  比如使用3个线程来进行下载,因为处于不同的阶段,有的线程因为丢包直接降速1/2,有的线程处于线性增长阶段。通过多个线程的加权平均,最后得到的下载曲线是一条平滑的曲线,且这条曲线大多数应该处于单线程下载速率的上方。这也是为什么多线程下载大文件的速度更快的原因了。

最后

  最后,如果我问你写一个程序来求1亿以内素数个数,在求素数的算法已经确定的情况下,用什么样的方式花的时间更少呢?我想答案应该很清楚吧。

end

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-06-02,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 无量测试之道 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
撸了个多线程断点续传下载器,我从中学习到了这些知识
感谢看客老爷点进来了,周末闲来无事,想起同事强哥的那句话:“你有没有玩过断点续传?” 当时转念一想,断点续传下载用的确实不少,具体细节嘛,真的没有去思考过啊。这不,思考过后有了这篇文章。感谢强哥,让我有了一篇可以水的文章,下面会用纯 Java 无依赖实现一个简单的多线程断点续传下载器。
未读代码
2020/07/28
9760
撸了个多线程断点续传下载器,我从中学习到了这些知识
⭐Python实现多线程并发下载大文件(制作支持断点续传的下载器的绝佳参考⁉️)⭐
不知道各位童鞋们是否遇到过需要使用python下载大文件的需求,或者需要从一些网速很慢的网站上下载文件。如果你在实际下载过程碰到下载不稳定经常失败的情况,本文的方法将会给你带来一些解决思路和方案。
全栈程序员站长
2022/09/13
2.3K0
⭐Python实现多线程并发下载大文件(制作支持断点续传的下载器的绝佳参考⁉️)⭐
Internet Download Manager 6.40.8 多线程下载和视频嗅探神器
IDM是一款多线程下载和视频嗅探 神器。(全称:Internet Download Manager)
暮城
2022/03/07
5680
Internet Download Manager 6.40.8 多线程下载和视频嗅探神器
实现多线程下载文件的限速控制
实现多线程下载文件并控制下载速度可以通过 Python 的 threading 和 requests 库来完成。下面是一个示例,展示如何使用多线程下载文件,并在下载时实现限速控制。
华科云商小徐
2024/11/01
1860
【网络原理】——拥塞控制,延时/捎带应答,面向字节流,异常情况
通过“流量控制”的学习,我们可以通过从接收方的角度来制约发送方的发送速率,(即:动态控制窗口大小)。接下来我们引入的拥塞控制也是要限制发送方发送数据的速率。
三三是该溜子
2024/12/30
1560
【网络原理】——拥塞控制,延时/捎带应答,面向字节流,异常情况
安卓学习教程-带你制作高效率多线程下载工具,快速下载网络文件
写代码也要读书,爱全栈,更爱生活。每日更新原创IT编程技术教程。技术大神带你做全栈攻城狮。
做全栈攻城狮
2018/12/20
7090
网络协议 9 - TCP协议(下):聪明反被聪明误
    上次了解了 TCP 建立连接与断开连接的过程,我们发现,TCP 会通过各种“套路”来保证传输数据的安全。除此之外,我们还大概了解了 TCP 包头格式所对应解决的五个问题:顺序问题、丢包问题、连接维护、流量控制、拥塞控制。今天,我们就来看下 TCP 又是用怎样的套路去解决这五个问题的。
北国风光
2019/04/11
8010
网络协议 9 - TCP协议(下):聪明反被聪明误
计算机网络协议(三)——UDP、TCP、Socket[通俗易懂]
这个专栏的计算机网络协议,我是在极客时间上学习 已经有三万多人购买的刘超老师的趣谈网络协议专栏,讲的特别好,像看小说一样学习到了平时很枯燥的知识点,计算机网络的书籍太枯燥,感兴趣的同学可以去付费购买,绝对物超所值,本文就是对自己学习专栏的总结,评论区可以留下你的问题,咱们一起讨论!
全栈程序员站长
2022/06/26
4.2K0
计算机网络协议(三)——UDP、TCP、Socket[通俗易懂]
TCP拥塞控制及BBR原理分析
导语:TCP拥塞控制不仅仅是网络层的概念,可以将其归属于控制论的范畴。在TCP的演进过程中,出现了很多优秀的思想和算法,以实现网络传输过程中,在公平竞争性的前提下,尽可能地利用带宽资源。本文介绍TCP发展过程中出现的几种拥塞控制算法,并着重介绍BBR的原理。
用户4141261
2018/12/07
15.1K0
网络协议之性能优化与性能评估
近期,掘金发出技术专题的邀约,我也是紧跟潮流,写了一篇关于网络协议的性能优化与性能评估的文章,本篇文章主要讲了三个大方向包括:网络协议的性能指标、性能优化策略、性能评估方法;并针对这三个方面进行深入的分析,希望与大家一起交流分享。
终有救赎
2023/11/20
5730
网络协议之性能优化与性能评估
QUIC 和 HTTP/3:提升网络性能的关键技术
QUIC(Quick UDP Internet Connections)是一种基于 UDP 的传输层协议,旨在解决 TCP 在高延迟和丢包环境下的性能问题。HTTP/3 则是 HTTP 协议的最新版本,它基于 QUIC 协议而非 TCP,以提供更高效、可靠的网络服务。
陆业聪
2024/09/26
8990
QUIC 和 HTTP/3:提升网络性能的关键技术
linux网络开发者定位问题常用工具和命令总结
本文章来自我的微信个人技术公众号---网络技术修炼,公众号中总结普及网络基础知识,包括基础原理、网络方案、开发经验和问题定位案例等,欢迎关注。
用户1215536
2023/04/23
1.2K0
流量控制--1.概览
了解Linux的流量控制的目的:一是为了更好地理解底层对报文的处理逻辑,二是在流量控制中使用了很多很好的流量处理方法,可以学习一下这些方法和思想,翻译自:https://tldp.org/en/Traffic-Control-HOWTO/index.html。
charlieroro
2020/11/24
1.1K0
流量控制--1.概览
BBR及其在实时音视频领域的应用
大家好,我是网易云信音视频工程师肖磊,目前致力于实时音视频领域的QoS研究,通过优化拥塞控制算法,为用户提供高带宽利用率,低延时,抗抖动能力强的实时音视频服务。
LiveVideoStack
2019/10/15
2.4K0
[RoCE]拥塞控制机制(ECN, QC-QCN)
1.网络拥塞问题 在网络交换机中,当入口流量大于出口流量的带宽时会发生网络拥塞。典型的例子是多个发送方同时向同一个目的地发送网络数据。交换机的缓存可以处理暂时的拥塞,但是当拥塞太久时,交换机的缓存就会过载。当交换机缓存过载时,下一个收到的新的数据包就会被丢弃。丢包会降低应用性能,因为重传和传输协议的复杂性会带来延迟。无损网络实现了流控制机制,它可以在缓存溢出前暂停入口流量,阻止了丢包现象。然而,流控制本身会造成拥塞传播的问题。 为了理解拥塞传播问题,考虑下面的图示。假设交换机1上的端口A到E都在向端口G发送
昊楠Hacking
2018/03/30
7K0
多线程下载
楼主三年磨剑(当然不是磨着一把剑),倾血奉献Android多线程下载Demo。有的人就问了“怎么写来写去还是Demo?”,因为老哥我实在太忙了, 每天写一点,写到现在也才写了个下载器,也就差下载管理
xiangzhihong
2018/01/29
8820
TCP 流量控制和拥塞控制
方式1 的问题就是流量控制问题TCP,采用了滑动窗口解决 方式2 的问题说的是拥塞控制问题。
王小明_HIT
2021/04/30
3.1K0
TCP 流量控制和拥塞控制
计算机网络——运输层(2)
我的计算机网络专栏,是自己在计算机网络学习过程中的学习笔记与心得,在参考相关教材,网络搜素的前提下,结合自己过去一段时间笔记整理,而推出的该专栏,整体架构是根据计算机网络自顶向下方法而整理的,包括各大高校教学都是以此顺序进行的。 面向群体:在学计网的在校大学生,工作后想要提升的各位伙伴,
学编程的小程
2024/05/26
1070
计算机网络——运输层(2)
拥塞控制
主机A 向 C发送; 主机B向D 发送。都通过一个路由器,路由器的容量(带宽) 是:R (单位: bps)
用户11097514
2024/05/31
2150
拥塞控制
前端多线程大文件下载实践,提速10倍(拿捏百度云盘)
没错,你没有看错,是前端多线程,而不是Node。这一次的探索起源于最近开发中,有遇到视频流相关的开发需求发现了一个特殊的状态码,他的名字叫做 206~
秋风的笔记
2020/10/27
2.2K0
前端多线程大文件下载实践,提速10倍(拿捏百度云盘)
相关推荐
撸了个多线程断点续传下载器,我从中学习到了这些知识
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档