首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >从Curl搬到Aria2?

从Curl搬到Aria2?
EN

Software Engineering用户
提问于 2012-01-04 12:48:18
回答 2查看 2.6K关注 0票数 3

我们有一个爬行引擎,使用卷曲和迎合约40万ppl /月。尽管curl支持并发下载,但它不支持带宽限制(仅在php5.4.0中),这就是为什么我的老板希望我迁移到aria2。他还说Aria2更快(对我来说也是如此)

Aria2将需要对系统进行大量更改。现在我们有不同步爬行的爬行系统。

搬到aria2会是一个好的决定吗?

EN

回答 2

Software Engineering用户

回答已采纳

发布于 2012-01-19 10:37:30

在运行了几个测试之后,我们发现aria和curl/php/apache正在以几乎相同的速度运行。我们决定坚持curl,因为它有一个php库libcurl。我们不确定带宽是否受到限制,但我们正在努力。改变我们当前的代码,同时爬行多个页面并不是一个大麻烦,如卷曲。尽管有一些事情我们需要解决,比如https://stackoverflow.com/questions/8878546/curl-multi-crawling-issues

票数 3
EN

Software Engineering用户

发布于 2014-03-31 14:52:04

  1. PHP支持带宽限制。您要寻找的设置是:curl_setopt($ch, CURLOPT_MAX_RECV_SPEED_LARGE, 10240);
  2. 在镜像下载方面,aria2c比cURL更快,因为它允许并行地从多个源获取部件并将它们组合在一起。这不受cURL,afaik的支持。在PHP端重新构建此特性是可能的,但是处理速度比使用aria2c慢。
票数 2
EN
页面原文内容由Software Engineering提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://softwareengineering.stackexchange.com/questions/128302

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档