我们有一个爬行引擎,使用卷曲和迎合约40万ppl /月。尽管curl支持并发下载,但它不支持带宽限制(仅在php5.4.0中),这就是为什么我的老板希望我迁移到aria2。他还说Aria2更快(对我来说也是如此)
Aria2将需要对系统进行大量更改。现在我们有不同步爬行的爬行系统。
搬到aria2会是一个好的决定吗?
发布于 2012-01-19 10:37:30
在运行了几个测试之后,我们发现aria和curl/php/apache正在以几乎相同的速度运行。我们决定坚持curl,因为它有一个php库libcurl。我们不确定带宽是否受到限制,但我们正在努力。改变我们当前的代码,同时爬行多个页面并不是一个大麻烦,如卷曲。尽管有一些事情我们需要解决,比如https://stackoverflow.com/questions/8878546/curl-multi-crawling-issues
发布于 2014-03-31 14:52:04
curl_setopt($ch, CURLOPT_MAX_RECV_SPEED_LARGE, 10240);https://softwareengineering.stackexchange.com/questions/128302
复制相似问题