我想用python写一个小的网络爬虫。我开始研究将其编写为多线程脚本，一个线程下载池和一个池处理结果。由于有了GIL，它真的可以同时下载吗？GIL对网络爬虫有什么影响？基本上我想问的是，用python做一个多线程爬虫真的比单线程能给我带来更多的性能吗？
谢谢!
浏览 4提问于2010-05-14得票数 10
回答已采纳
1回答
我已经开始学习网络爬虫，在一篇文章的帮助下，我构建了下面这个简单的爬虫。此外，如果您有任何其他建议或改进，请随时分享这个爬虫。
浏览 3提问于2013-03-10得票数 0
回答已采纳
1回答
我正在用Java开发一个网络爬虫。我正在寻找一个很好的项目开发这个爬虫的基础上。然而，实际上有超过几百个用Java编写的爬虫程序。我要找的是一个相当简单的爬虫，它有：
基于最新的Java构建和新的functionalityGood performanceImplemented好documentationNot的多线程documentationNot
浏览 1提问于2012-04-16得票数 0
回答已采纳
5回答
我正在开发一个简单的网页爬虫。我搜索并找到了很多实现多线程爬虫的解决方案。创建线程安全队列以包含唯一URL的最佳方法是什么？
编辑：.Net 4.5中有没有更好的解决方案？
浏览 3提问于2012-04-10得票数 1
回答已采纳
3回答
我正在编写一个web爬虫，它同时处理多个URL，并以下列方式工作：就像大多数网络爬虫一样。当我使其为单线程时，我可以以与seed_list.txt中的URL相同的顺序获得seed_list.txt中的数据，但当它是多线程时，我似乎无法控制它，因为每个线程都会在数据完成后将数据写入data.txt有没有办法使我的网页爬虫多线程，但保持原来的秩序？
@Lance，Ignacio和Maksym
浏览 5提问于2012-04-02得票数 2
回答已采纳
2回答
我已经建立了一个多线程的网络爬虫，使请求从相应的服务器获取网页。因为它是多线程的，所以会使服务器不堪重负。由于哪个服务器可以阻止爬虫(礼貌)。
我只想添加功能的结果请求之间的最小延迟到相同的服务器。
浏览 2提问于2012-10-10得票数 0
1回答
Python多线程爬虫
、、、
我正在尝试用python编写网络爬虫。我想使用python多线程。即使在阅读了之前的建议论文和教程之后，我仍然有问题。
浏览 5提问于2012-05-29得票数 5
回答已采纳
4回答
构建web爬虫
、、
我目前正在开发一个内置网络爬虫的自定义搜索引擎。由于某种原因，我不喜欢多线程，因此到目前为止，我的索引器是以单线程的方式编写的。现在，我在构建爬虫时遇到了一个小难题。
浏览 2提问于2009-05-14得票数 1
4回答
我想实现一个多步爬虫使用我现在拥有的单线程爬虫代码。基本上，我从文本文件中读取urls，获取每个urls，并对其进行爬行和解析。
浏览 0提问于2010-02-02得票数 1
回答已采纳
2回答
多线程网络爬虫
、、、、
我在一个多线程的网络爬虫上工作。这很简单，但我想征求一些建议。程序从一个web地址(在此代码中为http://google.com)开始，并在给定的响应中查找所有有效的URL。然后，爬虫将继续在队列中的URL中爬行。通过设计，爬虫将变得越来越慢，因为列表/地图变得越来越大。我真想不出有什么办法能提高那里的表现。我在这里能改进什么？我更新了我的代码以使用线程，正如我在其中一个问题中所指定的那样。
浏览 0提问于2016-08-20得票数 6
3回答
我对编程相当陌生，并且正在为我在网络爬虫上的论文而工作。我已经提供了一个网络爬虫，但我发现它太慢，因为它是单线程。花了30分钟才爬上1000个网页。在不给出错误的情况下多线程java爬行器的正确方法是什么？说到这一点，多线程是否解决了我的问题？
浏览 10提问于2009-07-18得票数 2
回答已采纳
这些天我做了一些网络爬虫脚本，但其中一个问题是我的互联网非常慢。所以我在想，是否可以通过使用mechanize或urllib之类的方法来实现多线程的网络爬虫。如果任何人有经验，分享信息非常感谢。
浏览 3提问于2009-12-05得票数 2
回答已采纳
1回答
我正在寻找一个解决方案，以切换IP时自动运行PHP爬虫。我有一个自定义的爬虫，它运行100个线程，但由于油门限制，我经常被阻塞。因为PHP不支持多线程，所以我设置了windows调度程序来并行运行PHP应用程序。
我想为每个线程分配一个不同的IP地址，并欢迎任何建议来克服这个问题。
浏览 1提问于2014-04-14得票数 0
2回答
我想让我真正的爬虫多线程。实例:import requests page, {'class': 'vote-cou
浏览 1提问于2016-08-16得票数 1
回答已采纳
我在玩写一个简单的多线程网络爬虫。我看到很多消息来源都说网络爬虫很明显是并行的，因为你可以从不同的URL开始爬行，但我从未见过他们讨论web爬虫是如何处理他们之前见过的URL的。
浏览 1提问于2017-07-30得票数 1
回答已采纳
3回答
我有一个多线程的Perl爬虫，它可以很好地工作，如果我在array.How中声明URL，即使我从数据库中读取URL，我得到了“分段失败”error.Please帮助我修复这个issue.Thanks
直接
浏览 0提问于2015-01-22得票数 0
2回答
然后我尝试了多线程，因为一些卷在网络共享上，并且我想最大限度地减少IO阻塞。我从使用多进程Pool类开始，因为这是最方便的……(说真的，没有线程的Pool类？)
浏览 0提问于2011-01-26得票数 4
回答已采纳
我想建立一个基于Scrapy的网络爬虫，从几个新闻门户网站抓取新闻图片。我想让这个爬虫：
这意味着它将定期重新访问一些门户页面，以获得更新。
我读过Scrapy文档，但没有发现与我列出的内容相关的东西(也许我不够小心)。这里有人知道怎么做吗？或者给出一些想法/例子。谢谢!
浏览 8提问于2010-02-28得票数 11
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
