我想用python写一个小的网络爬虫。我开始研究将其编写为多线程脚本，一个线程下载池和一个池处理结果。由于有了GIL，它真的可以同时下载吗？GIL对网络爬虫有什么影响？基本上我想问的是，用python做一个多线程爬虫真的比单线程能给我带来更多的性能吗？
谢谢!
浏览 4提问于2010-05-14得票数 10
回答已采纳
2回答
多线程网络爬虫
、、、、
我在一个多线程的网络爬虫上工作。这很简单，但我想征求一些建议。程序从一个web地址(在此代码中为http://google.com)开始，并在给定的响应中查找所有有效的URL。然后，爬虫将继续在队列中的URL中爬行。public CrawlThread(Crawler c, int num) { this.num = num;
this.t通过设计，<em
浏览 0提问于2016-08-20得票数 6
1回答
我已经开始学习网络爬虫，在一篇文章的帮助下，我构建了下面这个简单的爬虫。此外，如果您有任何其他建议或改进，请随时分享这个爬虫。
浏览 3提问于2013-03-10得票数 0
回答已采纳
这些天我做了一些网络爬虫脚本，但其中一个问题是我的互联网非常慢。所以我在想，是否可以通过使用mechanize或urllib之类的方法来实现多线程的网络爬虫。如果任何人有经验，分享信息非常感谢。
浏览 3提问于2009-12-05得票数 2
回答已采纳
1回答
我正在用Java开发一个网络爬虫。我正在寻找一个很好的项目开发这个爬虫的基础上。然而，实际上有超过几百个用Java编写的爬虫程序。我要找的是一个相当简单的爬虫，它有：
基于最新的Java构建和新的functionalityGood performanceImplemented好documentationNot的多线程documentationNot
浏览 1提问于2012-04-16得票数 0
回答已采纳
3回答
我试图在C++中做一个非常简单的网页爬虫/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的，以了解这个概念。我发现了这个：
然而，这是复杂的理解对我来说，因为我开始学习C++大约一个月前。
浏览 15提问于2010-11-25得票数 22
回答已采纳
3回答
我对编程相当陌生，并且正在为我在网络爬虫上的论文而工作。我已经提供了一个网络爬虫，但我发现它太慢，因为它是单线程。花了30分钟才爬上1000个网页。在不给出错误的情况下多线程java爬行器的正确方法是什么？说到这一点，多线程是否解决了我的问题？
浏览 10提问于2009-07-18得票数 2
回答已采纳
4回答
构建web爬虫
、、
我目前正在开发一个内置网络爬虫的自定义搜索引擎。由于某种原因，我不喜欢多线程，因此到目前为止，我的索引器是以单线程的方式编写的。现在，我在构建爬虫时遇到了一个小难题。
浏览 2提问于2009-05-14得票数 1
我在玩写一个简单的多线程网络爬虫。我看到很多消息来源都说网络爬虫很明显是并行的，因为你可以从不同的URL开始爬行，但我从未见过他们讨论web爬虫是如何处理他们之前见过的URL的。
浏览 1提问于2017-07-30得票数 1
回答已采纳
3回答
我正在编写一个web爬虫，它同时处理多个URL，并以下列方式工作：就像大多数网络爬虫一样。当我使其为单线程时，我可以以与seed_list.txt中的URL相同的顺序获得seed_list.txt中的数据，但当它是多线程时，我似乎无法控制它，因为每个线程都会在数据完成后将数据写入data.txt有没有办法使我的网页爬虫多线程，但保持原来的秩序？
@Lance，Ignac
浏览 5提问于2012-04-02得票数 2
回答已采纳
2回答
我需要一个库(希望是在C#中！)它作为web爬虫程序来访问HTTP文件和FTP文件。原则上，我喜欢阅读HTML，我想把它扩展到PDF，WORD等。
浏览 0提问于2010-10-19得票数 3
回答已采纳
2回答
我已经建立了一个多线程的网络爬虫，使请求从相应的服务器获取网页。因为它是多线程的，所以会使服务器不堪重负。由于哪个服务器可以阻止爬虫(礼貌)。
我只想添加功能的结果请求之间的最小延迟到相同的服务器。
浏览 2提问于2012-10-10得票数 0
有没有人对爬虫有什么好的建议，可以处理像链接清理，flash，一些ajax，css等等？我知道机会很小，但我认为在我开始编写自己的工具之前，我应该在这里抛出这个问题。
浏览 3提问于2008-09-22得票数 9
回答已采纳
我想建立一个基于Scrapy的网络爬虫，从几个新闻门户网站抓取新闻图片。我想让这个爬虫：
这意味着它将定期重新访问一些门户页面，以获得更新。
我读过Scrapy文档，但没有发现与我列出的内容相关的东西(也许我不够小心)。这里有人知道怎么做吗？或者给出一些想法/例子。谢谢!
浏览 8提问于2010-02-28得票数 11
回答已采纳
5回答
应该有一个边界对象-持有一组访问和等待抓取网址的。应该有一些线程负责抓取网页。也会有某种类型的控制器对象来创建爬行线程。如果控制器对象负责向工作线程提供新的URL-这意味着工作线程将需要爬行所有给定的URL，然后休眠未定义的时间。控制器将解释这个线程，因此爬行线程应该处理InterruptedException (在Java语言中它是多么昂贵-似乎异常处理不是很快)。或者也许控制器应该只启动线程，让爬行线程自己获取边界？
浏览 0提问于2011-12-18得票数 3
回答已采纳
3回答
我可以访问一个用.NET C#编写的应用程序，该应用程序主要使用“原始”http请求、部分web服务和xml请求(仍然是通过http)连接到许多外部系统，并更新其中的一些内容。其背后的逻辑是:因为大多数时候我们都在等待网络回复，所以我们可以同时等待更多的网络回复。cpu和ram似乎没有达到它们的极限。
尽管如此，创建大约300个线程使得所有的工作都比低线程数慢。
浏览 7提问于2014-10-06得票数 3
回答已采纳
1回答
我正在通过java中的Selenium编写一个网络爬虫。以前我使用jsoup和HtmlUnit这样的库来制作它们，但最近我在javascript和ajax依赖的页面上遇到了麻烦。
浏览 1提问于2013-06-14得票数 0
1回答
朋友们，我用Java实现了一个多线程的网络爬虫。为了使它更高效，我想将其转换为分布式架构，即在3台机器上。据我所知，主从架构是最好的。
浏览 0提问于2013-02-26得票数 0
6回答
我有用C#写的网络爬虫，它使用多线程。目前，它可以下载和解析大约1000个链接/分钟，但当我运行ex。3个实例同时，每个实例可以达到1000个链接/分钟，所以我有3000个链接/分钟。一个实例使用高达2%的CPU，100MB内存，1%的网络速度。现在我想知道，当我有可用的资源(cpu，ram，网络)时，一个实例是否有可能达到3000个链路/分钟或更多？
浏览 1提问于2013-10-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
