有人知道谷歌机器人是用哪种编程语言编写的吗？
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
规格: Win7 64、VS 2010、.NET 4.0、NCrawler库
我正在写一个爬虫，它将从网上商店提取一些数据。应用程序可以很好地提取URL，我可以正确地导航到商店中的每一件商品。
浏览 0提问于2014-11-30得票数 0
3回答
C++网络爬虫
、、、
我正在尝试并尝试制作一个最小的网络爬虫。我在很高的层次上理解了整个过程。那么进入下一层细节，程序如何“连接”到不同的网站来提取HTML？谢谢!
浏览 1提问于2012-07-01得票数 0
回答已采纳
我正在尝试用ABOT在c#.i中制作网络爬虫，我搜索了很多例子，并添加了ABOT网络爬虫。从那我只能得到日志输出而不是超文本标记语言页面输出。我想得到超文本标记语言页面输出only.because，超文本标记语言输出是超文本标记语言敏捷工具的输入。帮助我从ABOT网络爬虫在C#中获得超文本标记语言输出。谢谢。
浏览 4提问于2013-09-12得票数 5
1回答
我刚刚遇到了Elastic Search，我已经完成了安装和示例索引以及搜索。现在我想把这个用在我的网站上。为此，如何为我的网站创建索引？我是否需要将整个网页内容存储为索引？？
浏览 0提问于2011-06-07得票数 1
回答已采纳
3回答
谷歌机器人信息？
、、
有没有人知道更多关于谷歌网络爬虫(又称GoogleBot)的细节？我很好奇它是用什么写的(我自己做了几个爬虫，现在正准备做另一个)，以及它是否能解析图像之类的东西。我假设它是这样做的，b/c images.google.com中的图像都被调整了大小。如果它都是用Python编写的，如果他们使用自己的库来做大多数事情，包括html/image/pdf解析，我也不会感到惊讶。也许他们不会这样做。也许它们都是用C/C++编写的。提前谢谢
浏览 1提问于2010-04-14得票数 0
回答已采纳
有没有人对爬虫有什么好的建议，可以处理像链接清理，flash，一些ajax，css等等？我知道机会很小，但我认为在我开始编写自己的工具之前，我应该在这里抛出这个问题。
浏览 3提问于2008-09-22得票数 9
回答已采纳
3回答
我试图在C++中做一个非常简单的网页爬虫/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的，以了解这个概念。我发现了这个：
然而，这是复杂的理解对我来说，因为我开始学习C++大约一个月前。
浏览 15提问于2010-11-25得票数 22
回答已采纳
2回答
有效地搜索大量URL列表
、、、
我正在建立一个网络爬虫，它必须爬行数百个网站。我的爬虫保存了一个已经爬行的urls列表。每当爬虫要爬行一个新页面时，它首先搜索已经爬行的url列表，如果已经列出了，则爬虫跳到下一个url，以此类推。爬虫目前是用Python编写的。但我将把它移植到C++或其他更好的语言中。
浏览 5提问于2016-06-23得票数 0
回答已采纳
7回答
我有丰富的PHP经验，尽管我意识到PHP可能不是大型网络爬虫的最佳语言，因为进程不能无限运行。人们推荐的语言是什么？
浏览 1提问于2010-09-08得票数 3
回答已采纳
2回答
我相信爬虫是最好的方法吗？如果我的理解是正确的，请建议您是否有任何其他方法来获取信息，而不使用来自各种来源的爬虫。因为这非常耗费资源和时间。在选择爬虫之前，我应该考虑哪些因素。任何提供信息和研究因素的来源在创建爬虫或教育爬虫时都需要考虑，这将是很棒的。我更喜欢用java编写代码，但我可以用任何其他语言<
浏览 0提问于2010-11-11得票数 0
2回答
架构概述：我目前正在编写一个接口(UI)，用于“调试”我编写的爬虫(或一组爬虫器)。每个爬虫都是一个.dll。
浏览 2提问于2012-06-11得票数 0
回答已采纳
1回答
我最近刚刚对搜索引擎的工作原理产生了兴趣，我发现它们使用的是“机器人”或“网络爬虫”。我立即开始想知道这些东西是如何工作的，我想要创建一个！那么，首先:如何编写一个从服务器请求页面的程序？如果你能用JavaScript给我一个简单的例子，那就太棒了(我用Node作为一种普通的脚本语言运行它)。接下来，有没有让我解释HTML的Node模块？如果我错了请纠正我，但我想它是这样做的.任何用C++、C或Python语言编写的例子都是受欢迎的，尽管我更喜欢JS或Python<em
浏览 6提问于2011-12-26得票数 5
回答已采纳
5回答
我需要写一个网络爬虫，我需要哪种语言是性能最好的语言，比如内存和性能。
编辑：原名是“为速度和性能而优化的语言c++或C#”
浏览 7提问于2010-09-21得票数 0
2回答
我想要创建一个爬虫扫描一个单一的网页，并给我一封电子邮件，以防有什么问题在页面上(该页面持有一些web服务器的状态/下降)。此外，C/C++不是一个选项。
浏览 0提问于2013-02-05得票数 0
回答已采纳
2回答
我需要一个库(希望是在C#中！)它作为web爬虫程序来访问HTTP文件和FTP文件。原则上，我喜欢阅读HTML，我想把它扩展到PDF，WORD等。
浏览 0提问于2010-10-19得票数 3
回答已采纳
2回答
为此，我在C#上编写了一个应用程序。这是我的错，但我今天第一次听说使用CLR，并在谷歌上做了一些研究。编辑:为了使问题更加清楚，我想知道在server内部使用C#与使用C#作为主要应用程序进行查询的比较。
浏览 4提问于2013-10-22得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
