有人知道谷歌机器人是用哪种编程语言编写的吗？
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
我正在寻找Apache Lucene网络爬虫写在java，如果可能的话，或在任何其他语言。爬虫必须使用lucene并创建有效的lucene索引和文档文件，因此这就是nutch被排除的原因。有没有人知道这样的网络爬虫是否存在，如果答案是肯定的，我可以找到它。Tnx..。
浏览 0提问于2009-10-16得票数 1
回答已采纳
1回答
网站互动
、
我学习了Java的基础知识。我更喜欢用Java做这件事，我知道这不是最好的，甚至可能还很接近，但我还在学习，还不希望混淆多种语言。
因此，我正在尝试创建一个可以与网站交互的程序。
浏览 2提问于2013-06-04得票数 0
回答已采纳
1回答
我在C++/Qt4.8.5中为Windows创建了网站爬虫。我发现，有时页面可能包含隐式(伪)重定向，就像script标记中的script。原始爬虫只检测到href标记中的a属性。但是还有其他节点可以包含urls。例如，<META HTTP-EQUIV="REFRESH" CONTENT="0; URL=/relative_url">。也许，C++/Java中的某些库包含了这些情况的处理。
另外，我注意到向请求中添加首选语言的标题不能更改站点
浏览 1提问于2014-03-30得票数 3
回答已采纳
我对Java很熟悉，所以我试着用Java做一个网络爬虫，但我不太明白如何把这个数组从javascript转换成Java。为了能够抓取数组中的每个URL，最兼容的语言是什么？
浏览 3提问于2016-01-17得票数 0
2回答
我相信爬虫是最好的方法吗？如果我的理解是正确的，请建议您是否有任何其他方法来获取信息，而不使用来自各种来源的爬虫。因为这非常耗费资源和时间。在选择爬虫之前，我应该考虑哪些因素。任何提供信息和研究因素的来源在创建爬虫或教育爬虫时都需要考虑，这将是很棒的。我更喜欢用java编写代码，但我可以用任何其他语言<
浏览 0提问于2010-11-11得票数 0
我正在尝试用ABOT在c#.i中制作网络爬虫，我搜索了很多例子，并添加了ABOT网络爬虫。从那我只能得到日志输出而不是超文本标记语言页面输出。我想得到超文本标记语言页面输出only.because，超文本标记语言输出是超文本标记语言敏捷工具的输入。帮助我从ABOT网络爬虫在C#中获得超文本标记语言输出。谢谢。
浏览 4提问于2013-09-12得票数 5
是否可以将网络爬行器/网络爬虫移植到智能手机等移动设备上？如果是这样，我会怎么做呢？
浏览 0提问于2011-12-20得票数 0
我想禁用前端索引，利用爬虫。如何设置以下爬虫配置：( B)用几种语言编制定制记录索引
但是，在文档中没有任何关于语言的内容：
浏览 0提问于2018-07-24得票数 1
回答已采纳
我最近在Java语言中遇到了用于WebCrawling的 Api，但是在开发我的自定义爬虫的过程中，我了解到没有为此提供javaDoc
有人知道这个接口有JavaDoc吗?如果有，那么它在哪里？
浏览 6提问于2015-03-12得票数 0
3回答
C++网络爬虫
、、、
我正在尝试并尝试制作一个最小的网络爬虫。我在很高的层次上理解了整个过程。那么进入下一层细节，程序如何“连接”到不同的网站来提取HTML？谢谢!
浏览 1提问于2012-07-01得票数 0
回答已采纳
5回答
我在一个项目上工作，这需要在Java中设计一个网络爬虫，可以采取用户查询一个特定的新闻主题，然后访问不同的新闻网站，然后从这些网页提取新闻内容，并将其存储在一些文件/数据库中。现在我有代码从单个页面提取新闻内容，这需要手动获取页面，但我不知道如何将它集成在一个网络爬虫中，从不同的页面提取内容。有没有人可以提供一些好的Java教程或实现的链接，我可以根据需要使用或修改这些链接？
浏览 0提问于2012-04-05得票数 4
回答已采纳
我必须建立一个网站，我需要爬行过滤，或者你可以说阅读50个网站管理员。然后阅读这些网站后，我需要过滤新闻e，例如与梅赛德斯奔驰相关的新闻，然后我需要显示在该网站上参考原始来源。目前，我知道PHP，可以在其中建立复杂的网站。但是我不知道如何阅读其他网站。我不知道如何继续，我的意思是，在尝试制作网站之前，我需要学习哪些东西。或者我可以直接潜入这个网站。
浏览 2提问于2010-09-13得票数 0
回答已采纳
2回答
我想做一个java脚本爬虫，从php服务器获得一个分配，然后索引页面。但是我想抓取的网站是外部的，我不能用javascript访问它们，有没有人有其他赋值语言或javascript的解决方案。
浏览 1提问于2012-03-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
