有人知道谷歌机器人是用哪种编程语言编写的吗？
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
我正在寻找Apache Lucene网络爬虫写在java，如果可能的话，或在任何其他语言。爬虫必须使用lucene并创建有效的lucene索引和文档文件，因此这就是nutch被排除的原因。有没有人知道这样的网络爬虫是否存在，如果答案是肯定的，我可以找到它。Tnx..。
浏览 0提问于2009-10-16得票数 1
回答已采纳
1回答
网站互动
、
我是这个网站的新手(和一般的编程人员)，所以不要对我太苛刻了，哈哈。我学习了Java的基础知识。我更喜欢用Java做这件事，我知道这不是最好的，甚至可能还很接近，但我还在学习，还不希望混淆多种语言。因此，我正在尝试创建一个可以与网站交互的程序。基本上我希望运行一个程序，它打开一个网站，我将能够从网站上获取数据，分析它，并与页面交互(不使用Robot类)。我尝试使用：来使用浏览器，但是我不太确定如何读取从网站发送的数据或交互
我听说过，
浏览 2提问于2013-06-04得票数 0
回答已采纳
1回答
我正在开发一个从instagram下载照片的应用程序，例如:如果我把这个uri放到应用程序上，它就会把图片下载到我的电脑上。我现在想做的是通过instagram页面的链接(例如：)并下载该页面上的所有照片，我如何实现这一点？我以为我可以从instagram的Frame文件夹中访问这些图片，但我不知道如何做到这一点，一些可以帮助我？有什么建议吗？这是我试图通过java访问的文件夹的图像。
浏览 4提问于2016-01-13得票数 0
1回答
我在C++/Qt4.8.5中为Windows创建了网站爬虫。我发现，有时页面可能包含隐式(伪)重定向，就像script标记中的script。原始爬虫只检测到href标记中的a属性。但是还有其他节点可以包含urls。例如，<META HTTP-EQUIV="REFRESH" CONTENT="0; URL=/relative_url">。与url容器、隐式重定向相关的标记/属性(包括script)的非正式列表
浏览 1提问于2014-03-30得票数 3
回答已采纳
3回答
高效网络爬虫的语言建议
、、、
我正在寻找一种语言来编写一个高效的网络爬虫。我所看重的东西：我试过node.js。Node的异步特性允许我在不处理线程的情况下并行地爬行许多urls。V8对于解析来说是很好的和快速的。
实际上，node并不适合我。我<
浏览 6提问于2010-12-03得票数 2
我让用户输入他们想要抓取最新更新的URL列表。我对Java很熟悉，所以我试着用Java做一个网络爬虫，但我不太明白如何把这个数组从javascript转换成Java。为了能够抓取数组中的每个URL，最兼容的语言是什么？
浏览 3提问于2016-01-17得票数 0
2回答
我有一个网站，这是相当好，但与非常少的信息。所以我想添加一些信息，比如关于特定领域的新闻(比如政治、好莱坞等)。我相信爬虫是最好的方法吗？如果我的理解是正确的，请建议您是否有任何其他方法来获取信息，而不使用来自各种来源的爬虫。因为这非常耗费
浏览 0提问于2010-11-11得票数 0
我正在尝试用ABOT在c#.i中制作网络爬虫，我搜索了很多例子，并添加了ABOT网络爬虫。从那我只能得到日志输出而不是超文本标记语言页面输出。我想得到超文本标记语言页面输出only.because，超文本标记语言输出是超文本标记语言敏捷工具的输入。帮助我从ABOT网络爬虫在C#中获得超文本标记语言输出。谢谢。
浏览 4提问于2013-09-12得票数 5
是否可以将网络爬行器/网络爬虫移植到智能手机等移动设备上？如果是这样，我会怎么做呢？
浏览 0提问于2011-12-20得票数 0
我想禁用前端索引，利用爬虫。如何设置以下爬虫配置：( B)用几种语言编制定制记录索引
但是，在文档中没有任何关于语言的内容：
浏览 0提问于2018-07-24得票数 1
回答已采纳
3回答
C++网络爬虫
、、、
我正在尝试并尝试制作一个最小的网络爬虫。我在很高的层次上理解了整个过程。那么进入下一层细节，程序如何“连接”到不同的网站来提取HTML？另外，对于网络爬虫来说，C++是一个很好的选择吗？
谢谢!
浏览 1提问于2012-07-01得票数 0
回答已采纳
我最近在Java语言中遇到了用于WebCrawling的 Api，但是在开发我的自定义爬虫的过程中，我了解到没有为此提供javaDoc
有人知道这个接口有JavaDoc吗?如果有，那么它在哪里？
浏览 6提问于2015-03-12得票数 0
1回答
我是一个研究生，他的研究是复杂的网络。我正在从事一个项目，其中包括分析用户之间的联系(折叠和折叠)。是否有可能根据友谊信息为twitter编写一个爬虫？
我环顾四周，但至今没有发现任何有用的东西。
浏览 1提问于2011-03-17得票数 0
5回答
我在一个项目上工作，这需要在Java中设计一个网络爬虫，可以采取用户查询一个特定的新闻主题，然后访问不同的新闻网站，然后从这些网页提取新闻内容，并将其存储在一些文件/数据库中。我需要这个来做一个整体存储内容的摘要。我是这个领域的新手，所以希望有经验的人能给我一些帮助。现在我有代码从单个页面提取新闻内容，这需要手动获取页面，但我不知道如何将它集成在一个网络爬虫中，从不同的页面提取内容。有没有人可以提供一些好的Java<
浏览 0提问于2012-04-05得票数 4
回答已采纳
然后阅读这些网站后，我需要过滤新闻e，例如与梅赛德斯奔驰相关的新闻，然后我需要显示在该网站上参考原始来源。目前，我知道PHP，可以在其中建立复杂的网站。我不知道如何继续，我的意思是，在尝试制作网站之前，我需要学习哪些东西。或者我可以直接潜入这个网站。
请帮帮忙，我该怎么做呢？
浏览 2提问于2010-09-13得票数 0
回答已采纳
3回答
谷歌机器人信息？
、、
有没有人知道更多关于谷歌网络爬虫(又称GoogleBot)的细节？我很好奇它是用什么写的(我自己做了几个爬虫，现在正准备做另一个)，以及它是否能解析图像之类的东西。我假设它是这样做的，b/c images.google.com中的图像都被调整了大小。如果它都是用Python编写的，如果他们使用自己的库来做大多数事情，包括html/image/pdf解析，我也不会感到惊讶。也许他们不会这样做。也许它们都是用
浏览 1提问于2010-04-14得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
