有人知道谷歌机器人是用哪种编程语言编写的吗？
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？
我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
5回答
我需要写一个网络爬虫，我需要哪种语言是性能最好的语言，比如内存和性能。
编辑：原名是“为速度和性能而优化的语言c++或C#”
浏览 7提问于2010-09-21得票数 0
3回答
C++网络爬虫
、、、
我正在尝试并尝试制作一个最小的网络爬虫。我在很高的层次上理解了整个过程。那么进入下一层细节，程序如何“连接”到不同的网站来提取HTML？
我是否在使用套接字连接到服务器并发送http请求？我是否向终端发出了运行telnet或ssh的命令？
另外，对于网络爬虫来说，C++是一个很好的选择吗？
谢谢!
浏览 1提问于2012-07-01得票数 0
回答已采纳
我们正在尝试抓取这个页面上的可用性：
我需要使用我的爬虫来选择“所有楼层平面图”，并获取所有的可用性。但我相信数据实际上是通过Javascript请求发送的。有没有办法让我的Nokogiri爬虫渲染它？或者模拟点击按钮的过程？
浏览 1提问于2015-06-10得票数 4
登录后，我查看了facebook中的html代码，他们似乎对JS文件做了很多请求(根据firebug，多达20个)。
所以，虽然我知道facebook需要加载许多JS和CSS文件(而不是一个JS和一个CSS文件)，但我的问题是更通用的网站和网络爬虫的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响网络爬虫(googlebot和朋友)吗？
我想提高性能，加载“稍后需要”的内容(text/js/css)似乎是个好主意，但如果爬虫不能使用(当然是内容)，就不是一个好主意。
谢谢!
浏览 2提问于2013-03-18得票数 3
2回答
我想用C#创建一个爬虫。问题是，一些网站在其robots.txt文件中禁用了黑名单爬虫，使用：
User-agent: *
Disallow: /
有什么办法可以伪造我的请求来证明我是Googlebot吗？
浏览 3提问于2012-04-09得票数 0
回答已采纳
2回答
我正在构建一个测试爬虫，并且想知道Go (golang)是否缓存DNS查询。在中，我没有看到任何关于缓存的内容。这似乎是一个重要的事情添加到任何爬虫，以防止许多额外的DNS查询。
确实(1.4+)缓存DNS查找？
如果没有，那么debian/ubuntu/linux、windows或达尔文/OSX在网络级别的缓存会受益吗？
浏览 8提问于2016-10-26得票数 13
回答已采纳
1回答
是否建议使用system()从C中的C程序调用shell命令？
我想用C开发一个网络爬虫，并希望使用wget从URL中获取内容？我应该用系统(“wget .”)来做吗？
浏览 1提问于2013-01-19得票数 2
回答已采纳
2回答
我需要一个库(希望是在C#中！)它作为web爬虫程序来访问HTTP文件和FTP文件。原则上，我喜欢阅读HTML，我想把它扩展到PDF，WORD等。
我对初学者的开源软件很满意，或者至少对文档的任何方向都很满意。
浏览 0提问于2010-10-19得票数 3
回答已采纳
1回答
我在C++/Qt4.8.5中为Windows创建了网站爬虫。我发现，有时页面可能包含隐式(伪)重定向，就像script标记中的script。请求的结果代码是200，而不是像Permanently Removed这样的代码。我不使用正则表达式来查找到其他页面的链接，因为它不健壮。我检查HTML节点的属性而不是它。原始爬虫只检测到href标记中的a属性。但是还有其他节点可以包含urls。例如，<META HTTP-EQUIV="REFRESH" CONTENT="0; URL=/relative_url">。与url容器、隐式重定向相关的标记/属性(包括
浏览 1提问于2014-03-30得票数 3
回答已采纳
2回答
我想要创建一个爬虫扫描一个单一的网页，并给我一封电子邮件，以防有什么问题在页面上(该页面持有一些web服务器的状态/下降)。
用什么语言来编写这样的服务？
我考虑过PHP或Python，但由于它们是解释语言(+PHP有运行脚本的最大时间限制)，我认为它们不是最适合这样做的。
此外，C/C++不是一个选项。我在考虑Java，因为它有线程，我可能需要它，但我不确定。
浏览 0提问于2013-02-05得票数 0
回答已采纳
3回答
谷歌机器人信息？
、、
有没有人知道更多关于谷歌网络爬虫(又称GoogleBot)的细节？我很好奇它是用什么写的(我自己做了几个爬虫，现在正准备做另一个)，以及它是否能解析图像之类的东西。我假设它是这样做的，b/c images.google.com中的图像都被调整了大小。如果它都是用Python编写的，如果他们使用自己的库来做大多数事情，包括html/image/pdf解析，我也不会感到惊讶。也许他们不会这样做。也许它们都是用C/C++编写的。提前谢谢你-
浏览 1提问于2010-04-14得票数 0
回答已采纳
我想禁用前端索引，利用爬虫。如何设置以下爬虫配置：
( A)用几种语言索引页面树
( B)用几种语言编制定制记录索引
但是，在文档中没有任何关于语言的内容：
浏览 0提问于2018-07-24得票数 1
回答已采纳
是否可以将网络爬行器/网络爬虫移植到智能手机等移动设备上？如果是这样，我会怎么做呢？
浏览 0提问于2011-12-20得票数 0
2回答
我最近不断听到关于javascript模板引擎的消息，比如knockoutjs或backbone。它们看起来都很酷，但我想知道使用这样的系统是否会阻碍网页的良好索引。
搜索引擎的爬虫能够解析javascript数据吗？我认为将页面内容放在javascript中是一种糟糕的做法，因为有些爬虫无法解析这些内容。
浏览 0提问于2012-02-29得票数 2
回答已采纳
所以我想在C中创建一个网络爬虫，几乎没有任何库来支持这一点。
我可以使用libtidy将HTML转换成XHTML，并使用libcurl (它有很好的文档)获取文件。
我的问题是解析HTML文件并获取其中的所有链接。我知道libxml2在那里，但是它非常难理解，因为它的API没有很好的文档。
我应该用C语言还是使用另一种语言(比如Java )来做呢？或者，除了libxml2，还有什么好的替代方案吗？
浏览 0提问于2013-01-19得票数 1
回答已采纳
我有csv的带引号的字符串，默认情况下爬虫会将表注册到LazySimpleSerde.Is，我可以通过编程将其更改为使用OpenCSVSerde吗？
浏览 0提问于2018-01-25得票数 2
2回答
我需要运行我的爬虫从我的网络管理。我有两个想法要做：
将爬行器作为外部进程运行。很简单，但我不想要。
爬虫将是我的网站的一部分，我会在后台运行它。我觉得这是个更好的解决办法。我在找像这样的东西。里面有什么办法吗？
应用程序用C#编写，在Linux上使用.NET内核。
浏览 3提问于2016-06-11得票数 0
我需要建立一个内容收集程序，将简单地读取指定网页上的数字，并保存该数据以供以后分析。我不需要它来搜索链接或相关数据，只需要从网站收集所有数据，这些网站每天都会有变化的内容。
我只有很少的编程经验，我希望这对学习有好处。速度不是一个大问题，我估计爬虫一天最多要加载4000个页面。
谢谢。
编辑:有没有办法提前测试我正在收集数据的网站是否受到爬虫的保护？
浏览 2提问于2009-06-10得票数 6
回答已采纳
1回答
检测网站语言(用于爬网)
、、、、
我在一个爬虫上工作，我似乎不能正确检测网站的文本语言。
大多数时候，我只需要检测网站上的文本是俄文、中文还是日文。
有什么已知的解决方案吗？在html标签中指定语言的网站所占比例很低。
浏览 2提问于2014-09-08得票数 0
2回答
架构概述：
语言:使用类库执行爬虫任务的C# Windows项目
我目前正在编写一个接口(UI)，用于“调试”我编写的爬虫(或一组爬虫器)。每个爬虫都是一个.dll。
在接口中，我将调用.dlls，我不想等待它们结束任务(在内部爬行、解析和构建元素列表)来在接口上显示结果。
问题：
我是否可以以某种方式从.dll向界面发送反馈信息？
也许是一个进度条，或者在读取元素之后，在界面上显示它们，然后再爬行下一个元素？
我想要的是这样的东西在界面上实时显示(网格视图或其他东西)。
Finished Crawling College X
Finished Crawling College Y
Probl
浏览 2提问于2012-06-11得票数 0
回答已采纳
1回答
我知道它是如何生成网站地图的。我需要的是一个完整的wikipedia.org涵盖的所有主题的站点地图。有人知道我能从哪里弄到吗？我一直在爬行，但我的爬虫程序一直没有空间。
浏览 0提问于2011-08-07得票数 3
3回答
我已经开发了一个带有curl库的c++爬虫，因为它是用c++开发的，它没有图形用户界面，我计划使用java .I来实现图形用户界面，我有一个问题，如何开发一个在java中访问它的应用程序接口...
例如，Mongo db是用c++编写的，它有用于所有languages..how的API，它访问c++，它使用socket进行通信……
浏览 1提问于2011-04-26得票数 0
回答已采纳
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？
我应该创建一个PHP脚本，使用cookie跟踪访问者，特别是在下载3个文件后登录/注册的web爬虫。但我发现网络爬虫可以绕过cookie。
有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？
我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说一下，我用的是nginx和drupal CMS。如果这能帮上忙的话就给我这个信息。
浏览 0提问于2013-07-27得票数 1
2回答
只是想说清楚。
我想弄清楚如何用语言选择器来建立一个网站。
语言选择器只是刷新当前页面，但更改会话变量" language“(如果用户第一次进入，我将其设置为'eng')。
现在让我们找出爬虫的方式，它访问网站，并自动为它选择语言，所以基本上它识别网站语言，并将其归类为'eng‘。
我只是不确定这是建立一个多语言网站的正确方式，因为爬虫不会再次以不同的语言扫描页面，对吗？(或者它可以检测到语言已经被修改了，并且重新扫描了所有的pages...which听起来有点花哨)。所以页面不会在搜索引擎数据库中引用。那么，建立这样的网站的正确方式是什么呢？
编辑:我在考虑m
浏览 2提问于2011-10-01得票数 4
回答已采纳
2回答
我想找到正确的方法来为我的爬虫设置接受语言头吗？我读到了其他相关的答案，如和，但它们对我不起作用(我得到了这个错误：“方法未定义为类型连接”，这里是代码的一部分：
String baseUrl = "http://www.imdb.com/search/title?at=0&count=250";
org.jsoup.Connection con = Jsoup.connect(baseUrl).userAgent("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.21 (KHTML, like Gecko) C
浏览 5提问于2014-05-23得票数 1
回答已采纳
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
给出了A=和B=.两个网站的设置&lang=en a是国际化的，也就是说，用户可以在不同的语言之间进行选择：或&lang=sw
此外，A通过iFrame：<iframe src=A></iframe>包含在B中
现在，用户应该能够通过社交媒体共享B (google+、fb、Twitter.twitter)。重要的是，相应的社交媒体站点的网络爬虫应该从A获取图片和文本。
但是，至少fb爬虫不会在A中查找元数据标记(在facebook情况下是:打开图)，除非我们也在B：<meta property="og:url" content=A
浏览 1提问于2015-11-07得票数 0
1回答
我用python编写了一个爬行过程，它运行在亚马逊上的一个ec2实例上。我已经编写了这个爬虫，这样它就可以用它的结果向一个单独的"hub“实例报告。集线器处理爬虫的结果，爬虫可以自由地继续爬行。我在这个爬行实例中想到的是，克隆爬虫的几个实例很容易，每个实例都要向中心报告以便处理。
因此，在这一点上，我有一个集线器和8个单独的爬行器(都在它们自己的实例上)不断地爬行和报告等等。
我在想用小的，分开的爬行器：
有冗余，所以如果一个爬虫被挂断，其余的爬虫可以继续工作。
(这是一个假设)如果每个爬虫都有自己独立的ip，我就有更好的网络利用率。
我可以旋转几个爬虫或缩小规模取决于我目
浏览 2提问于2015-01-08得票数 0
回答已采纳
3回答
我目前被指派创建一个网络爬虫来自动执行我所做的一些报告任务。这个网络爬虫必须使用我的凭证登录，在不同的字段中搜索特定的东西(一些关于当前日期)，如果有任何可用的数据，则下载包含数据的CSV，快速解析CSV以获得快速计数，创建带有CSV附件的电子邮件并发送它。
我目前对C++和Python非常了解，我正在学习C语言，但有人告诉我Ruby或Ruby on Rails是一个很好的方法。Ruby on Rails是否只用于创建web应用程序，如果是这样，我的任务是否符合web应用程序的描述，或者我是否可以只创建一个独立的程序来运行并完成所有这些工作？
我想知道哪种语言最容易编码(有易于使用的模块)，有
浏览 1提问于2012-10-02得票数 3
回答已采纳
4回答
我正在编写一个爬虫，需要从许多网站获取数据。问题是每个网站都有不同的结构。我如何才能轻松地编写一个从(许多)不同网站下载(正确)数据的爬虫？如果网站的结构发生变化，我是否需要重写爬虫，或者是否有其他方法？
什么逻辑和实现的工具可以用来提高自动网络爬虫挖掘的数据的质量(许多网站涉及不同的结构)？
谢谢!
浏览 0提问于2012-07-20得票数 1
3回答
建议在html中设置lang标签，如下所示：
<html lang="en">
我的网站已经准备好以多语言(英语、西班牙语、法语等)的方式提供页面，这取决于位置或用户设置。
我应该如何为一个好的SEO设置这个标签？我认为如果我使用我的国际化设置，它将被设置为搜索爬虫位置(我不知道这是不是正确的方法)。
谢谢!
浏览 3提问于2020-07-29得票数 0
3回答
使用正则表达式的缺点
、、、
最近，我的经理建议我不要太依赖Regex，因为它有很多缺点。当我试图了解更多时，我听说它有一些问题，比如正则表达式会导致内存泄漏，因为一些对象在使用后仍然挂在字符串引用上？
所以说reg-ex会导致内存开销，如果您有其他选择，就不应该使用它，这是正确的吗？reg-ex是否还有其他不利因素(除了很难学习:)
P.S我正在开发一个类似于网络爬虫的应用程序(c#.net)，它提取所有的hrefs和一些其他信息，如标题，元标签等。我有选择使用HTML敏捷包而不是注册表。
浏览 3提问于2011-06-28得票数 3
回答已采纳
2回答
我正在使用一个动作过滤器，它可以检查我的网站上使用的浏览器版本，如果是较旧的浏览器，我会在顶部放置一个div，要求他们升级。我不想让网络爬虫得到div消息，所以我实现了HttpBrowserCapabilitiesBase.Crawler，它看起来对谷歌有效，但必应和其他爬虫似乎没有注册为爬虫。奇怪的是，微软的产品没有注意到Bing作为一个爬虫！
有什么方法可以将用户代理添加到crawler属性中吗？
谢谢!
编辑:我正在使用asp.net MVC3，看起来我需要使用.Browser文件(？)。有没有人知道为Bing和其他爬虫提供了一套全面的.Browser文件？
浏览 0提问于2011-09-28得票数 4
回答已采纳
1回答
爬虫服务器端
、、、
我有一个关于特定服务器端功能的问题。
我有一个带有PostgreSQL数据库的服务器(Linux) (服务器端是用python开发的)。我想创建一个系统，以固定的间隔(一天一次..可能一夜之间)从数据库中删除所有过期信息。
实现这一目标的最佳方法是什么？
将这个系统称为“爬虫”正确吗？
浏览 2提问于2013-05-30得票数 0
回答已采纳
我希望设计一个应用程序，可以检测抄袭(基于网络)在所有格式使用谷歌搜索引擎API。这样的应用程序需要哪些资源。基本上，用户可以上传一个文件，然后根据网络上的各种格式对该文件进行检查。我读到有网络爬虫，但我们到底如何使用它们。谷歌搜索设备API是正确的方法吗？
另外，我以前没有使用过Google API，那么最好的开始方式是什么？
非常感谢
浏览 0提问于2012-07-03得票数 0
我正在学习爬虫，在一些基本的爬虫之后，我尝试从github下载谷歌学者爬虫大师，看看它是如何运行的，在几个我可以修复的错误之后，我遇到了一个ModuleNotFoundError: No module named 'proxy'错误(middleware.py文件，from proxy import PROXIES行是问题)。
这段代码有一些问题，其中包含python 3.x版本中不再支持/建议的解决方案，包括后来被重命名/移动的模块，但我无法确定这是否也是这种情况，希望能得到帮助。
浏览 3提问于2018-03-07得票数 0
我在一家处理钓鱼和假冒Facebook账户的公司工作。我想展示我对“使命”的执着。我们无法被动地监控facebook页面何时被删除。我在想一个网络爬虫，但我很好奇如何设计一个常量检查特定链接的爬虫，看看Facebook页面是否仍然活跃？我希望这是合理的？
浏览 1提问于2016-08-19得票数 0
3回答
我已经在C++中建立了一个网络爬虫。我正在使用一个名为URLdownloadToFile()的API。
还有其他可以使用的API吗？
API URLdownloadToFile()对于某些URL运行良好，而对于其他URL却不能正常工作吗？请提出一些我能克服这个问题的方法？
谢谢，Dnyaneshwari C.
浏览 1提问于2009-01-02得票数 1
3回答
我有一个页面，通过AJAX动态加载一节内容。我担心这意味着内容不会被搜索引擎找到。
为了向你展示我的意思，网站在，动态内容在 -通常没有人会访问第二个链接，它只是加载到第一个页面中。
我知道我可以通过使用sitemap.xml告诉爬虫程序读取speakers.php，但然后我会在搜索结果中显示指向speakers.php的链接。
我猜最终的解决方案是，如果有人请求/speakers.php，它会将他们重定向到主页，而让爬虫读取数据。
有什么建议吗？
浏览 3提问于2008-10-22得票数 1
回答已采纳
网络爬虫能被编程来做以下工作吗？
转到
使用联机工具扫描指定的网站
返回结果
奖金问题..。是否可以安排每天一次自动完成此任务？
自动编程蜘蛛这样做是违法的还是什么的？
如果您能提供任何信息，我们将不胜感激。谢谢!
浏览 6提问于2016-07-12得票数 0
回答已采纳
1回答
我正在编写一个网络爬虫(重点网络爬虫)，其中：
输入: seedsURL
输出:更大的seedsURL
def crawl(seedURL, pageslimit):
crawling code ...
return list of urls crawled
现在我需要索引和存储数据，以方便快速和准确的信息检索(搜索引擎)。
我的爬虫返回URL列表，如何将它们传递到索引阶段？我应该在文本文件中下载每个页面的内容吗？
是否有一些工具或库来执行索引步骤？还是要手动完成呢？
浏览 3提问于2014-04-21得票数 0
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？我在考虑标准输入/输出，但找不到一种方法可以做到这一点(从一个进程写入另一个进程stdin)。然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数据已经写入文件，以及让php脚本知道爬虫何
浏览 1提问于2011-03-31得票数 1
我有一个Windows客户端应用程序，它使用托管在共享商业php服务器中的php页面。
在这个php页面中，我将返回一个加密的json。同样在这个页面中，我有一段代码来跟踪哪个in正在访问这个php页面，并且我注意到有一个spyder/Nutch-2爬虫正在访问这个页面。
我在想，一个爬虫怎么可能找到一个没有在任何搜索引擎中发布的页面。我有办法阻止爬虫访问这个特定的页面吗？
我应该使用.htaccess文件来配置它吗？
浏览 7提问于2014-04-15得票数 1
我正在创建一个Python Web爬虫，能够浏览web历史记录、解析信息并将重要信息存储在数据库中，以用于取证/学术目的。我理解浏览网站的功能，但我正在努力的部分是能够抓取web历史记录，我将给出一个场景：
在法医调查期间。
您已经获得了嫌犯的完整法医图像计算机，然后找到谷歌浏览器的AppData文件夹，其中存储了所有关于嫌犯的信息，包括表单信息，凭据和网页历史记录。
如何将web爬虫设置为仅搜索可疑web历史记录中的数据。
我也有问题访问存储在Google Chrome用户数据中的信息，以尝试查看我的个人信息存储在这里作为一个开始，我目前正在尝试使用DB浏览器来查看文件，以查看我自己的web
浏览 0提问于2015-11-15得票数 0
我正在尝试建立图书聚合门户。Nutch为我提供了优秀的网络爬虫，但我想要非常具体的信息，如书名，书价，ISBN，作者等。如何从爬虫页面提取这些信息？如果可能的话，我想以XML格式获取这些信息。
除此之外，我想问一问，这是不是正确的做法！用其他开源软件能更好地做到这一点吗？
浏览 0提问于2013-04-10得票数 1
回答已采纳
我是编程新手，就像真正的新手一样，就像“刚刚开始在代码学院上Javascript课程”一样。
这是我想要做的:我订阅了一些You Tube频道，我将以IGN为例，一天上传多个视频。我想编程一个网络爬虫去到IGN的你管页面在晚上11:00每晚，并添加过去24小时内上传的每个视频到一个新的播放列表，然后命名该播放列表与日期。例如："IGN新闻3.18.16“
这是可以用Javascript的网络爬虫来完成的事情吗?如果是这样的话，我该怎么做呢？
浏览 5提问于2016-03-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
