3回答
高效网络爬虫的语言建议
javascript、asynchronous、node.js、web-crawler
我正在寻找一种语言来编写一个高效的网络爬虫。我所看重的东西：我试过node.js。Node的异步特性允许我在不处理线程的情况下并行地爬行许多urls。V8对于解析来说是很好的和快速的
浏览 6提问于2010-12-03得票数 2
5回答
Googlebot是用哪种编程语言编写的(或任何其他高效的网络爬虫)？
web-crawler、googlebot
有人知道谷歌机器人是用哪种编程语言编写的吗？
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
1回答
最有效的语言来创建一个非常快的网络爬虫？
web-crawler
我正在创建一个新的网站，建议一个类别的链接。我需要快速扫描不同的网页。我应该使用哪种语言来创建一个高效的网络爬虫？
浏览 1提问于2014-02-19得票数 0
5回答
哪种语言最适合高效的网络爬虫？
c#、c++
我需要写一个网络爬虫，我需要哪种语言是性能最好的语言，比如内存和性能。
编辑：原名是“为速度和性能而优化的语言c++或C#”
浏览 7提问于2010-09-21得票数 0
1回答
有没有一种方法可以用NCrawler提取特定的html标签信息
c#、.net、web-crawler
规格: Win7 64、VS 2010、.NET 4.0、NCrawler库
我正在写一个爬虫，它将从网上商店提取一些数据。应用程序可以很好地提取URL，我可以正确地导航到商店中的每一件商品。问题是，保存产品所有页面数据的每个“description”对象都是文本形式的，我想知道是否有办法从这个"propertyBag“中读取<-description> text <-/descriptopn>这样的特定标记的内容，或者有其他方法。
浏览 0提问于2014-11-30得票数 0
3回答
如何在ABOT C#网络爬虫中获取html输出页面？
c#、web-crawler
我正在尝试用ABOT在c#.i中制作网络爬虫，我搜索了很多例子，并添加了ABOT网络爬虫。从那我只能得到日志输出而不是超文本标记语言页面输出。我想得到超文本标记语言页面输出only.because，超文本标记语言输出是超文本标记语言敏捷工具的输入。帮助我从ABOT网络爬虫在C#中获得超文本标记语言输出。谢谢。
浏览 4提问于2013-09-12得票数 5
1回答
"web爬虫“、"web刮刀”、"DOM分析器“和"DOM解析器”的区别是什么？
web-scraping、web-crawler
"web爬虫“、"web刮刀”、"DOM分析器“和"DOM解析器”有什么区别？
浏览 6提问于2022-10-31得票数 0
1回答
如果我为我的python脚本做了一个简单的gui，它会影响它的效率吗？
python、user-interface、tkinter
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
2回答
C# web和ftp爬网程序库
c#、web-crawler
它作为web爬虫程序来访问HTTP文件和FTP文件。原则上，我喜欢阅读HTML，我想把它扩展到PDF，WORD等。
我对初学者的开源软件很满意，或者至少对文档的任何方向都很满意。
浏览 0提问于2010-10-19得票数 3
回答已采纳
2回答
使用Jsoup遍历web
java、jsoup
我正在尝试使用Eclipse中的JSoup来遍历网络，查找大量关于国际足联世界杯的信息，以及每一届世界杯的球员和参赛国家。有谁能教我怎么做吗？
浏览 2提问于2011-12-08得票数 0
1回答
软件/ API跟踪网络搜索中的新概念或想法
web-browser、search、search-engine、social-networks、google-search
是否有谷歌、Twitter或其他搜索引擎或社交网络的软件或API来跟踪网络搜索中出现的或新的概念/想法(单词)或新组合，但不一定是“时髦的主题”？接受任何特定的网页爬虫，机器人，人工智能，新浏览器，API，软件，查询语言，图形软件等的建议。
浏览 0提问于2019-03-06得票数 1
2回答
Lucene爬虫(它需要建立lucene索引)
java、lucene、web-crawler
我正在寻找Apache Lucene网络爬虫写在java，如果可能的话，或在任何其他语言。爬虫必须使用lucene并创建有效的lucene索引和文档文件，因此这就是nutch被排除的原因。有没有人知道这样的网络爬虫是否存在，如果答案是肯定的，我可以找到它。Tnx..。
浏览 0提问于2009-10-16得票数 1
回答已采纳
1回答
是否有一个无处不在的网络爬虫可以生成一个良好的特定于语言的数据集来训练一个转换器？
nlp、gpt、crawling
似乎有很多值得注意的人工智能工具正在接受由网络爬虫生成的数据集的培训，而不是人工编辑的、人工编译的语料库(Facebook Translate，GPT-3)。一般来说，有一种自动和通用的方式生成数据集听起来更理想。
有没有任何无处不在的网络爬虫，它做的基本相同的事情，但有一个参数的“语言寻求”？换句话说，用X语言生成一个
浏览 0提问于2021-11-18得票数 0
13回答
在“潜入python”之后会发生什么？
python
我一直想学一门比java更好的语言。所以我开始尝试使用python。我已经读过了“潜入python”，所以我现在对python有了一个不错的了解。我听说python很适合网络爬行，但是我在dive into python中没有看到这一点。社区可以建议如何将我的pythong知识用于网络爬虫或蜘蛛吗？
浏览 2提问于2009-07-08得票数 10
1回答
用于爬虫应用的数据库系统
database、web-crawler
我在一个基于java的爬虫上工作。我想在我的爬虫恢复功能，用户可以在任何时候暂停爬虫，在他想要的情况下，爬虫崩溃的情况下，他应该能够开始从爬虫停止的点上一次爬行。为此，我必须在数据库中存储所有outlink (在任何页面找到的链接)。我不确定哪个数据库是最好的这类系统，因为它需要非常快的插入和检索的链接从数据库和频率插入和检索将非常高。很少有人<
浏览 2提问于2012-01-06得票数 1
回答已采纳
2回答
您选择的多线程http下载应用程序的编程语言是什么？
multithreading、http、proxy、web-crawler、multiprocessing
我渴望学习一种新的编程语言。在多线程mannerinteracts中，下载数百万个URL，其中包含某种类型的DB来存储已下载的数据。注意：，我会偶尔更新这篇文章，包括每个人最好的答案。
浏览 2提问于2011-01-06得票数 2
回答已采纳
1回答
仅带prerender.io客户端的Prerender 7 SPA
angular、seo、angular6、angular7、prerender
我有一个Angular 7应用程序，我正在尝试预先渲染页面以支持网络爬虫/ SEO。我决定使用prerender.io来帮助这些爬虫预先渲染、缓存和提供静态超文本标记语言，但是我很难在我的Angular 7应用程序中安装它们的中间件。根据their docs的说法，我可以安装一个中间件，当网络爬虫发出页面请求时，它会检测到，并将请求重定向到预渲染服务器。然而，我发现的所有示例都涉及到修改一些后端节点服务器。
浏览 19提问于2019-02-26得票数 1
回答已采纳
1回答
Web Crawler的功能
java、open-source、web-crawler
网络爬虫是否只从网页中返回提取的文本？例如，如果web服务器中也存储了一些pdf/doc文件。网络爬虫可以爬行它们并返回它们的内容吗？不管怎样，对于一个好的开源Java网络爬虫有什么建议呢？
谢谢!
浏览 2提问于2011-06-26得票数 0
回答已采纳
1回答
如何使用网络爬虫从flv文件中提取内容？
parsing、flv、web-crawler、nutch
我的要求是从flv文件中提取文本和音频。请建议我如何使用任何网络爬虫来实现这一点。如果这是不可能与网络爬虫，请建议我任何其他工具。
谢谢你
浏览 0提问于2013-05-14得票数 0
回答已采纳
2回答
无法识别附加的h1标记
javascript、jquery、html、seo
jquery添加了h1标记，如下所示：h1标记和标记的内容显示得很好，但是当我在各种seo工具(例如这个：)中测试我的页面时，我得到的消息是页面没有h1标记。从搜索引擎优化的角度来看，这当然不是那么好。有人认识这个问题吗？</div>"
浏览 2提问于2013-04-15得票数 2
回答已采纳
云服务器
对象存储
ICP备案
云点播
腾讯会议
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号