5)请解释我一个步骤，如果可能的话，我如何爬行一些网站，并将其信息保存到数据库(Hadoop或任何其他)，然后做搜索。提前说一声非常感谢。
浏览 2提问于2012-09-06得票数 3
我有一个春天启动网络项目，需要与网络爬虫系统的工作。我的爬虫服务在没有任何停机时间的情况下工作，每个爬虫请求可能有很长的处理时间。我想通过一个REST接口获取抓取的URL。完成此请求的爬网后，我希望更新web表单中的请求状态。实现此场景的最佳方法是什么？
浏览 32提问于2020-10-22得票数 1
1回答
对于网络爬虫来说，典型的礼貌因素是什么？除了始终遵守robot.txt但是，如果站点没有指定明确的爬网延迟，那么默认值应该设置为什么呢？
浏览 4提问于2011-11-23得票数 7
回答已采纳
1回答
我正在用nodejs开发一个网络爬虫。我在网站爬行体中创建了一个独特的urls列表。但也有一些扩展像jpg，mp3，mpeg .我想避免爬那些有扩展的人。有什么简单的方法吗？
浏览 3提问于2015-10-14得票数 0
回答已采纳
1回答
我正在用groovy & grails和mongodb开发一个网络爬虫，有没有办法用crawler4j计算页面的深度？我知道我可以限制到我想要爬取的深度，但还没有遇到任何建议如何计算页面深度的东西。
浏览 2提问于2014-06-26得票数 0
在服务器上部署了爬虫，想在不使用远程桌面的情况下直接就能查看服务器硬盘上爬虫爬取到的最新数据，想问一下该如何实现？
浏览 345提问于2020-04-16
我目前正在构建这个网络爬虫来获取起始url的所有链接，并从这些链接中爬取所有链接，等等。我还注意到，一旦我运行我的爬虫，我的互联网开始崩溃，这意味着网站不会加载，直到我打开我的网络爬虫。我想我发送了太多的http请求。
浏览 1提问于2012-05-02得票数 0
回答已采纳
1回答
我的爬虫使用卡夫卡把爬行的网站对象的一个主题和水槽将重定向输出到Solr。有多个爬虫产生数据卡夫卡。
我的问题是:当一个爬虫想要爬一个网站，其他爬虫不应该尝试爬行它。如何在分布式环境中与它们通信？
浏览 0提问于2017-06-01得票数 2
1回答
如何从网站收集联系信息？
、、、、
有没有人知道从网站收集联系方式的网络爬虫工具？说我有一个www.web/联系人。我想拿出地址，电话号码等等。我一直在研究两个工具: java的cralwer4j开源jar和。
浏览 1提问于2015-03-19得票数 0
回答已采纳
我正在使用crawler4j构建一个简单的网络爬虫。我想做的是每10分钟调用一次爬网控件。但是，爬网控件只获取一次数据(不是每10分钟获取一次数据)。有没有更好的方法来安排我的爬行每10分钟执行一次？下面是我在servlet中的代码。
浏览 4提问于2015-02-21得票数 0
3回答
聚合器是如何构建的？
、、、
有一个爬虫/爬虫，它会爬网寻找我需要的信息(我如何告诉爬虫要爬行什么，因为我不想获取整个网络？)？然后有一个索引系统来索引和组织我抓取的信息，也是一个搜索引擎？或者Kayak.com如何聚合他们的数据？(这是一项旅游聚合服务。)
浏览 2提问于2009-05-29得票数 14
2回答
有没有办法让我编程的爬虫，使静态按钮，如主页，按钮及其页脚是相同的，每个页面都不包括在爬虫中System.out.println(Jsoup.parse(html).body
浏览 3提问于2013-02-12得票数 2
回答已采纳
我正在子域上创建一个wordpress站点，并且我面临着这样的错误:站点地图包含被robots.txt阻止的urls。在google搜索控制台上
浏览 2提问于2018-05-20得票数 0
2回答
永恒的爬行
、、、
如果爬虫访问此页面，并使用“下一步”和“上一步”按钮来浏览日期，它将永远继续吗？因此，我选择不使用通用HTML链接，而使用AJAX。这意味着机器人将无法跟踪链接。我还非常感兴趣的是，像谷歌爬虫这样的机器人是如何探测到这样的黑洞的，它是如何处理这些黑洞的？
浏览 0提问于2012-11-11得票数 4
回答已采纳
2回答
尝试扁平化具有两个映射/字典字段(custom_event1和custom_event2)的输入JSON数据，这两个字段可能包含任何键值对数据。为了从数据框创建输出表，必须避免custom_events的扁平化，并将其作为JSON字符串存储在列中。 }, "key": &q
浏览 0提问于2018-01-13得票数 1
3回答
Facebook是不是刚刚实现了一些网络爬虫？在过去的几天里，我的网站已经崩溃了几次，严重超载了我追踪到的Facebook的I地址。我试着用谷歌搜索，但找不到任何关于通过robots.txt控制Facebook的爬虫机器人的权威资源。这里有关于添加以下内容的参考：用户-代理: facebookexternalhit/1.0爬网-延迟:5
User-agent
浏览 2提问于2012-10-14得票数 7
是否存在一些标准的持续时间，爬虫必须在重复命中同一服务器之间等待，以避免使服务器负担过重。
如果没有，任何建议是什么可以是一个良好的等待时间爬虫被认为是礼貌的。
浏览 0提问于2009-04-28得票数 7
4回答
访问常见的爬网AWS公共数据集
、、、、
我需要浏览和下载公共爬虫公共数据集的一个子集。页面提到了数据托管的位置。如何浏览和下载托管在s3://aws-publicdatasets/common-crawl/crawl-002/上的常见爬网数据？
浏览 0提问于2013-05-20得票数 6
回答已采纳
1回答
如何在Google上爬行
、、、、
我的计划是我的网络爬虫
google.com/robots.txtDisallow: /search我的新计划我的网络爬虫会
在谷歌、必应或雅虎上搜索关键词(每
浏览 3提问于2017-09-15得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
