我的网站，通常有很低的流量，突然收到了一个巨大的流量，所有来自同一个用户代理。我们以每秒大约3次的速度从用户代理"Facebot Twitterbot“那里接收了大约一个小时的请求。对于一个URI来说，所有请求都是这样的：
Dec 16 00:35:36 website app/web.1 10.1.52.64 - - [16/Dec/2021:02:35:36 -0600] "GET /signup/ HTTP/1.1" 200 2299 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1)
浏览 0提问于2021-12-16得票数 14
回答已采纳
现在我们相信爬虫者会被困在这个部分，他们会被重定向到阿格切克，永远不会爬上完整的网站。编辑下面的解决方案是我们在<
浏览 18提问于2009-08-19得票数 0
回答已采纳
我发现"RobotRulesParser.java"(full RobotRulesParser.java RobotRulesParser.java)负责读取和解析robots.txt。
浏览 4提问于2014-06-05得票数 0
回答已采纳
2回答
搜索引擎误解
、、
我有这个，可能是个误会，关于搜索引擎。他们如何搜索网页？如果我有一个从数据库加载内容和/或更改内容的页面，那么搜索引擎会抓取由数据库和jquery加载的内容吗？？
非常感谢你的帮助！
浏览 0提问于2012-04-04得票数 2
5回答
更多详情：爬虫是用java编写的，因此现在它是一个jar。此外，我希望它继续运行，即使当我注销。我不确定这是可能的，但大多数时候我都是注销的，而且我仍然希望它能够爬行。
有什么想法吗？
浏览 0提问于2012-01-28得票数 29
回答已采纳
1回答
我对web聚合器/爬虫很好奇。我在想像谷歌购物者/图像或pricegrabber这样的网站是如何工作的。我想他们基本上是在互联网上爬行，并从他们访问的网站上为一堆产品建立索引。他们面临版权问题吗？这些网站从其他网站拉出内容的图片并将其呈现在自己的网站上，这是非法的吗？谢谢
浏览 0提问于2011-03-30得票数 2
回答已采纳
1回答
当我尝试将操作发布到facebook时，我遇到了异常。{"error":{"message":"(#3502) Object at URL localhost/XXX has og:type of 'website'. The property 'myobject' requires an object of og:type 'mynamespace:myobject'. ","type":"OAuthException","code
浏览 2提问于2012-06-19得票数 0
回答已采纳
我想要的结果是大图：
我曾多次尝试更改分辨率，互联网上有几篇贴近描述此问题的帖子。有人知道我该怎么解决这个问题吗？
提前感谢！
浏览 14提问于2017-02-03得票数 0
1回答
当我在万维网上爬行时，我想给我的爬虫一个初始的URL种子列表，并希望我的爬虫在爬行过程中自动从互联网上“发现”新的种子URL。
我在Apach中看到了这样的选项(参见topN参数在中)。
浏览 1提问于2016-10-13得票数 1
回答已采纳
我正在研究爬虫，这将搜索在网上商店的商品。这是我的论文所以没什么商业意义..我需要一些高级的库，做一些诊断测试(如果那个网页是我要找的)，并从正确的网页中提取相关数据。
浏览 2提问于2011-03-04得票数 4
回答已采纳
这是可能的吗(我在网上搜索，但没有找到有用的东西)？或者，有没有Java爬虫能够做到这一点？
感谢您的帮助。
浏览 3提问于2011-12-16得票数 3
回答已采纳
1回答
用于pmi的java搜索api
、、、、
我希望在网上搜索查询的点击次数，这将使我能够找到。那么：它可以用于这个目的吗？据我所知，它是一个爬虫，它创建了一个索引的页面集，可以有效地查询。
如果你有任何相同的想法，请建议。
浏览 1提问于2012-10-30得票数 4
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
19回答
我们如何在Java中进行并行编程？有什么特别的框架吗？我们怎么才能让这些东西工作呢？
我会告诉你们我需要什么，我想我开发了一个网络爬虫，它从互联网上抓取了很多数据。
浏览 32提问于2010-07-28得票数 36
回答已采纳
1回答
如何在Google上爬行
、、、、
我的要求是通过在网上搜索给定的关键字来报告给定的关键字。
google.com/robots.txtDisallow: /search我的新计划我的网络爬虫会
在谷歌、必应或雅虎上搜
浏览 3提问于2017-09-15得票数 0
我正在尝试用Java编写我自己的爬虫3.6插件。它应该告诉爬虫，这是一个非常著名的网络爬虫也下载文件，他发现在网页上。(PDF、图片等)。我不想要HTML或者真正的DOM树。如何告诉爬虫下载PDF文件、图像等？import java.io.File;import java.util.co
浏览 3提问于2015-01-11得票数 0
回答已采纳
嗨，我正在使用selenium抓取一张谷歌图片。但它的效果并不好。我怎样才能让这段代码工作呢？我的代码如下所示。
之前，我用的是google_images_download，突然卡住了。
浏览 1提问于2020-02-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
