根据微软的说法，"Bing今天有三个爬虫: bingbot，adidxbot，msnbot“。
浏览 0提问于2011-06-08得票数 5
有些人会通过url直接访问文章页面进行抄袭，所以想禁止通过url直接访问网站的行为。过滤器和referer都有尝试，只不过不知道在哪里编辑和创建，对于网站目前尚有太多不知道的地方，万望会解答的大佬能详细告知步骤。
再次深表感谢！
浏览 426提问于2023-02-24
1回答
扫描结果显示“由:爬虫发现”。
"_token“不是CSRF令牌元素的可识别名称吗？“被爬虫发现”是什么意思？这是否意味着扫描只检查表单HTML，而不检查其他任何内容？
浏览 3提问于2016-05-06得票数 0
回答已采纳
我正在使用AWS爬虫爬行S3桶，它在雅典娜中创建表模式。据我所知，雅典娜不支持具有特殊字符的列名，比如(反斜杠)等等。这是一种可以在爬虫从S3桶中爬行时排除/重命名这些列名的方法。
浏览 3提问于2021-10-14得票数 2
回答已采纳
1回答
当我添加应用程序隐私策略URL()时，引发了此错误。当然，我的服务器正在运行，我无法理解“检查没有防火墙阻止Facebook的爬虫”
浏览 1提问于2018-04-07得票数 0
回答已采纳
1回答
但是，一些放置内容的人在<a href""></a> URL的末尾没有添加反斜杠(尾斜杠)的情况下就生成了URL。它会自动添加一个反斜杠到末尾，这可以算作谷歌爬虫的重定向。TL；博士
如何在没有反斜杠的情况下替换WordPress内容中的所有URL，使用(https://test.com/testpage)并添加反斜杠(https://test.com/testpage/
浏览 0提问于2020-10-15得票数 0
我测试其他网站程序都是正常的，所以我猜这可能是反爬虫策略。我希望你能帮我找出错误的原因或者我该怎么做。谢谢！
浏览 2提问于2017-08-11得票数 0
1回答
因此，我想知道，有什么好的策略，一个网页爬虫得到更新的网页？
爬虫获取URL，并更新URL存储库中的某些信息，如页面内容、获取时间和内容是否已更改。
浏览 1提问于2010-04-05得票数 4
1回答
google爬虫的爬行策略
、、、、
我想知道一些大型搜索引擎的重新爬网策略是如何工作的。例如，让我们考虑一下谷歌。我们知道google正在使用动态间隔来重新抓取每个网站。2) google bot将再次获取每个页面(无论是否已更新)
假设谷歌使用第一种策略，那么如何抓取和索引具有相同url但内容更新的页面？
浏览 1提问于2014-06-02得票数 0
我有这个问题好几天了.我必须从php加载页面的整个html。在此页面上有一个jquery函数，该函数在加载所有页面时调用。然后我下载了并尝试：$html = file_get_html("http://wwww.siteToScrape.com");require_once('browser.php<
浏览 0提问于2012-05-09得票数 2
回答已采纳
2回答
我正在创建一个应用程序，将检查内容中的断开链接。在youtube中有没有不同的方式来检查断开的链接？try HttpWebRequest request = WebRequest.Create(match.Groups[1].ToString()) as HttpWebRequest;
浏览 0提问于2020-06-18得票数 1
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
我想索引爬行网站到ElasticSearch，但我不知道，我可以索引爬行信息到ElasticSearch与php爬虫。我知道Apache可以将爬行网站索引到ElasticSearch，但是我对php爬虫一无所知！我可以在php web应用程序中使用Apache吗？
浏览 4提问于2013-05-12得票数 3
默认情况下，jackson用反斜杠转义双引号：\“。我想用两个反斜杠来转义双引号：\“。如下所示如何定制jackson的双引号序列化策略？
浏览 4提问于2014-12-10得票数 2
回答已采纳
当我使用QPainter将drawText放到使用QFont的QPixmap上时，当操作系统启用了反别名时，就会出现反别名，但如果没有启用反别名，则不会出现反别名，即使我正在显式地设置QFont的呈现提示和字体的策略font.setStyleStrategy(QFont::NoSubpixelAntialias); // I do not want clear-type
我知道操作系统(在本例中是Windows 7)能够在操作系统级别关闭反别名文本时绘制反</
浏览 5提问于2016-01-08得票数 4
回答已采纳
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说一下，我用的是nginx和drupa
浏览 0提问于2013-07-27得票数 1
1回答
什么是搜索引擎优化策略，使谷歌爬虫了解这些新内容？会不会是某种“最新问题”页面，其中列出了新的链接？但是，google爬虫将不得不定期对其进行解析，以获取新问题。
浏览 0提问于2011-04-23得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号