阻止所有机器人访问https:// pages的语法是什么？我有一个旧网站，现在没有SSL，我想阻止访问所有https://页面
浏览 2提问于2009-04-25得票数 3
回答已采纳
我正在建立一个谷歌商业中心购物馈送的过程中，并收到来自谷歌的警报，让我知道他们有问题爬行我的网站图片，因为我的robots.txt文件的问题。我检查了Google WMT，发现我的https属性没有问题，但是我的旧HTTP属性被列为与robots.txt文件相关的“严重健康问题”。当我运行robots.txt测试器时，我得到了以下结果User-agent: *Crawl-delay: 10
我应该删除我的旧超文本传输协议属性从谷歌WMT或其他我应该做的事情，例如3
浏览 0提问于2016-04-21得票数 0
1回答
在我的网站上的/cachecp/目录(该目录在我的服务器上不存在，但我假设它是寻找漏洞的黑客机器人)中，我收到了大量来自网络爬虫机器人的请求。IP都是完全不同的，所以我不能阻止IP。我是否可以使用htaccess向任何试图访问该文件夹和/或禁止该IP多次尝试的机器人发送403错误？
浏览 2提问于2013-05-15得票数 0
User-agent: * 另外，此代码是否使用新的htlm5协议进行了更新？<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
真的有用还是不再需要了？
浏览 2提问于2011-08-22得票数 0
回答已采纳
对于robots.txt请求，Google 州“通常会遵循重定向，直到找到有效的结果”。这是否意味着，如果我为http://www.example.com/robots.txt创建一个301重定向到http://www.example.com/myrobots.txt，谷歌将解析http://www.example.com/myrobots.txt提供的内容为有效的robots.txt内容？或者结果URL未命名为robots.txt这
浏览 0提问于2013-08-01得票数 4
robots.txt检查工具说，我在exsample.com上没有robots.txt文件，但在www.exsample.com上有。
希望有人能帮我:)
浏览 4提问于2014-09-04得票数 0
回答已采纳
我想将X-Robots-Tag noindex, nofollow添加到站点的所有.PDF文件的超文本传输协议响应中，以避免这些文档被谷歌搜索引擎引用。<Files ~ "\.pdf$"></Files>
浏览 16提问于2019-06-11得票数 2
回答已采纳
Allow: /sitemap.xmlAllow: /some-other-page
在通过谷歌站长工具手动提交网站地图后，它说无法读取被允许的页面，因为它们被robots.txt如何修改robots.txt，以允许对它们进行索引，而不对其余门户页面进行索引？
浏览 0提问于2014-12-17得票数 0
$ robots-https.txt [L]
RewriteCond %{REQUEST_FILENAME} !$ robots-https.txt [L]
RewriteCond %{REQUEST_FILENAME} !$ robots-https.txt [L]
RewriteEngine On
RewriteCond %{HT
浏览 2提问于2014-07-13得票数 0
在Google网站管理员工具中，我得到了一个错误：相关的帮助说：我的站点302将所有http流量重定向到HTTPS --所以访问http://blah/robots.txt的权限是302重定向到https://blah/robots.txt
浏览 0提问于2013-11-19得票数 2
我有一个Django项目，其中我有内部页面来监视数据。我不想让搜索引擎对这些网页进行索引，也不想透露到互联网的链接。能否做到这一点？
浏览 1提问于2015-09-23得票数 0
当我们使用Jsoup或任何其他技术请求使用我们的代码安全时，这是有效的还是合法的？
谢谢。
浏览 2提问于2017-05-13得票数 0
回答已采纳
我试过了：以及：然而，我得到了以下错误：
[<NSConcreteValue 0x100597a20我已经搜索了互联网和NSKeyValueCoding协议参考，但我没有找到我的
浏览 0提问于2013-02-04得票数 1
回答已采纳
我可以给出一些指令，让谷歌扫描我的网站，但不允许用户在点击谷歌搜索页面上的“缓存”链接时看到缓存版本吗？
浏览 6提问于2009-08-20得票数 4
回答已采纳
1回答
已验证的出站规则显示所有端口和协议均为0.0.0.0/0。已验证lambda.amazonaws.com是否为策略中的受信任实体。= nil { } res.Body.Close()= nil { }}
我在lambda中使用了“测试”函数，我得到的结
浏览 0提问于2020-08-08得票数 0
1回答
我正在研读Sitemaps.org协议()，以便创建自己的协议。然而，有一个问题浮现在我的脑海中:我如何处理像这样的子页面？这样，我就可以在我的robots.txt中放置一个可转换为XML文件的*.php文件，供谷歌查找。或者我必须使用*.xml文件？
提前谢谢你，
浏览 0提问于2013-01-31得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
