我需要向域的根添加一个robots.txt，并且不能在应用程序中托管它。我希望将robots.txt添加到一个存储blob /机器人/robots.txt中，并为/robots.txt设置一个新的路由，以及//robots.txt/robots.txt的起源，但在后端显示为/Robots.txt/robots.txt。
浏览 1提问于2022-06-29得票数 1
阻止所有机器人访问https:// pages的语法是什么？我有一个旧网站，现在没有SSL，我想阻止访问所有https://页面
浏览 2提问于2009-04-25得票数 3
回答已采纳
"GET /"GET /1300-2-css/219.html"GET /robots.txt"GET /robots.txt"GET /"G
浏览 4提问于2020-08-07得票数 0
1回答
我有这样的代码：当我执行这段代码时，curl将request中的值放入fileName.csv中，文件被移动到HDFS中。我想知道我是否可以，在内存中维护curl输出，发送到管道，然后在HDFS中写入值？curl url | xargs hdfs dfs -put $1 /somePath
浏览 12提问于2017-07-06得票数 4
回答已采纳
我在我的Ubuntu上创建了一个“全局”robots.txt文件，并将它定位在然后，在/etc/apache2/apache.conf中，在底部添加了以下内容：重新启动阿帕奇。然而，当我试图访问myvirtualhost.com/robots.txt时，我得到了403禁止。
/home/<em
浏览 0提问于2014-06-16得票数 1
回答已采纳
我的robots.txt在数据库中，可以作为访问。我也有我的sitemap.xml，它是动态生成的，在一个类似的url上。example.com; if ($request_method = DELETE) { } rewrite ^/robots.txt http://www.example.com/pr
浏览 4提问于2009-07-07得票数 22
回答已采纳
我需要将我的robots.txt从http重定向到https in .htaccesshttp://spb.example.com/robots.txt to https://ekb.example.com/robots.txtRe
浏览 3提问于2021-10-12得票数 0
我们在IIS服务Azure网站的根目录中有一个自定义robots.txt，在导航到www.oursite.com/robots.txt时不能正确显示。显示一个“不同”的robots.txt文件，其中包含：Allow: / Disallow: /
我们试过：删除根中的robots.txt文件--不正确的robots.txt文件仍然显示。向web.config添加url-重写规则以显示自
浏览 0提问于2015-10-13得票数 1
Google已经对robots.txt进行了索引，现在如果有人搜索'txt‘，它会返回robots.txt文件，这确实不理想(因为这是一个沼泽标准的robots.txt站点，字符串D2实际上出现在文本中谷歌中是否有设置，或者我应该将/robots.txt添加到呃、robots.txt或.中？
浏览 0提问于2018-09-06得票数 5
回答已采纳
1回答
我知道，在一个普通的自我托管站点上，我会把一个robots.txt放在我的基本文件夹中，但是我怎么告诉机器人不要在Google上爬行我的站点呢？
浏览 2提问于2014-12-08得票数 2
回答已采纳
我正在动态地创建robots.txt，而不是创建物理robots.txt文件。我是从CMS和系统是附加一个正斜杠的每一页。在robots.txt的例子中，我编写了.htaccess代码，以便从mysite.com/robots.txt重定向到mysite.com/robots.txt/。以这种方式进入robots.txt会有什么问题吗？
浏览 0提问于2014-04-25得票数 1
我有这样的结构：-web-- index.html-.htaccess</IfModule>
现在，请求/robots.txt和/web/robots.txt都指向一个文件，即/web/下面有整个网站的副本。如何在.htaccess文件中制定这样的规则以便/web/robots.txt将指向&#
浏览 2提问于2015-03-05得票数 1
回答已采纳
我想阻止一些糟糕的搜索引擎机器人，如MJ12bot，YandexBot和Ezooms。我们在directadmin环境中有大约200个用户，我们希望安装一个“插件”或"mod“来阻止这些请求，因为我们不想去每个站点将它添加到.htaccess中。谢谢!
浏览 0提问于2012-12-18得票数 -1
回答已采纳
为了停止这一点，我阅读了一个教程，它说我需要两个不同的robots.txt文件和.htaccess中的一些附加代码RewriteCond %{HTTPS} on谢谢你的建议！
浏览 1提问于2013-01-30得票数 0
我使用codeigniter和位于根目录下的robots.txt文件，但它只能从主域访问。搜索试图从子域访问它的机器人(我将其用于区域设置)：示例：en.my.com/robots.txt - FAIL
如何从xx.my.com/robots.txt重定向到my.com/robots.txt？
浏览 1提问于2013-08-18得票数 0
我可以在这里看到robots.txt文件：但谷歌不行！我知道我可以在网站的根部找到robots.txt文件，但是在我的网站中没有robots.txt文件，这个robots.txt是由WordPress创建的虚拟文件。或者，如果我无法阻止wordpress显示虚拟robots.txt文件，我如何才能停止谷歌在我的网站上寻找它？也许是.htaccess代码什么的？
浏览 0提问于2013-01-02得票数 2
我已将robots.txt设置为不允许此文件夹。
由于某些原因，一些结果仍然显示出来。我认为这可能是因为我最初没有设置robots.txt，而且谷歌还没有删除其中的一些。现在，我担心这个文件夹中个别joomla站点中的robots.txt文件会导致Google继续对它们进行索引。理想情况下，我想阻止这种情况的发生，因为我不想记住，当robots.txt运行时，我必须把它转回来跟随它(以防万一)。是否有一种方法可以使用该文件夹上方的文件夹中的robots.txt显式覆盖这些内容？
浏览 1提问于2013-10-21得票数 0
我已经在姜戈建立了我的网站，我还添加了robots.txt。现在谷歌显示了绿色的标记，我认为它在域名系统和服务器连接上是好的，但在robots.txt fetch上显示红色的警告标记。我的robots.txt看起来像Disallow:另
浏览 0提问于2015-02-10得票数 1
对于robots.txt请求，Google 州“通常会遵循重定向，直到找到有效的结果”。这是否意味着，如果我为http://www.example.com/robots.txt创建一个301重定向到http://www.example.com/myrobots.txt，谷歌将解析http://www.example.com/myrobots.txt提供的内容为有效的robots.txt内容？或者结果URL未命名为robots.txt这
浏览 0提问于2013-08-01得票数 4
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号