问robots.txt的URL中的尾部斜杠
EN

Stack Overflow用户

提问于 2020-09-28 20:54:21

回答 1查看 355关注 0票数 0

我正在使用Django开发一个网站，Django非常喜欢它的尾部斜杠，所以它更容易让步而不是反对它。我还计划通过Django提供robots.txt文件，所以我想知道：

如果robots.txt文件位于example.com/robots.txt/，并且example.com/robots.txt将重定向到带有尾随斜杠的URL，这对搜索机器人有意义吗？或者这根本没有区别吗？

更新:根据Robots.txt Specifications的说法，至少允许五个重定向跃点，所以我是清白的。

发布于 2020-09-28 21:03:06

根据https://developers.google.com/search/reference/robots_txt的说法，robots.txt文件的URL和其他URL一样是区分大小写的，所以您应该只使用不带尾部斜杠(和重定向)的robots.txt。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/64102599

复制

相似问题

问robots.txt的URL中的尾部斜杠EN