Robots.txt不工作
Robots.txt不工作
提问于 2010-09-08 11:45:09
我已经使用robots.txt限制了我站点中的一个文件夹。该文件夹由在建的站点组成。谷歌已经索引了所有处于测试阶段的网站。所以我使用了robots.txt。我首先提交了站点，并且启用了robots.txt。现在www.mysite.com/robots.txt的状态是成功。但谷歌仍在列出这些测试链接。以下是我为robots.txt编写的代码...
User-agent: *
Disallow: /foldername/有没有人能告诉我问题出在哪里？提前感谢
回答 2
Stack Overflow用户
发布于 2010-09-08 11:57:49
你有没有按照谷歌的说明测试你的robots.txt？http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449
测试站点的robots.txt文件的
：
- 在网站管理员工具主页上，单击所需的站点。
- 在“站点配置”下，单击“Crawler access
- ”(如果尚未选中)，然后单击“测试robots.txt”选项卡。
- 复制robots.txt文件的内容，并将其粘贴到第一个框中。
- 在URL框中，列出要测试的站点。
- 在用户代理列表中，选择所需的用户代理。
Stack Overflow用户
发布于 2010-09-08 11:58:07
请参阅谷歌网站管理员博客中的Requesting Removal of Content from our Index。您可以通过使用Google Webmaster Tools提交删除请求来加快删除过程；否则，页面最终将在重新爬网时从索引中删除(即，更新robots.txt文件不会立即发生更改；更改将在后续爬网时发生)。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/3664500
复制相关文章
相似问题
腾讯云开发者
