阻止具有特定URL编码参数的页面爬行
阻止具有特定URL编码参数的页面爬行
提问于 2013-06-22 16:08:36
当看到Google工具报告时，网站的网址中有一些特定的%5c和%22编码参数。
我们试图找出这个问题，并注意到，由于两个链接的结构不正确，在站点中创建了\“(正斜杠和")链接，该链接现已得到更正。
我们已经删除和纠正了这些，但我们觉得谷歌现在正在爬行的一些网页正斜杠和%22，这是在网站管理员工具中作为复制的网址。
有没有办法通过robots.txt，通过Google工具，或者通过.htaccess让谷歌知道不使用正斜杠或%22来跟踪链接或抓取页面？该网站是建立在Joomla CMS平台上。
回答 1
Webmasters Stack Exchange用户
发布于 2013-06-22 16:42:12
Googlebot确实观察到模式匹配，但是其他搜索引擎机器人可能不会。
您可以将这些模式添加到"robots.txt“文件中。参见此处名为“模式匹配”的部分：Google工具:使用robots.txt文件阻止或删除页面
如前所述，您可以尝试使用星号*来指示要阻止的URL中包含的字符或字符串。
他们提供的示例是阻止所有包含?的URL：
User-agent: Googlebot
Disallow: /*?然后，可以使用上述链接底部的步骤测试您的robots.txt文件。
从你的问题中我不清楚你是指正斜杠/还是反斜杠\。如果您这样做实际上意味着一个正斜杠/，请注意，您应该小心地阻止它，因为这可能导致所有目录被阻塞。例如，这将阻塞整个站点：
User-agent: Googlebot
Disallow: /页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://webmasters.stackexchange.com/questions/49939
复制相关文章
相似问题
腾讯云开发者
