问Googlebot非常频繁地获取我的页面，rel，meta或robots.txt-不允许。

EN

您可以设置Googlebot在Googlebot工具中爬行网站的速度。http://support.google.com/webmasters/bin/answer.py?hl=en&answer=48620

这就是你应该如何限制谷歌机器人的访问，而不是拒绝它的访问。因为noindex页面仍然会访问，从而导致服务器上的点击。Robots.txt不允许可能有效，但请注意正确编辑该文件。nofollow只适用于一个特定的链接。如果你在你的站点地图中有到那个页面的链接，他们仍然会爬它。

爬行率是指Googlebot在爬行过程中请求的速度。它对我们爬行的频率和爬行的深度没有任何影响。如果你想让Google在你的网站上抓取新的或更新的内容，使用Fetch作为Google代替。谷歌有复杂的算法，可以确定每个网站的爬行量。我们的目标是在每次访问时尽可能多地从您的站点抓取页面，而不会占用您服务器的带宽。如果谷歌爬行你的网站太频繁，并且减慢了你的服务器，你可以改变爬行率( Googlebot用来爬行网站的时间)对于根级的站点--例如www.example.com和http://subdomain.example.com。更改爬行率可能会导致一些问题(例如，Google将无法以比您设置的自定义速度更快的速度爬行)，所以除非您注意到Googlebot经常访问您的服务器造成的特定问题，否则不要这样做。对于不处于根级别的站点，您不能更改爬行率--例如，www.example.com/文件夹。

使用上述任何一个提到的3“解决方案”( noindex，noindex或不允许)将严重损害您的SEO排名。

您应该通过GMTW控制爬行速度(如@Anagio +1所建议的)。

如果这仍然不起作用，您可能正在处理Googlebot模拟，它使用谷歌的用户代理，以刮刮或垃圾邮件你的网站。我认为这可能是因为我从来没有(在我的8年SEO)经历过任何问题Googlebot默认抓取评级.

为了识别冒名顶替者，我建议使用Botopedia.org IP验证功能来检查这个访问者的IP是否确实连接到谷歌。下面是链接：Googlebot IP检查

您可以在这里了解更多关于Googlebot模拟现象的信息：研究表明: 16%的Googlebot访问都是假的。