阻止Googlebot在仍允许访问的情况下索引页面
，可以通过使用robots.txt文件来实现。robots.txt是一个文本文件，位于网站的根目录下，用于告诉搜索引擎爬虫哪些页面可以访问，哪些页面不应该被索引。
具体操作步骤如下：
- 创建robots.txt文件：在网站的根目录下创建一个名为robots.txt的文本文件。
- 编辑robots.txt文件：使用文本编辑器打开robots.txt文件，并添加以下内容：User-agent: Googlebot Disallow: / 上述内容表示禁止Googlebot访问网站的所有页面。
- 保存并上传文件：保存并上传编辑后的robots.txt文件到网站的根目录下。
需要注意的是，这种方法只是告诉搜索引擎不要索引网站的所有页面，但并不能完全阻止搜索引擎爬虫访问网站。如果需要完全阻止搜索引擎爬虫访问网站，可以通过其他方式，如使用meta标签或密码保护等方式来实现。
腾讯云相关产品中，可以使用CDN加速服务来对网站进行加速，同时也可以通过CDN配置文件来设置爬虫访问策略。具体操作可以参考腾讯云CDN产品文档：CDN产品文档。
相关·内容
我们有一个单独的移动站点和一个单独的桌面站点。基本上，每个普通页面都有一个“移动”页面，如下所示：
public_html/home.php public_html/m/home.php
m/home.php出现在搜索结果中。有没有可能让谷歌显示正常的home.php？
响应式设计是一个很好的解决方案，但这不是我目前正在寻找的答案。
我不想301重定向m/home.php，因为移动设备上的人们仍然需要查看它。
当我检测到用户没有使用移动浏览器时，我唯一的选择是将用户从m/home.php重定向到home.php吗？
浏览 5提问于2015-10-07得票数 0
我有一个/products页面。
在该页面中，用户可以使用筛选器来选择他们想要看到的产品。
这些过滤器将使用查询字符串(如：/products?brands=X,Y&size=1,2等)工作。
我不想要很好的索引任何过滤过的网页。我只需要根/products爬行和索引。
通过我的网站，谷歌将找不到那些查询字符串链接，因为我的过滤器按钮只是普通的HTML按钮，将调用的幕后history.push()。因此，我的页面上没有Googlebot可能找到的带有查询字符串的“可见”链接。
当然，在我的Sitemap.xml中，只包含根/products。
但是，我的一个用户可以在网上的某个地方发布
浏览 0提问于2021-01-09得票数 6
我的客户必须告诉它的客户一些新的规定，谷歌机器人不应该爬行。不可能将这些信息放在单独的页面上，而不允许Google对其进行爬行。因此，我们的想法是在页面上放置一个按钮/链接，只有当用户单击该按钮/链接时，它才会加载相应的信息。我的假设是，Google无法单击链接并爬行特定的AJAX内容。
我说的对吗？如果是，是否有正式文件证明我的观点？
浏览 0提问于2020-07-01得票数 4
回答已采纳
2回答
我有这个网络应用程序，可以通过这些不同的网址访问。
URL_1: www.mycustomdomain.com // THIS IS MY CUSTOM DOMAIN (PUBLIC TO THE USERS)
URL_2: www.my-project.firebaseapp.com // THIS IS A DEFAULT FIREBASE URL
URL_3: my-project.web.app // THIS IS A DEFAULT FIREBASE URL
显然，我希望Google使用我的自定义域来索引我的页面，而不是Fi
浏览 0提问于2020-12-30得票数 5
回答已采纳
1回答
根据一些关于爬行预算的文章，我们应该减少爬行的页数，并为搜索引擎爬虫提供唯一重要和有价值的页面。
我们的网站上有3,000篇文章，但是Google搜索控制台中的索引页面数是12,000。12,000和3,000之间的区别是我们的标签页和作者页。
我应该如何处理标签和作者页面？我应该封锁这些页面吗？如果是的话，该块将在哪里实现？在robots.txt还是头中的元标记中？
📷
浏览 0提问于2019-02-01得票数 1
我已经创建了一个关于销售汽车的网站，访问者可以过滤掉结果，这意味着很多页面都会被Google索引。
我的问题是，我是否应该允许索引所有这些过滤器URL参数？
示例：
example.com/search?brand=BMW&fuel_type=diesel&...
另外，如果我应该允许索引这些页面，标题应该是什么？
浏览 0提问于2017-02-25得票数 4
我用过
Disallow: /*?
在robots.txt文件中不允许所有可能包含"?“的页面。在URL中。
这个语法正确吗，还是我也阻止了其他页面？
浏览 4提问于2016-12-14得票数 2
这是关于经典的ASP。我发现了一些严重的情况:几秒钟后，我访问了我网站中的一些页面(ASP、txt、html)，我的宽带提供商也会访问这些页面。你知道有什么ASP代码可以阻止它吗？
我知道我可以放一些ASP代码来阻止宽带提供商的IP，但我不知道它的所有IP。
如果有任何建议，我将不胜感激。
浏览 4提问于2012-10-24得票数 1
3回答
我正试图阻止机器人浏览我的页面。所以我想强制从所有Ip地址登录，这些Ip地址不是排名前4的搜索引擎。这个是可能的吗？
浏览 0提问于2009-10-07得票数 2
回答已采纳
我的客户不希望标签页面(www.example.com/ tag /tagname)被Google索引。我怎样才能做到这一点？不允许在robots.txt中工作。谢谢!
Robots.txt:
User-agent: *
Disallow: /tag/
浏览 0提问于2011-10-03得票数 1
回答已采纳
1回答
我一直在试图找出如何不对Woocommerce小部件创建的页面进行索引。
我使用YOAST，并使用它没有索引其他无关的页面，但无法找到一个方法来处理这些。
当我使用尖叫或等效的方式爬上我的网站时，它会返回如下页面：
https://www.mysite.co.uk/brand/chosen-?filter_最受欢迎的味道=蓝莓
我不需要这些是返回一个过滤版本的品牌/类别。
我是否可以在functions.php中添加任何内容来不对该小部件或所有woocommerce小部件进行索引，而不会影响站点的其他部分？
还有像“愿望清单”和“我的帐户”这样的页面，我想要这些索引。
浏览 0提问于2018-01-28得票数 1
回答已采纳
1回答
谷歌索引服务器网站文件路径？
、、、、
我最近完成了一个网站的建设，当我试图用Google索引这个网站的时候，我似乎发现了一些奇怪的事情，我希望有人能对此有所了解，因为我的Google-fu没有透露任何信息。
我正在运行的服务器堆栈由以下部分组成：
Debian 7 / Apache 2.2.22 / MySQL 5.5.31 / PHP 5.4.4-14
我遇到的问题是，谷歌似乎想索引一些奇怪的URL，目前排名高于实际合法页面。我会在这里列出一些奇怪的问题：
www.mydomain.com/srv/www/mydomain?srv/www/mydomain
www.mydomain.com/srv/www?srv/www
www
浏览 1提问于2013-12-02得票数 1
回答已采纳
谷歌正在扫描我在谷歌上的网站，包括一个我不想让它扫描的查询字符串。例如:他们是一个页面- "/name.html“，在URL中有一个查询字符串- "/name.html?qs=1”。我不希望谷歌在他们的索引中包含"?qs=1“，因为这个查询字符串不是必须的，当在谷歌上搜索我的网站时，它会创建很多重复和垃圾。
我如何才能禁用Google索引这个查询字符串的功能，并删除已经像这样索引的页面？
浏览 8提问于2011-02-14得票数 2
回答已采纳
有一个链接为的页面。然后我将链接更新为 &这个链接现在工作得很好。但在网站管理员工具错误中，即使我清除了错误列表，"exampleone“链接仍显示404error。我在20天前完成了更新。仍然显示错误的站长工具。有没有人能帮我们找出哪里出了问题。
提前谢谢。
浏览 2提问于2012-04-02得票数 0
回答已采纳
我完全被一个SEO问题难住了，真的可以从专家那里得到一些指导。我们最近建立了一个网站，，因为它都是关于葡萄酒的，我们设置了一个年龄验证，要求用户在进入网站之前点击。通过使用cookies，我们可以防止用户在单击年龄验证链接之前访问网站中的任何页面。这个网站上线已经几个月了，所以我想我应该在谷歌上查一些关键词。我只是输入了网站的名称，看看哪些页面将被索引，它只显示了年龄验证页面。从我所做的谷歌搜索来看，显然谷歌机器人看不到年龄验证背后的任何东西，因为它们忽略了cookie。
有没有解决这个问题的安全方法？我查看了新比利时的网站，它使用了一个类似的年龄验证链接，所有的页面似乎都被索引了。一旦你点击
浏览 2提问于2011-04-15得票数 1
2回答
我使用简单的javascript根据存储在JSON对象中的数千种产品生成页面。页面URL将类似于/productList?keyword=XXX&page=x。keyowrd是通过搜索栏使用输入的工具。单个产品页面将是/product?id=XXXX。对于产品列表页和产品页，使用javascript从JSON检索产品信息。
我的问题是：
keyword和page将有无数的组合，搜索引擎机器人将如何爬行和索引它们？
如果用户搜索一个产品的名称，搜索引擎会给他什么结果？我担心的是这些产品不会被搜索。但是我读到一个文章说主要的搜索引擎能够执行javascript。所以在我的例子中，搜索引擎会
浏览 0提问于2021-10-11得票数 2
2回答
我想知道元标签<meta name="robots" content="noindex,follow">是否会完全阻止网站页面被索引。
如果用户已经从谷歌网站管理员控制台注册了网站，noindex还会阻止谷歌为这个页面建立索引吗？
如果网站有使用搜索控制台提交给谷歌的站点地图，noindex还会阻止谷歌为网站页面建立索引吗？
我希望澄清在这些情况下的优先次序。
如果标记是<meta name="robots" content="index,follow">，那么在这种情况下会发生什么呢？
浏览 0提问于2019-11-24得票数 1
上下文
我有个网站。在我的页面上，用户可以创建文章。他们填了一张表格，上面写着他们的文章，文章放在我的数据库里。还有一个页面，当用户访问页面时，使用jQuery和AJAX动态加载用户的文章(以及他们的文章标题)。
我目前工作在我的搜索引擎优化-具体而言，关键字密度。我去了一个关键词密度计算器(https://www.webfx.com/tools/keyword-density-checker/ -我也使用了http://tools.seobook.com/general/keyword-density/)，并把一个用户在我的网站(https://www.writingboxco.com/re
浏览 0提问于2021-08-01得票数 2
回答已采纳
1回答
当看到Google工具报告时，网站的网址中有一些特定的%5c和%22编码参数。
我们试图找出这个问题，并注意到，由于两个链接的结构不正确，在站点中创建了\“(正斜杠和")链接，该链接现已得到更正。
我们已经删除和纠正了这些，但我们觉得谷歌现在正在爬行的一些网页正斜杠和%22，这是在网站管理员工具中作为复制的网址。
有没有办法通过robots.txt，通过Google工具，或者通过.htaccess让谷歌知道不使用正斜杠或%22来跟踪链接或抓取页面？该网站是建立在Joomla CMS平台上。
浏览 0提问于2013-06-22得票数 3
1回答
我一直在阅读https://support.google.com/translate/#2534535关于谷歌翻译插件的信息。一开始我以为如果我使用插件，我的站点就不会被索引，但是我可以看到下面的引号
自动翻译版本的网页将不会被搜索引擎索引。
实际上指的是谷歌翻译而不是plugin....or，至少我是这么想的。
问题
我想确认是否使用谷歌翻译插件的网站是索引。
如果答案是肯定的，那么我想知道如何阻止这些翻译的页面被索引。我已经读到您可以使用robots.txt来防止它，但是我真的很想看到一个如何实现它的例子--我不知道翻译的url是什么。
编辑
我只想说清楚，我不想把翻译的内容编入索引。我仍
浏览 0提问于2013-08-03得票数 0
回答已采纳
在Google显示的关于我管理的站点的页面的简短摘要中，经常会有一条Flash错误消息：
网页标题:www.example.com/./Slug_of_ _ Page Flex错误#1001:文摘与RSL http://www.example.com/framework_3.2.0.3958.swf不匹配。重新部署匹配的RSL或将应用程序与.
我知道人们会想告诉我错误信息意味着什么，以及如何重新编译，但是在其他地方有很多关于错误信息的说明，这不是我的问题。
我在这个站点的页面搜索摘要中看到了这种情况，我认为这些页面中没有任何Flash对象-当然Firebug的Net选项卡没有显示任何内容。G
浏览 0提问于2012-05-15得票数 2
2回答
我们公司拥有被搜索引擎索引的临时开发urls。我们需要让它通过一个全局htaccess文件停止。对于全局，我的意思是，我想把这个访问丢到我们的根目录中，这将适用于每个站点的规则。每次我们建立一个新的网站，我不想把一个htaccess文件放在那个文件夹中。
我不擅长写htaccess规则，否则我会自己写的。我很感谢社会各界的任何意见。
下面是一个示例temp : 1245.temp.oursite.com
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Go
浏览 1提问于2015-05-18得票数 2
回答已采纳
我只有一个版本的我的网站，它是优化的桌面和智能手机。
我注意到Google准确地抓取每一页两次:一次用Googlebot/2.1，另一次用Googlebot-Mobile/2.1：
% fgrep "/www/drupal6/filefield " /var/www/logs/ports.su/ports.su.access.log
66.249.76.223 - - [12/Mar/2013:07:46:42 -0700] "GET /www/drupal6/filefield HTTP/1.1" 200 2365 "-" "Mozil
浏览 0提问于2013-03-12得票数 0
1回答
我工作的一个人写了许多关于他作为顾问的书籍(Sharepoint development)。他的客户群很少来自有机搜索。他的电子书中充满了与他的客户的谷歌问题有关的关键词。
有没有办法把这些书中的关键词和他的网站联系起来？
浏览 0提问于2017-04-09得票数 1
回答已采纳
1回答
我在Apache2.4上，需要限制用户直接访问sitemap_index.xml，只允许已知的机器人访问网站地图，你能帮我做一些.htaccess规则吗？
浏览 49提问于2021-04-05得票数 0
2回答
我用的是Heroku管道。因此，当我推送我的应用程序时，它会被推送到暂存应用程序。
https://appname.herokuapp.com/
如果一切都是正确的，我会推广那个应用程序。没有新的构建过程。这是第一次为分期而构建的应用程序。
https://appname.com/
问题是，这会导致复制的内容出现问题。站点是彼此的克隆。完全一样。我想排除谷歌索引和搜索引擎之外的分期应用程序。
我想到的一种方法是使用robots.txt文件。
为了让它起作用，我应该这样写
User-agent: *
Disallow: https://appname.herokuapp.com/
使用绝对路径，
浏览 0提问于2018-07-31得票数 1
回答已采纳
我正试图在google上建立我的电子商务网站，但我仍在弄清楚它是如何工作的。现在，我看到了这个名为URL参数的特性，它允许我设置不同的参数，这些参数会影响要索引的页面内容(还可以设置不影响页面的参数，但对我来说却不适用)。我的问题是，我是否和如何添加参数，我只有在我的网站的一些网页。示例：
我网站的主页是www.mysite.nl。一点参数都没有。但是，当用户单击导航栏时，它会链接到www.mysite.nl/itemList.php?category=&....subCategory=....
参数category和subCategory定义了我的itemList页面上是否有内容以及
浏览 0提问于2014-05-01得票数 2
回答已采纳
2回答
我正在使用Symfony 1.4，我希望在我的网站中禁用Google的索引，我必须使用的最佳代码是什么？
机器人:无索引，无跟随
机器人:不允许
浏览 1提问于2015-02-26得票数 0
回答已采纳
2回答
我正在做一个利用autocomplete.js的项目，它的演示是这里。用户选择一个选项，结果将显示在相同的页面上，就像在演示中一样。该项目基本上围绕这一想法，我不确定如何实现它而不损害SEO。
搜索在example.com上执行，搜索结果显示在同一域中。这是否应该以一种不同的方式实现，以允许用户查找内容？
浏览 0提问于2020-04-16得票数 1
回答已采纳
问题:我只想为某个用户代理启用服务器上某个目录的目录索引(默认情况下它是禁用的)。
我知道有一些指令可以在.htaccess文件中使用，但是我还没有得到结果。
我要找的是这样的东西：
<If user-agent = 'a certain user agent'>
Options +Indexes
</if>
我知道有一些环境变量可以根据不同的条件(比如某个用户代理)来设置，并且我已经能够根据我的需要来设置它们，但是我不能做一个简单的“如果变量被设置，那么设置选项+索引”语句。
有什么建议吗？指针？这有可能吗？我没有访问Apache全局配置文件的
浏览 1提问于2012-09-13得票数 2
回答已采纳
1回答
我的网站主页上有一些用户的图片，我想知道我是否可以停止用robots.txt爬行这些图片。
Disallow: /img/users
我的问题是，我想知道，这是否可以通过阻止这些图像从SEO的角度与机器人文件。
浏览 0提问于2018-07-19得票数 2
回答已采纳
我经营一个名为isitsnowingoutside.com的网站，作为一个实验项目。因为我还在学习--这还远远不够完美。最基本的前提是网站使用您的位置来确定是否正在下雪。
目前，我已经设置了使用新的javascript地理定位。如果用户拒绝访问该地址，或者它根本无法工作，那么就会有javascript重定向将用户转发到我试图通过IP地址查找其位置的页面。目前，我有javascript重定向等待10秒。
不幸的是，当google索引我的网站时，它会重定向，搜索结果会显示山景城的网址--而不是我的主页。我试着在我的站点的子页面中添加没有索引，但是现在它根本没有出现在结果中。有什么想法吗？
浏览 0提问于2014-01-31得票数 4
回答已采纳
我希望允许所有的机器人爬行和索引一个网站，除了Googlebot。我想让谷歌只索引主页(/)网址，而不是其他。
我更喜欢在robots.txt上这样做。我怎样才能做到这一点？
浏览 0提问于2019-11-28得票数 2
1回答
我可以看到在我的wordpress网站的实时流量，眼镜机器人爬行不存在的网页。
www.example.gr/search/search-results/password-reset%252Fpassword-reset/password-reset%252Fpassword-reset%252F&listview=2/?pg=6&dtype=prosfata&listview=2
www.example.gr/search/search-results/password-reset%252F&listview=1/password-reset/search/a
浏览 0提问于2017-05-19得票数 2
2回答
假设我有一个网站，example.com。但是这个网站的内容在另一个域名上，比如test.com/test和重定向都是使用htaccess文件。
我已经为从test.com/test重定向到example.com设置了301 redirection。问题是当我搜索example.com时，我得到了一个Apache测试页面，而当我查询site：example.com来获得谷歌抓取的页面时，我得到了一个403 Forbidden错误。
我如何解决这个问题？网站运行得很好。这个网站在其他搜索引擎(即Yahoo和Bing)中的索引也是正确的。
浏览 7提问于2012-09-07得票数 0
我有一个站点，它的根目录是，任何到的流量都被重定向到。
这导致了一个问题的原因，当我去谷歌和site:domain.com，我看到根目录与标题的第一篇文章在页面上。我如何阻止根被爬行，从而没有出现在搜索中？
在网站管理员工具中，我将站点添加为，但我只在/blog目录和其他静态页面上获取谷歌。对吗？
我通常知道如何做到这一点，但这一次，网站有一个子目录作为预期的根目录，所以它有点不同。
有人能验证一下这是否会达到我想要达到的目的吗？
User-agent: *
Allow: /$
Disallow: /
浏览 1提问于2015-11-18得票数 0
回答已采纳
我们目前正在建设一个新的响应网站。在绘制站点地图时，我们发现我们不想在移动设备上显示某些部分。这可以通过使用CSS/媒体查询隐藏导航部件来实现。
然而，问题是隐藏的网站仍然会出现在搜索引擎的结果中。如果一个用户碰巧点击了其中一个链接，她可能会看到一个格式很差的页面，因为我们只使用桌面/平板电脑代码来显示图像和视频。
如果搜索是在移动设备上完成的，是否有任何方式影响搜索引擎排除某些页面？搜索引擎是只抓取一次页面，还是两次使用特定于设备的视图？我们可以为特定的设备类设置noindex元标记吗？
浏览 0提问于2013-10-23得票数 1
2回答
我的页面/admin/login.asp怎么可能在谷歌中用查询"inurl:admin/login.asp“找到，而不是用"site:www.domain.xx”查询？
我的robots.txt中有这行代码：
User-agent: *
Disallow: /admin/
在页面的HTML代码中：
<meta name="robots" content="noindex, nofollow" />
有什么想法吗？
浏览 4提问于2010-07-26得票数 2
这是阻止还是允许Google机器人访问？
User-Agent: Googlebot
Allow: /*.js*
Allow: /*.css*
有谁知道上面的robots.txt格式是阻止还是允许Google Bot访问？
浏览 3提问于2015-07-29得票数 3
Googlebot经常在我的网站上获取页面。这让我的网站变慢了。我不想让Googlebot爬得太频繁。
我减少了谷歌网站管理员工具的爬行率。但我假设使用这三种工具：
在我的内部页面中添加rel="nofollow“。所以Googlebot不会爬行和索引它们。
添加元标签"noindex“，这样Google就会从索引中删除这个页面，并且不会再得到它。
添加“不允许”：/mySomeFolder/到robots.txt和Googlebot将不会爬行该页面。
我计划在我的56.000页中使用这些方法，除了最重要的6-7页。你喜欢哪种方法，缺点或优点是什么？或者它不会改变我的网站速度等
浏览 0提问于2012-12-18得票数 2
1回答
许多站点地图包含URL，而这些URL中有许多包含有标题、标题等的图像URL。
在过去的五天里，谷歌索引的图片数量突然减少了。
📷
(它上升了一会儿，然后突然下降了。)
网站上唯一的发展是实施lazy-load的图像，以减少页面大小。
浏览 0提问于2016-03-04得票数 1
Googlebot每天爬行一定数量的页面，这取决于站点的大小。但是，对于一个特定的页面需要多长时间。换句话说，在扫描到下一页之前，它在当前扫描页面上花费了多少秒或分钟。这有固定的时间吗？或者根据页面的资源，我们可以把它想象为在扫描一个页面和50秒时花费10秒吗？它有平均值吗？
浏览 0提问于2022-07-25得票数 2
在看了一些旧的(2009年)问题后，我预计答案是否定的，但我找不到最近足够明确的答案，所以我再次问.
我在页面上有一些启用JavaScript的选项卡，可以通过在查询字符串中传递一个参数来自动预选，如下所示：
www.example.com/landing-page?tab=tab1
是否有一种方法可以防止Google在当前不可见的选项卡中索引内容？此外，如果查询字符串中指定了不同的选项卡，则需要它将URL视为不同的页面。
更新：--根据的理解，您可以根据具有不同值的参数设置特定的参数，将其视为唯一的页面。因此，现在唯一的问题是，是否有可能向Googlebot隐藏页面上的内容。根据一些旧的答案
浏览 2提问于2015-08-18得票数 0
回答已采纳
1回答
当我通过"Lea“查找我为客户创建的网站(www.leadevreese.be)时，我会得到一个内部页面，而不是主页。
我怎么才能解决这个问题？
浏览 2提问于2013-10-28得票数 0
回答已采纳
2回答
我在我的网站上有一些限制部分供蜘蛛爬行。
引用只包含我希望蜘蛛索引的urls的sitemap.xml文件就足够了吗？
或者我应该将下面的元标记添加到我想限制访问的页面中？
<meta name="robots" content="NONE,NOARCHIVE" />
浏览 1提问于2014-10-29得票数 0
回答已采纳
那么我应该这样做吗？
用户代理：*
禁止:/
有这么简单吗？或者这也不会爬行根目录中的文件？
基本上，这就是我之后要做的--搜索根目录中的所有文件/页面，而不是任何文件夹，或者我必须显式地指定每个文件夹。即
不允许: /admin
不允许: /this
。。等
谢谢
nat
浏览 3提问于2010-02-09得票数 1
回答已采纳
我得到了很多的URL在尖叫的青蛙，那里的URL是不跟随无索引，但，他们仍然在尖叫青蛙爬行。好的，还是我应该在这里面做任何改变？
浏览 0提问于2020-01-30得票数 1
我正在购买新的域名，当我搜索site:domainname时，只要我买了它们，我就可以在谷歌上找到“在Safenames注册的域名”的索引。
在我购买域名之前，我搜索域名，什么都没有。有什么办法能阻止这件事吗？
浏览 0提问于2017-08-16得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
