屏蔽搜索引擎抓取网页，禁止索引收录页面的方法都有哪些

做网站很多时候都会希望搜索引擎收录并展示我们的关键词页面，但是也有例外，不是网站的所有内容都需要搜索引擎收录的，有的页面必须屏蔽搜索引擎抓取，禁止搜索引擎索引收录的方法有3种：

1、使用robots.txt文件：在网站的根目录放一个robots.txt文件，写上不希望被收录的规则指令，搜索引擎就不会收录被我们的屏蔽的内容了。

2、使用meta tag标签：在html页面的里面添加meta tag标签来屏蔽搜索引擎索引当前页面。

3、使用X-Robots-Tag HTTP 标头：如果您需要控制内容在搜索结果中的显示效果，或者需要确保这些内容不显示，请使用该方法。

在SEO优化实践中，使用robots.txt和meta tag标签较为常用和方便，X-Robots-Tag需要在Apache或nginx服务器上配置，稍微有技术难度。

注意事项：

​不是所有的搜索引擎都会遵守以上规则指令，不是你屏蔽了她就不继续索引和抓取，目前大部分搜索引擎是遵守这些规则的，要真正屏蔽某些搜索引擎抓取页面，可配置其服务器或ip段禁止访问。

当前Google支持这些标签，baidu仅支持robots和meta tag方式，其他小众搜索引擎对这些规则并不遵守。这些规则重要如果不写，默认表示全部允许。

在SEO优化中，正确撰写这些规则是很重要的，当然也有一定的难度，对于SEO优化新手应当多学习研究透彻，避免操作不当，误封搜索引擎，会导致想要优化排名的页面被屏蔽，那样就得不偿失了。​