如何书写网站robots文件，让蜘蛛有自知之明？

对于网站站内优化，相信对于robots的书写是非常重要的，robots相当于蜘蛛进入网站的第一道关卡，如果没有在这文件里面写入一些蜘蛛不能摸的东西，估计到时候蜘蛛就会给你曝光，所以robots文件的重要性就是如此的。

蔡江seo

robots协议文件对于网站的重要性?

1、减少蜘蛛工作量

robots.txt是搜索引擎蜘蛛访问网站时要查看的第一个文件，并且会根据robots.txt文件的内容来爬行网站。在某种意义上说，它的一个任务就是指导蜘蛛爬行，减少搜索引擎蜘蛛的工作量。

蔡江seo

2、保护自己网站的隐私文件

当搜索引擎蜘蛛访问网站时，它会首先检查该站点根目录下是否存在robots.txt文件，如果该文件存在，搜索引擎蜘蛛就会按照该文件中的内容来确定爬行的范围;如果该文件不存在，则所有的搜索引擎蜘蛛将能够访问网站上所有没有被口令保护的页面。

蔡江seo

robots协议文件对于不同热门程序的写法?

1.WordPress建站程序的robots.txt文件写法

User-agent: *

Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-includes

Disallow: /?s=

Sitemap: http://www.***.com/sitemap.xml

2.DedeCMS建站程序的robots.txt文件写法

User-agent: *

Disallow: /plus/feedback_js.php

Disallow: /plus/feedback.php

Disallow: /plus/mytag_js.php

Disallow: /plus/rss.php

Disallow: /plus/search.php

Disallow: /plus/recommend.php

Disallow: /plus/stow.php

Disallow: /plus/count.php

Disallow: /include

Disallow: /templets

Disallow: /member

3.discuz论坛建站程序的robots.txt文件写法

User-agent: *

Allow: /redirect.php

Allow: /viewthread.php

Allow: /forumdisplay.php

Disallow: /?

Disallow: /*.php

4.phpcms建站程序的robots.txt文件写法

User-agent: *

Disallow: /admin

Disallow: /data

Disallow: /templates

Disallow: /include

Disallow: /languages

Disallow: /api

Disallow: /fckeditor

Disallow: /install

Disallow: /count.php

Disallow: /comment

Disallow: /guestbook

Disallow: /announce

Disallow: /member

Disallow: /message

Disallow: /spider

Disallow: /yp

Disallow: /vote

Disallow: /video

所以对于robots协议文件的重要性，大家是不是都清楚了，一个网站程序如何缺少robots文件，对于网站就是一种致命的伤害，更不要说什么权重排名问题了，这些都是基本的优化操作，希望大家能够掌握。