不少小白网站建设朋友对robots协议文件的重要程度不是非常了解，本篇文章由昆明网站优化博主普及一下WordPress站点robots协议文件撰写常识。robots协议（也称为爬虫协议、机器人协议 等）的全名是“互联网爬虫排除标准”（Robots Exclusion Protocol），网站通过robots协议告诉搜索引擎什么页面可以抓取，什么页面不可以抓取。robots协议主应该注意以下几大方面怎么样借助robots协议优化你的WordPress博客站
1、指令区别大小写，忽视未知指令。
2、每一行代表一个指令，空白和隔行会被忽视。
3、“#”号后的字符参数会被忽视。
4、有独立User-agent的规则，会排除在通配“*”User agent的规则以外。
5、可以写入sitemap文件的链接，便捷搜索引擎蜘蛛爬行整站内容。
6、尽可能少用Allow指令，由于不一样的搜索引擎对不同地方的Allow指令会有不同看待。
7、robots.txt 文件需要放在网站的根目录，不能放在子目录。
2、robots协议文件写法怎么样借助robots协议优化你的WordPress博客站
1、User-agent: * //设置robots规则适用的浏览者身份为全部UA身份
2、Disallow: */trackback //屏蔽wordpress分类目录、文章页面的回评路径
11、Disallow: /feed //屏蔽wordpress的内容订阅路径
12、Disallow: feed //屏蔽wordpress分类目录、文章页面的订阅路径
13、Disallow: /comments/feed //屏幕wordpress评论的订阅路径
14、Disallow: /page/ //屏蔽默认的翻页路径
15、Disallow: page/ //屏蔽分类目录的翻页路径
16、Disallow: /page/1$ //屏蔽翻页路径中的数字路径
17、Disallow: /tag/ //屏蔽标签页面
18、Disallow: /?s=* //屏蔽搜索结果路径，主如果防止搜索结果的缓存被搜索引擎网站收录
19、Disallow: /date/ //屏蔽按日期分类显示的列表页面
20、Disallow: /author/ //屏蔽作者文章列表页面
21、Disallow: /category/ //屏蔽以category为起始路径的分类路径，假如你没用插件生成不带category前缀的路径时，请勿用此项规则。
22、Disallow: /wp-login.php //屏蔽后台登陆页面
4、robots协议设置办法
1、写好之后把文件重命名为怎么样借助robots协议优化你的WordPress博客站
2、打开FTP，找到网站根目录查询robots.txt文件
概要怎么样借助robots协议优化你的WordPress博客站星辰网站优化博客
