不少刚接触网站优化的朋友还不如何知道robots是什么，其实robots是一个跟目录文件，虽然操作和用处极为简单，但它在网站排名优化推广中的有着至关要紧的意义。
它的用处就是指定什么搜索引擎蜘蛛可以抓取内容，与禁止搜索引擎蜘蛛抓取网站的部分或全部内容。看到这里想来已经了解了吧，就是说不小心禁止某个搜索引擎抓取（譬如百度），那样在这搜索引擎上就不会有网站收录更不要说排名了，也就搜索不到网站里面的任何内容。
那样如何用呢？
Robots.txt 文件放在网站根目录下，并且该文件是可以通过网络进行访问的。 该文件需要可以通过 打开并看到里面的内容。
假如要调整改动就需要通过FTP链接服务器进行改动了，云主机可以通过远程桌面直接修改，有的主机提供商的管理后台有支持文件控制的也可以直接操作修改。
里面涉及到的几个点分别是【User-agent】【Disallow】【Allow】【Sitemap】
User-agent网站排名优化中Robots的设置至关要紧用于描述不期望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。
标题名字网站排名优化中Robots的设置至关要紧
