防止蜘蛛陷阱。有的网站对搜索引擎不友好, 妨碍了蜘蛛爬行和抓取网页, 这样的情况被叫做蜘蛛陷阱。容易见到的蜘蛛陷阱主要有Flash (假如要用Flash, 需要对首页和html版本之间加一个超链接。这个超链接要加在Flash文件以外的HTML代码中, 有了这个超链接之后, 搜索引擎才能抓取后面的HTML页面) 、Session ID的用法 (Session ID用时, 用户每次访问网站都会生成一个唯一的Session ID, 放在URL的最后面, 那样同一个页面的URL也将不同, 这种现象是不适当的, 因此建议跟踪用户访问用cookies代替Session ID) 、各种跳转 (搜索引擎对除去301以外的跳转都非常敏锐, 如302跳转、Flash跳转、Java script跳转、如用跳转, 推荐使用搜索引擎推荐的301跳转) 、框架结构 (frame) 的用法 (搜索引擎没办法读取用框架设计的网页HTML代码, 只能读取调用该网页的HTML代码, 假如你还用框架结构, 请快点换掉) 、javascript链接 (有的网站为了达成所谓的酷炫成效, 用javascript生成导航系统, 但搜索引擎根本没办法抓取javascript里的文字, 推荐使用CSS (层叠样式表) 去达成网页酷炫成效) 。
