很多做优化的忽略robots的重要性，我们首先要记住的就是蜘蛛来到网站之后第一个看的就是robots文件，它是搜索引擎的协定，告诉蜘蛛哪些能抓，哪些不能抓，哪些目录...