robots协议就好比你到一个景点旅游，在这个景点有一部分写着此景点暂停开放，这样游客就不能进这样的景点了。类比过来，这个暂停开放的标志就是robots协议，这个游客就是指搜索引擎。

如果有小偷或者坏蛋，或者不遵守规则的人，无视暂停开放的警告，硬闯暂停开放的景点，这也是可以进去的。要是黑客做搜索引擎，不遵守robots协议是很正常的。，但世界不会完蛋。

Robots协议就是对搜索引擎的警告，不允许搜索引擎进去，但是普通的用户打开一个网站是可以看到不允许搜索引擎看的内容的，比如淘宝全站robots,但是普通用户都可以自由进入淘宝，还可以在淘宝买自己喜欢的东西，但是搜索引擎是一点也看不到的。

Robots协议是是对搜索引擎的禁止，有人说robots可以保护私人秘密，这完全扯淡，你既然把你的东西放在网站上，就是想要有人看，有人浏览，除非你如淘宝一样，不需要搜索引擎带来的流量，靠“淘宝”这个品牌效应就可以做到最大。如果说网站的用户信息怕泄露给搜索引擎，这也是扯淡，别把搜索引擎当作神，它只是个小孩而已。搜索引擎是以网页的形式抓取，除非你把用户信息做成网页放到网站上，否则不会的。

百度说360违反了robots协议，就是因为360抓取了百度的网页内容，百度robots掉了360，不允许360抓取百度的内容，但是360还是抓取了，我想这就是全部的内容，所谓的用户体验robots协议、安全之类的全都是废话和借口，是找不到话说时的什么话都敢说。

robots就是一个协议，可以遵守也可以不遵守，就像暂停开放一样，当来了个政府大员想进去还能暂停开放吗网站怎么赚钱？就像在公交车给老人让座一样，你可以让座，也可以不让座，让座是一种美德，你可以要，也可以不要，这跟你是好是坏没有关系。但是社会压力和政府强迫你让座，那他们是违反你自己的意愿，他们都是无耻的，他们比道德败坏者还要道德败坏。