未来最大的能源不是石油而是大数据robots协议。对大数据的获取、处理与分析沧州seo，以及基于大数据的智能应用，已成为提高未来竞争力...

回答之前robots协议，先有情提醒一句，「虫有风险」，刑法已明确非法获取计算机信息系统数据罪多道网赚论坛。我们先来看看善意爬虫和恶意爬虫的区分：

善意爬虫，比如百度搜索引擎的爬虫，严格遵守Robots协议规范爬取网页数据（如URL），它的存在能够增加网站的曝光度，给网站带来流量robots协议。恶意爬虫，它无视Robots协议，对网站中某些深层次的、不愿意公开的数据肆意爬取，其中不乏个人隐私或者商业秘密等重要信息。Python爬虫，不懂Python可以吗？不懂HTTP基础可以吗？不会基本的抓包工具你能玩通爬虫吗？一图胜前言，我们先来看看python爬虫都涉及哪些方面的知识阿里微微：

言归正传，有什么好的资料推荐呢？下面说说自己的看法robots协议。

1、Python 3网络爬虫开发实战豆瓣评分8.9分，全书以python3为基础，从基本的开发环境、常用的爬虫库开始，对爬虫过程涉及的基础知识HTTP、Web基础、代理进行了介绍，接下来详细讲解python中urllib、requests、正则等基础库的用法，并以实例「抓取猫眼电影排行」为例讲解robots协议。

文中的内容不仅涉及爬虫过程中代理的处理，验证码的识别，模拟登陆过程，更介绍了移动时代下APP数据的爬取，最后介绍了Scrapy框架，分布式爬虫的原理及部署。

具体内容可见上图PDF，如果有需要这本书的童鞋，可关注+留言获取。

2. 爬虫实战篇talk is cheap，show me the code!

这里直接推荐Github的开源项目「awesome-python-login-model」，这里就不再贴地址了，大家直接去git上搜索即可。使用python模拟登陆一些大型网站，还有一些简单的爬虫。

眼过千遍不如手过一遍，多动手实践，多多debug，永远是提升自己编程技能的铁的定律 ！