一个商业爬虫师的成长历程

看了一篇程序员对目前工作中学习环境抱怨的文章，一个人周围的生活环境很大程度上能影响你的学习态度。

举个例子，好比你的英语水平很烂，如果给你扔在一个不得不跟外国人用英语交流的环境里，你的英文水平应该就能有突飞猛进的一个提升，你会发现你也可以用英文流畅的和人交流。

英语学习是如此，编程开发也是如此，大学学习的时候觉得没有什么，但是一旦指望这门技术养家糊口了，我相信你也会有突飞猛进的提升，那结合程序员来讲，最贴近英语语法的编程语言肯定非Python莫属了。

最近几年随着人工智能和数据挖掘行业的火爆，Python 这门语言也逐渐进入主流视野。如果说2014到2017是移动开发的天下，那么现在可以说是人工智能和数据挖掘分析的时代。编程行业就是如此，技术日新月异，学习上稍有懈怠就会跟不上这个时代。但要记住选择比努力更加重要。

选择比努力重要

在往前数个3-5年，开发是以移动编程为主流的时代，Android 和 iOS所需的系统环境是不一样的；iOS开发需要mac系统环境，一台好点的mac电脑造价也是价值不菲的。而Android 开发只要有一台Windows系统的电脑就可以进行开发。间接的造就了Android开发的碾压iOS开发的火爆环境，怎么形容呢？这么说吧火爆的程度就如同当今的人工智能一样。

而计算机专业的大学生往往学习的东西都是很泛很基础的知识Java、C#等，很少会接触到Android/iOS和Python这种其他的编程语言，所以很多计算机专业的毕业生在移动开发最火的那几年选择了Android开发和iOS开发，现在大多数都转行了，我身边的几个Android和iOS开发的现在大都选择学习python了，为什么他们选择了学习Python而不是其他开发语言呢？主要原因还是这两点：

1、首当其冲肯定是因为python现在大火，职业发展有更多的成长路径可以选择；WEB开发、人工智能算法岗、数据分析、爬虫工程师、服务器运维等等主流的互联网编程岗位。

2、大学毕业之后找工作发现移动开发需求缩水太严重，为了工作和生活（年纪大了该赚钱了····）选择最贴近英语语法的Python编程，如果有一点编程基础的最快一周左右就可以把 Python 用的得心应手，即使没有基础，在相对其他编程学习起来短则三四个月长至一年半载的时间，短时间内能更容易的掌握Python编程的法门。

而现在Python的这波红利期还没有过去正是风头无两的时候。上车的已经在努力往更高的一层发展了，没上车的仍在观望，爬虫的简单易学和广阔的发展前景已经成为了更多想进入编程界IT精英的首选编程语言，很多人也已经把对爬虫的兴趣发展为了自己的职业。

但当一份兴趣成为你的职业的时候，你才会发现原来想要做好是有多么困难。

但在成为职业爬虫师之后，接到的工作上第一个任务就是写个浏览器插件爬虫。

WTF！什么？浏览器插件也可以做爬虫？当时脑海里第一反应就是懵逼，这叫我怎么做。但这又是老板给布置的第一个任务，不可能说自己不会做，只好硬着头皮一点点的去摸索。

职业爬虫师或者说职业编程者，学习能力一定是最重要的能力之一。因为工作上会遇到非常多你不熟悉的领域，就比如浏览器插件爬虫。浏览器插件完全是用前端的语言来编程，这就需要你懂得 html、js、css 代码。你说你只会 Python 不会这些？对不起，那你只好走人。但还好爬虫的一些逻辑是通用的。

职业爬虫师

职业爬虫师日常的工作肯定是帮公司获取各种各样的数据，维护已有的爬虫代码，让爬虫每天都可以抓取到公司所需的数据。但职业爬虫与平时编写的爬虫有着本质的区别。

平常练习编写的爬虫，抓不到数据，可能你折腾了几个小时就放弃了。但真正工作上，不管你用什么办法，老板最后一定要看到数据。平常编写的爬虫，可能最多就 100 行代码。但职业爬虫程序，一个解析函数里的 xpath 语句就要写上上千行的代码。我就是那个用了一天的时间写了上千行 xpath 语句的人，差点没被 xpath 给写趴下。

平常编写的爬虫被封了就被封了，大不了换个网站爬。但职业爬虫一个账号有可能注册就要几千、几万快，被封了经济损失非常大，可能就是因为这一个账号，你一个月的工资就没有了，还少不了老板一顿大骂。所以老板明确跟你说写这个爬虫，要求是一个永不被封的爬虫，但还要抓到很多数据。我的内心：***

而这些不过是自己成为职业爬虫师 3 个月所经历的事。

爬虫技术五花八门，市面上比比皆是，但是真正能做到极致的寥寥无几，特别是能达到商业爬虫级别的几乎没有。

所谓商业级别，短平快地解释就是：随心所欲，想爬谁就爬谁！

现在好多网站都有反爬策略，例如IP限制、访问频次限定、User-Agent验证、数据加密、验证码限制、登录限制等。碰到这些情况，一般的爬虫就会束手无策，黔驴技穷。

回想我最初学习 Python 爬虫到现在，一路上也是经历了许多弯路和误区，下面总结一下我学习 Python 爬虫的几点经验供大家分享（第7条是重点）。

1、学习Python基础

2、初识Python数据分析

3、初学Python网络爬虫

4、研读《从零开始学Python网络爬虫》，系统学习爬虫

5、初识机器学习，研读《机器学习Python实践》

6、研读《利用Python进行数据分析》

7、研究廖雪峰大佬的博客、官网、学习教程等

说到 Python 学习，首推 大牛Python 教父廖雪峰的教程！

鉴于此，畅销书《Spring 2.0核心技术与最佳实践》作者，Python教父-廖雪峰老师团队官方出了一版爬虫课程，帮你成为IT江湖中的Python爬虫高手！

另外文末可免费领取廖雪峰老师总结的Python教程（前300名免费赠送）。

廖雪峰老师 ：曾任职西门子、摩托罗拉、火币网等知名公司高级技术专家；其官方博客是很多技术人常用的参考教程，日访问量达5万+。

之前咱们在廖神博客看到的都是文字版的Python教程，这次不一样，直接开课，有视频、有笔记、有案例实战！！！

话不多说看内容：

这个爬虫课程包含13个项目案例实战，不仅教会你最专业的商业爬虫，还教会你怎么反爬虫，更会教会你怎么破解反爬虫。

所有的一切都只有一个目的：让天下没有爬不到的数据！

友情提示：这套视频由廖雪峰老师倾力打造，不仅有理论，更包含了廖雪峰老师多年开发经验总结的案例讲解，希望你领到资料之后能认真学习！