【数据分析】让数据决策你的行为——拉勾网数据分析

前言

我们每天都在产生数据，出行，社交，购物，吃饭 等等，每一个行为伴随着数据的产生，如果将这些数据收集起来，并加以处理分析便可以反过来影响你的行为。

举个最简单的例子在各大电商网站搜索自己想买的商品，这一过程就产生了数据，电商网站会记录你所搜的商品数据，并稍作处理分析，基本就可以计算出你所需要购买的商品，

然后计算最合适你的商品，并以广告形式推送给你，最后你很有可能会从他推荐的商品中选一个付款，这个例子就形像的解释了，你是如何产生数据，而后数据又是如何影响你的行为的。

前些日子突然想到了如下几个问题，

在一线城市中 北京 上海 的薪水真的比深圳还高吗？ JAVA工资真的比.NET 的要高吗？ 前端现在平均薪水大概是多少？ 除了几个一线城市外，哪些二线城市是比较有潜力的？ 市场上工作1-3年 3-5年经验的 薪水一般都是多少？

这些问题我想大家或多或少的都聊到过，但是却没有相应的数据来支撑你的想法，往往都只是聊聊就过了。基于以上的问题，我开始想通过数据来证实，想想还是通过招聘网站的数据来分析，

因为招人是企业真实的需求，企业的需求就代表的市场的需求，反过来企业发布的招聘信息一定会按当前市场行情来定，比如薪水当市场平均水平是 1-3年经验 7K 时 企业的发布招聘信息一会以市场行情做一个参考，不然没有竞争力 招不到好的人才，必然会影响公司的发展。 这样这些发布的招聘信息还是具有一定的真实性的

一、 采集数据

1.1 拉钩网介绍

拉钩开通的城市暂时还只有如下几个城市，所以城市就抓取下图中的这些

岗位的话因为本文主要针对的是开发类的数据分析，所以只抓取开发的岗位信息

1.2 程序介绍

整个流程是这样的 先从拉钩取数据入，存入Redis队列，然后通过定时器把数据从Redis中取出通过Dapper(轻量级的ORM)存入DB，最后以图表形式展现出来。

所用到的一些东西 Redis ,Dapper, Sqlserver ,百度图表控件Echarts

1. Lagou 是一个控制台程序，主要用来抓取数据，并存入Redis
2. Lagou.Repository 抓到数据后的持久化与查询
3. Lagou.Web 将数据以图表形式展现

1.3 操作步骤

1. 先把Redis安装并启动
2. 在Lagou.Repository项目中运行sqlScript.sql脚本创建表，在DapperHelper.cs中配置好数据连接地址
3. 把Lagou控制台设为启动项目并运行，结果如下图。 等所有城市下的职位都取完后，数据就抓取完成！
4. 将Lagou.Web 项目设为启动项目并运行整个过程就结束了！

二 、分析数据

从图中可以看出 一线城市 北上深广 对人才的需求量是最大的

其中又以北京为第一，为什么北京会是第一呢？ 首先 是地域特殊 是首都，其次 国内最早的一批互联网公司基本都在北京创立的带动了这一行业的发展，同时也吸引了相应行业的人聚集，人的聚集又相应带动公司的聚集，两者相互影响使得北京成了互联网的主力军。

另外北京众所周知薪水 是各大城市中最高的，因为这一行业内的从业人员较多，相应优秀的人也会更多，优秀的企业也会更多，企业对优秀人才的渴望是从未满足过的，这种环境下自然后拉高行业的整体薪水

再说二线城市 排第一的杭州 我自己的想法 觉得是可能阿里巴巴带动的 当然政府的功劳肯定也是有的，但是如果没有阿里巴巴对整个行业的影响，当前的环境恐怕不是政府努力就能改变的。

1、为什么成都会排二线城市的第二呢？

1. 事实上这两年有很多公司 承受不了一线城市发展的速度以及生存的压力与人力成本，就把公司迁到了节奏稍慢点的二线城市。
2. 另外大的公司开始把业务做到的全国，开始在各个二线城市设立分公司，基本上互联网一梯队的公司都在二线城市有分部了。
3. 政策方面，这两年成都政府在政策上进行了大力的扶持，而且扶持力度惊人。

所以这两年开始越来越多的公司开始把公司从一线城市迁到二线城市，或者扩展到二线。直接影响了成都互联网行业的快速发展

通过数据可看 一线城市 北上深广 未来仍是互联网行业的主力军。二线城市 杭州 成都 武汉 南京 是主力军 如果想从一线退到二线 这几个城市都是不错的选择。

2 、城市对某一职位的需求数

先看JAVA

JAVA在互联网这块的发展这几年明显超越了.NET 再加上 今年的互联网+ 概念导致了一大批的互联网公司掘起。在创业的初期，如何以最花最少的钱获得最大的效益成了初创公司都要考虑的问题

其中就包括 人力(主要指招聘) 以及软件(开发工具的授权费用)。另外JAVA开源较早，开源社区提供了很多好的包而且支持跨平台，所以从图中可以看出 在一二线城市对拥有Java技能的人才，需求一直就很旺盛。

但是站在技术角度讲现在JAVA能做的.NET 都能做，而对于公司来说怎么活下去才是关键。

本人所在公司 15年就被微软发现使用了盗版软件，被要求买license如果整套环境都用正版至少得要上百万，最后死缠烂打也花了10多万才算解决这事儿

再说.NET

一线城市需求还是比较大的，城市之间的差距也不是很大，在一线城市中JAVA与.NET 需求量都相差不大，大致原因，应该还是一线城市公司的基数大，对.net，与JAVA 的需求都比较大但到了二线城市 反差就比较大了，.NET 数据 基本上不到一线城市的一半了，可能也是受互联网+的影响，其实本来和JAVA应该持平的，但是互联网+的概念一出大批的互联网公司起来考虑到之前说的公司成本问题，才导致对JAVA技能的人需求增加，还有一种可能是，近几年JAVA占市场比逐年增加导致.NET市场减少

最后看看JavaScript

这一两年 JavaScript这一岗位可以说是发生了天翻地覆的变化，也使得 前端工程师 这一职位被独立出来各种优秀的前端框架也层出不穷。也从传统的pc浏览器到了移动端浏览器,

一线城市需求最大的还是 北京和上海 几乎是深圳和州各自的2倍了。

这也更加证明了北京是全国的互联网中心，随着移动互联网的迅速发展 各个城市的需求应该也会快速加大。

3 、城市对人才年限的需求数

可以看出来，不管是哪个城市 对1-3年 和3-5 年的人才 需求是最多的这个其实很好解释，放到自己的工作环境来说基层员工和中层员工是生产力的大军，而高层只要几个，把控好方向与进度就行了.

剩下5-10年的 要么就是招的架构师级别的，要么就是工作岗位的要求需要至少5年以上的经验、

4 、同职位不同城市薪水对比

先解释点 拉勾发布的职位都是会带上薪水范围的,图中的彩色柱状条是对该薪水断的职位的总和

先看JAVA

一线城市以 11-15k 的和16k-20k的 为主，然后是21k-25k的，

而二线城市 则以 6k-10k的和11k-15k的为主，然后是16-20k 的 所以一线城市要比二线城市的薪水高一个梯队，这个大家也都是知道的，不做多的解释了。

.NET 的

最近总有人说搞.net 的工资没有搞JAVA的高，但都是以身边的人为例子而以数据缺乏准确定性

通过图要可以看出

发布的JAVA职位在一线城市中 16k-20k的数量是要超过11k-15k的数量的，而二线城市中6k-10k与11k-15k的数量是不相上下的，而且还有不少16-20k职位

而.NET的职位 在一线城市中11k-15k的职位数量远超过16k-20k的数量 而二线城市中6k-10k的职位数据也是远超过11k-15k的职位数，而16k-20k的就更是寥寥无几了

通过两图对比可以看出 在一线城市 JAVA以11k-15k与16k-20k为主 且16k-20k的为主导，.NET也以11k-15k与16k-20k为主

但是却是以11k-15k为主，二线城市就更不用说，图一对比就懂了

结论也不用说了

5、 行业薪水分布

这两年移动互联网真的是飞速发展一不留神就从PC互联网转到了移动互联网了，猪在风口都被吹起来了，仅移动互联网行业的职位需求数据基本是其它行业的总和了，其次是电子商务 各种垂直电商，海淘也是这两年发展比较迅速的，互联网金融，15年也确实火 了一把，但是也坑了一把(各种跑路，以及被查)，还有动不动就要颠覆传统行业的O2O 这些都是比较热门的行业，值得关注的两个行业是 企业服务，数据服务这两个行业，随着云计算，与大数据的 概念推出，越来越多的企业也开始进入这两个行业，说不定下一个 风口将从这里开始。

6、 不同融资阶段不同岗位薪水分布

原本想对比，公司处在不同的阶段薪水的差异，结果还是有点出人意料的，同一岗位下 不管处于 初创型 还成长型 对薪水的范围都基本是一致的，也就是说不管公司的资本实力差距多大，对于人才的薪水基本还是和市场水平保持一致的，也证明了 企业如果想减少开支，通过降低薪水一措施是起不到任何作用的，反而会影响优秀的人才进来

7 、不同融资阶段对不同年限人才需求

公司招人 通常是两方面的主因

1 公司创立需要人员研发产品

2 公司业务扩展需要人员支持

所以图中可以看出 初创型的公司与成长型的公司为人才需求的主力军，还有一种情况值得关注那就是上市公司 为什么上市公司会有比较大的人才需求呢？ 因为上市后有了资本的支持后，可以开始扩大自己的战线，以增加公司的市值 为背后的资本家谋取更多的利润相反成熟型的的公司业务基本稳定，在未上市前也没有多余的资本与精力来扩展其它业务，所以对人才的需求相对来说较小

三 、总结

通过对拉钩数据的简单分析，基本可以对我们的行为做出一定的指导，比如 想要高薪 在哪个一线城市的机会更大一点，如果想退到二线城市哪个城市的薪水差异不会与一线城市太大，学哪种语言出来后找工作会更容易一点，什么行业的公司薪水会更高一点这些问题从上面的分析结果中都可以得到。记得阿里巴巴的CTO王坚说过："数据本身是没有价值的，只有进行挖掘，分析后它才会产生价值"，未来数据对生活的影响将会越来越大，人们将真正步入DT时代！

注：

以上所有分析结果经未得到任何求证，只是凭个人想法而得出的结论，本人也非数据分析专业，也只是解决自己所思考的问题。如果您有不同意见，欢迎在评论区阐述，大家一起讨论。

如果您觉得本文让您有所收获，不妨点下赞，为我的付出，给一点点回报

如果您觉得本人也有点意思，不妨点个观注，大家一起谈技术，谈人生！

源码： https://github.com/ZeryZhang/Lagou/tree/Lagou

来源：博客园 作者：Zery

链接：http://www.cnblogs.com/zery/p/5132065.html

1、回复“数据分析师”查看数据分析师系列文章

2、回复“案例”查看大数据案例系列文章

3、回复“征信”查看相关征信的系列文章

4、回复“可视化”查看可视化专题系列文章

5、回复“SPPS”查看SPSS系列文章

6、回复“答案”查看hadoop面试题题目及答案

7、回复“爱情”查看大数据与爱情的故事

8、回复“笑话”查看大数据系列笑话

9、回复“大数据1、大数据2、大数据3、大数据4”查看大数据历史机遇连载

PPV课大数据ID: ppvke123 （长按可复制）

本公众号专注大数据和数据科学领域，分享领域知识和相关技术文章，探索大数据商业价值，培养和挖掘大数据专业人才，欢迎大家关注！