工作这么多年,浪尖一直从事大数据相关的架构设计,计算框架的二次开发,尤其是实时计算框架,最近两年在搞实时数仓和数据分析,浪尖算是跟着大数据生态成长起来的老人了。
最近也跟一些猎头聊过现今招聘现状,结论是怎一个惨字了得。
目前,大数据能做的或者还在折腾的方向基本就是:
1.数仓建设,大都是是 lamda 架构,也即是离线+实时数仓。这也是 lamda 架构演进的第二阶段。
2.通过湖仓一体,来实现离线和实时统一。典型的组合是 flink+hudi,感觉还是 flink 发展带动的,目前问题比较多,比如血缘追踪,数据修正等。需配合一些 olap 框架,如 presto 和 ck。
3.真正能实现离线实时统一的,浪尖觉得也就是 flink+paimon 了,不过 paimon 还在快速成长阶段,在做这块的大家可以都跟一下,但其实绝大多数公司实际不需要的。一些电商的仓储,供应链等场景还需要吧。需配合一些olap 框架,如 presto 和 ck。
4.平台二次开发,中小公司都不会去做,都上云了,大公司也做的差不多了,没啥可做的了😂!框架成熟度比较高了,频繁升级的必要性在降,但成本没降反升。
5.数据开发,主要是 etl,特征抽取,sql 取数 boy 啥的,这类工作可替代性太强薪水上不去的,3-5 年以内的可以搞搞;5 年以上 希望大家远离吧,尽早提升。
6.架构师,这个难又卷看背景吧,主要是饼难画屎难吃啊!
7.运维开发?(´・_・`),累的累死,闲的闲死,难有建树,适合去金融国企类公司养老吧。况且都上云了,能做什么呢?缺口有多大呢?
总之一句话能苟着提升就苟着提升吧,苟不住,自谋出路去吧。
浪尖也希望能谋求一条出路,越老越吃香的出路,后面有机会给大家分享了!
但是有一件事可以确定,不能忘了学习,虽然大多数时候没啥用!但是用到的时候,再去磨刀,总归会错过机会。!