首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >大数据圈还能混吗?

大数据圈还能混吗?

作者头像
Spark学习技巧
发布2023-10-07 15:07:02
发布2023-10-07 15:07:02
3480
举报
文章被收录于专栏:Spark学习技巧Spark学习技巧

工作这么多年,浪尖一直从事大数据相关的架构设计,计算框架的二次开发,尤其是实时计算框架,最近两年在搞实时数仓和数据分析,浪尖算是跟着大数据生态成长起来的老人了。

最近也跟一些猎头聊过现今招聘现状,结论是怎一个惨字了得。

目前,大数据能做的或者还在折腾的方向基本就是:

1.数仓建设,大都是是 lamda 架构,也即是离线+实时数仓。这也是 lamda 架构演进的第二阶段。

2.通过湖仓一体,来实现离线和实时统一。典型的组合是 flink+hudi,感觉还是 flink 发展带动的,目前问题比较多,比如血缘追踪,数据修正等。需配合一些 olap 框架,如 presto 和 ck。

3.真正能实现离线实时统一的,浪尖觉得也就是 flink+paimon 了,不过 paimon 还在快速成长阶段,在做这块的大家可以都跟一下,但其实绝大多数公司实际不需要的。一些电商的仓储,供应链等场景还需要吧。需配合一些olap 框架,如 presto 和 ck。

4.平台二次开发,中小公司都不会去做,都上云了,大公司也做的差不多了,没啥可做的了😂!框架成熟度比较高了,频繁升级的必要性在降,但成本没降反升。

5.数据开发,主要是 etl,特征抽取,sql 取数 boy 啥的,这类工作可替代性太强薪水上不去的,3-5 年以内的可以搞搞;5 年以上 希望大家远离吧,尽早提升。

6.架构师,这个难又卷看背景吧,主要是饼难画屎难吃啊!

7.运维开发?(´・_・`),累的累死,闲的闲死,难有建树,适合去金融国企类公司养老吧。况且都上云了,能做什么呢?缺口有多大呢?

总之一句话能苟着提升就苟着提升吧,苟不住,自谋出路去吧。

浪尖也希望能谋求一条出路,越老越吃香的出路,后面有机会给大家分享了!

但是有一件事可以确定,不能忘了学习,虽然大多数时候没啥用!但是用到的时候,再去磨刀,总归会错过机会。!

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-09-30 06:49,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 浪尖聊大数据 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档