大数据专家总的来说,可以分为两大类:一类叫数据分析师,另一类叫数据工程师。
数据分析师
数据分析师,都是偏业务的,专注于对业务数据的分析,以及业务应用的分析。你听说过的数据分析、数据挖掘、数据建模以及机器学习等等,都是数据分析师常用的术语。他们关注的是选择合适的分析方法、分析模型来探索业务的规律、业务的变化、业务间的相关性,并对业务的未来做出趋势判断(预测)。他们侧重于如何基于数据来找到业务问题的解决方案,用数据来支撑业务决策和商业决策。
数据工程师
数据工程师,都是偏技术的,专注于大数据应用开发,以及大数据系统建设。你听说过的云平台、Hadoop/Spark/Storm等等的概念就是数据工程师常用的术语。他们关注是大数据系统如何建设、如何开发大数据产品、如何做大数据系统运维。
关于要掌握什么知识?(见黑色字体)
1)数据分析师,要求熟悉数据分析过程,掌握数据分析方法,理解数据分析模型,熟练操作数据分析工具(比如Excel、SPSS、SAS等);当分析工具无法满足你的分析需求的时候,你还可能需要掌握类似Python和R等脚本分析语言,以实现自定义的自动化的分析流程。当然,最重要的是要熟悉业务逻辑和业务模型,从而掌握数据分析思路,能将数据进行可视化,能够对分析结果进行正确的业务数据解读,等等。
2)数据工程师,最基础的要求熟悉程序开发语言和系统设计(比如JAVA等),然后掌握大数据系统架构(Hadoop/Spark等),懂大数据平台运维,等等。
当然,如果要继续进一步细分岗位,你要学的东西也会有不同的侧重点。
一般来说,数据分析师都是偏业务的,就是常说的“三分技术,七分业务”。
当然,狭义地说,如果你说的是数据分析师中偏技术的,指的是在数据分析师中偏技术的,也可以理解为数据建模师、算法师,那么你要掌握的技术就是懂Python或R语言,能够自行设计算法和分析模型,并使用python语言来实现(此时,肯定没有现成的分析工具供你使用的)。
详细的请看我以前写的文章《大数据专家职位体系》
当前大数据职位,从总的来说,主要有两大类:
一类是应用类,另一类是系统类。
应用类
应用类,偏向于数据分析和数据应用,经常说到的数据分析、数据挖掘,就是典型的应用技术。这一类职位,要求采用适当的分析和挖掘方法对数据进行分析,提取数据中隐含的业务信息,来支撑企业决策。
最典型的职位就是:大数据分析师。
大数据分析师
大数据分析师,主要是指,基于业务问题,能够选择最合适的数据分析和数据挖掘方法,提取数据中的业务信息,从而支撑业务决策。要求熟悉数据分析/挖掘过程,掌握数据分析/挖掘方法,理解数据分析模型,熟练操作数据分析工具(比如Excel、SPSS、SAS等)。一般对于大数据分析师,其能力要求比较全面,不管是业务逻辑、还是分析方法、模型、可视化,都要求全面掌握。
业务数据分析师
业务数据分析师:侧重于商业理解,要求能够将业务问题和商业问题,转化为大数据的问题,并将分析结果从业务层面进行解读,从而形成业务建议和业务策略。要求熟悉业务逻辑和业务模型,掌握数据分析思路,能将数据可视化,对数据解读等。当然,类似的职位还有大数据观察员、大数据研究员等等,这些都侧重于商业理解。
大数据建模师
大数据建模师:侧重于数据建模,能够围绕业务问题,构建合适的数据分析框架和分析模型,将业务问题进行分解,从而达到定性或定量来描述业务的目的。要求熟悉数据建模、模型评估、模型优化、模型应用等等。
大数据算法师
大数据算法师:侧重于数据模型的实现算法研究、设计与实现,为达到分析目的,对实现算法进行分析、选择与优化,确保实现性能及效果。一般情况下,算法师往往和建模师在一起工作。
系统类
系统类,偏向于系统研发,比如Hadoop系统、云计算,就属于系统类技术。这一类职位,要求熟悉Hadoop大数据平台的核心框架和组件,能够基于大数据平台来写代码开发应用,支撑业务应用。
最典型的职位就是:大数据工程师。
大数据开发工程师
大数据开发工程师:负责大数据系统的开发工作,能够运用编程语言进行应用程序的开发、测试和维护,实现产品功能。要求掌握编程语言,如JAVA、R、Python等等。
大数据架构师
大数据架构师:负责大数据系统的平台架构设计、平台构建。要求熟悉Hadoop/Storm/Spark等平台,熟悉整个生态系统的组件,有平台级开发和架构设计能力等等。
大数据运维工程师
大数据运维工程师:侧重于大数据平台运维管理,包括系统运维规划、系统监控、系统优化等等,保障大数据平台服务的稳定性和可用性。掌握平台各组件的安装、配置与调试,有良好的系统性能优化及故障排除能力。
大数据库管理员
大数据库管理员:侧重于数据库/数据倒仓库的设计、开发、管理和优化,监控数据库的性能、故障检测和排除,包括数据采集,数据库架构设计,空间和容量规划,性能优化,数据安全和隐私,数据容错,等等。
当然,在不同的企业中,职位的名称和叫法有所不同,或者会衍生出新的职位,但基本的岗位职责是类似的。
领取专属 10元无门槛券
私享最新 技术干货