前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >解读 | 数据分析的发展和演变都经过哪几个阶段?

解读 | 数据分析的发展和演变都经过哪几个阶段?

作者头像
CDA数据分析师
发布于 2022-06-28 13:11:09
发布于 2022-06-28 13:11:09
8440
举报
文章被收录于专栏:CDA数据分析师CDA数据分析师

CDA数据分析师 出品

作者: Deepesh Nair

编译: Mika

近年来,我们在信息技术领域取得了巨大进步,在技术生态领域中取得的一系列革命性成果也确实值得称赞。在过去的十年到二十年里,数据和分析一直是非常热门的词汇。因此我们需要明确它们是如何相互关联的,市场中扮演什么角色,以及将如何重塑商业业务。

对于那些已经意识到其潜力的人群来说,科技是一种福音,然而对于那些无法跟上其快速发展的人群来说,这也是一种考验。如今,几乎每个行业都离不开数据分析。

在本文中将总结近年来数据分析的发展和演变,简化各种术语,对一些常见应用场景进行解释。让我们开始吧!

数据分析1.0 → 商业智能需求

这是数据仓库的兴起时期,客户(业务)和生产过程(交易)被集中到巨大的存储库中,如eCDW(企业整合数据仓库)。在对商业现象的客观理解方面取得了真正的进展, 从而让管理者在做出决策时能够基于对事实的理解,而不是仅凭直觉

这个阶段中数据通过ETL和BI工具收集、转换和查询。分析类型主要分为描述性(发生了什么)和诊断性(为什么会发生)。

然而,这个阶段的局限在于数据仅在公司企业内部使用,即商业智能活动只能处理过去发生的事情,而不能对未来趋势进行预测。

数据分析 2.0 →大数据

随着各大企业都纷纷走出舒适区,试图用更广泛的方法进行更复杂的分析时,前一阶段的数据分析局限性变得更加突出。

企业都开始通过外部资源获取信息,比如点击流、社交媒体、互联网等,与此同时对新工具的需求也越发明显。不可避免地,“大数据”一词出现了,为了区分那些纯粹来自公司内部系统的小数据。

在这个阶段,公司希望员工能够通过快速处理引擎帮助处理大量数据。他们没预想到的是,因此应运而生的新兴的群体,即如今所称的“开源社区”将产生巨大的影响力,这也是数据分析 2.0时代的标志。

在社区前所未有的支持下,大数据工程师,Hadoop管理员等角色在就业领域发展壮大,并且对每个IT企业都至关重要。科技公司急于开发新的框架,这些框架不仅能够收集、转化处理大数据,而且还能在集成预测性分析。而且,进一步通过描述性和诊断分析的结果检测趋势、聚类和异常,并预测未来趋势,这也使其成为重要的预测工具。

在今天的技术生态系统中,我个人认为“大数据”这个术语已经被大量使用,甚至滥用。从技术上讲,如今“大数据”指的是所有数据,或者只是指数据。

数据分析 3.0→ 功能强大的数据产品

开创性的大数据公司开始投资数据分析,从而支持面向客户的产品,服务和功能。它们通过更好的搜索算法、购买建议以及针对性广告吸引用户访问其网站,所有这些都是由数据分析所驱动的。大数据现象迅速蔓延,如今不仅是科技公司在通过数据分析开发产品和服务,几乎每个行业的公司都是如此。

另一方面,大数据技术的普及带来了好坏参半的影响。在科技巨头收获大量利润取得成功的同时,大多数企业和非科技公司却因为忽略数据而失败惨重。因此,数据科学领域应运而生,旨在使用科学方法、探索过程、算法等从各种形式的数据中获得知识和分析见解。

实际上,数据科学领域是跨学科的,它被定义为“结合统计、数据分析、机器学习等相关方法的概念”,从而用数据“理解和分析实际现象”。换句话说,良好的数据加上出色的训练模型能够产生更好的预测结果。新一代的量化分析师被称为数据科学家,他们拥有计算和数据分析技能。

科技行业在数据科学的帮助下迅速发展,并充分利用预测性和规范性对未来趋势进行预测。企业间也开启了数据分析的竞争,公司不仅通过改善内部决策等传统方式,而且还在不断开发更有价值的产品和服务。这是数据分析 3.0时期的精髓。

如今数据分析产生了巨大转变。公司正以超乎想象的速度发展,在内部设立更多的研发部门,比如数据科学家、数据工程师、解决方案架构师、首席分析师等人员构成的数据分析团队。

数据分析 4.0 → 自动化功能

主要有四种分析类型:描述,阐述过去; 诊断,利用过去的数据研究现在; 预测,通过基于过去数据的见解来预测未来; 规范,通过模型指导最佳行为。

虽然数据分析3.0包含了上述所有类型,但它强调的是最后一种,并且引入了小规模自动化分析的概念。

通过机器学习创建更多模型,从而让预测变得更加细化和精确。但是,部署这类定制模型的成本和时间是十分昂贵的。最终,通过智能系统实现自动化的数据分析4.0时代到来了。

毫无疑问,人工智能、机器学习、深度学习将带来深刻的影响。机器翻译、智能回复、聊天机器人、会议助理等功能将在未来几年内得到广泛应用。数据挖掘技术、机器学习算法都已取得了大量成果,自动化分析将成为数据分析的新阶段。

数据分析 5.0 → 接下来会是什么

我们可以将自动化理解为,人与智能机器的强强联合,从而实现更好的成果。

与其思考“人类的哪些工作将被机器取代?”我宁愿乐观地考虑,在机器的帮助下,企业能取得哪些新成就?我们该如何在灾难易发地区,通过人工智能程序减少伤亡人数;或者如何在贫困地区建立人工智能驱动的电子学校等。

总而言之,我对数据分析的发展充满自信,关键在于我们能否积极地接受和应对其带来的影响。

原文链接:

https://towardsdatascience.com/the-evolution-of-analytics-with-data-8b9908deadd7

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-05-19,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CDA数据分析师 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
解读 | 数据分析领域七大热门职业
基于这个定义,我们可以进一步得出:数据可以理解为是收集到的任何信息,可以使用、进一步处理和分析以获得见解。而且通常与计算机联系在一起,因为数据通常是在计算机中生成和存储的,然而数据存在的时间比我们想象的要长得多。
CDA数据分析师
2022/04/15
4020
解读 | 数据分析领域七大热门职业
解析大数据分析行业的现状与前景:全球视角下的中国力量
在一个充满数据的时代,大数据分析已经成为推动各行各业发展的核心动力。最近,一位来自其他行业的前辈向我咨询大数据分析行业的从业情况。为了更好地回答他的疑问,我决定写一篇文章,结合全球视角,重点介绍中国大数据分析行业的现状与未来前景。希望通过这篇文章,能够为有志于进入大数据分析领域的朋友们提供一些有价值的见解。
theskylife
2024/07/29
3.1K0
最新数据分析与商业智能趋势前瞻
2019年,​​商业智能​​(BI)解决方案的核心竞争力,仍将取决于其是否具备使手动工作量降到最低的高级分析功能。《商业应用研究中心(BARC)2018商业智能调查》显示,全球BI服务市场预计将发生重大的技术变革。BI用户在2019年可以期待的主要技术举措是​云BI部署​,​移动BI​,​机器学习​和​由深度学习支持的智能分析​,以及​严格的数据隐私和安全法规​。
张哥编程
2024/12/19
2410
最新数据分析与商业智能趋势前瞻
AI时代,谈数据分析时我们要谈些什么?
根据维基百科的定义,数据分析是一类统计方法,其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系,并绘制出统计信息图,以更简洁的解释这些数据中包含的主要信息。其他一些方法用于收集数据,以便弄清哪些是同质数据,从而全面地了解数据。 数据分析可以处理大量数据,并确定这些数据中最有用的部分。
AI科技大本营
2018/10/22
1.4K0
AI时代,谈数据分析时我们要谈些什么?
AI盛行的今天还有必要学习数据分析吗?
在过去十年中,人工智能(AI)技术以令人瞩目的速度发展,正在深刻改变我们的生活和工作方式。无论是自动驾驶汽车、智能家居,还是AI医疗诊断和金融市场预测,AI技术都在各个领域展现出强大的影响力。特别是在中国,AI技术的研究和应用取得了显著进展,政府和企业的高度重视使得中国成为全球AI发展的重要引擎。
theskylife
2024/07/22
3270
数据分析师职业发展白皮书(2015版)第一——三部分
数据分析师职业发展白皮书(2015版) 目 录 一、是技术也是艺术——CDA研究院和业界前沿公司和对数据分析的认识 二、数据分析师职业发展历程 1.国外数据分析行业发展历程 2.国内数据分析师职业发展 三、数据分析师人才行业现状 1.人才模型/岗位划分 2.国内数据分析师人才薪资水平 3.国内数据分析师人才分布 4.国内数据分析师人才需求 四、数据分析师人才职业规划 1.目前人才职业现状 2.数据分析人才学习路径 3.总结 五、CDA数据分析师培训及认证 1.考试简介 2.为什么选择CDA
小莹莹
2018/04/20
1.4K0
数据分析师职业发展白皮书(2015版)第一——三部分
独家 | 商业分析的职业路线-在数据科学世界里规划你的下一个角色
哈佛商业评论(HBR)上的一篇热门文章《数据科学家:21世纪最性感的工作》激励了大量人选择商业分析作为职业发展方向。这篇文章的论点之一就是商业分析领域正在增长的就业趋势。
数据派THU
2018/07/30
1K0
独家 | 商业分析的职业路线-在数据科学世界里规划你的下一个角色
详解:大数据分析的学习之路
  大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。
IT阅读排行榜
2018/08/16
5670
详解:大数据分析的学习之路
干货 | 大数据分析工程师的求职攻略
随着互联网的兴起,人工智能和大数据成为了热门领域,越来越多的企业开始通过对数据的挖掘分析来为商业决策提供建议,在国内市场,人工智能和大数据领域人才出现巨大的缺口。而数据分析师入行需要的技术能力较易,转行/自学性价比极高,成为大数据领域的热门职业。
AI科技评论
2018/12/05
8980
入门选手必备 | 大数据分析学习之路
目录: 大数据分析的五个基本方面 如何选择适合的数据分析工具 如何区分三个大数据热门职业 从菜鸟成为数据科学家的 9步养成方案 从入门到精通—快速学会大数据分析 一、大数据分析的五个基本方面 1.可视化分析 大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。 2.数据挖掘算法 大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格
CDA数据分析师
2018/02/13
8760
2019:商业智能的未来就在这里
本篇文章汇总了国外2018年商业智能领域多份权威报告,将普遍受到认同的核心观点进行梳理,包含AI、移动BI、自助式BI、云部署、数据治理、增强型BI等多个方向,力求为读者呈现清晰的2019年商业智能蓝图。
莫邪
2019/01/15
1.4K0
2019:商业智能的未来就在这里
2017 数据科学届的六大预测!
如今数据给业务增长和利润创造了前所未有的机会。近十年来,随着先进的数据技术和出众的分析工具的出现,使得企业经营者可以从他们的数据资产获得众多利润,但他们中大部分才刚刚涉及到数据潜力的皮毛。数据科学正使得企业能够前所未有的利用其潜力。 McKinsey report 在2013年发布的一份报告中预测,全球商界会在未来十年中面临数据科学专业人员的 严重短缺,尤其是擅长从大量的静态和动态的(实时)数据中获取竞争情报的 “150万名分析师”。 随着这个的预测的成真,企业对数据管理的日益重视以及高等教育机构是使整个
CDA数据分析师
2018/02/26
7050
野蛮增长时代远去,增强分析开启大数据未来
以数据为驱动的模式正备受企业重视,并且逐步从基本的可视化分析,向更高的智能化分析阶段持续进化。这个过程中,人工智能将全面落地在数据分析决策之中。
科技云报道
2022/08/31
4940
野蛮增长时代远去,增强分析开启大数据未来
2018年大数据趋势
物联网(IoT)的扩张已经把数不胜数的大数据新来源添加进了数据管理的版图,它将成为2018年及若干年之后主要的大数据趋势之一。笔记本电脑、智能手机、传感器,都为物联网带来了大量数据。 这是获得竞争优势(或者保持竞争力)的重大机遇,前提是企业足够灵活,可以管理好数据并把数据变成有用的商业智能。随着大数据的增长,企业试图跟上它的脚步,努力把数据变成可用的洞见。商业智能是保持竞争力的关键,而数据分析提供了所需的最新信息。 在2017年,一些企业大力发展他们的大数据可视化服务和软件。这使研究人员可以更有效地收集和协
陆勤_数据人网
2018/02/26
6890
2018年大数据趋势
数据科学、大数据和数据分析之间的区别?
随着技术的进步,数据也在快速增长。最近几年创造的数据比整个人类历史上创造的数据还要多。
派大星的数据屋
2022/04/02
7500
数据科学、大数据和数据分析之间的区别?
2017年关于数据科学六大预言
作者|Paramita Ghosh 选文&校对|寒小阳 翻译|姜范波 今天,数据正在以前所未有的方式创造和促进着企业成长和商业利润。在过去的十年间,先进的数据科技和高级分析工具的出现,已经使商界精英们从他们的数据中收获无数的利益,然而,对大多数人而言,他们只是触及了数据潜能的最表面。数据科学正在开天辟地的让企业成功地撬动这个巨大的潜能。 麦肯锡2013年出版了一份特别的报告,预言全球商业界将会感觉到下一个十年数据科学专业人士的紧缺,尤其是善于从大量静态和动态(实时)数据中发现有价值的情报的数据分析师,缺
大数据文摘
2018/05/25
4040
数据科学、人工智能与机器学习傻傻分不清楚,看这篇就够了
尽管"数据科学"、人工智能 (AI) 和机器学习属于同一领域,彼此相互联系,但是它们也有特定的应用背景和意义。它们有时也会有重叠,但基本上它们都有自己的特定的用途。
deephub
2020/05/09
5.3K0
数据科学、人工智能与机器学习傻傻分不清楚,看这篇就够了
【数据科学】什么? 你还不知道数据科学!?在不了解,就OUT了!!
商僧语 2012年《哈佛商业评论》( Harvard Business Review)把数据科学家誉为“21世纪最性感的职业”。数据科学也日渐成为更多小僧们的追逐的心仪对象。那么如何成为一名高大上,酷拽狂的数据科学家呢?就让商僧带你了解下吧!要想了解数据科学家,我们首先需要知道什么是数据科学,下面我们来看一下有关数据科学的简单介绍。 ■ ■ ■ 概述 数据科学是指用自动化的方法来分析结构化或非结构化的海量数据,并从中提取知识。它是数据挖掘技术和预测分析领域的延续,也被称为知识发现和数据挖掘(KDD)。 “
陆勤_数据人网
2018/02/26
8080
从大数据中「提炼」出商业见解,企业还有很多工作要做
编者按:随着互联网的普及化以及物联网的快速发展,人们产生的数据也越来越多。早几年前,马云就突出了当前是“DT”时代的说法。但数据的多并不代表着就是好事,只有被利用起来的数据才是好事。有人将数据称为是“
小莹莹
2018/04/23
8120
从大数据中「提炼」出商业见解,企业还有很多工作要做
2016 美国大选预测失败意味着什么?14 位专家帮你分析数据科学的未来
本文中一共采访了14位数据科学和预测分析领域的专家。除了表示大数据和预测分析技术将在2017年度得到更大的发展之外,他们普遍提到了通过大数据分析对2016美国总统大选结果预测失败一事,表达了目前预测分
灯塔大数据
2018/04/08
6260
2016 美国大选预测失败意味着什么?14 位专家帮你分析数据科学的未来
推荐阅读
相关推荐
解读 | 数据分析领域七大热门职业
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档