天下武功唯快不破：从敏捷数据到敏捷数据分析

敏捷，指反应（多指动作或言行）迅速快捷。敏捷和技术结合往往具有快速、简单、迭代的特点。如大家听说的敏捷开发就是指：以用户的需求进化为核心，采用迭代、循序渐进的方法进行软件开发。

数据库(DBA)与敏捷

早在2006年，加拿大作者艾姆布勒在其《敏捷数据》中就提出了“敏捷DBA”的开发过程。作者探索了有机结合数据和对象的开发方法，将敏捷方法拓展到了应用程序开发的一个关键领域—数据库，阐述了数据架构设计师、数据库管理员掌握敏捷方法进行面向数据开发的必要性。

数据湖与敏捷

2011年数据湖出现了，数据湖指一个大型的基于对象的存储库，以数据的原始格式保存数据，主流的数据湖都是基于Hadoop为基础的技术栈上开发的。

数据湖可以保存结构化、半结构化和非结构化等各种类型的数据，而传统的数据库和数据仓库只保存结构化数据。数据仓库敏捷性差，采用固定配置，而数据湖高度敏捷，并且可在需要时进行配置和重置。

BI与敏捷

2013年，大数据时代来了，企业的经营面临越来越激烈的竞争，政府的转型也面临数据服务的压力，如果部署数据分析平台还像10年前经历漫长实施过程的话，那么数据化运营将成为空谈。于是满足市场期望的“敏捷BI“出现了，无论用户还是厂商，都希望能够在数据平台上构建分析系统的过程变得更加迅速、简单和高效!

“敏捷BI是贯穿在数据分析平台构建和运行过程中的快速实现能力。---维基百科”

传统 BI

在对大数据进行分析的过程中，传统BI 的做法是，IT 人员事先根据分析需求来进行建模（以及做二次表或打Cube），提前汇总好数据，业务人员在前端查看分析结果报表。

这种做法很成熟，持续了很多年，但是也存在着一些问题。

业务人员查看的报表相对静态，分析的维度和度量的计算方式已在建模时预先设定好，不能更改，比如定好了是求和或求平均数，想改成求方差必须回去修改模型。

分析需求变更时，业务人员不能直接调整报表，需要 IT 人员重新建模或修改已有分析模型，耗时较长，响应速度较久。

造成这些的问题的本质原因是，过去的技术架构针对海量数据的计算能力不足，需通过建模、二次表、Cube 提前进行数据运算汇总。

敏捷 BI

随着技术的发展和演进，BI 领域已经迎来了新一代敏捷 BI 的革新。

与传统 BI 的重量建模、统一视图不同，敏捷BI 采取轻量建模、N 个视图的方法，数据连进来直接可以进行分析，并且业务人员可以实时调整分析的维度和度量的计算方式，极大增加灵活性，真正做到和数据对话。

敏捷BI 的分析报告能让非 IT 部门的同事直接在分析平台上做出来，需求变更可以在一天之内响应，提升企业的洞察力决策力。

敏捷BI 的数据展现是起点，而不是终点。看到了数据，能交互式分析，能深入向下挖掘，能发现问题找到答案。

敏捷 BI 可以通过更低的成本、更短的上线周期，快速让企业洞察到数据的含义和价值。

敏捷BI工具

国外知名的Garnter关于敏捷商业智能产品报告中，位于第一象限的敏捷商业智能产品有QlikView,Tableau和SpotView，对传统商业智能产品巨头形成了挑战。国内BI产品起步较晚，知名的敏捷型商业智能产品有PowerBI,永洪科技的Z-Suite，SmartBI等。

数据分析与敏捷

随着敏捷概念的深入人心，数据分析方法论也发生了革新，敏捷数据分析逐渐进入主流视野。

传统数据分析与敏捷数据分析

我们先来看一下传统的数据分析流程：

解读业务战略目标–>确定KPI或者根据特征工程确定所需字段–>确定所需字段来自于哪些数据库的哪些表–>数据建模–>预先汇总成二次表和Cube–>结果展示。由于需要建模和打CUBE，这一流程通常需数月才能完成。

敏捷数据分析不必在开始时花很长的时间构思大而全的分析指标体系，而是低成本快速进行数据探索，几分钟就做好一个分析结果，通过敏捷数据分析工具实现动态切换视角，灵活展示数据，日积月累，指标自然越来越丰富，计算公式也越来越符合业务逻辑，这时再体系化。

敏捷数据分析过程

敏捷数据分析几乎不需要专职的数据分析师，也不需要开发工程师介入。借助于敏捷数据分析工具，运营、市场、销售部门的工作人员可自助完成从取数到分析到报告制作的完整过程，从而大幅度降低企业对专业技术人员的依赖。

■获取数据

借助于元数据和敏捷数据分析工具，普通操作员可以在权限许可范围内直接获取元数据，而无需开发人员介入。

■制作报表

企业有大量的制作报表需求，而且往往要得快、要得急。目前大多数敏捷数据分析工具都提供上百种以上的可视化效果可供选择。

■探索分析

需求方往往只给出了模糊范围或者方向，需要通过数据探索给出数据分析的方向。敏捷数据分析采用迭代式分析过程，通过“输入-回应-反馈-输入”闭环过程，能根据实际需求快速迭代数据分析结果，并实时响应客户不断变化的需求，最终将原型转化为生产系统。

■编制报告

无论是需求清晰的报表需求，还是从探索分析而确定的分析图表，制作报告的过程都是操作者最为苦恼的经历(没有例外)。借助于可视化工具，普通操作人员创建惊艳而实用的交互式报告。

■发布

敏捷数据分析工具可以发布并快速分享报告，发布到云端，在浏览器或手机APP中浏览报告及仪表板。

数据科学的本质是迭代，就好比婴儿的学习一样，输入-回应-反馈-输入，持续训练和学习才会产生智力，真正的敏捷数据分析也是一样的道理。

敏捷数据分析的意义和价值

对于数据平台实施来说，漫长的交付周期能够缩短50%，主要精力放在数据模型、安全体系、元数据服务等基础工作上就可以了；

IT部门更加专注于技术的创新与应用，可以更加投入在元数据的维护与管理上，提升分析平台的服务效率;

数据产生于业务部门，现在也可以回归于业务部门进行分析利用，从而实现信息化的真正闭环，推动数据质量、数据完整性的建设。

对企业来说，数据不再是搁置在硬盘上的1-0，而是能够驱动全面决策的数据资产。

敏捷数据分析工具

目前BI的概念已经逐渐被大数据所取代，而敏捷BI也被敏捷数据分析所替代。几乎所有的BI公司都在往大数据服务公司转型，PowerBI、Tableau等工具通过版本迭代正成为敏捷数据分析的利器。

总结：

敏捷数据分析侧重于通过可视化和自动化工具对数据进行处理和分析，这些工具涵盖了数据分析的各个阶段。

敏捷数据分析在快速迭代、快速反馈、自适应闭环验证优化过程中，让客户逐步完成数据分析和管理思维变革，并提升业务能力和获得数据价值。

在浩瀚的数据海洋中，不要被数据淹没，而是利用工具驾驭舟舰，在数据中乘风破浪。在强大复杂的技术工具面前，不是陷入技术和工具，而是驾驭工具，始终关注商务重点。

END.