知行教育项目介绍

文章目录

• ​
  • 项目一：大数据数仓项目
  • ​
    • 项目描述：
    • 核心指标有两个：访问客户量和咨询客户量
    • 整体流程：
    • 增量方案优缺点：

项目一：大数据数仓项目

项目名称：知行教育数仓项目

项目架构：

数据源：电咨、线下面授、在线教育等OLTP系统的数据，大多存储于mysql。 数据抽取：使用sqoop实现关系型数据库和大数据集群的双向同步。 数据存储：HDFS 数据清洗：数据的清洗、转换、统计分析等都是使用基于CM管理的Hive来进行的。 数据分析：数据的清洗、转换、统计分析等都是使用基于CM管理的Hive来进行的。 数据同步：使用sqoop实现关系型数据库和大数据集群的双向同步。 OLAP数据服务：采用常用的Mysql数据库。

开发环境：

jdk：Jdk1.8

Scala：2.11.8

CDH6.2.1： zookeeper-3.4.5-cdh6.2.1、hadoop-3.0.0-cdh6.2.1，hive-2.1.1-cdh6.2.1、hue-4.3.0-cdh6.2.1

Sqoop：sqoop-1.4.7-cdh6.2.1

Mysql：5.7

Zeppelin：0.8.0

项目描述：

受互联网+概念的催化，教育市场发展火热，越来越多的教育机构和平台不断涌现，包括有线上学习和线下培训，K12教育和职业教育等，那些注重用户服务、教育质量的平台会最终胜出。目前的企业痛点：
1.数据量大，现有MySQL业务数据库直接读取模式不能满足业务统计性能、效率需要
2.系统多、数据分散，缺少从营销、咨询、报名、教学等等完整业务环节的数据贯通
3.统计分析难度高、工作量大。缺少元数据、数据集合的规范存储，业务部门有数据分析角度需求时，需要程序员、DBA突击查数据、做报表，尤其年底各个部门排队等DBA协助出数据 		如何提高用户服务水平，提高教育质量是每个机构都面临的问题。信息的共享和利用不充分，就导致尽管学校多年的信息化应用积累了大量的数据，但信息孤岛的壁垒一直没有打破，对这些数据无法进一步的挖掘、分析、加工、整理，不能给学校教育、教学、研发、总务等各方面管理决策提供科学、有效的数据支撑。

大数据技术的应用可以从海量的用户行为数据中进行挖掘分析，根据分析结果优化平台的服务质量，最终满足用户的需求。教育大数据分析平台项目就是将大数据技术应用于教育培训领域，为企业经营提供数据支撑： 1.建立集团数据仓库，统一集团数据中心，把分散的业务数据进行预先处理和存储 2.根据业务分析需要，从海量的用户行为数据中进行挖掘分析，定制多维的数据集合，形成数据集市，供各个场景主题使用 3.前端业务数据展示选择和控制，选取合适的前端数据统计、分析结果展示工具

项目需求：

4.在线教育业务需求 4.1访问和咨询用户数据看板 4.2意向用户看板 4.3有效线索看板 44报名用户看板 4.5学生出勤看板

责任描述：

1.参与前期项目分析，设计系统整体架构

2.数据采集设计，实时处理部分设计

3.strom写hbase的实质意义的批量写设计

4.hbase和增量对接方案设计，hbase二级索引，分页方案设计

5.hive数据仓库设计和维护，数据主题的抽取，数据维度分析

数仓介绍：

雪花模型：

当有一个或多个维表没有直接连接到事实表上，而是通过其他维表连接到事实表上时，就像多个雪花连接在一起，故称雪花模型。

看板一介绍：

访问和咨询用户数据看板 客户访问和咨询主题，顾名思义，分析的数据主要是客户的访问数据和咨询数据。但是经过需求调研，这里的访问数据，实际指的是访问的客户量，而不是客户访问量。原始数据来源于咨询系统的mysql业务数据库。

核心指标有两个：访问客户量和咨询客户量

维度包括：年、季度、月、天、小时（天区间内小时段）、地区、来源渠道、搜索来源、会话来源页面、总访问量。

整体流程：

增量方案优缺点：

问题

我们DWS中是包含了年、季度、月等维度的结果数据

由于新增了一天的数据，当前年、当前季度、当前月的结果数据就失效

了

需要重新计算

问题在于：DWS表用的失效数据如何处理。

问题解决方式 方式1

删除过期数据

优点：

对BI友好，没有历史数据的混淆，直接取就是最新的

表中的数据清晰

FROM (SELECT * FROM itcast_ods.web_chat_ems WHERE start_time=’${DATESTR}’) AS w1 INNER JOIN itcast_ods.web_chat_text_ems AS w2 ON w1.id = w2.id;" 6768

缺点：

执行复杂

破坏了数仓设计中尽量不删除的原则

方式2:

增加新列，表名当前数据计算的时间

用的时候，取最新时间的即可

优点：

表中存储了历史结果的变更

不会执行删除，不破坏数仓的原则

缺点：

对BI分析来说，需要先过滤最新的数据（稍微不友好）

修改表结构（全量操作要重来）

方式3：

增加新表

每一天的结果都生成一个表（一天一个表）

优点：

每个表都是清晰的，指向了具体某天的结果

通过多个表的方式也记录的历史结果的变更

缺点：

数据冗余过多（只要业务需要，冗余不是事）

对BI不友好（换一天，换一个表，如果BI不支持动态规则配置自动

变更表，就要手动变更）

看板二：

增量方案优缺点：

拉链表