EMR实时数仓建设实战营
本项目由尚硅谷大数据研究院与腾讯云团队共同合作研发，依托国内电商巨头的真实业务场景，基于各大互联网企业对于腾讯云EMR架构体系的需求，将整个电商的实时数据仓库体系搭建在腾讯云架构上。全方面完成了整个实时数据仓库架构的海量数据采集、存储、计算、可视化展示，将各腾讯云EMR服务组件充分进行联动。通过本项目的学习，学员可以全方位掌握腾讯云的大数据服务组件的使用和调优。
学习中：135人
加入训练营学习群
参营任务
任务完成数：0 / 115
EMR实时数仓建设实战营
结营证书
将获得
任务1
实时数仓教程简介
任务2
需求及架构-简介
任务3
需求及架构-课程目标
任务4
需求及架构-数据仓库概念
任务5
需求及架构-项目需求
任务6
需求及架构-技术选型
任务7
需求及架构-数据流程设计
任务8
需求及架构-框架的版本选型
任务9
需求及架构-服务器选型
任务10
需求及架构-集群规模及集群规划
任务11
需求及架构-电商业务简介
任务12
需求及架构-EMR的购买与启动
任务13
需求及架构-EMR集群简单说明
任务14
需求及架构-使用XShell连接服务
任务15
需求及架构-修改主机映射&配置无密登录
任务16
需求及架构-电商业务数据说明
任务17
需求及架构-上传资料包
任务18
需求及架构-MySQL的安装与启动
任务19
需求及架构-MySQL修改密码&远程访问
任务20
需求及架构-生成业务数据
任务21
需求及架构-Kafka安装
任务22
需求及架构-Kafka配置环境变量&群起
任务23
需求及架构-同步策略&开启MySQL Binlog
任务24
需求及架构-Flink安装
任务25
需求及架构-项目构建
任务26
需求及架构-FlinkCDC代码讲解&本地测试
任务27
需求及架构-FlinkCDC代码远程测试
任务28
实时数仓搭建-课程介绍
任务29
实时数仓搭建-分层框架-ODS&DIM层
任务30
实时数仓搭建-DWD&DWS&ADS层
任务31
实时数仓搭建-架构分析
任务32
实时数仓搭建-准备工作
任务33
实时数仓搭建-具体工作
任务34
实时数仓搭建-HBase部署
任务35
实时数仓搭建-HBase启动&测试
任务36
实时数仓搭建-IDEA代码环境说明
任务37
实时数仓搭建-Phoenix部署
任务38
实时数仓搭建-Phoenix启动
任务39
实时数仓搭建-Redis部署
任务40
实时数仓搭建-Redis启动&测试
任务41
实时数仓搭建-ClickHouse安装&启动&测试
任务42
实时数仓搭建-课程说明
任务43
实时数仓搭建-DIM层-思路分析 1
任务44
实时数仓搭建-DIM层-思路分析 2
任务45
实时数仓搭建-DIM层-思路分析 3
任务46
实时数仓搭建-DIM层-思路整理
任务47
实时数仓搭建-DIM层-消费&过滤&转换数据
任务48
实时数仓搭建-DIM层-配置信息表
任务49
实时数仓搭建-DIM层-读取配置信息&处理成广播流
任务50
实时数仓搭建-DIM层-处理连接流-思路分析
任务51
实时数仓搭建-DIM层-处理连接流-广播流-解析数据
任务52
实时数仓搭建-DIM层-处理连接流-广播流-校验并建表
任务53
实时数仓搭建-DIM层-处理连接流-广播流-写入状态
任务54
实时数仓搭建-DIM层-处理连接流-主流-读取状态&过滤数据
任务55
实时数仓搭建-DIM层-处理连接流-主流-补充字段并写出数据
任务56
实时数仓搭建-DIM层-将数据写出到Phoenix-编码
任务57
实时数仓搭建-DIM层-将数据写出到Phoenix-测试
任务58
实时数仓搭建-DIM层-将数据写出到Phoenix-打包上传集群
任务59
实时数仓搭建-DWD层-用户域用户注册代码讲解
任务60
实时数仓搭建-DWD层-前置知识-WindowJOIN-说明
任务61
实时数仓搭建-DWD层-前置知识-IntervalJOIN-说明
任务62
实时数仓搭建-DWD层-前置知识-IntervalJOIN-编码
任务63
实时数仓搭建-DWD层-前置知识-IntervalJOIN-测试
任务64
实时数仓搭建-DWD层-交易域加购事实表
任务65
实时数仓搭建-DWD层-工具域领券事实表
任务66
实时数仓搭建-DWD层-互动域评价事实表
任务67
实时数仓搭建-DWD层-交易域订单事实表
任务68
实时数仓搭建-DWS层-整体介绍
任务69
实时数仓搭建-DWS层-用户域用户注册基础代码
任务70
实时数仓搭建-DWS层-ClickHouse工具类 1
任务71
实时数仓搭建-DWS层-ClickHouse工具类 2
任务72
实时数仓搭建-DWS层-ClickHouse工具类 3
任务73
实时数仓搭建-DWS层-交易域加购需求基础代码
任务74
实时数仓搭建-DWS层-交易域SKU粒度下单需求前置说明
任务75
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-需求分析 1
任务76
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-需求分析 2
任务77
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-思路整理
任务78
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-JavaBean封装
任务79
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-读取&转换&过滤&分组数据
任务80
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-left join重复数据
任务81
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-分组&开窗&聚合
任务82
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-中间测试
任务83
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表说明
任务84
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-JDBCUtil封装 1
任务85
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-JDBCUtil封装 2
任务86
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-JDBCUtil测试&再封
任务87
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-优化的必要性
任务88
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-旁路缓存-说明
任务89
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-旁路缓存-读写编
任务90
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-旁路缓存-读写测
任务91
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-旁路缓存-删除缓存数据
任务92
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-旁路缓存-删除缓存数据 测试
任务93
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-说明
任务94
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-API说明
任务95
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-线程池工具类
任务96
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-异步函数1
任务97
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-异步函数2
任务98
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-异步函数3
任务99
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-异步函数4
任务100
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-完整测试
任务101
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-测试准备工作
任务102
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-测试完成
任务103
实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联其他维表&写出数据
任务104
实时数仓搭建-可视化展示-课程介绍
任务105
实时数仓搭建-可视化展示-任务介绍
任务106
实时数仓搭建-可视化展示-Sugar基本介绍
任务107
实时数仓搭建-可视化展示-Web项目基本说明
任务108
实时数仓搭建-可视化展示-构建SpringBoot Web模块
任务109
实时数仓搭建-可视化展示-初体验SpringBoot Web模块
任务110
实时数仓搭建-可视化展示-再体验SpringBoot Web模块
任务111
实时数仓搭建-可视化展示-GMV需求-Mapper完成
任务112
实时数仓搭建-可视化展示-GMV需求-Service完成
任务113
实时数仓搭建-可视化展示-GMV需求-Controllrt完成
任务114
实时数仓搭建-可视化展示-GMV需求-接口测试完成
任务115
实时数仓搭建-可视化展示-GMV需求-对接Sugar测试完成
学习资料包
资料包总量：1
EMR全套学习资料
扫码入群获取随堂笔记、资料、代码
腾讯云开发者
