10小时入门大数据

课程大纲

来自慕课教程：https://coding.imooc.com/class/128.html 【获取方式在末尾】

第1章 大数据概述

1-1 导学

1-2 章节安排_

1-3 OOTB镜像文件和虚拟机的使用

1-4 说两则故事说起

1-5 大数据与生活息息相关

1-6 大数据基本概念

1-7 大数据带来的挑战

1-8 如何应对大数据带来的挑战

1-9 -如何学好大数据

第2章 初识Hadoop

2-1 章节安排

2-2 Hadoop概述

2-3 2.03-Hadoop核心组件之HDFS

2-4 2.04-Hadoop核心组件之YARN

2-5 2.05-Hadoop核心组件之MapReduce

2-6 2.06-Hadoop优势

2-7 2.07-Hadoop发展史

2-8 2.08-Hadoop生态系统

2-9 2.09-Hadoop常用发行版及选型

2-10 2.10-Hadoop应用案例

第3章 分布式文件系统HDFS

3-1 -课程目录-

3-2 -普通分布式文件系统的设计思路

3-3 HDFS概述及设计目标

3-4 HDFS架构

3-5 HDFS副本机制

3-6 HDFS副本存放策略

3-7 JDK安装&ssh安装&ssh免密码登陆配置

3-8 HDFS伪分布式环境搭建

3-9 HDFS shell操作

3-10 Java操作HDFS开发环境搭建

3-11 Java API操作HDFS文件系统

3-12 HDFS写数据流程

3-13 HDFS读数据流程

3-14 HDFS文件系统的优缺点

第4章 分布式资源调度YARN

4-1 -课程目录

4-2 -YARN产生背景

4-3 -YARN架构

4-4 -YARN执行流程

4-5 -YARN环境搭建

4-6 -初识提交PI的MapReduce作业到YARN上执行

第5章 分布式计算框架MapReduce

5-1 -课程目录

5-2 -MapReduce概述

5-3 -从WordCount案例说起MapReduce编程模型

5-4 -MapReduce执行流程

5-5 -MapReduce核心概念

5-6 -MapReduce1.x架构

5-7 -MapReduce2.x架构

5-8 -Java版本wordcount功能实现

5-9 -Java版本wordcount功能重构

5-10 -Combiner应用程序开发

5-11 -Partitioner应用程序开发

5-12 JobHistory使用

第6章 Hadoop项目实战

6-1 -课程目录--

6-2 用户行为日志概述

6-3 离线数据处理架构

6-4 项目需求

6-5 功能实现之UserAgent解析类测试

6-6 功能实现之单机本地完成需求统计

6-7 使用MapReduce完成需求统计

6-8 功能扩展思路

第7章 Hadoop分布式集群搭建

7-1 -课程目录

7-2 -分布式环境搭建之环境介绍

7-3 -分布式环境搭建前置配置之ssh免密码登陆

7-4 -分布式环境搭建前置配置之JDK安装

7-5 -分布式环境搭建集群搭建之Hadoop配置及分发

7-6 -分布式环境搭建Hadoop格式化及启停

7-7 -分布式环境HDFS及YARN的使用

7-8 -将Hadoop项目运行在Hadoop集群之上

第8章 Hadoop集成Spring的使用

8-1 -课程目录

8-2 -Spring Hadoop概述

8-3 -Spring Hadoop开发环境搭建及访问HDFS文件系统

8-4 -Spring Hadoop配置文件详解

8-5 -Spring Boot访问HDFS文件系统

8-6 -Spring Hadoop其他

第9章 前沿技术拓展: Spark/Flink/Beam

9-1 -课程目录

9-2 -吐槽MapReduce

9-3 -Spark特点

9-4 -Spark与Hadoop深入对比

9-5 -Spark开发语言及运行模式介绍

9-6 -Scala&Maven安装

9-7 -Spark环境搭建及wordcount案例实现

9-8 -Flink概述

9-9 -使用Flink完成wordcount统计

9-10 -Beam概述

9-11 -将WordCount的Beam程序以多种不同Runner运行

9-12 -课程目录

第10章 Hadoop3.x新特性

10-1 -课程目录

10-2 -Hadoop3.x概述

10-3 -Hadoop3.x新特性之Common改进

10-4 -Hadoop3.x新特性之HDFS改进

10-5 -Hadoop3.x新特性之YARN改进

10-6 -Hadoop3.x新特性之MapReduce改进

10-7 -Hadoop3.x新特性之其他

2

教程截图

每一章的视频都是合成一个视频了

3

更多教程

教程不断整理更新中，以上截图仅供参考，如需了解更多视频教程的详细信息请到如下地址查看：http://hfbin.cn

教程分类说明：http://hfbin.cn/categories/

4

获取方式