搜索
取消

搜索热词

云服务器
机器学习
小程序
Python
云数据库
云开发
运维
登录注册

目录

评价

推荐

云计算分布式框架 Hadoop

107课时
2.2K学过
8分

1. Hadoop开源云计算平台

Hadoop开源云计算平台

Hadoop简介

Hadoop的起源

Hadoop的定义

Hadoop支持的开发语言

Hadoop的组成

Hadoop的族群

Hadoop的核心技术是Google核心技术的开源实现

Hadoop的应用现状和发展趋势

Hadoop的企业应用现状

Hadoop的发展趋势调研

企业规模

公司使用Hadoop的主要用途

Hadoop相关技术

Hadoop的发展趋势

看重Hadoop的哪些优点

学习和使用Hadoop的困难

大数据让Hadoop走得更远

2. Hadoop子项目

Hadoop子项目

Core/Common

Avro

HDFS的体系结构

HDFS的设计目标

HDFS结构模型

文件系统的命名空间NameSpace

数据复制与存放

数据的复制

副本的存放

副本选择

安全模式

文件系统元数据的持久化

HDFS的通讯协议

HDFS的数据组织-数据块

数据块的存放

数据块流水线复制

HDFS的可访问性

采用DFSShell访问HDFS

采用DFSAdmin访问HDFS

采用浏览器访问HDFS

MapReduce的体系架构

MapReduce是一种编程模式

MapReduce主要解决的问题

MapReduce编程模式的核心思想

MapReduce与分布式文件系统HDFS的关系

MapReudece

HDFS的数据管理

HBase的数据管理

Hive的体系架构

Hive的数据管理

元数据存储

数据存储

查询计划

3. 项目1：在Windows上安装与配置Hadoop

在Windows上安装与配置Hadoop

任务1：JDK的安装

环境变量的配置

Cygwin的安装

下载Cygwin

任务2：安装Cygwin

Cygwin的环境变量的配置

sshd服务

安装sshd服务

启动sshd服务

配置ssh和登录ssh

任务3：Hadoop的安装与配置

修改Hadoop-env.sh文件

修改core-site.xml文件

修改hdfs-site.xml文件

修改mapred-site.xml

启动Hadoop

4. 项目2：在Linux上安装与配置Hadoop

在Linux上安装与配置Hadoop

任务1：Ubuntu的安装

获得Ubuntu发行版

硬盘分区方案

创建用户

修改机器名

添加机器名和相应的IP

开启ssh服务

关闭防火墙

任务2：JDK的安装

任务3：Hadoop的安装

Hadoop的配置

5. 项目3：编写MapReduce程序

编写MapReduce程序

任务1：运行Hadoop

任务2：计数实例

任务3：排序实例

实现Map类

实现Reduce类

运行job

分析 main() 函数

任务4：去重实例

运行代码结果

6. 项目4：部署Hadoop Eclipse框架

部署Hadoop Eclipse框架

任务1: Eclipse插件的安装配置

放置 Hadoop-eclipse-plugin-1.0.0.jar 文件

设置Hadoop的安装目录

切换Map/Reduce工作目录

与Hadoop集群建立连接

建立文件夹并上传文件

Hadoopfs-ls命令

任务2：Eclipse运行MapReduce程序

配置Eclipse的JDK

设置Eclipse的编码方式为UTF-8

创建MapReduce项目

创建WordCount类

运行WordCount程序

查看WordCount运行结果

总结

万川梅副教授，资深云计算架构师，全国高校大数据教育联盟理事

主要研究领域：大数据、云计算、人工智能。以项目负责人、主研身份主持或参与大数据、人工智能、云计算等为主题的教育部项目6项、省部级科研项目8项， 校内自然基金重点项目1项，一般项目2项，教学质量工程项目3项目。主持或参与横向项目20多项。出版学术著作8部，其中独著4部，发明专利3项，发表学术论文20多篇。
版权说明：本课程已获课程制作者授权，如有侵权，请联系 DevLab@tencent.com 删除。

课程评价 (0)

请对课程作出评价：
0/300
发表评价

学员评价

暂无精选评价

相关云产品

相关课程推荐

大数据导论
  • 9 课时
  • 1.3K 学过
  • 10 分
金融大数据挖掘与建模导论
  • 9 课时
  • 1.7K 学过
  • 8 分
电商大数据挖掘与建模导论
  • 9 课时
  • 1.2K 学过
  • 8 分
大数据处理套件
  • 1 课时
  • 910 学过
  • 8 分
在线学习中心课程云计算分布式框架 Hadoop
3分钟

HDFS的数据组织-数据块

HDFS支持大容量文件，处理大规模的数据集应用。这些应用都只写入数据一次，但读取一次或多次，并且读取速度应满足流式读取的需要。HDFS支持文件的“一次写入多次读取”，一个典型的数据块大小是64MB。因而，HDFS中的文件总是按照64MB为单位划分成不同的块，每个块尽可能地存储在不同的DataNode中。

上一节: HDFS的通讯协议 下一节: 数据块的存放

Copyright © 2013-2024 Tencent Cloud.All Rights Reserved. 腾讯云 版权所有

直播支持申请