端口开放问题 关闭防火墙systemctl stop firewalld，并在服务器开放以下端口：
HBase 的全称是 Hadoop Database，是一个分布式的，可扩展，面向列簇的数据库。HDFS 为 Hbase 提供了可靠的底层数据存储服务，Zookeeper 为 Hbase 元数据管理和协调服务，Hbase 是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案。HBase 的原型是谷歌的分布式存储系统 BigTable，是谷歌 BigTable 的开源实现。
Apache Phoenix 是 HBase 的 SQL 驱动。Phoenix 使得 HBase 支持通过 JDBC 的方式进行访问，并将你的 SQL 查询转成 HBase 的扫描和相应的动作。
这是一个信息爆炸的时代。经过数十年的积累，很多企业都聚集了大量的数据。这些数据也是企业的核心财富之一，怎样从累积的数据里寻找价值，变废为宝炼数成金成为当务之急。但数据增长的速度往往比cpu和内存性能增长的速度还要快得多。要处理海量数据，如果求助于昂贵的专用主机甚至超级计算机，成本无疑很高，有时即使是保存数据，也需要面对高成本的问题，因为具有海量数据容量的存储设备，价格往往也是天文数字。成本和IT能力成为了海量数据分析的主要瓶颈。
hadoop是 Doug Cutting 在 Lucene 之后的一个项目 主要用于 计算 是一个 开源，可靠，可扩展 的分布式计算框架 主要有
2、修改 /etc/sysconfig/network-scripts/ifcfg-ens33 文件
Hadoop 从 2.x 开始，逐渐演变成：HDFS，YARN，MapReduce 三大应用模块，这三个应用模块分别的能力和作用是：
大家都听说过Hadoop，本身这个单词没有意义，是一个外国小孩给自己的玩具大象命名的名字，目前一提到大数据基本把它作为大数据的代名词。大数据家族是一个生态。作为hadoop框架的开篇，介绍hadoop常见的家族成员的产生的背景及应用的场景，会让大家更不便于理解大数据家族。hadoop家族成员概貌如下图：
例如淘宝的交易历史记录。数据量巨大无容置疑，面向普通用户的请求必然要即时响应。
Kafka实时记录从数据采集工具Flume或业务系统实时接口收集数据，并作为消息缓冲组件为上游实时计算框架提供可靠数据支撑，Spark 1.3版本后支持两种整合Kafka机制（Receiver-based Approach 和 Direct Approach），具体细节请参考文章最后官方文档链接，数据存储使用HBase
测试机 三个节点 hadoop1 hadoop2 hadoop3 这三个节点 安装了独立的zookeeper 且我其他hadoop hbase等元数据信息都在上面 我不用Kafka自带的 zookeeper
Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：
JAVA相关 1-1）List 与set 的区别？ 老掉牙的问题了，还在这里老生常谈：List特点：元素有放入顺序，元素可重复 ，Set特点：元素无放入顺序，元素不可重复。 1-2）数据库的三大范式？ 原子性、一致性、唯一性 1-3）java 的io类的图解 1-4）对象与引用对象的区别 对象就是好没有初始化的对象，引用对象即使对这个对象进行了初始化，这个初始化可以使自己的直接new的也可以是直接其他的赋值的，那么背new或者背其他赋值的我们叫做是引用对象，最大的区别于 1-5）谈谈你对反射机制的理解及其
来小米实习快两个月了，分配的一个大任务就是调研Slider，下面我简单的描述下Apache下的孵化项目Slider吧
原文地址：http://www.aboutyun.com/thread-9581-1-1.html **笔试类型： ** 1、 java基础类： 2、 linux基础： **面试问答： **1、讲项目经验： 问的很细，给纸，笔，让画公司hadoop的项目架构,说几条业务数据，然后经过平台后，出来成什么样子； 2、java方面： io输入输出流里有哪些常用的类，还有webService,线程相关的知识； 3、linux： 问到jps命令，kill命令，问awk,sed是干什么用的、还有hadoo
1、在docker中安装CentOS镜像，并启动centos容器，安装ssh。--详见"docker上安装centos镜像"一文。
桥接模式 & service network start & ip addr & ping www.baidu.com
3台主机：1个master、2个slaver/worker ip地址使用docker默认的分配地址：
时代在变迁，市场在变化，周边的软硬件环境也突飞猛进般的发展，同时企业的业务需求也不断升级，从规模到成本都有较高的要求，这刺激Hadoop生态圈的变革。据AMR研究显示，到2020年Hadoop将拥有502亿美元市场。如此多金诱惑下，各大解决方案提供商对Hadoop生态圈的发力可谓是越来越快，顺应潮流，Hadoop生态圈也更为完善和成熟，更是划分出了子生态圈如Spark。正是在这样一个背景下，Hadoop的顺利度过了2014年。2014业内哪些事情值得关注1）大数据解决方案提供商hortonworks上市。大
至此hadoop1和hadoop2已经启用了namenode的高可用特性，其通过zk自动选举。具体如下图所示：
https://www.cnblogs.com/hongten/p/hongten_hadoop_hbase.html
我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群
参照Apache的官方文档，Hadoop2还是蛮好搭建的，但是搭建好后，MapReduce的JobHistory页面却没法进去，这是因为JobHistory没有配置正确或者服务没有启动起来。本文将梳理伪分布模式的搭建过程，并给出配置文档，让你不再为搭建这些过程烦恼。
随着两会中间央视新闻天天说大数据，很多人纷纷开始关注大数据和Hadoop以及数据挖掘和数据可视化了，我现在创业，遇到很多传统数据行业往Hadoop上面去转型的公司和个人，提了很多问题，大多数问题还都是差不多的。所以我想整理一些，也可能是很多人都关注的问题。
文|Slaytanic 随着两会中间央视新闻天天说大数据，很多人纷纷开始关注大数据和Hadoop以及数据挖掘和数据可视化了，我现在创业，遇到很多传统数据行业往Hadoop上面去转型的公司和个人，提了很多问题，大多数问题还都是差不多的。所以我想整理一些，也可能是很多人都关注的问题。 关于Hadoop版本的选择？ 目前为止，作为半只脚迈进Hadoop大门的人，我建议大家还是选择Hadoop 1.x用。可能很多人会说，Hadoop都出到2.4，为啥还用1.x呢，说这话一听就没玩过hadoop。 理由一： Hado
Hadoop起源：hadoop的创始者是Doug Cutting，起源于Nutch项目，该项目是作者尝试构建的一个开源的Web搜索引擎。起初该项目遇到了阻碍，因为始终无法将计算分配给多台计算机。谷歌发表的关于GFS和MapReduce相关的论文给了作者启发，最终让Nutch可以在多台计算机上稳定的运行;后来雅虎对这项技术产生了很大的兴趣，并组建了团队开发，从Nutch中剥离出分布式计算模块命名为“Hadoop”。最终Hadoop在雅虎的帮助下能够真正的处理海量的Web数据。
/24的意思是，子网掩码255.255.255.0 @后面的ip为Docker容器宿主机的网关
3 复制hive-default.xml.template，得到一份hive-site.xml
根据文章内容，总结为：本文主要介绍了如何从零开始搭建一个Hadoop集群，包括安装、配置、集群部署等步骤，并提供了可能出现的问题和解决方法。同时，本文还介绍了如何格式化节点，以及使用Hadoop进行集群部署的一些常见问题和解决方法。
以下资料来源于互联网，很多都是面试者们去面试的时候遇到的问题，我对其中有的问题做了稍许的修改了回答了部分空白的问题，其中里面有些考题出的的确不是很好，但是也不乏有很好的题目，这些都是基于真实的面试来的，希望对即将去面试或向继续学习hadoop，大数据等的朋友有帮助！
Hadoop由Apache基金会开源，是一个分布式的储存与计算平台。目前Hadoop已经更新到了3.x以上的版本，相比于Hadoop2.x，Hadoop3增加了更多便于开发的新特性。
大数据生态发展数年，各种组件版本迭代升级在所难免。组件之间、不同版本之间的适配整合升级，尤为重要。本文主要讲述当前火热的数据湖方案Spark+Hadoop+Hudi+Hive的适配整合案例总结。详细的组件版本信息如下：
hadoop 百度网盘：https://pan.baidu.com/s/1S9Sqwl3UN9cq2-dSdBGKRQ 提取码ca8s
(2)Hadoop通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可以方便地扩展到数以千计的节点中，具有高扩展性。
前几天写了文章“Hadoop 集群搭建”之后，一个朋友留言说希望介绍下如何使用Docker部署，这个建议很好，Docker不仅在生产环境威力巨大，对于我们在自己电脑中搭建学习实验环境更是非常便利 搭建一个集群环境时需要多台服务器，对于我们个人，这通常是个门槛，需要使用虚拟机，安装操作系统，然后运行起来多个虚机 安装操作系统是个不太轻松的任务，并且运行多个虚机对个人电脑性能也有一定要求，这些门槛影响了很多小伙伴的实践积极性 使用Docker的话就简单了，不用安装操作系统，直接下载一个镜像，如centos，这样
本文转自张子良的博客Hadoop develop，张子良，金融大数据专家，提供大数据方案咨询，技术咨询和企业内训。 第一章 大数据和Hadoop生态圈 本章主要内容： 理解大数据的挑战 了解Hadoop生态圈 了解Hadoop发行版 使用基于Hadoop的企业级应用 你可能听别人说过，我们生活在“大数据”的环境中。技术驱动着当今世界的发展，计算能力飞速增长，电子设备越来越普遍，因特网越来越容易接入，与此同时，比以往任何时候都多的数据正在被传输和收集。 企业正在以惊人的速度产生数据。仅Facebook
非常感谢Hadoop专业解决方案群：313702010，兄弟们的大力支持，在此说一声辛苦了，经过两周的努力，已经有啦初步的成果，目前第1章 大数据和Hadoop生态圈小组已经翻译完成，在此对：译者：贾艳成 QQ：496830205 表示感谢。
摘要：本文记录了Hadoop2.2.0版本多节点集群安装过程，并做了基本配置，启动运行和测试了一个单词统计例子。
自从Hadoop2出现之后，其迅速取代了Hadoop1的地位，并丰富了Hadoop的应用场景。如果现在有公司使用Hadoop的话，往往直接采用Hadoop2了。
随着科技的发展，我们在网上留下的数据越来越多，大到网上购物、商品交易，小到浏览网页、微信聊天、手机自动记录日常行程等，可以说，在如今的生活里，只要你还在，你就会每时每刻产生数据，但是这些数据能称为大数据么？不，这些还不能称为大数据。那么大数据数据到底是什么呢？
问题导读 1.你认为Hadoop集群的搭建有什么共同点？ 2.低版本升级高版本，你是如何操作的？ Hadoop集群的搭建除了Hadoop1与Hadoop2的集群搭建有所区别之外，Hadoop2集群的搭建大部分都是相似的。 1.需要安装ssh，达到无密码互通 无密码互通，很多这里都遇到了问题，这里提供两篇帖子。 linux（ubuntu）无密码互通、相互登录高可靠文档 CentOS6.4之图解SSH无验证双向登陆配置 2.修改hostname hostname有临时修改于永久修改，详细见
2、Hadoop通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可以方便地扩展到数以千计的节点中，具有高扩展性。
1）使用 MySQL 登录客户端后，可以使用 sql 命令查看 FE 状态，目前就一台 FE
hadoop集群配置 1.多台机器ssh免密配置 修改用户名 # 1.更改hostname hostnamectl --static set-hostname <主机名> scp传输文件 scp <文件路径> <目标账号@地址>: 目标路径 scp /etc/hosts root@hadoop2: /etc/ ssh免密登录 # 配置公钥 ssh-keygen # 配置免密登录 ssh-copy-id <目标ip> 2. 多台主机时间核对 所有机器安装ntp yum -y
本文以/data/elasticsearch目录为es的数据存储目录，所以需要先创建此文件夹
关闭防火墙： systemctl stop firewalld systemctl disable firewalld
Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，通过Flume将日志写入到Hadoop的HDFS中。
NameNode其实是Hadoop的一个目录服务，它包含着整个集群存储的文件的元数据。
Apache Spark 是用于大规模数据处理的统一分析引擎，它提供了 Java、Scala、Python 和 R 语言的高级 API，以及一个支持通用的执行图计算的优化引擎。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
