Hadoop 3 的工程意义，不在于“又加了一个版本号”，而在于它同时改写了 HDFS 的冗余成本公式与 YARN 的资源治理粒度。Hadoop 2 时代的三副...

很多人学 HDFS，注意力全在 NameNode 上——它是 Master、是大脑、是命门。可你有没有想过一个问题：一个 10GB 的文件，客户端读取时，Nam...

一个几百台机器的 HDFS 集群，NameNode 宕机了。有人很镇定地说："别急，不是还有个 SecondaryNameNode 吗，它会顶上。"结果集群迟迟...

一个几百台机器的集群，NameNode 一宕机，整个文件系统立刻不可读写——DataNode 明明还在转，为什么谁都找不到数据？HDFS 的命门，为什么偏偏集中...

上一篇我们建立了 HDFS 的整体印象：Block 切分、三副本、主从架构。但不少同学合上文章还是会问：NameNode 到底把元数据放在哪？重启一次为什么那么...

很多人第一次接触 HDFS 时都有同样的困惑：它是个"分布式文件系统"，却不能随便改文件、不支持多线程同时写、还特别怕小文件。这些反直觉的"缺点"，恰恰是理解它...

很多人学完 Hadoop 介绍章，脑子里反而更乱了：HDFS、YARN、MapReduce、Hive、HBase、Zookeeper、Flume、CDH、HDP...

面对 TB、PB 级数据，垂直扩容为什么是死路？Hadoop 用一组普通机器给出了答案。本文从 HDFS、YARN、MapReduce 三大组件出发，讲透 Ha...

九月底，Apache Iceberg 的 dev 邮件列表上挂出一个投票，标题是 [VOTE][SPEC] Forbid writing new equalit...

Hadoop的HDFS除了最基本的上传数据和下载数据的功能以外，还提供了很多高级特性用于方便使用和操作，主要有：回收站、快照、配额管理、安全模式、权限管理，同时...

摘要： Hadoop 集群建设面临资源利用率低、存储成本高、运维复杂等痛点。腾讯云弹性 MapReduce （ EMR ）通过自动伸缩、存算分离、集群联邦等能力...

摘要： 本文对比开源 Hadoop 、商业发行版、云上 EMR 三种大数据平台路线的成本、性能、运维、弹性等维度，帮助企业根据技术团队能力和业务需求选择合适方案...

摘要： 企业构建大数据平台时，需在云原生托管服务与自建 Hadoop 集群之间选择。本文从成本、性能、运维等七个维度对比腾讯云弹性 MapReduce （ EM...

摘要： 企业 IDC 自建 Hadoop 集群面临扩容周期长、运维复杂等挑战。本文介绍 IDC 自建 Hadoop 迁移至腾讯云 EMR 的完整流程，包括网络打...

摘要： CDH/CDP 等国外 Hadoop 发行版面临停更和技术封锁风险，国产化替代成为企业刚需。本文分析 CDH/CDP 的现状与风险，介绍国产化替代的主流...

打通完整的大数据数仓链路：医院数据 → STG → ODS → DWD → DWS → PostgreSQL

打通完整的大数据数仓链路：医院数据 → STG → ODS → DWD → DWS → PostgreSQL

像配置JAVA_HOME一样配置HADOOP_HOME，值为Hadoop安装的根目录

Hadoop的安装和部署是大数据生态圈体系中最麻烦的一个。Hadoop部署完成后，进一步地部署Spark和Flink就非常容易了。Hadoop的部署模式分为本地...