在网易集团内部有大大小小几百套 hive 集群，为了满足网易猛犸大数据平台的元数据统一管理的需求，我们需要将多个分别独立的 hive 集群的元数据信息进行合并，但是不需要移动 HDFS 中的数据文件，比如可以将 hive2、hive3、hive4 的元数据全部合并到 hive1 的元数据 Mysql 中，然后就可以在 hive1 中处理 hive2、hive3、hive4 中的数据。
这次迁移算是TBDS集群的第一次完整迁移案例，包括用户的业务数据，平台应用，从项目启动到最后完成迁移差不多耗费了1个月的时间。
如果你是一名数据分析师，或者是一位经常和 SQL 打交道的研发工程师，那么 OLAP这个词对你一定不陌生。你或许听说过 OLAP、OLTP 技术，但是今天文章的主角OLAP 是由云技术平台提供的一款分布式数据分析服务，下面先简单介绍一下它。
较早的Hive版本，不会在MetaStore中写入版本号。所以升级到新版本之后，会报错：
“ 本文介绍在云端kylin数据迁移的实现方案以及在迁移过程中的遇到哪些问题,并给出了问题解决方案.本次迁移中涉及到的hbase cube表1600+,model数量80+,project 10+”
考虑到多数场景是迁移整个Hive数据库，该篇文章只介绍迁移的第二种，即元数据及Hive数据全量迁移。
对于Hive迁移到CDP平台，如果源平台为CDH且具有Cloudera的使用许可证，则可以通过CDP提供的Replication Manager轻松将Hive迁移到CDP平台中；如果源平台不是CDH或者没有Cloudera的许可证，则可以使用本文提供的方法进行迁移。
2022年，搜狐智能媒体完成了迁移腾讯云的弹性计算项目，其中大数据业务整体都迁移了腾讯云，上云之后的整体服务性能、成本控制、运维效率等方面都取得了不错的效果，达到了预期的降本增效目标。
随着Hadoop 3.X 版本的发展，Hadoop 2.X 版本即将淘汰。我们当前面临着集群升级的问题，在升级过程中，即使使用迁移升级方式工作量非常大，但毫无疑问最稳妥的升级办法。在迁移的过程中，我们首先面对的就是本地的HDFS数据迁移和Hive 表数据迁移，本文主要讲述如何迁移HDP2.4.2 Hive 表和数据到CDP 7.1.1中。
JuiceFS 是一个基于对象存储的分布式文件系统，在之前跟对象存储比较的文章中已经介绍了 JuiceFS 能够保证数据的强一致性和极高的读写性能，因此完全可以用来替代 HDFS。但是数据平台整体迁移通常是一个费时费力的大工程，需要做到迁移超大规模数据的同时尽量不影响上层业务。下面将会介绍如何通过 JuiceFS 的迁移工具来实现平滑迁移 HDFS 中的海量数据到 JuiceFS。
上一篇文章已经为大家介绍了 Hive 在用户画像的标签数据存储中的具体应用场景，本篇我们来谈谈MySQL的使用！
一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。
在做数据导出之前，我们看一下已经完成的操作：数据分析阶段将指标统计完成，也将统计完成的指标放到Hive数据表中，并且指标数据存储到HDFS分布式文件存储系统。
使用 BDR/Replication Manager 将加密数据迁移到CDP PvC Base。
Sqoop 数据迁移 Sqoop 底层还是运行在MapReduce上，通过Yarn进行调度的，只是Sqoop在做数据迁移过程中，只用到了MapTask，没有用到ReduceTask。 Sqoop 是一个数据迁移工具，可以理解为客户端程序，提供HDFS/Hive/HBase 到 RDS(Oracle,Postgrel,MySql等) 数据的导入导出 Sqoop 需要配置到HDFS端，Sqoop从HDFS/Hive/HBase 导出到 RDB时，需要预先 对RDB进行表结构定义，从RDB导出到Hive/HDFS/HBase时不需要对HBase进行表结构定义，对Hive的定义需要指定分隔符等参数. Sqoop需要指定 Hadopp-Home.xml ，MapReduce-HOME.xml,JAVA-HOME 等系统环境变量 类型类型包含 Export，Import Sqoop 在做数据迁移之前，最好测试下 数据连接是否正常，如果运行不正常，方便进行问题定位。 Sqoop 需要参数配置文件 ***.xml, 如果从 RDB 导出数据到 HDFS 指定 RDB驱动，路径，用户名，密码，库及表等信息 如果为 HDFS 需要执行 HDFS 路径，与Hive数据类似 如果为HBase，则需要指定库信息，路径等 如果从 HDFS/Hive/HBase 到RDB时， 指定HDFS，需要指定路径，分割幅等信息，Hive类似 RDB需要指定 驱动名，URL，User，Pwd,库及表
一、业务背景： 业务方需要搭建一套hbase集群，数据来源是hive表。 集群数据规模：每天4.5kw个key，420亿条左右数据，平均每个key每天1000个记录。每天总数据量1.2T左右，3备份需要存储2年约2.5P。 为响应公司业务上云，通过腾讯云上EMR搭建hbase集群。hive集群是在IDC机房，和普通集群迁移相比，这涉及到跨机房、跨集群的数据迁移，以及hive表数据到hbase集群数据的转换。 二、技术方案步骤 1、IDC机房与EMR网络的联通性验证
过去几年，数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时，二者之间的边界也逐渐淡化。云原生的新一代数据架构不再遵循数据湖或数据仓库的单一经典架构，而是在一定程度上结合二者的优势重新构建。在云厂商和开源技术方案的共同推动之下，2021 年我们将会看到更多“湖仓一体”的实际落地案例。InfoQ 希望通过选题的方式对数据湖和数仓融合架构在不同企业的落地情况、实践过程、改进优化方案等内容进行呈现。本文将分享同程艺龙将 Flink 与 Iceberg 深度集成的落地经验和思考。
本文将深入探讨Sqoop的使用方法、优化技巧，以及面试必备知识点与常见问题解析，助你在面试中展现出深厚的Sqoop技术功底。
在数据处理和数据仓库建设中，常常会用到Hive进行数据存储和查询。然而，有时候我们需要将Hive中的表结构迁移到其他关系型数据库，比如MySQL。本文将介绍如何将Hive中的建表语句转换为MySQL中的建表语句，方便数据迁移和数据同步。
目前我们的大数据系统里，主要承接的业务是部门内的一些业务日志数据的统计、分析等，比如网关日志数据，服务器监控数据，k8s容器的相关日志数据，app的打点日志等。主要的流任务是flink任务是消费kafka的数据，经过各种处理之后通过flink sql或者flink jar实时写入hive，由于业务对数据的实时性要求比较高，希望数据能尽快的展示出来，所以我们很多的flink任务的checkpoint设置为1分钟，而数据格式采用的是orc格式，所以不可避免的出现了一个在大数据处理领域非常常见但是很麻烦的问题，即hdfs小文件问题。
HBase： NoSQL数据库，基于HDFS的分布式数据库，理论上支持无限横向扩展， HBase由HMaster与RegionServer组成，HMaster负责协调调度RegionServer进行数据处理，RegionServer负责数据的增删改查操作，RegionServer由多台分布在DataNode的组成，可以有多个。由HMaster负责RegionServer的调度情况，当RegionServer出现异常情况，HMaster进行对MetaRegionServer中的元数据进行更新管理。 当HBase中表的数据不断变大时，表中数据会进行Region分区，分为Region1，Region2...等,RegionServer1负责Region1,RegionServer2负责Region2等；每个RegionServer负责哪个Region的数据区由MetaRegionServer管理，MetaRegionServer运行在多个RegionServer中的任意一个。 HBase数据存储在HDFS上的存储也是按照层级来管理的，不同的库对应不同的目录，库下不同的表亦对应不同的目录，表下不同的Region对应不同的目录，Region下存放这HBase上的数据，HBase的数据是经过特殊处理的，所以直接看不到数据内容 HMaster支持HA高可用，所以在HBase集群对应的HMaster和RegionServer都启动后，在其他的RegonServer上启动HMaster，则该HMaster为StandBy，第一次启动的为Active。 HBase底层接口处理起来会比较吃力，一般处理方式是应用其他工具进行处理，如Flume,Sqoop MySQL与Hive的区别 MySQL：数据存储会受到限制，可以增删改查数据 Hive：1. 只能进行查询数据，不能进行该数据，可以根据查询结果进行建表存储数据 2. 基于HDFS，支持分布式存储，可以无限扩容 3. 基于MapReduce，支持大数据运算 HBase与MySQL的区别 MySQL：行式存储，适合处理联机事务 HBase：列式存储，适合处理对单列数据(列族归类的数据)进行快缩索引查询 HBase与Hive的区别 HBase：数据库，数据分布式存储在HDFS上的DataNode节点上，根据对数据进行增删改查等。 Hive:数据仓库，数据存储在HDFS上，与DataNodata 关系不大，管理历史数据，数据量会非常庞大，每天都会进来大量数据，不能进行更新删除操作， HBase概念 HMaster: 协调管理RegionServer服务状态及元数据管理 RegionServer: 负责对数据表的增删改差操作，主要负责单个Region的数据管理 RegionData:数据块 MetaRegionServer: 对RegionSever上对应的Region数据块进行索引管理 database 数据库 table: 数据表,定义表时需要指定列族，也可以再表建立后进行列族的管理 RowKey：行键,表示一行数据，一行数据中包含列族定义的东西， ColumnFamily: 列族，对业务进行分类后，可以根据业务对数据进行分类，把业务类似的一类数据分为一个列族，不同的业务可以分为不同的列族。分列族的主要目的是方便后期对数据的高速索引. CELL: 数据单元,保存单个KV字段. 运行逻辑： HMaster协调管理RegionServe，RegionServer主要负责处理Region数据块的处理，MetaRegionServer管理RegionServer对应Region数据的元数据信息。RegionServer服务异常时，HMaster进行元数据迁移，保证对Region数据的管理由对应的RegionServer来管理。 MetaRegionServer管理的元数据信息保存在HDFS上。 Client进行数据处
在将 Impala 工作负载从 CDH 平台迁移到 CDP 之前，您必须了解 CDH 和 CDP Impala 之间的语义和行为差异以及需要在数据迁移之前执行的活动。
元数据是关于数据的数据，是对数据的描述，元数据又分为三类：管理元数据、业务元数据和技术元数据。而字段或表级血缘关系就是技术元数据，关于业务元数据和管理元数据等元数据相关知识笔者给出前期文章分享链接，笔者这里不再赘述。
互联网技术高速发展的背景下，数据已经成为各大公司的最宝贵资源之一。大数据领域经过近十年的高速发展，无论是离线计算还是实时计算、不管是数据仓库还是数据中台都已深入各大公司的各个业务。在复杂业务的背景下，迫切需要一套高效的大数据架构。以数据仓库为例，经过了几次架构升级。其中，首先诞生的一个比较成熟的流批一体架构就是Lambda架构，然后就是升级版的 Kappa 架构。
这里我们假定一个场景，你需要迁移CDH5.12到CDH6.2，CDH5.12和CDH6.2分别是两个不同的集群，我们的工作主要是HDFS数据和各种元数据从CDH5.12迁移到CDH6.2，本文不讨论HDFS数据的迁移也不讨论其他元数据的迁移比如CM或Sentry，而只关注Hive元数据的迁移。这里的问题主要是CDH5.12的Hive为1.1，而CDH6.2中Hive已经是2.1.1，Hive的大版本更新导致保存在MySQL的schema结构都完全发生了变化，所以我们在将CDH5.12的MySQL数据导入到CDH6.2的MySQL后，需要更新Hive元数据的schema。首先Fayson会搭建2个集群包括CDH5.12和CDH6.2，为了真实，我们在接下来的模拟过程中，创建的Hive表包含分区，视图和UDF，好方便验证是否迁移到CDH6.2都能正常运行。具体如何迁移Fayson会在接下来的文章进行详细描述。
大家好，我是一哥，昨天看到了过往记忆大佬发了一篇文章，才发现Sqoop这个项目最近不咋好，心里很不是滋味，这个帮助过很多开发者的项目，竟然从Apache顶级项目中“下架”了，今天还是想给大家分享介绍一些这个很棒的项目，致敬！
作者：代来，腾讯 CSIG 工程师 背景 互联网技术高速发展的背景下，数据已经成为各大公司的最宝贵资源之一。大数据领域经过近十年的高速发展，无论是离线计算还是实时计算、不管是数据仓库还是数据中台都已深入各大公司的各个业务。在复杂业务的背景下，迫切需要一套高效的大数据架构。以数据仓库为例，经过了几次架构升级。其中，首先诞生的一个比较成熟的流批一体架构就是 Lambda 架构，然后就是升级版的 Kappa 架构。 对于传统的 Lambda 架构，流与批是两条割裂的链路，维护成本高且容易出现数据不一致的情况。新
基于TB级的在线数据，支持缴费帐单明细在线查询。大家都知道，像银行帐单流水一样，查几年的流水是常有的事。
Apache Hive 是基于 Apache Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并且提供了 Hive SQL 进行查询和分析，在离线数仓中被广泛使用。
在前面的文章《5.16.2-如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL，因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。
在前面的文章《6.3.0-如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL，因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。
编写本文主要是因为Fayson在上篇文章《0480-如何从HDP2.6.5原地迁移到CDH5.16.1》迁移失败的补充，为什么迁移失败是因为HDP2.6.5的Hadoop版本2.7.5比C5的2.6要高导致的，HDFS只支持升级，而不支持降级。
基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。在一些对延时要求比较高的场景，需要另外搭建基于 Flink 的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。
在前面的文章《如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL，因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
随着数据量的爆发式增长，数字化转型称为了整个IT行业的热点，数据也开始需要更深度的价值挖掘，因此需要确保数据中保留的原始信息不丢失，从而应对未来不断变化的需求。当前以oracle为代表的数据库中间件已经逐渐无法适应这样的需求情况，于是业界也开始进行不断的产生的计算引擎，以便应对数据时代的到来。在此背景下，数据湖的概念被越来越多的人提起，希望能有一套系统在保留数据的原始信息情况下，又能够快速对接多种不同的计算平台，从而在数据时代占比的先机。
Hive存储的是逻辑上的数据仓库信息，包括表的定义、数据的存储位置（HDFS路径）、分区和表的元数据等。实际的数据文件存储在HDFS上，Hive通过HQL（Hive Query Language）实现对这些数据的SQL-like查询，本质上是将SQL查询转换为MapReduce任务在Hadoop上执行。
数据迁移是指将数据从一个数据库迁移至另一个数据库，按照数据库类型来分类，可分为同构数据库之间的迁移和异构数据库之间的迁移。
使用 Apache Iceberg 作为您的数据湖表格式可以实现更快的数据湖分析、时间旅行、分区演化、ACID 事务等。Apache Iceberg 是实现开放式 Lakehouse 架构的关键部分，因此您可以降低数据仓库的成本并避免供应商锁定。
Berserker是B站一站式数据开发及治理平台，基于常用大数据生态组件构建，满足公司内数据查询、数据分析、日常报表、数据集成、数据开发、实时计算和数据治理等各种业务场景。在B站，我们一般将Berserker简写为BSK。
在进行版本升级时，Sql不兼容，数据库升级经常报错，需要重复对比哪里执行过了。这种问题如何解决？
诺亚控股有限公司以“诺亚财富”为品牌，源起于中国，是首家在港美两地上市的中国独立财富管理机构，首家开创了财富管理和资产管理的双轮驱动业务模式，同时也是国内首家获得标准普尔“投资级”评级的财富管理公司，公司业务涵盖财富管理、资产管理和其他业务。诺亚数据智能部门负责公司大数据体系框架建设，主要工作是支撑日常的BI分析，数据看板，人群画像，自助分析等场景。
内容来源：2018 年 09 月 15 日，平安科技数据平台部大数据高级工程师邓杰在“中国HBase技术社区第五届MeetUp ——HBase应用与发展”进行《HBase应用与实践》的演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。
数据迁移的目的是为了给数据找一个更合适的归宿，让其满足当前及未来某段时间内业务场景的使用需求，使数据更安全，更可靠，更有效的为客户服务。
4月20日，袋鼠云成功举行了以“数实融合，韧性生长”为主题的2023春季生长大会。会上，袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级，并重点发布了企业级数据计算与存储平台——自研大数据引擎 EasyMR。
本文档讲述如何将Cloudera Manager在Kerberos环境下迁移至新的CM节点。通过本文档，您将学习到以下知识：
互联网行业，除了数据量大之外，业务时效性要求也很高，甚至很多是要求实时的。另外，互联网行业的业务变化非常快，不可能像传统行业一样，可以使用自顶向下的方法建立数据仓库，一劳永逸，它要求新的业务很快能融入数据仓库中来，老的下线的业务，能很方便的从现有的数据仓库中下线。
有赞是一家商家服务公司，向商家提供强大的基于社交网络的，全渠道经营的 SaaS 系统和一体化新零售解决方案。随着近年来社交电商的火爆，有赞大数据集群一直处于快速增长的状态。在 2019 年下半年，原有云厂商的机房已经不能满足未来几年的持续扩容的需要，同时考虑到提升机器扩容的效率（减少等待机器到位的时间）以及支持弹性伸缩容的能力，我们决定将大数据离线 Hadoop 集群整体迁移到其他云厂商。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
