大数据虽然是一个比较宽泛的词，但对于我们来说其实可以简单理解为“海量数据的存储与处理”。之所以人们专门大数据这个课题，是因为海量数据的处理和较小量级数据的处理是不一样的，例如我们对一个mysql表中的数据进行查询，如果是100条数据，那对于mysql来说毫无压力，但如果是从十亿条数据里面定位到一条呢？情况就变得复杂了，换个角度想，十亿条数据是否适合存在mysql里也是尚待讨论的。实时上从功能角度的出发，我们完全可以使用以往的一些技术栈去处理这些问题，只不过高并发高可用高实时性这些都别想了。接下来要介绍的这些腾讯大数据组件就是在这一个问题背景下一个个诞生的。
存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中 3 个典型的存储方案来压测元数据的性能，来个大比拼。
原生对象存储服务的索引是扁平化的组织形式，在传统文件语义下的 List 和 Rename 操作性能表现上存在短板。腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。
背景介绍 原生对象存储服务的索引是扁平化的组织形式，在传统文件语义下的 List 和 Rename 操作性能表现上存在短板。腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。 （一）什么是元数据加速器？ 元数据加速功能是由腾讯云对象存储（Cloud Object Storage，COS）服务提供的高性能文件系统功能。 元数据加速功能底层采用了云 HDFS 卓越的元数据管理功能，支持用户通过文件系统语义访问对象存储服务，系统设计指标可以达到2.4
一、背景 云 HDFS（Cloud HDFS，CHDFS）是腾讯云提供的支持标准 HDFS 访问协议、卓越性能、分层命名空间的分布式文件系统。 CHDFS 主要解决大数据场景下海量数据存储和数据分析，能够为大数据用户在无需更改现有代码的基础上，将本地自建的 HDFS 文件系统无缝迁移至具备高可用性、高扩展性、低成本、可靠和安全的 CHDFS 上。以此实现存算分离，实现计算节点可动态的扩缩容。 因此 CHDFS 主要的用户群体是大数据体系的研发人员，为了满足用户在传统的 Hadoop 环境下的使用习惯，同时满
云 HDFS（Cloud HDFS，CHDFS）是腾讯云提供的支持标准 HDFS 访问协议、卓越性能、分层命名空间的分布式文件系统。
数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。依靠对象存储（Cloud Object Storage，COS）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口，加速海量数据分析、机器学习、人工智能等业务访问存储的性能。
该帖子也是由两名思科员工共同撰写的：Karthik Krishna，Silesh Bijjahalli
“数据湖”、“湖仓一体”及“流批一体”等概念，是近年来大数据领域热度最高的词汇，在各大互联网公司掀起了一波波的热潮，各家公司纷纷推出了自己的技术方案，其中作为全链路数字化技术与服务提供商的袋鼠云，在探索数据湖架构的早期，就调研并选用了Iceberg作为基础框架，在落地过程中深度使用了Iceberg并进行了部分改造，在这个过程中，我们积累出了一些经验和探索实践，希望通过本篇文章与大家分享，也欢迎大家一起共同讨论。
最近，优步在其官方工程博客上发布了一篇 文章，阐述了将批数据分析和机器学习（ML）训练的技术栈迁移到 谷歌云平台（GCP） 的战略。优步运行着世界上最大的 Hadoop 装置之一，在两个区域的数万台服务器上管理着超过上艾字节（exabyte）的数据。开源数据生态系统，尤其是 Hadoop，一直是数据平台的基石。
GooseFS 是腾讯云对象存储团队面向下一代云原生数据湖场景推出的存储加速利器，提供与 HDFS 对标的 Hadoop Compatible FileSystem 接口实现，旨在解决存算分离架构下的云端大数据/数据湖平台所面临的查询性能瓶颈和网络读写带宽成本等问题。使得基于腾讯云 COS/CHDFS 的大数据/数据湖平台在现有生产集群上获得等同甚至超越本地 HDFS 性能的计算体验。其设计应用场景如下：
HDFS默认通过网页http://master:50070访问，该网站只有下载功能，其交互性一般。
您可以使用 authzmigrator 工具将 Hive 对象和 URL 权限以及 Kafka 权限从 CDH 集群迁移到 CDP 私有云基础 集群。您可以使用 DistCp 工具将 HDFS 数据从安全的 HDP 集群迁移到安全或不安全的CDP 私有云基础集群。
传统的大数据集群往往采用本地中心化的计算和存储集群。比如在谷歌早期的【三驾马车】中，使用 GFS 进行海量网页数据存储，用 BigTable 作为数据库并为上层提供各种数据发现的能力，同时用 MapReduce 进行大规模数据处理。
前不久CSDN联合国内顶级云厂商，共同为开发者提供稳定便宜的云服务，送了学长两张优惠券，一张云容器，一张云主机。恰好最近在学习某硅谷的SeaTunnel课程需要用到主机做实验，使用本地的还需要重头安装VMware，有诸多不便，于是想试试CSDN的云容器服务。
传统的大数据集群往往采用本地中心化的计算和存储集群。比如在谷歌早期的【三驾马车】中，使用 GFS 进行海量网页数据存储，用 BigTable 作为数据库并为上层提供各种数据发现的能力，同时用 MapReduce 进行大规模数据处理。 但随着互联网业务的发展，本地中心化的架构开始受到以下两个方面的挑战： 数据增长越来越快，并且数据格式更加丰富多样，非结构化数据越来越多。传统的分布式存储引擎难以大规模存储和处理文本、音视频等非结构化数据。 计算和存储强耦合在本地应用上，缺少弹性。强耦合的模式增加了企业
随着数据量的爆发式增长，数字化转型称为了整个IT行业的热点，数据也开始需要更深度的价值挖掘，因此需要确保数据中保留的原始信息不丢失，从而应对未来不断变化的需求。当前以oracle为代表的数据库中间件已经逐渐无法适应这样的需求情况，于是业界也开始进行不断的产生的计算引擎，以便应对数据时代的到来。在此背景下，数据湖的概念被越来越多的人提起，希望能有一套系统在保留数据的原始信息情况下，又能够快速对接多种不同的计算平台，从而在数据时代占比的先机。
本文主要介绍如何在腾讯云CVM上搭建Hadoop集群，以及如何通过distcp工具将友商云Hadoop中的数据迁移到腾讯云自建Hadoop集群。
以下视频时长55分钟，包含中英文字幕。详细分析了Cloudera为什么要做SDX，包括Cloudera推出这个功能的动机，它为什么是Cloudera企业版的核心竞争力，它可以解决什么问题，后面还有一个demo演示，不过是云上基于Altus的版本，SDX本地on-premise版本已经在最新的CDH6.2中支持，具体也可以参考后面的文字介绍，视频最后还分享了几个SDX的客户案例，以及回答了用户关心的一些问题比如：SDX和联邦的区别，SDX要怎么试用等。
家住北京西二旗的小张是一家互联网金融公司的运维工程师，金融行业的数据可是很值钱的，任何的损坏和丢失都不能容忍。
上节我们讲了如何利用MapReduce 快速的来查询数据：https://cloud.tencent.com/developer/article/1878432
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
Cloudera发布的Cloudera的数据平台（CDP）私有云基础版为用户提供了下一代混合云架构。这篇博文概述了设计和部署包含硬件和操作系统配置的集群的最佳实践，以及有关网络和安全以及与现有企业基础架构集成的指南。
腾讯云EMR和ES是两款非常火热的大数据分析产品，长期以来一直是分别在客户场景下使用的，不过随着云上CHDFS产品的上线，以及ES-Hadoop等插件的完善，两者结合使用有了比较成熟的方案，下面就介绍一下相关使用的方式：
作者 | 苏锐 策划 | Tina Hadoop 的诞生改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，受到广泛的应用，给整个行业带来了变革意义的改变；随着云计算时代的到来， 存算分离的架构受到青睐，企业开开始对 Hadoop 的架构进行改造。 今天与大家一起简单回顾 Hadoop 架构以及目前市面上不同的存算分离的架构方案，他们的利弊各有哪些，希望可以给正在存算分离架构改造的企业一些参考和启发。 Hadoop 存算耦合架构回顾 2006 年 Hadoop 刚发布，这是一个 all-i
作者 | 宋文欣 以 Hadoop 为中心的大数据生态系统从 2006 年开源以来，一直是大部分公司构建大数据平台的选择，但这种传统选择随着人们的深入使用，出现的问题也越来越多，比如：数据开发迭代速度不够快、集群资源利用效率过低、新的开发工具集成非常复杂等。这些问题已经成为困扰企业数字化转型加速迭代和升级的主要障碍。 而传统大数据平台通常是以 Hadoop 为中心的大数据生态技术。一个 Hadoop 集群包含 HDFS 分布式文件系统和以 Yarn 为调度系统的 MapReduce 计算框架。围绕 H
第一个时期： 2006 年到 2008 年。2008 年左右，Hadoop 成为了 Apache 顶级项目，并正式发布了 1.0 版本，它的基础主要是基于谷歌的三驾马车，GFS、MapReduce、BigTable 去定义的。
OPPO 大数据平台目前有 20+个服务组件，数据量超 1EB，离线任务数近百万，实时任务数千，数据开发分析师超千人。这也带来了系统复杂度的问题，一方面是用户经常对自己的任务运行状况“摸不着头脑”，不管是性能问题，还是参数配置问题，甚至是一些常见的权限报错问题，都需要咨询平台给出具体的解决方案；另一方面是平台面对各类繁杂任务，运维人员经常需要对任务故障定位和排除，由于任务链路长，组件日志多，运维压力大。因此急需对任务进行实时监控和诊断，不仅要能够帮助用户快速定位异常问题，还需给出具体的建议和优化方案，同时还能治理各类“僵尸”和不合理任务，从而达到降本增效的目的。据调研，目前业界尚无成熟的开源任务诊断平台。为此我们开发了大数据诊断平台，通过诊断平台周优化任务实例数超2 万，取得了良好的效果。
Cloudera Data Platform (CDP)通过合并来自Cloudera Enterprise Data Hub (CDH)和Hortonworks Data Platform (HDP)这两个传统平台的技术，为客户带来了许多改进。CDP 包括新功能以及一些先前存在的安全和治理功能的替代方案。CDH 用户的一项重大变化是将 Sentry 替换为 Ranger 以进行授权和访问控制。
“数据湖存储”冠军杯是数据湖领域内的世界级赛事，随着云上“数据湖存储”产品理念的逐步普及，今年的比赛也获得了国内外众多球迷的关注。腾讯云以COS、GooseFS、GooseFSx、元数据加速器、COS加速器等球员组成的球队一路披荆斩棘，成为最闪耀的一颗星。 值得一提的是，就在今年上半年举办的“数据湖存储-自动驾驶”行业联赛中，腾讯云存储代表队已通过精湛的技术，给国内外球迷留下了深刻的印象。 而在这个月的“数据湖存储”冠军杯中，腾讯云存储代表队的首发阵容进一步得到升级，每位球员都是各自位置上的佼佼者。下
作者 | 聂磊 策划 | Tina 云原生架构下，基于 Hadoop 技术栈搭建数据平台应该如何改造？ 理想汽车大数据平台涉及的组件多， 在从 Hadoop 到云原生演进的过程中边探索，边实践，积累了不少一手经验；同时，他们率先在对象存储上使用 JuiceFS，实现平台级文件共享、跨平台使用海量数据等场景。 1 理想汽车在 Hadoop 时代的技术架构 首先简单回顾下大数据技术的发展，基于我个人的理解，将大数据的发展分了 4 个时期： 第一个时期：2006 年到 2008 年。2008 年左右，H
Cloudera于2021年3月宣布发布Cloudera Data Platform（CDP）私有云（PvC）基本版本7.1.6和Cloudera Manager版本7.3.1。这些版本引入了从HDP 3到CDP私有云基础版的直接升级路径，同时添加了许多增强功能以简化从CDH 5和HDP 2的升级和迁移路径，并汇总了先前版本中的所有先前维护增强功能。
Cloudera与Dell / EMC保持了长期而成功的合作伙伴关系，为混合云中运行的分析工作负载开发共享存储解决方案。
之前我们提到大数据的时候就会提到Hadoop，Hadoop是大数据的基础框架，是大数据技术的代表。提到HDFS、MapReduce、Yarn，提到HBase、Hive、TEZ等Hadoop生态圈中的一个又一个开源组件。但是最近好像有点不一样了。
如果您不想自己搭建kubernetes环境，推荐使用腾讯云容器服务TKE：无需自建，即可在腾讯云上使用稳定， 安全，高效，灵活扩展的 Kubernetes 容器平台；
在“数据湖”概念与理论逐渐深入人心的今天，面向云存储的交互式查询这个需求场景显得愈发重要。这是因为原生的云存储（主要指S3这样的对象存储）既能够容纳大容量的明细数据，又能在性能和成本间取得一个很好的平衡——如果它同时再支持复杂的即席分析查询，那么云原生存储就将成为数据湖的最佳载体，对于实现数据分析人员的自由探索和应用系统的查询集成都有着非常重要的意义。
在HDFS集群运维过程中，常会碰到因为实际业务增长低于集群创建时的预估规模；集群数据迁出,数据节点冗余较多；费用控制等原因，需要对集群进行缩容操作。Decommission DataNode是该过程中关键的一步，就是把DataNode从集群中移除掉。那问题来了，HDFS在设计时就把诸如机器故障考虑进去了，能否直接把某台运行Datanode的机器关掉然后拔走呢？理论上可行的，不过在实际的集群中，如果某份数据只有一份副本而且它就在这个机器上，那么直接关掉并拔走机器就会造成数据丢失。本文将介绍如何Decommission DataNode以及可能会遇到Decommission超时案例及其解决方案。
Alluxio 是世界上第一个面向基于云的数据分析和人工智能的开源的 数据编排技术 。 它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。 这还使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。
近日，中国信息通信研究院 (以下简称“信通院”) 正式公布了第十四批“大数据产品能力评测”结果，腾讯云云原生数据湖基于对象存储 COS，数据湖加速器 GooseFS、数据万象 CI 和容器服务 TKE 的数据湖解决方案 V5.0，在存储能力、计算能力、安全能力、数据管理能力、湖应用能力、兼容性能力、运维能力、高可用能力等方面，通过了工业和信息化部中国信息通信研究院大数据能力专项评测，荣获“云原生数据湖基础能力专项评测证书”。
由于各种原因，我似乎缺了一篇严肃的文章，来阐述我本人对大数据这个领域的看法，以至于有人看到我这篇文章里的这个观点，就扩展到了我认为的那个领域里的那个观点。我还是决定严肃的写一篇文章，阐述一下我个人的观点。这样一来，多少有据可查。
伴随云计算技术的发展，云盘系统不断涌现，百度、360、金山等都推出了各自的云盘产品，而云盘存储的模式也越来越被用户所接受，也有越来越多的公司跃跃欲试，想在云存储领域大展拳脚，有一番作为。但是开源Hadoop平台实现语言Java和操作系统Linux的限制，Windows用户桌面版云盘客户端的开发成为了一道不可逾越的屏障。
CDP 中的 Cloudera 运营数据库（ OpDB ） 提供了实时、始终可用的可扩展OpDB，它在统一的运营和仓储平台中为传统结构化数据以及新的非结构化数据提供服务。Cloudera提供了一个可运营的数据库，该数据库在统一的开源平台中为传统的结构化数据以及新的非结构化数据提供服务。
Cloudera数据平台（CDP）数据中心版（CDP-DC）是Cloudera数据平台的本地版本。CDP-DC结合了Cloudera Enterprise Data Hub和Hortonworks Data Platform Enterprise的最佳服务和组件，以及在堆栈中的增加了新功能和增强功能，提供一流的本地企业数据平台。此统一分发是可扩展和可定制的平台，您可以在其中安全地运行多种类型的工作负载。
又一项大能力-云原生数据湖获得信通院认证啦！ 近日，中国信息通信研究院 (以下简称“信通院”) 正式公布了第十四批“大数据产品能力评测”结果，腾讯云云原生数据湖基于对象存储 COS，数据湖加速器 GooseFS、数据万象 CI 和容器服务 TKE 的数据湖解决方案 V5.0，在存储能力、计算能力、安全能力、数据管理能力、湖应用能力、兼容性能力、运维能力、高可用能力等方面，通过了工业和信息化部中国信息通信研究院大数据能力专项评测，荣获“云原生数据湖基础能力专项评测证书”。 随着数据规模的增加，数据格式的丰富
引言 随着大数据技术架构的演进，存储与计算分离的架构能更好的满足用户对降低数据存储成本，按需调度计算资源的诉求，正在成为越来越多人的选择。相较 HDFS，数据存储在对象存储上可以节约存储成本，但与此同时，对象存储对海量文件的写性能也会差很多。 腾讯云弹性 MapReduce(EMR) 是腾讯云的一个云端托管的弹性开源泛 Hadoop 服务，支持 Spark、Hbase、Presto、Flink、Druid 等大数据框架。 近期，在支持一位 EMR 客户时，遇到典型的存储计算分离应用场景。客户使用了 EMR
这次迁移算是TBDS集群的第一次完整迁移案例，包括用户的业务数据，平台应用，从项目启动到最后完成迁移差不多耗费了1个月的时间。
GooseFS是 腾讯云存储团队推出的分布式缓存方案，主要针对需要缓存加速的数据湖业务场景，提供基于对象存储COS服务的近计算端数据加速层。
环球易购创建于 2007 年，致力于打造惠通全球的 B2C 跨境电商新零售生态，2014 年通过与百圆裤业并购完成上市，上市公司「跨境通（SZ002640）」是 A 股上市跨境电商第一股。经过多年的努力，在海外市场建立了广阔的销售网络，得到了美国、欧洲等多国客户的广泛认可，公司业务多年来一直保持着 100% 的增长速度。
导语 | 云原生数据湖致力于扩大公有云市场总量：一方面以低成本优势推动客户上云，另一方面云上客户得以低成本撬动更多结构化和非结构化数据的价值，是一场云厂商的自我革命，本文将为大家洞悉云原生数据湖的神秘面纱，并且首次推出腾讯云的云原生数据湖产品。文章作者：于华丽，腾讯TEG数据平台部研发工程师。 一、云上架构大数据平台的挑战和机遇 选择 Cloud 还是 Local 的诸多讨论和实践中，成本一直是绕不开的话题。“公有云太贵了，一年机器就够托管三五年了”，这基本上是刚开始接触公有云的企业，在进行了详细价格
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
