暂无搜索历史
hadoop 的 kms的元数据是保存在本地的，比如加密的请求打到A，元数据保存在A机器上，如果解密的请求打到B机器上，就会失败。为了解决这个问题，使用cos作...
腾讯科技有限公司 ｜ 产品架构工程师 (已认证)
归档，archive。Hive 具有内置支持，可将现有分区中的文件转换为 Hadoop 存档(HAR)，这样一个曾经由 100 个文件组成的分区只能占用约 3 ...
DistCp（distributed copy）是用于大型内部/集群内复制的工具。它使用 MapReduce 来实现其分发、错误处理和恢复、报告的功能。它将文件...
写作本系列文章的背景是我们要在大数据平台/企业数据湖场景下给出中心化的用户身份认证方案。此前，我们实现过Windows AD + Kerberos的集成方案，由...
涉及组件版本为：hdfs-3.2.2,yarn-3.2.2,openldap-2.4.44,spark-3.2.2,krb5-1.15.1
注，本次使用腾讯云EMR的 StarRocks-V1.1.0 ，starrocks-2.2.2
由于业务需要，添加了在hive原来的表上增加了新字段（alter table partition_test add columns(ads string); ）...
在EMR集群上按小时跑的spark sql 任务有时会失败，在driver端的日志中可以看到报错： org.apache.spark.sql.catalyst....
腾讯云 ｜ 大数据SRE研发工程师 (已认证)
所有失去的，都会以另一种方式，回到你身边。
查阅HUE代码，发现hive链接的客户端都是在本地生产的，也就是在 hiveserver2.py 中来完成初始化的。该文件在EMR集群上的路径为 /usr/l...
问题现象：在hive的分区表中删除了分区，命令执行返回成功，但是hdfs上对应的分区目录却没有删除。
在kibana上创建了相关的 iml（索引生命周期管理），删除7天前的索引，后面发现一直没删除相关索引。
之前使用的0.10版本的hive，hql查询if语句如下：SELECT IF(split(m.phone_platform,'_')[1] LIKE '4%' ...
在 common.runtime.properties中的 druid.extensions.loadList 中添加 "druid-s3-extensions...
登陆 kibana 依次点击 Stack Management ， Index Lifecycle Policies，Create Policy 来创建ILM
腾讯云 Elasticsearch 目前提供5个版本：5.6.4、6.4.3、6.8.2、7.5.1、7.10.1版本。具体选择那个版本根据实际需求选择。建议选...
es 集群的磁盘存储过小的话，常常会遇到磁盘存储超90%，甚至100%。此时就需要清理一部分过期的数据释放磁盘空间，或者扩容磁盘容量。
本专栏为您分享各种大数据技术和实践经验，无论您是初学者还是资深从业者，都能在这里找到丰富的知识资源和实践分享。
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
