暂无搜索历史
本文转自：http://www.txrjy.com/thread-1082341-1-1.html
腾讯云大数据解决方案架构师
个人号：shenghuoquanlw3， 公众号：shenghuoquanlwo
大数据基础产品团队，T4技术专家
腾讯 ｜ 高级开发工程师 (已认证)
腾讯云高级工程师
emr hadoop
腾讯科技（深圳）有限公司 ｜ 大数据架构师 (已认证)
腾讯 ｜ 高级工程师 (已认证)
腾讯云大数据高级工程师，十年大数据从业经验。
客户在用hive sql做几张表的组合分析，使用mr引擎。 因为其中有一张表超过5万个分区，数据总量超过8千亿条，因此运行过程中出现失败，报错如下所示：
腾讯云大数据团队服务的某个大客户，hadoop集群超过300台服务器。因为大数据平台承载的业务程序非常多（每天超过5万次任务运行在yarn）、datanode的...
从上述报错，浏览社区没得到任何有价值的信息。通过查看hive的源码，也没有有效的信息。因此，我们需要查看hive的详细日志。
随着大数据技术日趋成熟，行业生态愈发完善，腾讯云大数据团队服务的大客户越来越多。在笔者服务的众多大客户之中，PB级海量数据已经成为常态。笔者负责大数据技术支持的...
本文将介绍如何利用kafka-reassign-partitions.sh命令增加主题的备份数量。
根据常理判断，简单的 select * limit 不会造成内存溢出的。因此，我们用hive原生sql查询，发现不存在这个问题。
这次迁移算是TBDS集群的第一次完整迁移案例，包括用户的业务数据，平台应用，从项目启动到最后完成迁移差不多耗费了1个月的时间。
腾讯云某客户的开发者反馈，大数据集群的hbase读写非常缓慢。我们使用测试程序，也复现该问题。因此，我们需要对hbase集群进行全面检测。
近期腾讯云某家大客户的hbase master一直无法启动，经过仔细诊断之后发现是由于hbase的WAL文件非常多（达到15TB），导致hbase在zk的...
暂未填写个人简介
