九州暮云

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV1

发表了文章 2022-07-212022-07-21 15:40:32

电商数据应用体系建设总结（三）—— 离线数据兜底方案

目前我们使用 Lambda 架构来处理数据，Flink 处理实时数据，Spark 处理离线数据。Spark 离线任务在每天凌晨的 0-8 点调度执行，在这段时间...

九州暮云 2022-07-212022-07-21 15:40:31

数据处理、hive、spark、serverless

发表了文章 2022-05-092022-05-09 12:03:40

电商数据应用体系建设总结（一）—— 数据应用架构剖析

数据应用是通过各种各样的数据分析方式将数据展示出来，给决策者、管理者、运营等人员透传数据价值的工具，帮助决策者、管理者及时调整战略目标、公司目标、业务目标，帮助...

九州暮云 2022-05-092022-05-09 12:03:39

大数据、数据分析、数据处理、kafka、消息队列 CMQ 版

发表了文章 2022-05-092022-05-09 12:03:28

电商数据应用体系建设总结（二）—— 数据应用层架构介绍和规范总结

数据经过ETL、存储等数据处理过程之后，通过数据应用产品的形式呈现给最终使用方，PC和APP类数据产品以各类不同用途的数据大屏、看板将数据指标展示给管理者、运营...

九州暮云 2022-05-092022-05-09 18:07:52

spring、spring cloud、负载均衡、负载均衡缓存

发表了文章 2021-09-292021-09-29 15:20:34

滴滴 x StarRocks：极速多维分析创造更大的业务价值

滴滴集团作为生活服务领域的头部企业，正在全面测试和上线StarRocks，其中橙心优选经过一年多的数据体系建设，我们逐渐将一部分需要实时交互查询、即席查询的多维...

九州暮云 2021-09-292021-09-29 15:20:34

日志数据、大数据、hive、kafka、数据分析

发表了文章 2020-10-292020-10-29 12:42:06

HDFS 客户端读写超时时间解析

前段我们Hadoop集群磁盘使用率比较高，部分硬盘空间使用超过了70%，这部分服务器的DataNode服务读写负载就比较高，造成部分数据同步任务因为读写超时而失...

九州暮云 2020-10-292020-10-29 12:42:06

网络安全、大数据、node.js、hadoop

发表了文章 2020-05-262020-05-26 15:10:16

Redis AOF重写阻塞问题分析

某个业务线使用Redis集群保存用户session数据，数据量大约在4千万-5千万，每天发生3-4次AOF重写，每次时间持续30-40秒，AOF重写期间出现Re...

九州暮云 2020-05-262020-05-26 15:10:16

云数据库 Redis、node.js、jquery、缓存

发表了文章 2020-05-182020-05-18 16:35:21

ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析（三）

这个问题又让我们碰到了，发生次数不频繁但是一旦发生就会造成ResourceManager服务崩溃、ZK注册watch过多等问题。不彻底解决这个问题心中一直是个梗...

九州暮云 2020-05-182020-05-18 16:35:21

yarn、node.js、hadoop、zookeeper、hashmap

发表了文章 2020-04-242020-04-24 17:35:27

大压缩文件对Impala查询性能的影响

Hadoop/HDFS/MapReduce/Impala被设计用于存储和处理大量文件的场景，比如TB或者PB级别数据量的文件。大量小文件对查询性能有很大的影响，...

九州暮云 2020-04-242020-04-24 17:35:27

文件存储、hadoop、大数据、专用宿主机

发表了文章 2020-02-182020-02-18 13:31:36

YARN Fair Scheduler批量分配功能调优总结

YARN调度效率不高，队列资源充足，集群中正在运行的任务数量少，资源利用率低的情况下有一部分任务排队，等待分配资源时间长。

九州暮云 2020-02-182020-02-18 13:31:36

yarn、actionscript、hadoop、node.js

发表了文章 2020-02-182020-02-18 13:31:23

一步一步理解Impala query profile（四）

在本系列的第三部分，我使用了一个示例来详细地介绍Impala query profile。在这一部分中，我将使用一个真实生产系统的Impala Profile文...

九州暮云 2020-02-182020-02-18 13:31:23

大数据、grep

发表了文章 2019-12-202019-12-20 11:39:53

利用反射实现状态同步

Java反射使我们能在程序运行时动态调用某个对象的方法/构造函数、获取某个对象的属性，经常用于实现动态代理、工厂模式、Java JDBC加载连接驱动类等，近期阅...

九州暮云 2019-12-202019-12-20 11:39:53

大数据、java、jvm、unix

发表了文章 2019-12-162019-12-16 16:57:39

一步一步理解 Impala query profile（三）

在本博客系列的第3部分，我将仍然关注查询计划（Query Plan）和执行摘要（Execution Summary），但是将使用真实数据（Kaggle’s Fl...

九州暮云 2019-12-162019-12-16 16:57:39

csv、delay、impala、profile、timeline

发表了文章 2019-12-162019-12-16 16:48:52

一步一步理解Impala query profile（二）

在上一篇文章中，我们介绍了Impala query profie的概要部分，在本篇文章我们介绍Profile的查询计划（Query Plan）和执行概要（Exe...

九州暮云 2019-12-162019-12-16 16:48:52

大数据

发表了文章 2019-12-162019-12-16 16:48:27

一步一步理解Impala query profile（一）

很多Impala用户不知道如何阅读Impala query profile来了解一个查询背后正在执行的操作，从而在此基础上对查询进行调优以充分发挥查询的性能。因...

九州暮云 2019-12-162019-12-16 16:48:27

shell、sql、网站

关注了用户 2019-11-052019-11-05 11:56:46

腾讯云自媒体分享计划
腾讯｜产品运营 (已认证)

申请条件：至少有 10 篇或以上符合投稿要求可迁入腾讯云专栏的原创技术文章。

3 文章0 回答5.9K 关注者

订阅了专栏 2019-11-052019-11-05 11:56:46

腾讯云自媒体分享计划

3 文章5.9K 订阅数

发表了文章 2019-10-082019-10-08 18:24:09

（译）优化ORC和Parquet文件，提升大SQL读取性能

本文编译自IBM开发者社区，主要介绍了HDFS中小的ORC和Parquet文件的问题，以及这些小文件如何影响Big SQL的读取性能，并探索了为了提高读取性能，...

九州暮云 2019-10-082019-10-08 18:24:09

sql、大数据、hive、hadoop、存储

发表了文章 2019-09-022019-09-02 16:14:52

YARN任务监控界面Aggregate Resource Allocation指标解析

在YARN的原生任务监控界面中，我们经常能看到Aggregate Resource Allocation这个指标（图中高亮选中部分），这个指标表示该任务拥有的所...

九州暮云 2019-09-022019-09-02 16:14:52

yarn、node.js

发表了文章 2019-08-212019-08-21 14:37:33

Scala 枚举的使用和探索（译）

枚举（Enumerations）是一种语言特性，对于建模有限的实体集来说特别有用。一个经典的例子是将工作日建模为一个枚举：每个七天都有一个值。Scala和许多其...

九州暮云 2019-08-212019-08-21 14:37:33

scala、文件存储、ide、打包

发表了文章 2019-08-212019-08-21 14:35:50

Error: Your Command Line Tools are too outdated

解决方式：使用App Store账号登录开发者中心：https://developer.apple.com/xcode/，然后转到https://develop...

九州暮云 2019-08-212019-08-21 14:35:49

https、mac os、网络安全、xcode

12 3 4 5 6 7 8 9 下一页

个人简介

滴滴 | 资深数据开发工程师
欢迎关注：大鹏的架构之路。每天进步一点点，专注Java与大数据技术分享。
大数据
暂未填写学校和专业
暂未填写个人网址
北京
加入社区时间：2019-08-20

个人成就

获得 451 次赞同
文章被阅读 395.3K 次

关注了：1关注者：48

九州暮云

电商数据应用体系建设总结（三）—— 离线数据兜底方案

电商数据应用体系建设总结（一）—— 数据应用架构剖析

电商数据应用体系建设总结（二）—— 数据应用层架构介绍和规范总结

滴滴 x StarRocks：极速多维分析创造更大的业务价值

HDFS 客户端读写超时时间解析

Redis AOF重写阻塞问题分析

ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析（三）

大压缩文件对Impala查询性能的影响

YARN Fair Scheduler批量分配功能调优总结

一步一步理解Impala query profile（四）

利用反射实现状态同步

一步一步理解 Impala query profile（三）

一步一步理解Impala query profile（二）

一步一步理解Impala query profile（一）

腾讯云自媒体分享计划
腾讯｜产品运营 (已认证)

腾讯云自媒体分享计划

（译）优化ORC和Parquet文件，提升大SQL读取性能

YARN任务监控界面Aggregate Resource Allocation指标解析

Scala 枚举的使用和探索（译）

Error: Your Command Line Tools are too outdated

个人简介

个人成就

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

九州暮云

电商数据应用体系建设总结（三）—— 离线数据兜底方案

电商数据应用体系建设总结（一）—— 数据应用架构剖析

电商数据应用体系建设总结（二）—— 数据应用层架构介绍和规范总结

滴滴 x StarRocks：极速多维分析创造更大的业务价值

HDFS 客户端读写超时时间解析

Redis AOF重写阻塞问题分析

ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析（三）

大压缩文件对Impala查询性能的影响

YARN Fair Scheduler批量分配功能调优总结

一步一步理解Impala query profile（四）

利用反射实现状态同步

一步一步理解 Impala query profile（三）

一步一步理解Impala query profile（二）

一步一步理解Impala query profile（一）

腾讯云自媒体分享计划腾讯 ｜ 产品运营 (已认证)

腾讯云自媒体分享计划

（译）优化ORC和Parquet文件，提升大SQL读取性能

YARN任务监控界面Aggregate Resource Allocation指标解析

Scala 枚举的使用和探索（译）

Error: Your Command Line Tools are too outdated

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

腾讯云自媒体分享计划
腾讯｜产品运营 (已认证)