用户9421738

腾讯云

开发者社区

文档建议反馈控制台

首页

文章/答案/技术大牛

发布

LV0

发表了文章 5天前2025-04-17 05:57:13

重磅里程碑：Kafka4.x生产级集群部署、扩容、缩容实践案例总结记录

Apache Kafka 4.0 是一个重要的里程碑，标志着首个完全剔除 Apache ZooKeeper® 即可运行的重大版本发布。通过KRaft 模式运行，...

用户9421738 5天前2025-04-17 05:57:13

数据、kafka、部署、集群、实践

发表了文章 17天前2025-04-04 09:26:23

实战经验：Apache Spark性能调优的五大秘诀

Apache Spark 于 2013 年开源，至今仍是最受欢迎且功能强大的计算引擎之一。然而，使用Spark也面临着挑战，诸如缩容、数据倾斜和内存溢出等问题。...

用户9421738 17天前2025-04-04 09:26:23

数据、性能、apache、spark、内存

发表了文章 17天前2025-04-04 09:25:49

深度好文：开放湖仓架构Hudi、Iceberg、Delta Lake的数据去重策略

数据重复一直是数据工程的难题，影响存储成本、查询性能和数据完整性。本文介绍湖仓架构中数据重复是如何在数据摄入、存储合并和表管理等环节出现的，并探究像Hudi这类...

用户9421738 17天前2025-04-04 09:25:50

数据去重、存储、架构、事件、数据

发表了文章 20天前2025-04-02 06:44:01

深度好文：三大主流数据湖格式Hudi、Iceberg、Delta Lake的数据聚类技术对比详解

聚类是一种存储优化方法，适用于诸如 Apache Hudi、Apache Iceberg 和 Delta Lake 等开源表格式，核心目标是解决数据摄入顺序（如...

用户9421738 20天前2025-04-02 06:44:02

排序、数据、优化、数据湖、工作

发表了文章 24天前2025-03-29 07:25:43

Apache Hudi深度揭秘：记录级元数据字段的价值与存储成本

Apache Hudi最初由Uber于2016年开发，旨在构建一个事务型数据湖，以快速可靠地处理数据更新，支持其网约车平台的高速增长。如今，Hudi已被行业广泛...

用户9421738 24天前2025-03-29 07:25:43

apache、存储、数据湖、数据、压缩

发表了文章 24天前2025-03-28 09:13:58

基于Hadoop的统一数据服务层演进与Hudi技术的前世今生

随着Apache Parquet和Apache ORC等存储格式以及Presto和Apache Impala等查询引擎的发展，Hadoop生态系统有潜力成为容忍...

用户9421738 24天前2025-03-28 09:13:58

服务、数据、系统、优化、hadoop

发表了文章 2025-03-172025-03-17 06:58:20

奇葩现象！零负载场景电力行业线上Flink作业必现TaskManager内存溢出超分被杀原生bug问题排查

根据客户现场运维人员反馈新上的某业务对应的Flink作业经常定期异常退出，已有的历史Flink作业并没有这种现象。排查过JobManager日志提示心跳超时，现...

用户9421738 2025-03-172025-03-17 06:58:21

日志、数据、flink、bug、内存

发表了文章 2025-03-102025-03-10 03:22:52

Flink新特性:一条SQL实现Kafka集群间多Topic非结构化数据自动透传同步方案实践总结

你是否遇到过这么一个需求场景？当数据平台跨地域环境或者平台多版本并存需要数据透传时，怎么实现Kafka集群间多Topic数据同步呢。除了Kafka官方提供的集群...

用户9421738 2025-03-102025-03-10 03:22:52

结构化数据、kafka、集群、实践、同步

发表了文章 2025-03-042025-03-04 06:21:22

五分钟入门Erlang语言基于brod类库实现操作Kafka案例总结

现场大数据项目Kafka组件大多数使用的语言集中在Java、Python、Go、C++。最近现场需求使用Erlang对接，遂有本文。Erlang是一种函数式并发...

用户9421738 2025-03-042025-03-04 06:27:08

kafka、编译、入门、源码、erlang

发表了文章 2025-03-032025-03-03 05:27:51

Gluten肝货：Spark Native加速技术完整实践案例总结

目前gluten支持两种backend：clickhouse和velox，本文实践基于gluten与clickhouse组合方式。

用户9421738 2025-03-032025-03-03 05:27:51

架构、实践、spark、native、编译

发表了文章 2025-02-202025-02-20 06:23:31

Flink自研新特性：yarn-session集群WebUI支持Jar持久化到HDFS实践总结

某传统IT客户系统架构重度使用Flink技术栈，早期主要使用standalone集群模式。随着企业数字化改革，公司服务器资源统一纳管。现在迁移为yarn-ses...

用户9421738 2025-02-202025-02-20 06:23:31

hdfs、session、集群、实践、flink

发表了文章 2024-12-232024-12-23 07:17:33

实战干货：Spark Native加速技术必备基础JNI实践总结

Spark Native加速技术日益活跃，不管使用哪种技术方案，本质上都是JNI的使用。所谓JNI，即Java Native Interface，也就是允许Ja...

用户9421738 2024-12-232024-12-23 07:17:33

jni、native、基础、实践、spark

发表了文章 2024-12-192024-12-19 07:37:55

医保行业Spark Native加速技术Gluten环境：业务Sql出现大量Task失败问题解决方案

近几年Spark Native加速技术高速发展、技术栈日益丰富，各大厂商积极迭代支持，目前基本可以达到生产可用级别。技术栈大致分为以下几种：

用户9421738 2024-12-192024-12-19 07:37:56

解决方案、sql、native、task、行业

发表了文章 2024-11-152024-11-15 02:51:40

数据湖填坑指南：OLAP引擎openlookeng查询Hudi MOR表数据不准确问题定位解决

本文主要记录某医院客户使用OLAP引擎openlookeng查询Hudi MOR表，遇到查询数据不准确问题的排查、分析、解决方法。openlookeng也称为h...

用户9421738 2024-11-152024-11-15 02:51:40

编译、数据、线程、数据湖、olap

发表了文章 2024-11-042024-11-04 02:32:44

电力行业数据湖方案：Flink基于HiveCatalog增删改查Hudi实践攻略及TableNotPartitioned异常修复

本文主要记录电力行业客户数据湖技术架构演进遇到的问题，已有架构为FlinkSQL实时写入Hudi、Hive on Spark查询，现在准备引入FlinkSQL增...

用户9421738 2024-11-042024-11-04 02:32:44

flink、数据湖、官方文档、实践、异常

发表了文章 2024-10-252024-10-25 05:02:53

教育行业PyFlink整合FlinkML机器学习场景实践总结

本文主要记录教育行业高校PyFlink整合Flink ML的场景案例实践总结。PyFlink是可以使用Python语言开发Apache Flink的功能API，...

用户9421738 2024-10-252024-10-25 05:02:54

机器学习、教育、行业、集群、实践

发表了文章 2024-10-142024-10-14 06:50:19

一文掌握教育行业FlinkCDC+Paimon实时湖仓案例实践总结

Paimon支持以多种形式FlinkCDC实时导入源端数据与元数据变更(schema evolution)到Paimon表中。也就是说源端增加列、不用重启Fli...

用户9421738 2024-10-142024-10-14 06:50:19

教育、部署、行业、实践、数据

发表了文章 2024-09-122024-09-12 11:27:33

电力行业数据湖技术方案Flink、Hudi、Hive on Spark案例全攻略记录及Hive查询MOR rt表异常修复

本文主要记录电力行业客户的数据湖技术方案实践案例，方案概括为基于FlinkSQL+Hudi流式入湖、同步表元数据到Hive，基于Hive catalog统一元数...

用户9421738 2024-09-122024-09-12 11:27:33

数据湖、异常、spark、hive、flink

发表了文章 2024-09-122024-09-12 11:26:48

行业客户现场SparkStreaming实时计算使用案例问题总结

虽然当前实时计算领域所有厂商都推荐Flink框架，但是某些传统行业客户因为多年固化的业务场景仍然坚持使用SparkStreaming框架。本文主要记录Spark...

用户9421738 2024-09-122024-09-12 11:26:48

集群、实时计算、数据、程序、行业

发表了文章 2024-08-302024-08-30 08:53:50

Spark流计算Structured Streaming实践总结

Structured Streaming是基于Spark SQL引擎的可扩展、可容错流计算引擎。用户可以向使用批计算一样的方式使用流计算。Spark SQL持续...

用户9421738 2024-08-302024-08-30 08:53:50

streaming、流计算、实践、数据、spark

12 下一页

个人简介

暂未填写公司和职称
暂未填写个人简介
腾讯云开发者社区
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2022-01-27

个人成就

获得 30 次赞同
文章被阅读 7.2K 次

关注了：1关注者：13