章鱼carl的专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

章鱼carl的专栏

专栏成员

66

文章

87803

阅读量

32

订阅数

实时数仓一般性总结

flink 大数据数据湖实时数仓 kafka

一般也不需要非常仔细地进行数据分层，数据直接通过Flink计算或者聚合之后将结果写MySQL/ES/HBASE/Druid/Kudu等，直接提供应用查询或者多维分析。

2023-03-06

9620

数仓一般性总结

数据越冗余越难保证数据一致性，分布式存储就是这样，但是维度退化到事实表后相当于预聚合了，所以查询分析效率高。

2022-05-16

4930

分布式一般性总结

分布式系统解决的主要矛盾是单机单节点的瓶颈问题。例如，性能和可用性。技术演进所使用的基本思想是分治和多副本。衍生出数据多副本，任务多副本，并行计算，移动计算，数据本地性等等。衍生的架构主要有主备架构，主从架构，无主对等架构。带来的新的矛盾是CAP定理中所阐述的在三个维度之间的平衡。技术难点主要体现在分布式数据一致性，分布式事务协调。例如，主备节点之间的数据一致性与可用性的平衡，分布式集群选主过程中的协调。衍生出的算法有Quorum，Paxos，Raft，ZAB，Lease等等。其他的衍生技术，例如，数据投递的三种一致性语义（精确一次、至少一次、至多一次），数据分区的四种常见方式（hash、等量、特征字段范围、一致性hash），日志的两种策略（全量、增量）。

2022-03-31

3490

线程框架模型总结

react 编程算法 java android

1. Disruptor：Apache Storm底层应用了Disruptor来实现worker内部的线程通信；

2022-03-31

8080

浅谈面向对象的那些形而上

面向对象编程数据结构

本文主要聊一聊笔者对软件工程、系统设计、OOA/OOD/OOP、面向对象设计原则、设计模式等概念的简单理解。这些都是高度抽象化，同时又很重要的概念。笔者仅是一个毕业工作五年的研究生，必然存在较大的认知局限。文中同时也借用了许多专家的精彩段落来帮助笔者阐述，引用会贴在段末。

2022-03-31

4080

【Flink】第三十三篇：任务线程模型

flink 大数据 rpc

线程模型能帮助我们更深刻的理解Flink任务执行原理，更精确的控制Flink程序，这些是使用Flink解决复杂问题、写出高性能和高可用程序的基础。

2022-03-31

2.2K0

【Flink】第三十二篇：Flink SQL 字段血缘中树的构建与遍历

node.js flink 大数据 sql 编程算法

从【Flink】第二十七篇：三天撸了一个 Flink SQL 字段血缘算法这篇文章开始，笔者开启了一个Flink SQL字段血缘实现的探索之路。但是由于当时只是针对Flink 运行时中产生的calcitetree简单分析后写出的简易版，有诸多不成熟之处，所以也没说过多的实现细节。

2022-03-31

2.5K1

【Flink】第三十一篇：Netty 之核心设计、核心抽象和线程模型

编程算法 android java 自动驾驶

上一篇【Flink】第三十篇：Netty 之 Java NIO 为大家分享了IO 中的基本概念、5种 IO 模型、IO多路复用、Reactor IO设计模式。

2022-03-31

8740

【Flink】第三十篇：Netty 之 Java NIO

自动驾驶编程算法 kernel react socket编程

从本篇开始回顾总结Netty通信框架，尝试为读者揭开它的神秘面纱。Flink内部节点之间的通信是用Akka，比如JobManager和TaskManager之间的通信。而operator之间的数据传输是利用Netty。

2022-03-31

9120

【Flink】第二十九篇：源码分析 Blink Planner

sql flink 大数据 python css

【Flink】第四篇：【迷思】对update语义拆解D-、I+后造成update原子性丢失

2022-03-31

2.1K0

【Flink】第二十八篇：Flink SQL 与 Apache Calcite

flink 大数据 apache hive sql

【Flink】第四篇：【迷思】对update语义拆解D-、I+后造成update原子性丢失

2022-03-31

2.4K0

【Flink】第二十七篇：三天撸了一个 Flink SQL 字段血缘算法

flink 大数据 sql 编程算法

【Flink】第四篇：【迷思】对update语义拆解D-、I+后造成update原子性丢失

2022-03-31

2.6K0

【Flink】第二十六篇：源码角度分析Task执行过程

flink 大数据数据结构文件存储

【Flink】第四篇：【迷思】对update语义拆解D-、I+后造成update原子性丢失

2022-03-31

7680

【Flink】第二十五篇：源码角度分析作业提交逻辑

数据结构 css flink yarn 大数据

【Flink】第四篇：【迷思】对update语义拆解D-、I+后造成update原子性丢失

2022-03-31

9080

【Flink】第二十四篇：源码角度分析 DataStream API 调用逻辑

python flink 大数据 css api

【Flink】第四篇：【迷思】对update语义拆解D-、I+后造成update原子性丢失

2022-03-31

8020

【Flink】第二十三篇：join 之 temporal join

缓存 flink 大数据 nest sql

继以上 Flink Join 两篇文章之后探讨最后一类Flink的Join：temporal join。

2022-03-31

5.2K0

【Flink】第二十二篇：一文终结 Flink 内存配置

flink 大数据 hbase TDSQL MySQL 版

【Flink】第四篇：【迷思】对update语义拆解D-、I+后造成update原子性丢失【Flink】第五篇：checkpoint【1】【Flink】第五篇：checkpoint【2】【Flink】第八篇：Flink 内存管理【Flink】第九篇：Flink SQL 性能优化实战【Flink】第十篇：join 之 regular join 【Flink】第十三篇：JVM思维导图【Flink】第十四篇：LSM-Tree一般性总结【Flink】第十五篇：Redis Connector 数据保序思

2022-03-31

8780

【Flink】第十八篇：Direct Memory 一箩筐

flink 大数据 java socket编程自动驾驶

Flink的内存管理是基于JVM内存模型的，所以，在内存调优或者解决各种OOM等问题时JVM内存管理是绕不开的话题。本文以Direct Memory为切入点，探索堆外内存、直接内存、以及他们在Java NIO源码中如何体现的。最后，简单介绍Java NIO的零拷贝在Kafka和Netty中的应用。

2022-03-31

1.6K0

【Flink】第二十一篇：HBase 写热点问题实战

flink 大数据 hbase TDSQL MySQL 版 sql

HBase的设计思想主要是LSM。参见【Flink】第十四篇：LSM-Tree一般性总结。而LSM存储引擎的主要设计思想就是不断的将内存的有序存储结构flush到磁盘，这时候会在磁盘形成一个个的小的文件，如果每次都去做新文件和旧文件的合并，这显然是没必要，并且低效的。

2022-03-31

9290

【Flink】第二十篇：HBase GC 调优实战

企业 flink 大数据 hbase TDSQL MySQL 版

经过测试环境的基本验证后，在线上试跑我们的Flink SQL批量从Hive抽数到HBase程序，出现了GC时间超阈值的警告，

2022-03-31

6200

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态