首页
学习
活动
专区
圈层
工具
发布
首页标签大数据

#大数据

腾讯云大数据解决方案,助力客户快速构建企业级数据架构,获取数据时代核心竞争优势

数据不守规矩怎么办?——聊聊乱序事件的处理策略与实战要点

Echo_Wish

结果就是:事件时间是 10:00 的数据,10:05 才到;10:03 的数据,反而先来了。

1300

银行 SRE 模式:推广实用策略盘点

腾讯蓝鲸助手

摘要:随着数字化转型的深入,SRE(Site Reliability Engineering)模式作为一种全新的运维理念,逐渐在银行业得到了应用。银行作为高风险...

2500

“大数据杀熟”,可能真的要终结了?

数据猿

在数字经济的浩瀚版图中,美国纽约州刚刚落下的一枚棋子,或许将在大洋彼岸引发一场无法忽视的海啸,这枚棋子名为《纽约算法定价披露法》(New York's Algo...

3000

算法基础篇:(十二)基础算法之倍增思想:从快速幂到大数据运算优化

_OP_CHEN

倍增,顾名思义,就是 “每次增加一倍”。它的核心思想是:通过预先计算出问题的 “2^k 倍” 解,在实际求解时,将复杂问题分解为若干个 “2^k...

1400

别再纠结了:Lambda 还是 Kappa?流批统一这件事,真没你想得那么玄乎

Echo_Wish

听起来很有道理,对吧?但如果你真在生产环境里跑过几年大数据,我敢打赌——你一定在某个深夜,对着失败的回放任务,怀念过 Lambda。

3000

【25软考网工笔记】第二章 数据通信基础(1)信道特性 奈奎斯特 香农定理

christine-rr

        数字信道带宽: 数字信道的带宽是信道能够达到的最大数据传输速率,单位是比特每秒(bit/s)。例如,若某数字信道的最大数据传输速率为100Mbi...

4110

踩坑记:Elasticsearch 索引写不进去了?可能是触碰了这个隐藏限制

岳涛

腾讯云 | 大数据工程师 (已认证)

最近在回顾一些曾经在 ES 上踩过的坑,想起了这么一个问题:Elasticsearch 索引突然无法写入新文档了,日志里报错说文档数量超过了限制。这个问题在 7...

209157

别等系统“凉了”才响铃:聊聊延迟敏感系统的监控与报警设计

Echo_Wish

如果你做的是离线数仓,昨天的任务今天修,问题不大;但如果你碰的是延迟敏感系统——实时风控、实时推荐、在线交易、实时画像、广告竞价、流计算……

5610

从 Greenplum 到 Doris:集群缩减 2/3、年省数百万,度小满构建超大规模数据分析平台经验

SelectDB技术团队

本文整理自度小满 Doris 数据库负责人汤斯在 Doris Summit 2025 中的演讲,并以演讲者第一视角进行叙述。

6910

“字段多一个,凌晨三点炸一次”:聊聊流数据里的 Schema 演化,到底该怎么扛

Echo_Wish

如果你做过一段时间流式计算(Flink、Spark Streaming、Kafka Streams 随便哪个),你大概率遇到过下面这种场景:

8510

别再迷信离线数仓了,用流处理把实时指标平台(实时 OLAP)真正“跑起来”

Echo_Wish

👉 5 分钟延迟都算快的👉 查一个指标,Flink 跑得比业务还慢👉 一堆 Lambda / Kappa 架构,最后连自己都搞不清楚

9210

别再被 Exactly-Once 忽悠了:端到端一致性到底是怎么落地的?

Echo_Wish

凡是系统一出问题,PPT 上一定写着:Exactly-Once。 凡是真正线上跑稳的系统,反而不太爱吹这个词。

9410

大数据技术架构的全面解析:技术解构与业务要务

IAN李车

大数据技术架构远不止是工具的集合。它是一个综合性的战略框架,旨在系统性地处理那些在数量(Volume)、速度(Velocity)或多样性(Variety)上远超...

20010

Flink源码阅读:Task数据交互

Jackeyzhe

经过前面的学习,Flink 的几个核心概念相关的源码实现我们已经了解了。本文我们来梳理 Task 的数据交互相关的源码。

8210

踩坑实录:别被 extended_bounds 骗了!ES 直方图聚合的边界陷阱

岳涛

腾讯云 | 大数据工程师 (已认证)

本文描述问题及解决方法同样适用于 腾讯云 Elasticsearch Service(ES)。

266535

流式聚合不慢才怪?窗口、触发器和内存这三板斧你真用对了吗

Echo_Wish

做流处理这些年,我发现一个特别有意思的现象:👉 大家都在写聚合,真正把“聚合性能”当回事的人并不多。

7800
领券