首页
学习
活动
专区
圈层
工具
发布
首页标签大数据

#大数据

腾讯云大数据解决方案,助力客户快速构建企业级数据架构,获取数据时代核心竞争优势

【25软考网工笔记】第二章 数据通信基础(1)信道特性 奈奎斯特 香农定理

用户11991444

        信号变换: 信源产生的信号可能是连续的模拟信号,需进行模数转换,变成离散的数字信号,以便数字信道传送。例如,声音是连续的模拟信号,而电脑处理的零...

200

踩坑记:Elasticsearch 索引写不进去了?可能是触碰了这个隐藏限制

岳涛

腾讯云 | 大数据工程师 (已认证)

最近在回顾一些曾经在 ES 上踩过的坑,想起了这么一个问题:Elasticsearch 索引突然无法写入新文档了,日志里报错说文档数量超过了限制。这个问题在 7...

9297

别等系统“凉了”才响铃:聊聊延迟敏感系统的监控与报警设计

Echo_Wish

如果你做的是离线数仓,昨天的任务今天修,问题不大;但如果你碰的是延迟敏感系统——实时风控、实时推荐、在线交易、实时画像、广告竞价、流计算……

2410

从 Greenplum 到 Doris:集群缩减 2/3、年省数百万,度小满构建超大规模数据分析平台经验

SelectDB技术团队

本文整理自度小满 Doris 数据库负责人汤斯在 Doris Summit 2025 中的演讲,并以演讲者第一视角进行叙述。

3710

“字段多一个,凌晨三点炸一次”:聊聊流数据里的 Schema 演化,到底该怎么扛

Echo_Wish

如果你做过一段时间流式计算(Flink、Spark Streaming、Kafka Streams 随便哪个),你大概率遇到过下面这种场景:

6210

别再迷信离线数仓了,用流处理把实时指标平台(实时 OLAP)真正“跑起来”

Echo_Wish

👉 5 分钟延迟都算快的👉 查一个指标,Flink 跑得比业务还慢👉 一堆 Lambda / Kappa 架构,最后连自己都搞不清楚

8810

别再被 Exactly-Once 忽悠了:端到端一致性到底是怎么落地的?

Echo_Wish

凡是系统一出问题,PPT 上一定写着:Exactly-Once。 凡是真正线上跑稳的系统,反而不太爱吹这个词。

9210

大数据技术架构的全面解析:技术解构与业务要务

IAN李车

大数据技术架构远不止是工具的集合。它是一个综合性的战略框架,旨在系统性地处理那些在数量(Volume)、速度(Velocity)或多样性(Variety)上远超...

16310

Flink源码阅读:Task数据交互

Jackeyzhe

经过前面的学习,Flink 的几个核心概念相关的源码实现我们已经了解了。本文我们来梳理 Task 的数据交互相关的源码。

8210

踩坑实录:别被 extended_bounds 骗了!ES 直方图聚合的边界陷阱

岳涛

腾讯云 | 大数据工程师 (已认证)

本文描述问题及解决方法同样适用于 腾讯云 Elasticsearch Service(ES)。

261535

流式聚合不慢才怪?窗口、触发器和内存这三板斧你真用对了吗

Echo_Wish

做流处理这些年,我发现一个特别有意思的现象:👉 大家都在写聚合,真正把“聚合性能”当回事的人并不多。

7600

保护核心数据:Node.js中间件对接多头借贷风险API的安全实践

天远数科

在开发贷超导流页、信用卡申请 H5 或消费分期小程序时,前端面临着巨大的挑战:业务需要实时展示用户的信用评估状态(如“审核中”、“极速放款”或“暂不符合”),但...

7410

微服务架构下的共债预警:多头借贷行业风险版API的Golang接入指南

天远云服

在现金贷、消费分期以及助贷导流等高频业务场景中,晚一秒识别出借款人的“多头借贷”行为,都可能导致资金的瞬间损失。面对大促期间每秒数万次(QPS)的进件压力,传统...

8810

一次被大 JSON 教训后的 Apache SeaTunnel 调优笔记——过年临门一脚

Apache SeaTunnel

最开始的想法很朴素:amzn_order 的 Seatunnel CDC → Doris 同步已经跑得挺稳了,那我把这套配置直接“平移”到 amzn_api_l...

10210

收藏!Apache DolphinScheduler 3.3.2 超全配置指南来了,一张表搞定调优

Apache DolphinScheduler

本文系统梳理 Apache DolphinScheduler 3.3.2 各服务(master/worker/api/alert/standalone)目录、J...

35710
领券