首页
学习
活动
专区
圈层
工具
发布
首页标签大数据

#大数据

腾讯云大数据解决方案,助力客户快速构建企业级数据架构,获取数据时代核心竞争优势

SparkCore 之 Spark Action 类算子详解

用户2482016

摘要:系统拆解 Spark 全部 Action 算子——按输出类、存储类、聚合类、统计类四大分类,逐个剖析语法、底层原理、Driver/Executor 数据流...

100

统计功能在 ES 里最早叫 facet——那会儿它还写成 ElasticSearch

岳涛

腾讯云TDP | 官方产研 (已认证)

0.90.0 GA 的标签打在 2013 年 4 月 29 日(提交信息:release 0.90.0 GA)。那会儿官方文档里这个词还拼成 ElasticSe...

500

一条查询做多件事,靠 ES|QL 的 FORK 和 INLINE STATS

岳涛

腾讯云TDP | 官方产研 (已认证)

ES|QL 的 FORK 和 INLINE STATS 都已转正:前者把一条查询劈成几路并行跑,后者聚合完还能保住原始行。本文讲清两者的用法、版本状态和各自的使...

600

表单优化与订单风控:手机号归属地 API 落地应用

探数API小喇叭

表单自动填充,提升用户转化用户注册、下单页面输入手机号后,自动带出省份城市,免去手动下拉选择地区,降低填写负担,提升表单转化率。

1500

大数据安全面临三大威胁,企业信任危机倒逼防护升级

用户12778382

大数据安全并非新话题,但面对日益复杂的网络威胁,服务商能否有效应对,仍是严峻考验。恶意软件可侵入企业系统,窃取甚至删除数据。大数据安全服务商需着力应对网络勒索、...

1600

ES 曾经自带"文档自动过期":0.90 的 `_ttl` 是怎么干活、又是怎么没的

岳涛

腾讯云TDP | 官方产研 (已认证)

0.90 里给 mapping 加一个 _ttl,文档到期就会被自动删掉——不用定时任务、不用 delete-by-query。这个功能 2.0 被标记废弃,5...

7620

超时不再是 5xx:ES 9.0 把它改成了 429,重试逻辑得跟着改

岳涛

腾讯云TDP | 官方产研 (已认证)

9.0 起 Elasticsearch 的超时异常从 5xx 变成 429(Too Many Requests)。这条 breaking change 不报错、...

6310

日志表 Schema 治理:固定字段 + VARIANT 兜底 + 高频子列物化的三层设计,以及变更窗口怎么排

野生数据人

【摘要】日志字段变更的麻烦,多数不是"改不动",而是"没有分层"——所有字段一律建成固定列,于是每次业务侧加一个 key 都要动一次表结构。我们做日志治理时把字...

3010

让业务同学自己查日志:我们把查询入口换成 MySQL 协议的接入方案记录

野生数据人

【摘要】这篇记录的是一次"接入方案",不是查询改写。背景是日志排查的查询请求几乎全部压在少数几个会写 ES DSL 的人身上,我们想让业务、测试、算法同学能自己...

2200

半结构化日志的字段治理方案:VARIANT 与固定字段表如何搭配,容量怎么规划

SelectDB技术团队

摘要:日志字段治理的难点不在存储,而在字段来源分散、枚举不可完成时如何保持口径稳定。Apache Doris 自 2.1 版本起提供 VARIANT 类型:写入...

3410

日志检索与聚合一体化架构:索引、容量与延迟规划方法

SelectDB技术团队

摘要:日志平台将检索、聚合和维表关联放在 Apache Doris 的同一条 SQL 链路中,可减少“检索出 ID—跨引擎回表—再次聚合”的数据搬运。Click...

2510

网关访问日志的写入链路架构与容量规划:以 Doris 为落地方案

SelectDB技术团队

摘要:本文面向网关访问日志这类持续高频写入场景,给出以 Apache Doris 为落地方案的写入链路架构、容量测算方法、分片与攒批参数规划,以及分阶段落地路径...

3400

大数据安全分析:瓶颈待破,未来趋向智能化与协作化

用户12777717

在纵深防护方面,传统思路亟需转变,应建立涵盖攻击路径、时间、管理与物理维度的“高维度纵深防护体系”。Gartner提出的自适应安全架构强调持续监测与响应,其基础...

2900

互联网金融洗牌加剧,大数据风控成平台突围关键

用户12777717

互联网金融竞争白热化,风控能力决定平台能否在洗牌中胜出。以P2P网贷为例,大数据正渗透风控全流程。

2810

基于腾讯云构建景区票务系统实时客流统计架构

千里达.景游宝

在景区运营中,客流数据是做调度决策的核心依据。传统模式下,景区管理者往往第二天才能看到前一天的入园数据,等发现某个区域拥堵时,游客已经排起长队。

8610

ES 建索引默认给几个分片?6.x 是 5,7.0 之后是 1

岳涛

腾讯云TDP | 官方产研 (已认证)

6.x 及更早版本建索引不指定分片数,默认给 5 个;7.0 把这个默认值改成了 1。本文说说这条改动背后的"过度分片"问题,以及当年分片数定死之后到底有多难改...

36330

Apache Doris x Fluss:面向湖流一体的统一查询与分析

SelectDB技术团队

作者|陈明雨,Apache Doris PMC Chair导读:Apache Doris 5.0 多模湖仓预告(6)|场景方案篇:实时分析如何同时兼顾最新事件、...

11310

写不进去的文档,别再悄悄丢了:Failure Store

岳涛

腾讯云TDP | 官方产研 (已认证)

ES 9.1 引入 Failure Store,把 ingest 失败或 mapping 冲突的文档存下来,9.2 起对日志流默认开启。本文讲怎么开、怎么查,以...

39660
领券