首页
学习
活动
专区
圈层
工具
发布
首页标签大数据处理

#大数据处理

实时开发平台(Streampark)--Flink SQL功能演示

奥零数据科技

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

14110

qData 数据中台开源版 v1.0.7 发布:新增 SQL Server 支持,快速部署支持达梦与 MySQL 主库切换!

吴同

随着企业数据资产的不断增长,数据中台在实现数据治理与统一服务中的作用愈发重要。qData 数据中台开源版 v1.0.7 正式发布!本次更新聚焦 多数据库兼容性与...

13210

百万级并发下的去重挑战:Bloom Filter 与 Redis 的组合方案

jackcode

你花了一整晚采集到几百万条数据,结果发现有三分之一是重复的,心情立刻从“数据工程师”变成“搬砖机器人”。

14510

构建AI智能体:大数据下的“搭积木”:N-Gram 如何实现更智能的语义搜索

未闻花名

核心定义:N-gram 是来自给定文本或语音序列的 N 个连续项(如单词、字符) 的序列。它是一种通过查看一个项目的前后文来建模序列的概率模型。

13210

从零开始学Flink:数据输出的终极指南

用户4160816

在实时数据处理的完整链路中,数据输出(Sink)是最后一个关键环节,它负责将处理后的结果传递到外部系统供后续使用。Flink提供了丰富的数据输出连接器,支持将数...

51310

从零开始学Flink:事件驱动

用户4160816

在实时计算领域,很多业务逻辑天然适合“事件驱动”模式:当事件到达时触发处理、在某个时间点触发补偿或汇总、根据状态变化发出告警等。Apache Flink 为此提...

12410

qData数据中台【商业版】v1.1.10 全新发布:多源数据集成全面升级,清洗规则体系再进化!

吴同

随着企业数据环境日益复杂,如何高效整合多源异构数据、实现灵活可视化编排与智能治理,成为数据中台的关键能力。

10920

NTP网络校时服务器:安徽京准引领国产自主可控

NTP网络同步时钟

全国产北斗卫星授时服务器正凭借其高精度、自主可控的特点,成为全球精准时间同步领域一股强大的力量。下面这个表格,概括了它的核心优势:

17510

从零开始学Flink:流批一体的执行模式

用户4160816

在大数据处理领域,批处理和流处理曾经被视为两种截然不同的范式。然而,随着Apache Flink的出现,这种界限正在逐渐模糊。Flink的一个核心特性是其批流一...

13810

Lambda架构:实时与批处理的完美融合

用户4160816

Lambda架构通过巧妙地将数据处理分解为批处理层(Batch Layer)、加速层(Speed Layer)和服务层(Serving Layer),实现了兼具...

26910

qData 数据中台:全面支持 ARM 架构与信创国产化环境的兼容性说明

吴同

qData 数据中台基于 Java、Vue 与 Spring Boot 技术体系构建,具备高度模块化与跨平台特性,可在多种硬件与操作系统环境中稳定运行。

20620

网页快照的结构化保存方案:对象存储 + 可搜索元数据设计

jackcode

任务听起来不复杂——每天定时抓取各大新闻网站的首页和详情页,存下来做后续的文本分析、情感识别和舆情追踪。

13110

从零开始学Flink:实时流处理实战

用户4160816

在大数据处理领域,实时流处理正变得越来越重要。Apache Flink作为领先的流处理框架,提供了强大而灵活的API来处理无界数据流。本文将通过经典的Socke...

18510

双节在即:北斗卫星校时服务筑牢交通防线精准应对

NTP网络同步时钟

在国庆中秋长假期间,面对庞大的客流量,一套精准、统一的时间系统是保障交通系统高效协同运行的“隐形基石”。基于北斗卫星的NTP网络时间服务器,正通过其纳秒至毫秒级...

15010

Python爬虫技术:招标信息抓取与关键词过滤

小白学大数据

本文详细介绍了使用Python爬虫技术实现招标信息抓取与关键词过滤的完整方案。通过合理的技术选型和模块设计,我们构建了一个高效、可扩展的招标信息监控系统。在实际...

23310

qData数据中台商业版演示站全面升级,全套演示数据 + 全新帮助中心 + 新手引导体系!

吴同

我们怀着激动的心情宣布——qData 数据中台商业版演示站 全面焕新,今日正式上线! 🎉

18200
领券