大数据技术与应用实战

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV0

发表了文章 2022-02-232022-02-23 14:45:35

基于streamx闲聊flink在k8s上的实践

由于容器化易管理、易扩容等优点，越来越多的组件都开始迁移到容器上，k8s作为容器化的事实标准，受到了越来越多的人的青睐，由于我们目前很多web开发的组件也是部署...

大数据技术与应用实战 2022-02-232022-02-23 14:45:35

flink、kubernetes、hive、容器镜像服务

发表了文章 2021-11-112021-11-11 15:28:05

Iceberg在微软云azure上的部署实践

本文主要讲解一下iceberg数据湖在微软云azure上面的部署方案，采用的方案是通过hadoop的api写入azure，和之前写入hdfs没有太大区别，只需要...

大数据技术与应用实战 2021-11-112021-11-11 15:28:05

hadoop、jar、DevOps 解决方案、java、node.js

发表了文章 2021-06-252021-06-25 20:48:15

Flink 1.13 在Native k8s的部署实践

flink支持多种部署模式，比如standalone、sesson、per job、application，一般在生产环境我们都是将flink程序部署到k8s或...

大数据技术与应用实战 2021-06-252021-06-25 20:48:15

flink、大数据、kubernetes、sql

发表了文章 2021-01-082021-01-08 15:31:04

Flink集成iceberg在生产环境中的实践

目前我们的大数据系统里，主要承接的业务是部门内的一些业务日志数据的统计、分析等，比如网关日志数据，服务器监控数据，k8s容器的相关日志数据，app的打点日志等。...

大数据技术与应用实战 2021-02-262021-02-26 15:31:39

flink、hive、文件存储、sql、数据湖

发表了文章 2020-11-252020-11-25 15:20:51

Flink集成iceberg数据湖之合并小文件

在传统的实时数仓中，由于列式存储相对行式存储有较高的查询性能，我们一般采用orc，parquet数据格式，但是这种列式格式无法追加，流式数据又不能等候太长时间，...

大数据技术与应用实战 2020-11-252020-11-25 15:20:51

文件存储、flink、大数据、hive、linux

发表了文章 2020-10-232020-10-23 11:27:45

Flink集成数据湖之实时数据写入iceberg

随着大数据处理结果的实时性要求越来越高，越来越多的大数据处理从离线转到了实时，其中以flink为主的实时计算在大数据处理中占有重要地位。

大数据技术与应用实战 2021-02-072021-02-07 19:13:12

flink、hive、sql、spark、kafka

发表了文章 2020-09-242020-09-24 16:18:48

flink sql实时计算当天pv写入mysql

今天我们主要来讲一个很简单但是很常见的需求，实时计算出网站当天的pv值，然后将结果实时更新到mysql数据库，以供前端查询显示。

大数据技术与应用实战 2020-09-242020-09-24 16:18:48

云数据库 SQL Server、数据库、sql、flink、大数据

发表了文章 2020-09-162020-09-16 14:10:35

深入解读flink sql cdc的使用以及源码分析

CDC,Change Data Capture,变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以...

大数据技术与应用实战 2020-09-162020-09-16 14:10:35

大数据、flink、文件存储、kafka、postgresql

发表了文章 2020-09-152020-09-15 14:33:27

flink实战教程-使用set实时计算当天网站uv

对于web网站，我们一般会有这样的需求，实时的计算出来当天网站的uv，尽可能快的展示出来。今天我们就讲一下基于java的set集合做一下实时uv的统计。

大数据技术与应用实战 2020-09-152020-09-15 14:33:27

java、flink、https、大数据、网络安全

发表了文章 2020-09-152020-09-15 14:33:12

flink实战-flink streaming sql 初体验

SQL，Structured Query Language:结构化查询语言，作为一个通用、流行的查询语言，不仅仅是在传统的数据库，在大数据领域也变得越来越流行，...

大数据技术与应用实战 2020-09-152020-09-15 14:33:12

flink、sql、java、kafka、大数据

发表了文章 2020-09-152020-09-15 14:32:39

flink实战-实时计算平台通过api停止流任务

今天我们主要讲一下如何通过api的方式来停止一个通过per job模式部署在yarn集群上的任务。

大数据技术与应用实战 2020-09-152020-09-15 14:32:39

flink、大数据、yarn、node.js、api

发表了文章 2020-09-152020-09-15 14:32:06

放弃fastjson，拥抱Jackson

最近由于阿里的fastjson频繁爆出安全漏洞，为了避免后续升级上线的烦恼，决定弃用fastjson，使用Jackson，把现有项目中的fastjson都换成了...

大数据技术与应用实战 2020-09-152020-09-15 14:32:06

文件存储、json、java

发表了文章 2020-09-152020-09-15 14:31:24

Flink实战-定时器实现已完成订单自动五星好评

在电商领域会有这么一个场景，如果用户买了商品，在订单完成之后，24小时之内没有做出评价，系统自动给与五星好评，我们今天主要使用flink的定时器来简单实现这一功...

大数据技术与应用实战 2020-09-152020-09-15 14:31:24

java、flink、大数据

发表了文章 2020-09-152020-09-15 14:31:17

聊聊AWK命令的那些事

对于下面的nginx日志access.log，用脚本分析出访问ip的Top 10。其实这个题不难，但是考察了几个常用的shell 命令，awk、uniq、so...

大数据技术与应用实战 2020-09-152020-09-15 14:31:17

linux、unix、sql、tcp/ip、大数据

发表了文章 2020-09-152020-09-15 14:30:51

flink实战-模拟简易双11实时统计大屏

在大数据的实时处理中，实时的大屏展示已经成了一个很重要的展示项，比如最有名的双十一大屏实时销售总价展示。除了这个，还有一些其他场景的应用，比如我们在我们的后台系...

大数据技术与应用实战 2020-09-152020-09-15 14:30:51

flink、大数据、windows、java、https

发表了文章 2020-09-152020-09-15 14:30:45

大数据流处理-我为什么选择Apache Flink

随着这几年大数据技术的迅猛发展，人们对于处理数据的要求也越来越高，由最早的MapReduce，到后来的hive、再到后来的spark，为了获取更快、更及时的结果...

大数据技术与应用实战 2020-09-152020-09-15 14:30:45

flink、大数据、spark、编程算法

发表了文章 2020-09-152020-09-15 14:30:21

flink实战-聊一聊flink中的聚合算子

今天我们主要聊聊flink中的一个接口org.apache.flink.api.common.functions.AggregateFunction，这个类可以...

大数据技术与应用实战 2020-09-152020-09-15 14:30:21

flink、大数据、sql、java

发表了文章 2020-09-152020-09-15 14:29:51

flink实战-使用广播实现报警阈值动态更新

紧接着上一篇文章【FLINK实战-使用CEP进行网站监控报警和报警恢复】，上一篇主要讲了怎么对数据流做监控报警，但是实际生产环境中，可能我们对这个报警的阈值设置...

大数据技术与应用实战 2020-09-152020-09-15 14:29:51

flink、大数据、java

发表了文章 2020-09-152020-09-15 14:29:40

flink教程-flink 1.11 使用sql将流式数据写入hive

上一篇介绍了使用sql将流式数据写入文件系统，这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表，则至少需要添加以下两个属性. ...

大数据技术与应用实战 2020-09-152020-09-15 14:29:40

hive、flink、大数据、sql、java

发表了文章 2020-09-152020-09-15 14:29:18

如何在Apache Flink中管理RocksDB内存大小

原文：https://www.ververica.com/blog/manage-rocksdb-memory-size-apache-flink 翻译：zha...

大数据技术与应用实战 2020-09-152020-09-15 14:29:18

flink、大数据、文件存储、apache

12 3 下一页

个人简介

暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2018-07-26

个人成就

获得 209 次赞同
文章被阅读 107.4K 次
文章获得 2 次首页推荐

关注了：1关注者：39