大数据技术与应用实战 - 个人中心 - 腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据技术与应用实战

LV0

全部文章

基于streamx闲聊flink在k8s上的实践
由于容器化易管理、易扩容等优点，越来越多的组件都开始迁移到容器上，k8s作为容器化的事实标准，受到了越来越多的人的青睐，由于我们目前很多web开发的组件也是部署...
大数据技术与应用实战 2022-02-232022-02-23 14:45:35
flink、kubernetes、hive、容器镜像服务
Iceberg在微软云azure上的部署实践
本文主要讲解一下iceberg数据湖在微软云azure上面的部署方案，采用的方案是通过hadoop的api写入azure，和之前写入hdfs没有太大区别，只需要...
大数据技术与应用实战 2021-11-112021-11-11 15:28:05
hadoop、jar、DevOps 解决方案、java、node.js
Flink 1.13 在Native k8s的部署实践
flink支持多种部署模式，比如standalone、sesson、per job、application，一般在生产环境我们都是将flink程序部署到k8s或...
大数据技术与应用实战 2021-06-252021-06-25 20:48:15
flink、大数据、kubernetes、sql
Flink集成iceberg在生产环境中的实践
目前我们的大数据系统里，主要承接的业务是部门内的一些业务日志数据的统计、分析等，比如网关日志数据，服务器监控数据，k8s容器的相关日志数据，app的打点日志等。...
大数据技术与应用实战 2021-02-262021-02-26 15:31:39
flink、hive、文件存储、sql、数据湖
Flink集成数据湖之实时数据写入iceberg
随着大数据处理结果的实时性要求越来越高，越来越多的大数据处理从离线转到了实时，其中以flink为主的实时计算在大数据处理中占有重要地位。
大数据技术与应用实战 2021-02-072021-02-07 19:13:12
flink、hive、sql、spark、kafka
Flink集成iceberg数据湖之合并小文件
在传统的实时数仓中，由于列式存储相对行式存储有较高的查询性能，我们一般采用orc，parquet数据格式，但是这种列式格式无法追加，流式数据又不能等候太长时间，...
大数据技术与应用实战 2020-11-252020-11-25 15:20:51
文件存储、flink、大数据、hive、linux
flink sql实时计算当天pv写入mysql
今天我们主要来讲一个很简单但是很常见的需求，实时计算出网站当天的pv值，然后将结果实时更新到mysql数据库，以供前端查询显示。
大数据技术与应用实战 2020-09-242020-09-24 16:18:48
云数据库 SQL Server、数据库、sql、flink、大数据
深入解读flink sql cdc的使用以及源码分析
CDC,Change Data Capture,变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以...
大数据技术与应用实战 2020-09-162020-09-16 14:10:35
大数据、flink、文件存储、kafka、postgresql
flink实战教程-使用set实时计算当天网站uv
对于web网站，我们一般会有这样的需求，实时的计算出来当天网站的uv，尽可能快的展示出来。今天我们就讲一下基于java的set集合做一下实时uv的统计。
大数据技术与应用实战 2020-09-152020-09-15 14:33:27
java、flink、https、大数据、网络安全
flink实战-flink streaming sql 初体验
SQL，Structured Query Language:结构化查询语言，作为一个通用、流行的查询语言，不仅仅是在传统的数据库，在大数据领域也变得越来越流行，...
大数据技术与应用实战 2020-09-152020-09-15 14:33:12
flink、sql、java、kafka、大数据
flink实战-实时计算平台通过api停止流任务
今天我们主要讲一下如何通过api的方式来停止一个通过per job模式部署在yarn集群上的任务。
大数据技术与应用实战 2020-09-152020-09-15 14:32:39
flink、大数据、yarn、node.js、api
放弃fastjson，拥抱Jackson
最近由于阿里的fastjson频繁爆出安全漏洞，为了避免后续升级上线的烦恼，决定弃用fastjson，使用Jackson，把现有项目中的fastjson都换成了...
大数据技术与应用实战 2020-09-152020-09-15 14:32:06
文件存储、json、java
Flink实战-定时器实现已完成订单自动五星好评
在电商领域会有这么一个场景，如果用户买了商品，在订单完成之后，24小时之内没有做出评价，系统自动给与五星好评，我们今天主要使用flink的定时器来简单实现这一功...
大数据技术与应用实战 2020-09-152020-09-15 14:31:24
java、flink、大数据
聊聊AWK命令的那些事
对于下面的nginx日志access.log，用脚本分析出访问ip的Top 10。其实这个题不难，但是考察了几个常用的shell 命令，awk、uniq、so...
大数据技术与应用实战 2020-09-152020-09-15 14:31:17
linux、unix、sql、tcp/ip、大数据
flink实战-模拟简易双11实时统计大屏
在大数据的实时处理中，实时的大屏展示已经成了一个很重要的展示项，比如最有名的双十一大屏实时销售总价展示。除了这个，还有一些其他场景的应用，比如我们在我们的后台系...
大数据技术与应用实战 2020-09-152020-09-15 14:30:51
flink、大数据、windows、java、https
大数据流处理-我为什么选择Apache Flink
随着这几年大数据技术的迅猛发展，人们对于处理数据的要求也越来越高，由最早的MapReduce，到后来的hive、再到后来的spark，为了获取更快、更及时的结果...
大数据技术与应用实战 2020-09-152020-09-15 14:30:45
flink、大数据、spark、编程算法
flink实战-聊一聊flink中的聚合算子
今天我们主要聊聊flink中的一个接口org.apache.flink.api.common.functions.AggregateFunction，这个类可以...
大数据技术与应用实战 2020-09-152020-09-15 14:30:21
flink、大数据、sql、java
flink实战-使用广播实现报警阈值动态更新
紧接着上一篇文章【FLINK实战-使用CEP进行网站监控报警和报警恢复】，上一篇主要讲了怎么对数据流做监控报警，但是实际生产环境中，可能我们对这个报警的阈值设置...
大数据技术与应用实战 2020-09-152020-09-15 14:29:51
flink、大数据、java
flink教程-flink 1.11 使用sql将流式数据写入hive
上一篇介绍了使用sql将流式数据写入文件系统，这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表，则至少需要添加以下两个属性. ...
大数据技术与应用实战 2020-09-152020-09-15 14:29:40
hive、flink、大数据、sql、java
如何在Apache Flink中管理RocksDB内存大小
原文：https://www.ververica.com/blog/manage-rocksdb-memory-size-apache-flink 翻译：zha...
大数据技术与应用实战 2020-09-152020-09-15 14:29:18
flink、大数据、文件存储、apache

个人简介

暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2018-07-26

个人成就

获得 209 次赞同
文章被阅读 107.3K 次
文章获得 2 次首页推荐

关注了：1关注者：39