小刘，服务器这会好卡，是不是出了什么问题啊，你看能不能做个监控大屏实时查看机器的运行情况？
对于技术人来说，最可怕的事在于：当技术每天都在更新，自己却没有学习的机会，于是轻易被抛弃……
备注：Table & SQL API通过Apache Calcite进行SQL解析，并转换成Calcite执行计划，最终调用Flink DataStream/DataSet API。
场主认为：Flink=风口趋势所在！而技术人就是追风的人，stay hungry，stay young！
做大数据绝对躲不过的一个热门话题就是实时流计算，而提到实时流计算，就是Spark 和 Flink两面大旗。
实时计算的输出内容，以及提供的分析能力：OLAP 分析，key-value 实时数据服务，维度填充，数据打标等。
摘要：本文由网易 Java 技术专家吴良波分享，主要内容为 Apache Flink 在网易的实践，文章提纲如下：
1.总跟女票说我是做大数据的，女票也跟她朋友说我是做大数据的，但一问是啥，我跟我女票解释了半天她都没听懂，她也不知道怎么跟她朋友说。最好的解决方法是换女票，当然这是不存在的，想都不会想也不敢想。于是乎说写篇她看完也能知道大数据的文章给她。
摘要：本文作者彭明德，介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。主要内容包括：
Flink Forward是由Apache官方授权，用于介绍Flink社区的最新动态、发展计划以及Flink相关的生产实践经验的会议。2018年12月20日，Flink Forward首次来到中国举办。腾讯TEG数据平台部参加了会议并在会上介绍了腾讯内部基于Flink打造的一站式实时计算平台Oceanus。 一、背景介绍 TEG实时计算团队作为腾讯内部最大的实时数据服务部门，为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了2.1亿条，每天接入的数据量达到了17万亿条，每天的数据增长
AI 前线导读：有赞是一个商家服务公司，提供全行业全场景的电商解决方案。在有赞，大量的业务场景依赖对实时数据的处理，作为一类基础技术组件，服务着有赞内部几十个业务产品，几百个实时计算任务，其中包括交易数据大屏，商品实时统计分析，日志平台，调用链，风控等多个业务场景，本文将介绍有赞实时计算当前的发展历程和当前的实时计算技术架构。
随着移动设备、物联网设备的持续增长，流式数据呈现了爆发式增长，同时，越来越多的业务场景对数据处理的实时性有了更高的要求，基于离线批量计算的数据处理平台已经无法满足海量数据的实时处理需求，在这个背景下，各种实时流处理平台应运而生。
数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。
在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。针对这些数据类型主要包括实时智能推荐、复杂事件处理、实时欺诈检测、实时数仓与ETL类型、流数据分析类型、实时报表类型等实时业务场景，而Flink对于这些类型的场景都有着非常好的支持。
Spark Streaming，其实就是一种Spark提供的，对于大数据，进行实时计算的一种框架。它的底层，其实，也是基于我们之前讲解的Spark Core的。基本的计算模型，还是基于内存的大数据实时计算模型。而且，它的底层的组件，其实还是最核心的RDD。 只不过，针对实时计算的特点，在RDD之上，进行了一层封装，叫做DStream。其实，学过了Spark SQL之后，你理解这种封装就容易了。之前学习Spark SQL是不是也是发现，它针对数据查询这种应用，提供了一种基于RDD之上的全新概念，DataFrame，但是，其底层还是基于RDD的。所以，RDD是整个Spark技术生态中的核心。要学好Spark在交互式查询、实时计算上的应用技术和框架，首先必须学好Spark核心编程，也就是Spark Core。 这节课，作为Spark Streaming的第一节课，我们先，给大家讲解一下，什么是大数据实时计算？然后下节课，再来看看Spark Streaming针对实时计算的场景，它的基本工作原理是什么？？
所谓实时流计算，就是近几年由于数据得到广泛应用之后，在数据持久性建模不满足现状的情况下，急需数据流的瞬时建模或者计算处理。这种实时计算的应用实例有金融服务、网络监控、电信数据管理、 Web 应用、生产制造、传感检测，等等。在这种数据流模型中，单独的数据单元可能是相关的元组（Tuple），如网络测量、呼叫记录、网页访问等产生的数据。但是，这些数据以大量、快速、时变（可能是不可预知）的数据流持续到达，由此产生了一些基础性的新的研究问题——实时计算。实时计算的一个重要方向就是实时流计算。
作者 | 梁李印，滴滴出行大数据架构部技术专家。梁李印将于5月18-19日在上海A2M峰会分享《滴滴实时计算平台架构与实践》话题，更多峰会议题请至A2M峰会官网查看，点击底部阅读原文可直达官网。
数据仓库概念的提出都要追溯到上世纪了，我们认为在大数据元年之前的数仓可以称为传统数仓，而后随着海量数据不断增长，以及Hadoop生态不断发展，主要基于Hive/HDFS的离线数仓架构可以兴起并延续至今，近几年随着Storm/Spark（Streaming）/Flink等实时处理框架的更新迭代乃至相互取代，各厂都在着力构建自己的实时数仓，特别是近两年，随着Flink声名鹊起，实时数仓更是名声在外并且还在不断快速发展。
摘要：本文整理自中泰证券大数据中心实时计算平台架构师连序全，在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分：
2022 年 11 月 26-27 日，Flink Forward Asia（FFA）峰会成功举行。Flink Forward Asia 是由 Apache 软件基金会官方授权、由阿里云承办的技术峰会，是目前国内最大的 Apache 顶级项目会议之一，也是 Flink 开发者和使用者的年度盛会。由于疫情原因，本届峰会仍采用线上形式。此外，本次峰会上还举行了第四届天池实时计算 Flink 挑战赛的颁奖仪式，4346 支参赛队伍中共有 11 支队伍经过层层角逐脱颖而出，最终收获了奖项。 FFA 大会照例总结了
本文介绍了如何利用Apache Spark技术栈进行实时数据流分析，并通过可视化技术将分析结果实时展示。我们将使用Spark Streaming进行数据流处理，结合常见的数据处理和可视化库，实现实时的数据流分析和可视化展示。本文包括了数据流处理、实时计算、可视化展示三个主要步骤，并提供相应的代码示例和技术细节。
用户画像，作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像在各领域得到了广泛的应用。
今天分享的内容主要分为四个部分，首先会介绍下严选实时数仓的背景、产生的一些问题。然后是针对这些背景和问题对实时数仓的整体设计和具体的实施方案，接着会介绍下在实时数仓的数据质量方面的工作，最后讲一下实时数仓在严选中的应用场景。
MES 是马蜂窝统一实时计算平台，为各条业务线提供稳定、高效的实时数据计算和查询服务。在整体设计方面，MES 借鉴了 Lambda 架构的思想。本篇文章，我们将从四个方面了解 MES：
奕星 (EAS) 是腾讯内部专注于游戏营销活动分析的系统，在营销活动效果分析中，奕星遇到一个最大的问题就是对活动参与人数的去重，并给出对应的活动号码包。单个营销活动的周期是固定的，但活动与活动之间时间很少会有完全相同的情况。
导语 | 腾讯内部每日都需要对海量的游戏营销活动数据做效果分析，而活动参与人数的去重一直是一项难点。本文将为大家介绍腾讯游戏营销活动分析系统——奕星，在去重服务上的技术思路和迭代方案，希望与大家一同交流探讨。文章作者：王方晓，腾讯运营开发工程师。 一、背景 奕星 (EAS) 是腾讯内部专注于游戏营销活动分析的系统，在营销活动效果分析中，奕星遇到一个最大的问题就是对活动参与人数的去重，并给出对应的活动号码包。单个营销活动的周期是固定的，但活动与活动之间时间很少会有完全相同的情况。 比如A活动时间是1-10号
导·读 近日，“2016易观A10大数据应用峰会”主论坛“大数据基础框架设计-实时分析技术平台洞察与实践”上，易观CTO郭炜发表了“企业大数据的实时分析之路”的主题演讲，从技术角度给大家讲述如何用实时
1981年，一群年轻人用红油漆把这12个字刷在三合板上，立在了刚刚成立不久的深圳特区蛇口工业园。
一方面互联网行业对实时化服务的要求日益增多，尤其在信息流，短视频应用最为显著，同时随着实时技术引擎的发展能够提供高效，稳定的实时数据服务能力。另一方面初期实时计算都是以需求为导向，采用"一路到底"的开发模式，没有形成完整的，统一的，规范化的实时数据体系。
本次演讲主要是和大家分享一下实时计算在滴滴的应用场景和一些实践。 滴滴大数据体系 滴滴大数据体系的主要特点在于数据都是实时的，数据采集可以采集到90%以上的数据。我们的数据来源一共有三类，一类是Bin
导语 | 腾讯内部每日都需要对海量的游戏营销活动数据做效果分析，而活动参与人数的去重一直是一项难点。本文将为大家介绍腾讯游戏营销活动分析系统——奕星，在去重服务上的技术思路和迭代方案，希望与大家一同交流探讨。
摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中，美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。
“2016易观A10大数据应用峰会”主论坛“大数据基础框架设计-实时分析技术平台洞察与实践”上，易观CTO郭炜发表了“企业大数据的实时分析之路”的主题演讲，从技术角度给大家讲述如何用实时分析帮助企业进行数据运营。 各位嘉宾，各位领导，各位技术的小伙伴们，早上好！ 非常荣幸今天站在这里和大家分享一下我们易观对于实时分析技术的一些理解。其实昨天于老师也曾经讲过，我们的实时分析会助力我们的用户资产增长，究竟什么是实时分析，实时分析究竟怎么样帮助企业能够做到他的用户资产增长。今天上午主要有几个技术大咖，后面我相信王
vivo 实时计算平台是 vivo 实时团队基于 Apache Flink 计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。
摘要：本文由贝壳找房实时计算负责人刘力云分享，主要内容为 Apache Flink 在贝壳找房业务中的应用，分为以下三方面：
在过去的这几年时间里，以 Storm、Spark、Flink 为代表的实时计算技术接踵而至。2019 年阿里巴巴内部 Flink 正式开源。整个实时计算领域风起云涌，一些普通的开发者因为业务需要或者个人兴趣开始接触Flink。
接下来我们将介绍基于腾讯云流计算 Oceanus Flink 平台、PipeLine 设计模式搭建的实时数据仓库思想。该方案已经落地内容商业化新闻如广告实时广告停单、实时报表、实时特征计算、游戏联运行为分析、数据异常检测等场景。
接下来，我们是要讲解商品详情页缓存架构，缓存预热和解决方案，缓存预热可能导致整个系统崩溃的问题以及解决方案；
数据时代，从数据中获取业务需要的信息才能创造价值，这类工作就需要计算框架来完成。传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。这样看起来虽然非常合理，但是结果却非常紧凑，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决。 基于此，一种新的数据计算结构---流计算方式出现了，它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送
flume，版本1.7.0，主要用来从业务系统收集数据以及从jms收集数据。
阅读目录: 实时计算 storm简介 流式计算 归纳总结 高容错性 实时计算 接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算，然后实时展示结果，一般是秒级。 举个例子来说，如果有个大型网站，要实时统计用户的搜索内容，这样就能计算出热点新闻及突发事件了。 按照以前离线计算的做法是不能满足的，需要使用到实时计算。 小明作为有理想、有追求的程序员开始设计其解决方案了，主要分三部分。 每当搜索内容的数据产生时，先把数据收集到消息队列，由
数仓建设是公司数据发展到一定规模后必然会提供的一种基础服务，其中数仓建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。
阿里妹导读：今年的双11，实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录，数据体量也达到了惊人的每秒7TB，基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角，并在稳定性、性能和效率方面都经受住了严苛的生产考验。本文深度解析“流批一体”在阿里核心数据场景首次落地的实践经验，回顾“流批一体”大数据处理技术的发展历程。
继上期数据中台技术汇栏目发布DataSimba——企业级一站式大数据智能服务平台，本期介绍DataSimba的数据采集平台。
原始视频视频资源已经在优酷公开：2018.8.11 Flink China Meetup·北京站-Flink在美团的应用与实践
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
