有没有去面试的时候被问到Flink的面试题你答不上来，为什么那？，菜吗？不是。原因是你接触的面试题太少了，那我今天就根据不同的群体来给大家你分享。
链接：https://www.zhihu.com/question/403840013/answer/1317631316
TaskManager 执行具体的 Task。TaskManager 为了对资源进行隔离和增加允许的task数，引入了 slot 的概念，这个 slot 对资源的隔离仅仅是对内存进行隔离，策略是均分，比如 taskmanager 的管理内存是 3 GB，假如有两个 slot，那么每个 slot 就仅仅有 1.5 GB 内存可用。
其实优雅停机，就是在要关闭服务之前，不是立马全部关停，而是做好一些善后操作，比如：关闭线程、释放连接资源等。
① 构建Application的运行环境，Driver创建一个SparkContext
面试题总结是一个长期工作，面试不停，这份面试题总结就不会停。以后会慢慢把Java相关的面试题、计算机网络等都加进来，其实这不仅仅是一份面试题，更是一份面试参考，让你熟悉面试题各种提问情况，当然，项目部分，就只能看自己了，毕竟每个人简历、实习、项目等都不一样。
解答： 1. 我们使用 yarn session 模式提交任务。每次提交都会创建一个新的 Flink 集群，为每一个 job 提供一个 yarn-session，任务之间互相独立，互不影响， 方便管理。任务执行完成之后创建的集群也会消失。线上命令脚本如下： bin/yarn-session.sh -n 7 -s 8 -jm 3072 -tm 32768 -qu root.. -nm - -d 其中申请 7 个 taskManager，每个 8 核，每个 taskmanager 有 32768M 内存。
相信小伙伴们对于Flink一定不会感到陌生，作为连续三年蝉联第一，荣膺全球最活跃的 Apache 开源项目，Flink在中国的热度也一直是居高不下。近几年，在社区的推动下，Flink 技术栈在越来越多的公司开始得到应用，因此在大数据的求职招聘中，对于Flink的着重考察也变得越来越重要。本期文章，菌哥就带大家来总结一下，在面试过程中，Flink常被问到的知识点有哪些？如果本文对你有帮助，记得在看完之后，一键三连(✧◡✧)
Flink 和 ClickHouse 分别是实时计算和（近实时）OLAP 领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台、实时数仓，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
当我们做一个项目时往往都需要选择该用什么技术。这一部分不是我们普通员工想的，而是架构师会根据客户的需求选择出合适的技术。当选择合适的技术会让我们的开发事半功倍。下面我就来讲解下我做的项目(实时数仓）是如何进行选型的。
消息队列就是用于当两个系统之间或者两个模块之间实现消息传递时，基于队列机制实现数据缓存的中间件
时隔一年,终于把主流的大数据组件全部学完了,学成之时,便是出师之日, 那为师便来考考你学的如何:
传统意义上的数据集市主要处理T+1的数据。随着互联网的发展，当前越来越多的业务场景对于数据时效性提出了更高的要求，以便及时快速地进行数据分析和业务决策，比如依托实时数据情况开展实时推荐、实时风控、实时营销等。特别是各种新技术的出现、发展和日趋成熟，实时数据分析和处理也成为可能。实时的大规模数据处理成为企业数字化转型过程中需要破解的难题，也是企业当前面临的一个普遍需求。
我们知道ChatGPT通过谷歌面试，年薪突破18.3万美元。阿里面试你觉得会怎么样？
本文将解析 JVM 和 Flink 的内存模型，并总结在工作中遇到和在社区交流中了解到的造成 Flink 内存使用超出容器限制的常见原因。由于 Flink 内存使用与用户代码、部署环境、各种依赖版本等因素都有紧密关系，本文主要讨论 on YARN 部署、Oracle JDK/OpenJDK 8、Flink 1.10+ 的情况。
戳更多文章： 1-Flink入门 2-本地环境搭建&构建第一个Flink应用 3-DataSet API 4-DataSteam API 5-集群部署 6-分布式缓存 7-重启策略 8-Flink中的窗口 9-Flink中的Time Flink时间戳和水印 Broadcast广播变量 FlinkTable&SQL Flink实战项目实时热销排行 Flink写入RedisSink Flink消费Kafka写入Mysql 所有代码，我放在了我的公众号，回复Flink可以下载 海量【java和大数据的面试题+视频
在大数据时代，金融科技公司通常借助消费数据来综合评估用户的信用和还款能力。这个过程中，某些中介机构会搜集大量的号并进行“养号”工作，即在一年周期里让这些号形成正常的消费、通讯记录，目的是将这些号“培养”得非常健康，然后卖给有欺诈意向的用户。这类用户通过网上信息提交审核，骗到贷款后就“销声匿迹”了。
最近有粉丝秋招面试回来，说原来MySQL在互联网公司原来如此的重要！京东和阿里的面试中都被问到了。。。。。兄弟你才知道啊！ 防止在后续求职跳槽中还有对“MySQL”掉以轻心的人，这里给大家再简单强调一下： 近年来在互联网行业中，MySQL稳居第二，随时可能超过Oracle，随着其性能一直在被优化，安全机制也趋向成熟，更重要的是开源免费的，所以目前互联网行业中MySQL的使用是非常多的，也是求职中的面试重点。 很多人拥有大厂梦，却容易在面试中因为MySQL败下阵来。 原因是很多人平时工作上没机会接触，小公司的
Jvm面试题及答案【最新版】Jvm高级面试题大全(2021版)，发现网上很多Jvm面试题及答案整理都没有答案，所以花了很长时间搜集，本套Jvm面试题大全，Jvm面试题大汇总，有大量经典的Jvm面试题以及答案，包含Jvm语言常见面试题、Jvm工程师高级面试题及一些大厂Jvm开发面试宝典，面试经验技巧等，应届生，实习生，企业工作过的，都可参考学习!
最近一直在研究如果提高kafka中读取效率，之前一直使用字符串的方式将数据写入到kafka中。当数据将特别大的时候发现效率不是很好，偶然之间接触到了Avro序列化，发现kafka也是支持Avro的方式于是就有了本篇文章。
又到了一年一度的金三银四，每次总能听到一些读者的反馈，问：有没有关于 xxx 的面试题，索性就把我所收集的 GitHub 上关于面试题的项目分享给大家。
不一定，除了一对一的窄依赖，还包含一对固定个数的窄依赖（就是对父RDD的依赖的Partition的数量不会随着RDD数量规模的改变而改变）， 比如join操作的每个partiion仅仅和已知的partition进行join，这个join操作是窄依赖，依赖固定数量的父rdd，因为是确定的partition关系。
在早期Hadoop刚出来的时候是没有解决HDFS单点问题的，这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪，这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决NameNode单点问题，接下来我们就来聊一聊。
一个流程中，有两个重要子任务：一是数据迁移，将kafka实时数据落Es，二是将kafka数据做窗口聚合落hbase，两个子任务接的是同一个Topic GroupId。上游 Topic 的 tps 高峰达到5-6w。
之前一段时间小程序和公众号都是交给学弟在打理，目前学弟面领毕业且目前正在北京找工作，所以之后的一段时间换本人来打理了。同时对于小程序和公众号做一定的改动，具体改动如下：
下面的答案都是博主收集小伙伴萌的答案 + 博主自己的理解进行的一个总结，博主认为是大家可以拿去细品的。
•step1：数据写入的时候，只写入内存 •step2：将数据在内存构建有序，当数据量大的时候，将有序的数据写入磁盘，变成一个有序的数据文件 •step3：基于所有有序的小文件进行合并，合并为一个整体有序的大文件
1）用于设置RDD持久化数据在Executor内存中能占的比例，默认是0.6,，默认Executor 60%的内存，可以用来保存持久化的RDD数据。根据你选择的不同的持久化策略，如果内存不够时，可能数据就不会持久化，或者数据会写入磁盘； 2）如果持久化操作比较多，可以提高spark.storage.memoryFraction参数，使得更多的持久化数据保存在内存中，提高数据的读取性能，如果shuffle的操作比较多，有很多的数据读写操作到JVM中，那么应该调小一点，节约出更多的内存给JVM，避免过多的JVM gc发生。在web ui中观察如果发现gc时间很长，可以设置spark.storage.memoryFraction更小一点。
Kafka 是一个分布式的、发布-订阅式消息中间件。最初是由 Linkedin 领英公司基于 Scala 和 Java 语言开发的分布式消息系统，现已捐献给 Apache 软件基金会。事实上 Kafka 不仅仅是一个消息队列（MQ），其已然成为一个开源的分布式流处理平台。Kafka 具有高吞吐、低延迟的特性，许多大数据处理系统比如 Storm、Spark、Flink 等都能很好地与之集成。
1）运行ApplicationMaster的Container：这是由ResourceManager（向内部的资源调度器）申请和启动的，用户提交应用程序时， 可指定唯一的ApplicationMaster所需的资源； 2）运行各类任务的Container：这是由ApplicationMaster向ResourceManager申请的，并由ApplicationMaster与NodeManager通信以启动之。
1）参数用于设置每个stage的默认task数量。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能； 2）很多人都不会设置这个参数，会使得集群非常低效，你的cpu，内存再多，如果task始终为1，那也是浪费， spark官网建议task个数为CPU的核数*executor的个数的2~3倍。
关于面试题，可能没那么多时间来总结答案，有什么需要讨论的地方欢迎大家指教。主要记录一下准备过程，和面试的一些总结，希望能帮助到正在面试或者将要面试的同学吧。
有位粉丝私信我说，说想让我拍一期Pulsar的视频，那今天满足一下这位粉丝要求，谈一谈我对Pulsar的理解。
错过金三银四的，切不可跟风，看到同事一个个都走了，自己也盲目的开始面试起来(期间也没有准备充分)，到底是因为技术原因影响自己的发展，偏移自己规划的轨迹，还是钱给少了，不受重视。准备不充分的面试，完全是浪费时间，更是对自己的不负责。
维度缓慢变化为SCD（Slowly Changing Dimensions）一些维度表的数据不是静态的，而是会随着时间而缓慢地变化（这里的缓慢是相对事实表而言，事实表数据变化的速度比维度表快，如果还不知道什么是事实表和维度表请看→数仓模型设计详细讲解）把处理维度表数据历史变化的问题，称为缓慢变化维问题，简称SCD问题。
spark streaming 的 checkpoint 仅仅是针对 driver 的故障恢复做了数据和元数据的checkpoint。而 flink 的 checkpoint 机制 要复杂了很多，它采用的是轻量级的分布式快照，实现了每个算子的快照，及流动中的数据的快照。
很多学员在面试的时候都会问到老师，常见的面试题有哪些。今天老师根据往届学员的面试反馈，整理了常见的一些面试题目，希望可以帮助到需要的同学。
Spark中的内存使用分为两部分：执行（execution）与存储（storage）。
1）如果说HDFS是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准。 2）速度更快：从使用spark sql操作普通文件CSV和parquet文件速度对比上看，绝大多数情况会比使用csv等普通文件速度提升10倍左右，在一些普通文件系统无法在spark上成功运行的情况下，使用parquet很多时候可以成功运行。 3）parquet的压缩技术非常稳定出色，在spark sql中对压缩技术的处理可能无法正常的完成工作（例如会导致lost task，lost executor）但是此时如果使用parquet就可以正常的完成。 4）极大的减少磁盘I/o,通常情况下能够减少75%的存储空间，由此可以极大的减少spark sql处理数据的时候的数据输入内容，尤其是在spark1.6x中有个下推过滤器在一些情况下可以极大的减少磁盘的IO和内存的占用，（下推过滤器）。 5）spark 1.6x parquet方式极大的提升了扫描的吞吐量，极大提高了数据的查找速度spark1.6和spark1.5x相比而言，提升了大约1倍的速度，在spark1.6X中，操作parquet时候cpu也进行了极大的优化，有效的降低了cpu消耗。 6）采用parquet可以极大的优化spark的调度和执行。我们测试spark如果用parquet可以有效的减少stage的执行消耗，同时可以优化执行路径。
Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、Spring Boot、Spring Cloud、RabbitMQ、Kafka、Linux等技术栈……
首先我们可以看下这张最精简的网络流控的图，Producer 的吞吐率是 2MB/s，Consumer 是 1MB/s，这个时候我们就会发现在网络通信的时候我们的 Producer 的速度是比 Consumer 要快的，有 1MB/s 的这样的速度差，假定我们两端都有一个 Buffer，Producer 端有一个发送用的 Send Buffer，Consumer 端有一个接收用的 Receive Buffer，在网络端的吞吐率是 2MB/s，过了 5s 后我们的 Receive Buffer 可能就撑不住了，这时候会面临两种情况：
对于Java工程师来说，几乎没有没听过大名鼎鼎的Spring框架的，Spring框架早已成为了Java后端开发事实上的行业标准，可以说，是Spring成就了Java，Spring也成为Java程序员必修课之一。 同时，随着Spring Boot和Spring Cloud的出现，使得开发工程师能更高效的利用Spring和其他基础设施快速搭建系统，Spring全家桶的诞生又一次解放了大家的生产力。 经常有粉丝后台留言有关Spring全家桶学习的问题，大家遇到的困惑无非是这些方面： 刚刚入行或转行的兄弟，不明白为
过年开工回来到现在，营长每天在地铁里只看到了两家公司的广告：前两周是拉勾网，最近都是 Boss直聘，求职、跳槽到现在，你是否已经成功，offer 在手了呢？
我们在数仓项目的时候往往是需要将它分层的，但是为什么分层你真正的了解过吗，那它分层的好处又是什么呢。好我们今天就针对这个话题进行讲解。如果你还不了解数仓中的模型可以去看这篇（数仓模型设计详细讲解）,编写不易请给个一键三连。
文章转载自公众号菜鸟学Python 上周很多同学都考完试放假了，常舒了一口气，但是准备找工作的同学还是心慌慌，明年的春招压力更大，笔试题，面试题，算法题怎么破，有没有好的网站，资料可以参考? 周末我
大家好！给大家介绍一下，这是我们持续更新整理的2017-2020字节跳动历年Android面试真题解析！
题目描述： 一只青蛙一次可以跳上1级台阶，也可以跳上2级台阶。求该青蛙跳上一个 n 级的台阶总共有多少种跳法。
1）粗粒度：启动时就分配好资源， 程序启动，后续具体使用就使用分配好的资源，不需要再分配资源；优点：作业特别多时，资源复用率高，适合粗粒度；缺点：容易资源浪费，假如一个job有1000个task，完成了999个，还有一个没完成，那么使用粗粒度，999个资源就会闲置在那里，资源浪费。 2）细粒度分配：用资源的时候分配，用完了就立即回收资源，启动会麻烦一点，启动一次分配一次，会比较麻烦。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
