先来看一下官网上对flink内存设置的介绍。Flink JVM 进程的进程总内存（Total Process Memory）包含了由 Flink 应用使用的内存（Flink 总内存）以及由运行 Flink 的 JVM 使用的内存。Flink 总内存（Total Flink Memory）包括 JVM 堆内存（Heap Memory）和堆外内存（Off-Heap Memory）。其中堆外内存包括直接内存（Direct Memory）和本地内存（Native Memory）。
下载完成后解压缩apache-activemq-5.5.1-bin.zip，然后双击apache-activemq-5.5.1\bin\activemq.bat运行ActiveMQ程序。
在 Flink 1.12.0 版本中对 UI 进行了改进,在 TM 的页面增加了一个内存模型图,清楚的显示了每个区域的内存配置以及使用情况.
说到负载均衡LVS这套技术，有很多种实现方法。 本文所说，主要就是利用apache服务器实现反向代理，实现负载均衡。 首先，传统的正向代理如下图所示，正如我们用的游戏加速代理，大多的个人PC把请求发给
简单地说，Garbage Collection (GC)就是JVM回收不再使用的对象，释放内存的过程。GC Overhead Limit Exceeded error是java.lang.OutOfMemoryError家族的一员，表示JVM内存被耗尽。接下来看看引起java.lang.OutOfMemoryError: GC Overhead Limit Exceeded错误的原因是什么，以及如何解决这个错误。
Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得 Ganglia 可以实现良好的扩展。gmond 带来的系统负载非常少，这使得它成为在集群中各台计算机上运行的一段代码，而不会影响用户性能。
有些时候我们需要查看jvm的运行参数，这个需求可能会存在2种情况： 第一，运行java命令时打印出运行参数； 第二，查看正在运行的java进程的参数；
众所周知，Spark 框架主要是由 Scala 语言实现，同时也包含少量 Java 代码。Spark 面向用户的编程接口，也是 Scala。然而，在数据科学领域，Python 一直占据比较重要的地位，仍然有大量的数据工程师在使用各类 Python 数据处理和科学计算的库，例如 numpy、Pandas、scikit-learn 等。同时，Python 语言的入门门槛也显著低于 Scala。
Server端： yum install rrdtool ganglia ganglia-gmetad ganglia-gmond ganglia-web httpd php Client端： yum install ganglia-gmond 创建RRD目录 mkdir -p /var/lib/ganglia/rrds chown ganglia:ganglia /var/lib/ganglia/rrds 编辑/etc/ganglia/gmond.conf cluster { name = "DFS" owner = "unspecified" latlong = "unspecified" url = "unspecified" } udp_send_channel { #bind_hostname = yes # Highly recommended, soon to be default. # This option tells gmond to use a source address # that resolves to the machine's hostname. Without # this, the metrics may appear to come from any # interface and the DNS names associated with # those IPs will be used to create the RRDs. mcast_join = master.hadoop.test port = 8649 ttl = 1 }
Apache JMeter 功能包括： 1) 能够加载和性能测试许多不同的应用程序/服务器/协议类型：
最近由于工作需要，公司需要部署 tomcat 集群，忙活了几天，终于配置了好了，做个笔记以后备用。
skywalking-6.6.0/apm-sniffer/apm-agent-core/src/main/java/org/apache/skywalking/apm/agent/core/jvm/cpu/CPUProvider.java
主要介绍针对平台的spark应用程序,在不修改用户程序的情况下 如何采集其资源和性能指标为后续分析使用,如性能优化,资源使用计价等.
jvm的标准参数，一般都是很稳定的，在未来的JVM版本中不会改变，可以使用 java -help 检索出所有的标准参数。
通过图可知 org.apache.dubbo.registry.integration.RegistryProtocol#destroy该方法都会在 org.apache.dubbo.config.bootstrap.DubboBootstrap#destroy中被调用，而且是通过Spring ContextClosedEvent事件(容器关闭时)、JVM钩子函数(JVM退出)触发。报错的具体位置，在方法 org.apache.dubbo.config.context.ConfigManager#getApplicationOrElseThrow中，通过断点分析 org.apache.dubbo.config.context.ConfigManager#getConfig(java.lang.String)中获取配置信息时， configsCache为空，所以该方法的返回值为null，上层方法就报错了。
Spark 框架主要是由 Scala 语言实现，同时也包含少量 Java 代码。Spark 面向用户的编程接口，也是 Scala。然而，在数据科学领域，Python 一直占据比较重要的地位，仍然有大量的数据工程师在使用各类 Python 数据处理和科学计算的库，例如 numpy、Pandas、scikit-learn 等。同时，Python 语言的入门门槛也显著低于 Scala。为此，Spark 推出了 PySpark，在 Spark 框架上提供一套 Python 的接口，方便广大数据科学家使用。本文主要从源码实现层面解析 PySpark 的实现原理，包括以下几个方面：
私服是架设在局域网的一种特殊的远程仓库，目的是代理远程仓库及部署第三方构件。有了私服之后，当 Maven 需要下载构件时，直接请求私服，私服上存在则下载到本地仓库；否则，私服请求外部的远程仓库，将构件下载到私服，再提供给本地仓库下载。
Druid进程可以以任意方式进行部署，为了方便部署，建议分为三种服务器类型：主服务器（Master）、查询服务器（Query）、数据服务器（Data）。
用来查看基于HotSpot JVM里面所有进程的具体状态, 包括进程ID，进程启动的路径等等。与unix上的ps类似，用来显示本地有权限的java进程，可以查看本地运行着几个java程序，并显示他们的进程号。使用jps时，不需要传递进程号做为参数。
作为数据工程师，你可能会碰到过很多种启动PySpark的方法，可能搞不懂这些方法有什么共同点、有什么区别，不同的方法对程序开发、部署有什么影响，今天我们一起分析一下这些启动PySpark的方法。
flink-core-1.7.1-sources.jar!/org/apache/flink/configuration/JobManagerOptions.java
VisualVM是我们平时最常用的Java应用监控和性能分析工具，功能很丰富。我们有时会利用它来监控Spark作业，主要是Driver和Executor的运行情况。VisualVM支持jstatd和JMX两种方式连接远程JVM，本文简单叙述一下方法。
使用maven来进行源码，真的是靠运气，特别是你网络很差的情况下，再特别是你没有本地库的时候，靠运气吃饭。。。
监控是一个大系统完成后最重要的一部分。Spark整个系统运行情况是由ListenerBus以及MetricsSystem 来完成的。这篇文章重点分析他们之间的工作机制以及如何通过这两个系统完成更多的指标收集。
storm-2.0.0/storm-client/src/jvm/org/apache/storm/grouping/CustomStreamGrouping.java
flink-release-1.7.1/flink-dist/src/main/flink-bin/bin/flink-daemon.sh
Index of /maven/mvnd https://downloads.apache.org/maven/mvnd/
Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。按照storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。 应用场景包括推荐系统（实时推荐，根据下单或加入购物车推荐相关商品）、金融系统、预警系统、网站统计（实时销量、流量统计，如淘宝双11效果图）、交通路况实时系统等等。 storm一般从日志系统通过kafka收集数据，然后对数据进行处理运算（运算可以结合数据库以及hdfs的存量数据），不断将运算结果写入redis，然后需要展示这个运算结果的系统从redis读取数据。运算结果写入redis和读取展示运算结果是不断重复的（例如1秒一次），这样能实时观察数据的变化。例如双十一的销售额会不断增长，那么storm就要不断解析日志累加销售额，展示页面也要不断读取redis最新的销售额。 twitter和微博实时统计热搜也是一样，实时分析日志才能发现今天的高频词是哪个。 也可以用于埋点收集日志，用户做某个动作，会触发在日志里打印出某个关键字，通过对关键字的统计，可以实时分析用户行为特征。 本文演示安装单机storm系统，并运行内置的示例程序。分为四个步骤：
在jvm中有很多的参数可以进行设置，这样可以让jvm在各种环境中都能够高效的运行。绝大部分的参数保持默认即可。
首先声明，这不是一份指南，这是一份失败的操作流水记录。我得到的最终结果：编译成功，但是无法运行，放弃在 Mac 平台直接使用此工具，乖乖用 Linux 或者容器环境。
sonar可以通过PMD,CheckStyle,Findbugs等等代码规则检测工具规范代码编写。
这次代码拉取成功，但是构建仍然失败，原因包括maven没安装(mvn命令不识别)、目录路径未识别
在最新版本的Flink 1.10中，PyFlink支持Python用户定义的函数，使您能够在Table API和SQL中注册和使用这些函数。但是，听完所有这些后，您可能仍然想知道PyFlink的架构到底是什么？作为PyFlink的快速指南，本文将回答这些问题。
DataFrame是一种不可变的分布式数据集，这种数据集被组织成指定的列，类似于关系数据库中的表。SchemaRDD作为Apache Spark 1.0版本中的实验性工作，它在Apache Spark 1.3版本中被命名为DataFrame。对于熟悉Python pandas DataFrame或者R DataFrame的读者，Spark DataFrame是一个近似的概念，即允许用户轻松地使用结构化数据（如数据表）。
作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：
一定不要用yum安装jdk，软链接真狗血，docker外挂盘找不到软链接，而我用了yum装了jdk，（千万别图快 ，不想去官网下载压缩包，然后rz上传，然后解压，然后设置环境变量），但是问题不大，这些坑我都给踩了，各位看官，请看操作
Centos部署Sonarqube代码质量管理平台
with Enum, return 500 when querying - ASF
Hook 技术需要预先分析目标应用的源代码和逻辑，根据目标测试场景设置目标、逻辑和数据，然后运行时动态的对目标函数参数值、逻辑或者返回值做修改，达到修改现有函数逻辑、实现目标测试场景的目的。
Flink 的新版内存管理机制，要追溯到 2020 年初发布的 Flink 1.10 版本。当时 Flink 社区为了实现三大目标：
作者：董伟柯，腾讯 CSIG 高级工程师 概要 Flink 的新版内存管理机制，要追溯到 2020 年初发布的 Flink 1.10 版本。当时 Flink 社区为了实现三大目标： 流和批模式下内存管理的统一，即同一套内存配置既可用于流作业也可用于批作业 管控好 RocksDB 等外部组件的内存，避免在容器环境下用量不受控导致被 KILL 消除不同部署模式下配置参数的歧义，消除 cut-off 等参数语义模糊的问题 提出了两个设计提案 FLIP-49: Unified Memory Configuratio
Greys为一款“事后工具” ，即服务已经上线了，无法再通过打印日志等方式进行埋点分析，此时可以借助此工具，来跟踪代码执行耗时、堆栈运行情况等。使用Greys，我们无需编写 脚步，它是命令交互式的，直接输入命令指定监控的类、方法。
由于Tomcat依赖于JRE环境，所以在安装Tomcat前，需要部署java基础环境。
skywalking-6.6.0/oap-server/server-receiver-plugin/skywalking-jvm-receiver-plugin/src/main/java/org/apache/skywalking/oap/server/receiver/jvm/provider/JVMModuleProvider.java
在 idea 项目配置当中添加一个 Remote JVM debug，当然每个 idea 版本可能名称不一致，看准图标就行。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
