首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    全网最硬核 JVM 内存解析 - 7.元空间存储的元数据

    JVM 在执行 Java 应用程序时,将加载的 Java 类的许多细节记录在内存中,这些信息称为类元数据(Class MetaData)。这些元数据对于 Java 的很多灵活的语言以及虚拟机特性都是很重要的,比如动态类加载、JIT 实时编译、反射以及动态代理等等。不同的 JVM 加载类保存的内存信息是不一样的,它们通常在更低的内存占用与更快的执行速度之间进行权衡(类似于空间还是时间的权衡)。对于 OpenJDK Hotspot 使用的则是相对丰富的元数据模型来获得尽可能快的性能(时间优先,不影响速度的情况下尽量优化空间占用)。相比于 C,C++,Go 这些离线编译为可执行二进制文件的程序相比,像 JVM 这样的托管运行时动态解释执行或者编译执行的,则需要保留更多关于正在执行的代码的运行时信息。原因如下:

    04

    全网最硬核 JVM 内存解析 - 11.元空间分配与回收流程举例

    前文我们没有提到,如何限制元空间的大小,其实就是限制 commit 的内存大小。元空间的限制不只是受限于我们的参数配置,并且前面我们提到了,元空间的内存回收也比较特殊,元空间的内存基本都是每个类加载器的 ClassLoaderData 申请并管理的,在类加载器被 GC 回收后,ClassLoaderData 管理的这些元空间也会被回收掉。所以,GC 是可能触发一部分元空间被回收了。所以元空间在设计的时候,还有一个动态限制 _capacity_until_GC,即触发 GC 的元空间占用大小。当要分配的空间导致元空间整体占用超过这个限制的时候,尝试触发 GC。这个动态限制也会在每次 GC 的时候动态扩大或者缩小。动态扩大以及缩小

    01

    设计模式之观察者模式

    今天我继续和大家分享一下设计模式中的知识,今天我们来看一下观察者模式。观察者模式也可以叫发布订阅模式,在实际的场景中有很多时候会遇到这种设计模式。在现实的生活中可以将这种模式理解为报纸订阅服务。也就是说,如果用户订阅了某个报社的报纸,那么报社在收到这个订阅请求后,就会每天把最新的报纸送到用户的手中,如果某一天用户不想继续看这家报社的报纸了,那么就可以取消这个订阅,那么这时报社又收到这个用户取消订阅的请求,然后把这个用户从以后的送报纸用户的名单中删除掉。所以第二天在给其他用户送报纸的时候,就不会继续给这个用户送了。通过上面这个小的例子使我们知道所谓观察者也就是上述例子中的用户,那么这个用户在观察什么呢?答案可显而知,也就是观察订阅这家报社的报纸有没有最新的,如果有最新的报纸,那么报社就会自动将新的报纸,送到自己的手中。那么报纸如果没有最新的呢,也就是没有更新呢?例如在法定假日期间,(并不是所有的报纸都是按天发版的,还有一些报纸法定假日停刊),那么这时用户就不会收到新的报纸了。

    03

    Spark 整体介绍

    Spark 是一个大数据运算框架,使用了DAG调度程序,比基于Hadoop MapReduce 运行速度提高了100倍以上     Spark 是一个通用框架,对于不同的运行场景都提供了对于的解决方案:         基于流式运算的 Spark Streaming框架         基于SQL 语法的 Spark SQL框架         基于图运算的 GraphX 框架         基于人工智能与机器学习的 MLlib 框架     Spark 可运行在 Yarn 框架上,还可以运行在独立的集群,Mesos,kubernetes 等集群上面,访问HDFS,HBase,Hive等上百种数据源     Spark 支持 Scala,Java,Python及R语言的快速编写     Spark 角色分为 HMaster,Worker俩种角色,Spark 启动命令为 Spark-Submit(简称Driver),      Spark 运算框架可以不基于Hadoop 框架进行数据运行,所以在配置conf文件时,不涉及 Hadoop 相关东西,在运算时,         如果数据存储或者需要写入到HDFS时,需要指定数据读取/写入命令         如果只是Local模式运行(调试模式),可以不基于HDFS     提示:[集群在运行过程中,涉及SSH访问,所以集群配置时一定需要免密登陆方可执行]     Spark 集群安装                 1. 配置文件修改             spart-env.xml    配置HMaster IP,端口             slave.sh 配置workers ip地址         2. 启动Spark集群             start-all.sh     Spark 高可用安装         可以采用,也可以不采用,根据自身条件而定         1. 安装Zookeeper 集群及配置Zookper集群,修改HMaster IP端口为Zookeeper 地址,并且启动             spart-env.xml         2. 启动Spark 集群             start-all.sh         3. 配置HMaster StandBy 进程 并且启动             hmaster-start.sh     提交Spark Sample任务         1.spart-submit classpath jarpath      Spark任务执行流程         Spark任务执行流程与Yarn任务执行流程类型         1. 首先客户端编写配置Configuration信息,打包Jar包,发起任务到HMaster         2. HMaster根据用户下发的任务信息,配置Worker个数及Worker对应的内存及CPU等,并且启动Worker;         3. Worker根据HMaster下发参数信息,并且与Client交互,获取对应的jar包等信息,然后启动Executor行数据处理(一个Worker下可以包含多个Executor)         4. 输出保存数据。     Yarn与Spark的对比         Yarn    ResourceManager   DataManager   YarnChild    (Job/Client)/ApplicationMastor                 Spark   HMaster           Worker        Executor    SparkSubmit     SparkShell 执行         SparkShell 可以理解为Spark的交互式编程窗口,在启动SparkShell那一瞬间,Spark任务已经启动,每个Work已经分配内存及CPU,等待执行任务,一般不采用SparkShell执行任务,不推荐。     Scala编写Spark                                     Spark对Scala的支持最好,Spark是用Scala语言开发的,所以Spark中包含了很多Scala特有的语法,这一点是其他语言所不能比拟的,所以编写Spark任务推荐使用Scala。         Spark 任务入口为SparkContext,首选需要创建SparkContent,然后就可以按照Spark任务执行流程进行编写,指定MapTask执行操作,ReduceTask执行操作,数据输入,数据输出等。

    01

    全网最硬核 JVM 内存解析 - 3.大页分配 UseLargePages

    前面提到了虚拟内存需要映射物理内存才能使用,这个映射关系被保存在内存中的页表(Page Table)。现代 CPU 架构中一般有 TLB (Translation Lookaside Buffer,翻译后备缓冲,也称为页表寄存器缓冲)存在,在里面保存了经常使用的页表映射项。TLB 的大小有限,一般 TLB 如果只能容纳小于 100 个页表映射项。 我们能让程序的虚拟内存对应的页表映射项都处于 TLB 中,那么能大大提升程序性能,这就要尽量减少页表映射项的个数:页表项个数 = 程序所需内存大小 / 页大小。我们要么缩小程序所需内存,要么增大页大小。我们一般会考虑增加页大小,这就大页分配的由来,JVM 对于堆内存分配也支持大页分配,用于优化大堆内存的分配。那么 Linux 环境中有哪些大页分配的方式呢?

    01
    领券