worker 服务消费上游数据（工作日高峰期产出速度达近 200 MB/s，节假日高峰期可达 300MB/s 以上），进行中间处理后，写入多个下游。在实践中结合业务场景，基于快慢隔离的思想，以三个不同的 consumer group 消费同一 Topic，隔离三种数据处理链路。
1、根据java的内存模型会出现内存溢出的内存有堆内存、方法区内存、虚拟机栈内存、native方法区内存； 2、一般说的OOM基本都是针对堆内存； 3、对于堆内存溢出主的根本原因有两种 （1）app进程内存达到上限 （2）手机可用内存不足，这种情况并不是我们app消耗了很多内存，而是整个手机内存不足 4、而我们需要解决的主要是app的内存达到上限 5、对于app内存达到上限只有两种情况 （1）申请内存的速度超出gc释放内存的速度 （2）内存出现泄漏，gc无法回收泄漏的内存，导致可用内存越来越少 6、对于申请内存速度超出gc释放内存的速度主要有2种情况 （1）往内存中加载超大文件 （2）循环创建大量对象 7、一般申请内存的速度超出gc释放内存基本不会出现，内存泄漏才是出现问题的关键所在 8、内存泄漏常见场景 （1）资源对象没关闭造成的内存泄漏（如： Cursor、File等） （2）全局集合类强引用没清理造成的内存泄漏（特别是 static 修饰的集合） （3）接收器、监听器注册没取消造成的内存泄漏，如广播，eventsbus （4）Activity 的 Context 造成的泄漏，可以使用 ApplicationContext （5）单例中的static成员间接或直接持有了activity的引用 （6）非静态内部类持有父类的引用，如非静态handler持有activity的引用 9、怎么对内存进行优化呢 三个方向 （1）为应用申请更大内存，把manifest上的largdgeheap设置为true （2）减少内存的使用 ①使用优化后的集合对象，比如SpaseArray； ②使用微信的mmkv替代sharedpreference； ③对于经常打log的地方使用StringBuilder来组拼，替代String拼接 ④统一带有缓存的基础库，特别是图片库，如果用了两套不一样的图片加载库就会出现2个图片各自维护一套图片缓存 ⑤给ImageView设置合适尺寸的图片，列表页显示缩略图，查看大图显示原图 ⑥优化业务架构设计，比如省市区数据分批加载，需要加载省就加载省，需要加载市就加载失去，避免一下子加载所有数据 （3）避免内存泄漏 编码规范上： ①资源对象用完一定要关闭，最好加finally ②静态集合对象用完要清理 ③接收器、监听器使用时候注册和取消成对出现 ④context使用注意生命周期，如果是静态类引用直接用ApplicationContext ⑤使用静态内部类 ⑥结合业务场景，设置软引用，弱引用，确保对象可以在合适的时机回收 建设内存监控体系： 线下监控： ①使用ArtHook检测图片尺寸是否超出imageview自身宽高的2倍 ②编码阶段Memery Profile看app的内存使用情况，是否存在内存抖动，内存泄漏，结合Mat分析内存泄漏 线上监控： ①上报app使用期间待机内存、重点模块内存、OOM率 ②上报整体及重点模块的GC次数，GC时间 ③使用LeakCannery自动化内存泄漏分析 10、真的出现低内存，设置一个兜底策略 低内存状态回调，根据不同的内存等级做一些事情，比如在最严重的等级清空所有的bitmap，关掉所有界面，直接强制把app跳转到主界面，相当于app重新启动了一次一样，这样就避免了系统Kill应用进程，与其让系统kill进程还不如浪费一些用户体验，自己主动回收内存
我们定义变量会申请内存空间来存放变量的值，而内存的容量是有限的，当一个变量值没有用了（称为垃圾），就应该将其占用的内存给回收掉。变量名是访问到变量的唯一方式，所以当一个变量值没有任何关联的变量名时，我们就无法访问到该变量了，该变量就是一个垃圾，会被python解释的垃圾回收机制自动回收。
spring-boot-actuator 模块 是 spring-boot 用来查询或监控项目中各种组件、维度的度量指标（如：环境变量信息、日志级别、SpringBean 信息、组件（Redis、Mq、DB）健康状态）时使所用的模块。
该测试app的公用脚本，主要写一些关于登录，app引导页面，权限提示框，黑名单等通用的的内容.;ogc 对应的是旧版本的脚本，因为旧版本的UI也许变更了，不适合原理的脚本；对于覆盖安装gc和ogc都必须有对应的脚本，可以一样；
解释器在执行到定义变量的语法时，会申请内存空间来存放变量的值，而内存的容量是有限的，这就涉及到变量值所占用内存空间的回收问题，当一个变量值没有用了（简称垃圾）就应该将其占用的内存给回收掉，那什么样的变量值是没有用的呢？ 由于变量名是访问到变量值的唯一方式，所以当一个变量值不再关联任何变量名时，我们就无法再访问到该变量值了，该变量值就是没有用的，就应该被当成一个垃圾回收。
1、内存泄漏的根本原因在于生命周期长的对象持有了生命周期短的对象的引用 2、常见场景 （1）资源对象没关闭造成的内存泄漏（如： Cursor、File等） （2）全局集合类强引用没清理造成的内存泄漏（特别是 static 修饰的集合） （3）接收器、监听器注册没取消造成的内存泄漏，如广播，eventsbus （4）Activity 的 Context 造成的泄漏，可以使用 ApplicationContext （5）单例中的static成员间接或直接持有了activity的引用 （6）非静态内部类持有父类的引用，如非静态handler持有activity的引用 3、如何避免内存泄漏 （1）编码规范上： ①资源对象用完一定要关闭，最好加finally ②静态集合对象用完要清理 ③接收器、监听器使用时候注册和取消成对出现 ④context使用注意生命周期，如果是静态类引用直接用ApplicationContext ⑤使用静态内部类 ⑥结合业务场景，设置软引用，弱引用，确保对象可以在合适的时机回收 （2）建设内存监控体系 线下监控： ①使用ArtHook检测图片尺寸是否超出imageview自身宽高的2倍 ②编码阶段Memery Profile看app的内存使用情况，是否存在内存抖动，内存泄漏，结合Mat分析内存泄漏 线上监控： ①上报app使用期间待机内存、重点模块内存、OOM率 ②上报整体及重点模块的GC次数，GC时间 ③使用LeakCannery自动化内存泄漏分析 总结： 上线前重点在于线下监控，把问题在上线前解决；上线后运营阶段重点做线上监控，结合一定的预警策略及时处理 4、真的出现低内存，设置一个兜底策略 低内存状态回调，根据不同的内存等级做一些事情，比如在最严重的等级清空所有的bitmap，关掉所有界面，直接强制把app跳转到主界面，相当于app重新启动了一次一样，这样就避免了
CPU触发器： 1）Processor load is too high on {HOST.NAME} {HOST.NAME}上处理器负载太高 触发器表达式：{Zabbix server:system.cpu.load[percpu,avg1].avg(5m)}>5 告警等级：警告 2）Disk I/O is overloaded on {HOST.NAME} 磁盘I/O在{HOST.NAME}上重载 触发器表达式：{Zabbix server:system.cpu.util[,iowait].avg(1h)}>30 告警等级：警告 3）{HOST.NAME} [CPU Idle]-[< 10%] CPU空闲小于百分之10 触发器表达式：{Zabbix server:system.cpu.util[,idle].count(#5,10,"lt")}=5 告警等级：一般严重 General触发器： 1）Hostname was changed on {HOST.NAME} 主机名被更改 触发器表达式：{Zabbix server:system.hostname.diff(0)}>0 告警等级：信息 2）Host information was changed on {HOST.NAME} 主机信息给更改 触发器表达式：{Zabbix server:system.uname.diff(0)}>0 告警等级：信息 3）HOST.NAME} has just been restarted 重新启动主机 触发器表达式：{Zabbix server:system.uptime.change(0)}<0 告警等级：信息 Keepalived触发器 1）{HOST.NAME}keepalived进程宕机，请运维人员确认 触发器表达式：({TRIGGER.VALUE}=0 and {Zabbix server:proc.num[keepalived,,,keepalived].change(0)}<0 and {Zabbix server:proc.num[keepalived,,,keepalived].last(0)}=0) or ({TRIGGER.VALUE}=1 and {Zabbix server:proc.num[keepalived,,,keepalived].last(0)}<>3) 告警等级：严重 Memory触发器 1）Lack of free swap space on {HOST.NAME} 主机上缺少自由交换空间 触发器表达式：{Zabbix server:system.swap.size[,pfree].last(0)}<10 告警等级：警告 2）Lack of available memory on server {HOST.NAME} 主机服务器上缺少可用的内存 触发器表达式：{Zabbix server:vm.memory.size[available].last(0)}<20M 告警等级：一般严重 Security触发器 1）/etc/passwd has been changed on {HOST.NAME} 主机密码文件被更改 触发器表达式：{Zabbix server:vfs.file.cksum[/etc/passwd].diff(0)}>0 告警等级：警告 Processes触发器 1）Too many processes running on {HOST.NAME} 在主机上运行的进程太多 触发器表达式：{Zabbix server:proc.num[,,run].avg(5m)}>30 告警等级：警告 2）Too many processes on {HOST.NAME} 在主机上进程太多 触发器表达式：{Zabbix server:proc.num[].avg(5m)}>1000 告警等级：警告 Performace触发器 1）Processor load is too high on {HOST.NAME} 在主机上处理器负载过高（1分钟） 触发器表达式：{Zabbix server:system.cpu.load[percpu,avg1].avg(5m)}>5 告警等级：警告 OS触发器 1）Configured max number of processes is too low on {HOST.NAME} 主机上配置的最大进程数太低 触发器表达式：{Zabbix server:kernel.maxproc.last(0)}<256 告警等级：信息 2）Configured max number of opened files is too low on {HOST.NAME}
加入项目组的这段时间主要是承担性能优化这块的工作，同时也会去实现一些场景材质、特效材质以及工具。今天就性能优化这块分享一下个人的经验。
2018年09月26日 12:00:25 weixin_34018169 阅读数 12
年薪10万的，基本免税；20万的，每月400多块；年薪500万的，缴税约40%，高于劳务报酬的30%
Java中存在四种引用,StrongReference(强引用) 、SoftReferenc(软引用) 、WeakReferenc(弱引用)、PhantomReference(虚引用).虽然不常用,但是对于理解Java的回收等级还是很有帮助的,一句话来说这些引用只是不同回收等级的一种表现形式.
作为一名Java程序员，我们开发了很多Java应用程序，包括桌面应用、WEB应用以及移动应用。然而日志系统是一个成熟Java应用所必不可少的，在开发和调试阶段，日志可以帮助我们更好更快地定位bug；在运行维护阶段，日志系统又可以帮我们记录大部分的异常信息，从而帮助我们更好的完善系统。本文要来分享一些Java程序员最常用的Java日志框架组件。
社区讨论问题的时候基本都离不开日志，因为日志是问题分析的第一抓手，也是问题定位的指南针。大家在社区中发的日志非常多，不同日志背后的原因各不相同，我们不可能在这里讨论清楚所有的报错日志。但是关于日志有一些共性的问题，可以给大家一些建议。
https://www.baeldung.com/java-gc-logging-to-file
为什么说经过oat之后的代码比jit的代码执行速率高:这其实类似于学习一门外语的过程~
我们将为你介绍性能提升的下一阶段——Tungsten。在2014年，我们目睹了Spark缔造大规模排序的新世界纪录，同时也看到了Spark整个引擎的大幅度提升——从Python到SQL再到机器学习。 Tungsten项目将是Spark自诞生以来内核级别的最大改动，以大幅度提升Spark应用程序的内存和CPU利用率为目标，旨在最大程度上压榨新时代硬件性能。Project Tungsten包括了3个方面的努力： Memory Management和Binary Processing：利用应用的语义（appl
俄罗斯方块项目，基本功能包括：游戏主界面显示模块、方块及数据显示模块、方块移动控制模块、游戏界面颜色控制模块、游戏进度、等级控制模块等。本项目结构如下： （1）游戏主界面显示模块： 显示游戏和帮助两个菜单； 游戏使用功能键盘，得分 等级；
我在写小说阅读器，把每个打开的文件的内容读到内存，因为小说都很小，所以放在内存不怕太大，但是我如果打开了一本小说，再打开一本，我不会把先打开的小说的内容清除掉，在内存。所以一旦我打开多小说的时候，内存就会用比较多，这样觉得不好，不过垃圾wr给我们一个事件，这个我会在下面说。
上周脑子一热，叫朋友给我内推了tx，朋友给我发了等待面试，一直没有面试电话，也就没当回事。
Golang内存分配算法主要源自Google的TCMalloc算法，TCMalloc将内存分成三层最外层Thread Cache、中间层Central Cache、最里层Page Heap。Thread Cache和Central Cache里放着不同size的空闲内存块，相同size的空闲内存块会以链表的形式排布。申请内存分为两种，<=256KB的对象都被认为是小对象，>256KB的被认为是大对象，直接通过Page Heap来获取。大对象分配内存都是以Page为单位，即大对象内存以Page对齐。如果你看懂了下面的逻辑图，那么你已经理解了RCMalloc算法。
我们将作业的资源使用量定义为任务容器大小和任务运行时间的乘积。因此，作业的资源使用量可以定义为mapper和reducer任务的资源使用量总和。
来自哈佛医学院的Tang wei和Stufflebeam等人在PNAS上发文，主要介绍了其针对静息态网络核心区域的动态连接影响局部神经激活的研究。文章指出尽管目前针对大脑模块的隔离和聚合有大量的研究，但是对于分离的模块之间如何进行聚合的了解仍然不足。这个问题的核心是探寻脑区如何受其他脑区影响而变化的机制。在这里，这项研究探寻了两个脑区的连接如何影响特定脑区的神经活动。通过来自同一组被试（29个样本）的静息态fMRI以及MEG数据,分析样本静息态网络（DMN）两个核心区域的静息态关系，得到10-H
英文标题：Development of a CD8+ T cell associated signature for predicting the prognosis and immunological characteristics of gastric cancer by integrating single-cell and bulk RNA-sequencing 期刊：Sci Rep. 2024 Feb 24;14(1):4524. 影响因子：2区4.6 DOI: 10.1038/s41598-024-54273-9. 研究领域：免疫治疗；单细胞
知识分享服务成为目前全球互联网的重要、最受欢迎的应用类型之一，在知识分享或问答社区中，问题数远远超过有质量的回复数。如何连接知识、专家和用户，增加专家的回答意愿，成为了此类服务的中心课题。
之前我们学习了 JVM 基本介绍 以及 什么样的对象需要被 GC ？，今天就来学习一下 JVM 在判断出一个对象需要被 GC 会采用何种方式进行 GC。在学习 JVM 如何进行垃圾回收方法时，发现所谓的 JVM 垃圾回收思想和现实生活的场景有很多相似的地方。所以本文用餐厅回收餐桌的方式类比 JVM 垃圾回收算法，应该能帮助 JVM 学习的理解和记忆。
本文中的“垃圾”是指计算机中一段内存空间，我们知道CPU、内存和硬盘等是程序运行所需要的资源，这些资源是有限的。程序中对象的分配需要分配内存，这里的内存是实打实的物理内存，对机器来说，内存是有限的，当这片内存分配给A程序之后，就不能分配给B程序了（共享内存除外），所以当分配的对象不再使用时，要尽早释放掉占用的物理内存，进行回收利用。所以垃圾回收（GC)就是回收不在使用的物理内存，并且我们通常所说的垃圾回收是指自动垃圾回收（Automatic Garbage Collection).
日志组件是NewLife系列组件最早最基础，同时也是流血流泪最多的一个模块，它的底蕴定能感动每一个用户！
jdk在安装的时候会提供一些性能分析、故障诊断、JVM监控之类的工具，了解这些工具对我们分析JVM内存、JVM调优有一定的帮助，本篇文章来学习一下。
很多时候我们为了缩短单次请求的时间，就需要去分析请求在哪一步耗时比较大，一般越靠近应用层优化效果越大，后端程序就是请求到达路由解析到返回结果这一步骤了。
Milvus 是全球最快的向量数据库，在最新发布的 Milvus 2.2 benchmark中，Milvus 相比之前的版本，取得了 50% 以上的性能提升。值得一提的是，在 Master branch 的最新分支中，Milvus 的性能又更进一步，在 1M 向量串行执行的场景下取得了 3ms 以下的延迟，整体 QPS 甚至超过了 ElasticSearch 的 10 倍。那么，如何使用 Milvus 才能达到理想的性能呢？本文暂且不提社区大神贡献的黑科技优化，先聊聊使用 Milvus 过程中的一些经验，以及如何进行性能调优。
今天学习的是 KDD18 的一篇论文《Graph Convolutional Matrix Completion》，作者是阿姆斯特大学的同学，Thomas N. Kipf 大佬是二作。
G1垃圾收集器的设计原则是“首先收集尽可能多的垃圾(Garbage First)”，目标是为了尽量缩短处理超大堆（超过4GB）产生的停顿。
JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java虚拟机包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。JVM屏蔽了与具体操作系统平台相关的信息，使Java程序只需生成在Java虚拟机上运行的目标代码（字节码）,就可以在多种平台上不加修改地运行。JVM在执行字节码时，实际上最终还是把字节码解释成具体平台上的机器指令执行，属于用户态。
这篇文章将深入研究G1的日志和调优参数。为了在实际工作中对G1进行调优，作为开发者的你需要理解G1垃圾收集器的每个步骤，以及每个步骤在整个垃圾收集周期中的作用。为了方便读者学习，这篇文章将G1的日志参数分为等级递增的三块，这篇文章将会分别介绍每一部分参数的作用和调优时候使用的场景。
Java 虚拟机 Java 虚拟机（Java virtual machine，JVM）是运行 Java 程序必不可少的机制。JVM实现了Java语言最重要的特征：即平台无关性。原理：编译后的 Java 程序指令并不直接在硬件系统的 CPU 上执行，而是由 JVM 执行。JVM屏蔽了与具体平台相关的信息，使Java语言编译程序只需要生成在JVM上运行的目标字节码（.class）,就可以在多种平台上不加修改地运行。Java 虚拟机在执行字节码时，把字节码解释成具体平台上的机器指令执行。因此实现java平台无关性。它是 Java 程序能在多平台间进行无缝移植的可靠保证，同时也是 Java 程序的安全检验引擎（还进行安全检查）。
本文描述问题及解决方法同样适用于 腾讯云 Elasticsearch Service（ES）。
但凡IT江湖侠士，算法与数据结构为必修之课。早有前辈已经明确指出：程序=算法+数据结构 。要想在之后的江湖历练中通关，数据结构必不可少。数据结构与算法相辅相成，亦是阴阳互补之法。
互联网安全架构 常见的web攻击手段 xss攻击(跨站脚本攻击 Cross Site Scripting) 攻击原理： 用户输入的数据变成了代码 防范： 需要对用户输入的数据进行html转义处理 CSRF攻击(跨站请求伪造 cross site request forgery) 攻击原理： 盗取受信任用户身份，利用该身份攻击存在csrf漏洞的网站进行攻击 攻击者要完成CSRF攻击需要用户做到以下几点： 登录受信任的站点A，并在本地生成cookie 在不(清除站点A的cookie)的情况下，访问
系统的日志库是在liblog.so共享库中的，要使用该功能，需要在cmake中引入库。log.h的注释中有如下话：
混沌工程在分布式系统上进行实验的学科，目的是建立对该系统能够能够承受生产环境的动荡条件的信心。
Garbage First(G1)是垃圾收集领域的最新成果，同时也是HotSpot在JVM上力推的垃圾收集器，并赋予取代CMS的使命。如果使用Java 8/9，那么有很大可能希望对G1收集器进行评估。本文详细首先对JVM其他的垃圾收集器进行总结，并与G1进行了简单的对比；然后通过G1的内存模型、G1的活动周期，对G1的工作机制进行了介绍；同时还在介绍过程中，描述了可能需要引起注意的优化点。笔者希望通过本文，让有一定JVM基础的读者能尽快掌握G1的知识点。另，本文较长，建议收藏阅读。
⼜到了传统的“⾦九银十”换⼯作的⾼峰期，在互联⽹寒冬下，抓住机会就显得尤为重要，特别是现在移动开发已经严重饱和的情况下。那作为 Android ⼯程师的我们应该从哪些⽅⾯去准备呢？例如，不太熟悉的技能要不要写在简历上、要复习哪些 Android 组件的知识、刷算法题⽬有没有⽤，可能在⾯试前你都会仔细考虑这些问题。 下⾯我就结合我⾃身的经验和理解，帮你梳理⼀下关于简历、⾯试和算法⽅⾯需要准备的内容，分享⼀些我的⼼得体会，让你在寒冬下也能拿到大厂的Offer（ps：本文不会过多的讲解Android面试题，而是从宏观的角度分析Android面试的一些软技能，如果要看面试题可以参考：史上最全的Android面试题集锦）。
看到这里，我相信大家对于一个 Java 源文件是如何变成字节码文件，以及字节码文件的含义已经非常清楚了。那么接下来就是让 Java 虚拟机运行字节码文件，从而得出我们最终想要的结果了。在这个过程中，Java 虚拟机会加载字节码文件，将其存入 Java 虚拟机的内存空间中，之后进行一系列的初始化动作，最后运行程序得出结果。
在Java的世界里，对象的存在层次，也有三六九等，充满了阶层之间的嘲弄。强软弱虚各种引用，对于熟悉Java的同学一定不会感到陌生，它们随着等级的降低，越来越没存在感。平常使用的对象，大多数就是强引用的；而软引用和弱引用，则经常在一些堆内缓存框架中用到。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
