前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Linux内网环境分布式压测部署

Linux内网环境分布式压测部署

原创
作者头像
rainsun孙孝强-悦智
修改2022-02-28 10:47:02
1.5K0
修改2022-02-28 10:47:02
举报
文章被收录于专栏:悦智云原生压测团队

1.背景

XX项目由于在私有云上部署,还未开放互联网,项目组决定在内网环境进行压测环境搭建,提前暴露内网环境下项目接口的性能瓶颈。

2.机器分配

内网环境机器,,通过堡垒机链接跳板机,,在通过跳板机链接20台内网机器进行操作,

一共分配了20台centos机器,部署两个集群,每个集群10台机器,一台控制机、10台压力机(控制机也做压力机)

3.压力机jmeter部署

3.1 jdk安装

1.由于是内网环境,无法通过yum源进行下载,需要通过xshell\xftp将文件先上传到跳板机,在通过跳板机上传到对应机器

2.解压jdk到指定目录,这里使用/usr/bin/java/目录

3./etc/profile添加环境变量

JAVA_HOME=/usr/local/java/jdk1.8.0_181

CLASSPATH=$JAVA_HOME/lib/

PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME CLASSPATH

4.执行环境变量 source /etc/profile

验证jdk安装成功

java -version

3.2jmeter安装

  1. 在linux下建立安装路径:/root/jmeter
  2. 上传jmeter安装包到/root/jmeter路径下并解压
  3. 建立脚本目录:/root/jmeter/scripts,脚本上传的地址
  4. 建立报告目录:/root/jmeter/report,报告生成存放目录

5./etc/profile添加环境变量

export JMETER_HOME=/usr/local/apache-jmeter-5.4.1

export CLASSPATH=$JMETER_HOME/lib/ext/ApacheJMeter_core.jar:$JMETER_HOME/lib/jorphan.jar:$CLASSPATH

export PATH=$JMETER_HOME/bin:$PATH

6.执行环境变量 source /etc/profile

验证jmeter安装

jmeter -v

以上步骤在Master和Slaves 都进行操作相同的操作

3.3修改压力机配置参数

  1. 修改压力机slaves配置参数,在/root/jmeter/apache-jmeter-5.4.1/bin 目录下修改jmeter.properties文件
  2. 修改 server_port 端口

默认1009

可修改任意端口,但不能已被占用

3.修改 server.rmi.port 端口

和 server_port 保持一致即可

4.设置 server.rmi.ssl.disable

默认 false,代表需要认证

设置为 true,减少不必要的麻烦

5.修改 remote_hosts

remote_hosts=本机IP地址:端口号

6.系统在HOSTS文件中进行类似 本机IP 主机名的配置,如10.0.0.23 zhoucentos,否则启动jmeter server会报错!

首先,我们来查看本机ip和hostname

然后通过 vi /etc/hosts进行配置,将ip和hostname配置进去并保存。每台机器都配置

7.检查防火墙是否关闭

检查防火墙状态命令:systemctl status firewalld.service

8.环境优化

详见章节4

4. 环境优化

1)配置jmeter的使用内存,根据实际服务器和测试需求量来修改

vi /root/jmeter/apache-jmeter-5.4.1/bin/jmeter

166行修改

: "${HEAP:="-Xms8g -Xmx8g -XX:MaxMetaspaceSize=2048m"}"

bin目录下重启;

nohup jmeter-server -Djava.rmi.server.hostname=172.27.16.33 &

验证:

ps -ef | grep jmeter

2)优化linux内存参数 修改limits.conf文件,并添加:

#vi /etc/security/limits.conf

* soft nofile 102400

* hard nofile 102400

* soft nproc 65535

* hard nproc 65535

重新打开SSH终端,执行如下命令查看是否生效

ulimit -n

3)修改/etc/sysctl.conf文件,并添加:

vi /etc/sysctl.conf

net.ipv4.tcp_syncookies = 0

fs.file-max = 12553500

fs.nr_open = 12453500

kernel.shmall= 1048576

kernel.shmmax = 1887436

kernel.msgmax = 65536

kernel.sysrq = 0

kernel.pid_max= 65536

net.core.netdev_max_backlog = 2000000

net.core.rmem_default = 699040

net.core.rmem_max = 50331648

net.core.wmem_default = 131072

net.core.wmem_max = 33554432

net.core.somaxconn = 65535

net.ipv4.ip_nonlocal_bind = 1

net.ipv4.tcp_max_orphans = 3276800

net.ipv4.tcp_mem = 1048576 1572864 2097152

net.ipv4.tcp_rmem = 4096 4194304 8388608

net.ipv4.tcp_wmem = 4096 4194304 8388608

net.ipv4.tcp_slow_start_after_idle = 0

net.ipv4.tcp_synack_retries = 1

net.ipv4.tcp_window_scaling = 1

vm.swappiness = 0

#TCP connection recovery

net.ipv4.tcp_max_tw_buckets = 6000000

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_fin_timeout = 30

net.ipv4.route.max_size = 5242880

net.ipv4.ip_forward = 1

#0表示不开启检查时间错,建议设置0

net.ipv4.tcp_timestamps = 0

#开启对于TCP时间戳的支持,若该项设置为0,则下面一项设置不起作用

#TCP connection manager

net.ipv4.tcp_max_syn_backlog = 655360

net.ipv4.tcp_syn_retries = 6

net.ipv4.tcp_retries1 = 3

net.ipv4.tcp_retries2 = 6

#TCP keepalive

net.ipv4.ip_local_port_range = 1025 65534

net.ipv4.tcp_keepalive_time = 30

net.ipv4.tcp_keepalive_intvl = 30

net.ipv4.tcp_keepalive_probes = 3

输入下面的命令,让内核参数生效:

sysctl -p

5.控制机部署

控制机jmeter部署和压力机一样(参考3.1、3.2)

修改控制机配置参数,在/root/jmeter/apache-jmeter-5.4.1/bin 下jmeter.properties文件

如果控制机也测试则加 ,然后修改 server_port 、 server.rmi.port、server.rmi.ssl.disable(和压力机一样步骤)

remote_hosts=压力机IP地址:端口号,压力机IP地址:端口号

多台可以用英文逗号分开,控制机也可以作为压力机

配置mode,去掉前面#

6.执行分布式压测脚本

在全部压力机上执行jmeter后台启动命令:

nohup jmeter-server -Djava.rmi.server.hostname=分压机ip &

任意目录执行全部压力机压测脚本

jmeter -r -n -t /root/jmeter/scripts/**.jmx

执行指定压力机压测(这里172.27.16.20为压力机ip)

sh jmeter -n -t /root/jmeter/scripts/XX.jmx -R 172.27.16.20

7.停止压测程序

cd 进入到JMeter 的 bin 目录下

输入 ./shutdown.sh 命令停止脚本

注:如果在分布式压测过程中,想要终止压测,千万不要在Linux上按 ctrl + c 强制终止程序,这样会知道主程序挂了之后,从机未接受到执行,会一直持续运行。当你再次从主机上运行脚本,从机仍然会在上一个脚本的程序中运行。

如果想要终止程序,可以执行命令行./shutdown.sh ,通知master终止程序,然后master 再去通知salve停止运行。

8.Meter+Grafana+Influxdb

这里为了方便我们监控压测过程中的QPS、线程数、95分值,可以使用grafana控制面板来对数据进行展示我们将grafana部署在控制机上;

grafana的部署不在这里细讲,感兴趣的同学可以查看腾讯云的这篇文章;

JMeter+Grafana+Influxdb搭建可视化性能测试监控平台https://cloud.tencent.com/developer/article/1809013

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.背景
  • 2.机器分配
  • 3.压力机jmeter部署
    • 3.1 jdk安装
      • 3.2jmeter安装
        • 3.3修改压力机配置参数
        • 4. 环境优化
        • 5.控制机部署
        • 6.执行分布式压测脚本
        • 7.停止压测程序
        • 8.Meter+Grafana+Influxdb
        相关产品与服务
        Grafana 服务
        Grafana 服务(TencentCloud Managed Service for Grafana,TCMG)是腾讯云基于社区广受欢迎的开源可视化项目 Grafana ,并与 Grafana Lab 合作开发的托管服务。TCMG 为您提供安全、免运维 Grafana 的能力,内建腾讯云多种数据源插件,如 Prometheus 监控服务、容器服务、日志服务 、Graphite 和 InfluxDB 等,最终实现数据的统一可视化。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档