在配置nginx的时候，默认情况下我们的日志会放到conf目录同级的文件夹logs下。由于nginx在生成日志的时候是按照文件的地址进行append的追加的，所以我们需要按照一定的规则对nginx日志进行切割，切割的好处很显然就是为了更好的查看nginx日志。否则因为日志过大，打开它都是一个问题。下图为nginx日志的一般位置。
最近在做基于openresty的waf，在测试openresty的过程中用openresty替代了原nginx，结果第二天又自动切换回了原nginx，通过ps -ef 看到nginx在凌晨3点多自动重启。连续几天在多个机器上都发现同样的情况。
我发现了一些公众号大号整天转发垃圾文章引发焦虑，让看得人怀疑自己，读者越是焦虑他们就越是开心，方便做广告卖课程，赚钱也没错，卖广告也是为了恰饭，但是一周推两三次广告谁能受得了啊。
在nginx中设置定时切割日志，可以使用logrotate工具，这个工具可以在Linux系统上自动轮换、压缩和删除旧日志文件，以确保日志文件不会无限增长，同时也可以防止磁盘空间不足。
用一个shell脚本遍历需要拉取的机器和需要拉取天数的日志(两者可配置)，通过scp命令将应用服务器上的日志拉取到日志服务器上，然后压缩存盘。再将过期的日期删除
在实际生产中，我们知道哪些应用的日志会自动分割吗？哪些应用日志需要我们通过服务进行定时分割？接下来我们来看看。
由于项目的特殊需求，需要保留项目每天的日志，而日志文件又很大，时间久了会影响磁盘的使用量，因此必须定期的压缩备份以前的日志文件，这里我是通过shell脚本压缩打包文件然后加入到linux的定时任务中来处理的，虽说shell脚本很简单就是那么几行，但是当中遇到的问题还是做一下说明：
我们不管在生产环境还是开发环境，看日志是必不可少的，日志中往往包含很多有用的信息，有时候被DDOS、上传非法文件等等，我们都需要通过日志分析。但是日志是跟访问量成正比的，你的访问量越大，你的各种级别日志就越多，日志文件大小会增长极快，服务器会很快消耗磁盘空间，这成个很严重的问题。不仅是这个，如果你是一个日志文件的话，你阅读、打开都要花费很大力气，那么怎么才能处理好这种情况？
前言： Awstats 是在 SourceForge 上发展很快的一个基于 Perl 的 WEB 日志分析工具，一个充分的日志分析让 Awstats 显示您下列资料： 访问次数、独特访客人数, 访问时间和上次访问, 使用者认证、最近认证的访问, 每周的高峰时间(页数,点击率,每小时和一周的千字节), 域名/国家的主机访客(页数,点击率,字节,269域名/国家检测, geoip 检测), 主机名单,最近访问和未解析的 IP 地址名单 大多数看过的进出页面, 档案类型, 网站压缩统计表(mod_gzip 或者 mod_deflate), 使用的操作系统 (每个操作系统的页数,点击率 ,字节, 35 OS detected), 使用的浏览器, 机器人访问(检测 319 个机器人), 蠕虫攻击 (5 个蠕虫家族), 搜索引擎，利用关键词检索找到你的地址, HTTP 协议错误(最近查阅没有找到的页面), 其他基于 URL 的个性报导,链接参数, 涉及综合行销领域目的. 贵网站被加入"最喜爱的书签".次数. 屏幕大小(需要在索引页补充一些 HTML 标签). 浏览器的支持比例: Java, Flash, RealG2 reader, Quicktime reader, WMA reader, PDF reader. 负载平衡服务器比率集群报告.
这个需求十分简单，简单到单独为其部署一台机器都感觉到有些浪费。本着『降本增效』的原则，去研究了一下云函数的成本，然后就发现了新大陆。
日志就是程序运行过程的记录，可以通过日志来检查程序运行的过程，检查错误发生的原因，日志对于定位问题是非常重要的。
本片文章介绍的方案是利用Linux自身的crontab定时任务功能，定时执行备份数据库的脚本。
Logrotate是一个日志文件管理工具，它是Linux默认自带的一个日志切割工具。用来把旧文件轮转、压缩、删除，并且创建新的日志文件。我们可以根据日志文件的大小、天数等来转储，便于对日志文件管理，一般都是通过cron计划任务来完成的，让日志切割实现按小时分割，按天分割等。
上一片老猫和大家分享了Nginx的相关的一些概念，以及一些基础的Nginx的模型，本篇开始，和大家一起探讨一下Nginx的一些配置信息，讲清楚所以然，为什么要这么配置，这么配置有什么作用，这是本节的初衷。
原文:https://wsgzao.github.io/post/logrotate/
对于日常管理linux来说，日志文件显得非常的重要，它可以看出问题出现的点与相关错误信息，同样还可以根据信息来分析问题所出现的原因所在，是管理系统与服务必不可少的工具之一。
对于Linux系统安全来说，日志文件是极其重要的工具。日志文件包含了关于系统中发生的事件的有用信息，在排障过程中或者系统性能分析时经常被用到。当日志文件不断增长的时候，就需要定时切割，否则，写日志的速度和性能也会下降，更不便于我们归档，查询。
豌豆贴心提醒，本文阅读时间7分钟 本机上数据的手工备份 Linux系统上配有功能强大的tar命令，可以灵活地备份数据。 tar最初是为了制作磁带备份而设计的把文件和目录备份到磁带中，然后从磁带中提取或恢复文件。 当然，现在我们可以使用tar来备份数据到任何存储介质上。 tar非常易于使用稳定可靠，而且在任何 Linux系统上都有这个命令。因此是最经常使用的备份工具。 1.使用tar命令备份数据的格式如下： 上述命令是将/home/html 目录下的所有文件打包成tar文件backup.tar。
本篇文章主要讲解如下安装Logstash，logstash依赖于Java环境，首先安装Java，安装脚本如下：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N5BsitFI-1573453126617)(runlevel.png)]
测试工程师的四大基础技能：数据库、linux、网络协议、测试工具，不管是刚入门还是已经工作多年，这几个方向都是要掌握的。今天我们再讲一下测试工程师必须要掌握的linux命令。
需要注意的是文件描述符 0 通常是标准输入（STDIN），1 是标准输出（STDOUT），2 是标准错误输出（STDERR）
大家好，我是程序员鱼皮。之前有同学问：为什么反复强调学编程时一定要把项目上线？而不是跟着教程敲完、能本地运行就结束了？
Linux没有图形化界面，我们只能通过控制台去操作系统，我们就要使用类似DOS命令的Linux命令去操作系统
正文：在Linux系统中使用xShell如何搜索查找文件里面的内容是查找问题、系统维护当中最常见的需求。搜索、查找文件当中的内容，一般最常用的是grep命令，另外还有egrep, vi命令也能搜索文件里面内容 假如是非压缩包文件，可以用grep命令去搜索，例如： grep –i “被查找的字符串” 文件名 假如是.gz压缩包类型的话，可以用zgrep命令去搜索，例如： zgrep –i “被查找的字符串” 文件名
46、如何把当前目录下的aa.txt移动到当前目录下的admin文件夹下，并且命名为admin.txt
运维告警里比较常见的就是磁盘空间超过告警阀值的情况，遇到这种情况是最常见的，只要不影响业务以及不是快速占满磁盘的情况下，就可以慢慢着手解决问题。以下是比较常用的步骤。
最近翻看了一些 Google 的老文章/论文，发现 Google 有不少系统的设计文上都写着 planet scale，行星级，口气那是真的大。仔细想想，FAANG 这样能把生意做到全球的互联网公司，除了这五家，也没几家其它的了，人家确实有吹行星级的资本着实羡慕。
对于Linux系统安全来说，日志文件是极其重要的工具。不知为何，我发现很多运维同学的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本，大家似乎遗忘了Logrotate，争相发明自己的轮子，这真是让人沮丧啊！就好比明明身边躺着现成的性感美女，大家却忙着自娱自乐，罪过！
公司的计算平台上，写入spark-history目录日志文件数超过设定阈值（1048576），导致任务失败。
VMware15.5安装，傻瓜式安装，只记录变动步骤，其余都下一步，软件安装位置自己选择，最好别选c盘，软件地址https://www.nocmd.com/windows/740.html（内含激活码），安装时需要注意它文件不会在一个文件夹下，自己多建一个版本文件夹，方便管理。
在生产环境上，为了避免数据的丢失，通常情况下都会定时的对数据库进行备份。而Linux的crontab指令则可以帮助我们实现对数据库定时进行备份。首先我们来简单了解crontab指令，如果你会了请跳到下一个内容mysql备份。 本文章的mysql数据库是安装在docker容器当中，以此为例进行讲解。没有安装到docker容器当中也可以参照参照。
备份规则：每天凌晨进行备份。原因：1. oplogSize 设置得比较大（10000）；2. 现网数据量比较小，所以能保证 oplog 可以记录一整天的数据而不被覆盖，因此只要一天备份一次即可。若当天的数据需要恢复，可直接从当前 oplog 中去恢复。 说明 备份 备份恢复 使用crontab定时备份 参考资料 说明： 一、mongodb 版本：4.0.10 二、配置副本集的服务器： 服务器端口地址 默认角色 10.133.8.232:27017 primary 10.53.101.8:27017
在我们线上的生产环境中要备份的东西很多，各种服务日志、数据库数据、用户上传数据、代码等等。用 JuiceFS 来备份可以节省你大量时间，我们会围绕这个主题写一系列的教程，整理出一套最佳实践，方便大家。
nginx的日志默认是不会自动切割的，所以日志体积会越来越大，因此有必要对日志进行切割
上一小节提到了数据备份是指将数据库中数据存储的相关文件进行拷贝，而这些文件有很多，所以让我们来简单认识下MySQL中与数据相关的文件。
日志是用来记录重大事件的工具。 日志文件是重要的系统信息文件，其中记录了很多重要的系统事件。包括用户的登录信息，系统的启动信息，系统的安全信息，邮件相关信息，各种服务相关信息。 日志对于安全来说也很重要，它记录了每天系统发生的各种事情，通过日志来检查错误发生的原因，或者受到攻击时攻击者留下的痕迹。
logrotate是一个日志文件管理工具。用来把旧文件轮转、压缩、删除，并且创建新的日志文件。我们可以根据日志文件的大小、天数等来转储，便于对日志文件管理，一般都是通过cron计划任务来完成的
Java 19 中 Loom 终于 Preview 了，虚拟线程（VirtualThread）是我期待已久的特性，但是这里我们说的线程内存，并不是这种 虚拟线程，还是老的线程。其实新的虚拟线程，在线程内存结构上并没有啥变化，只是存储位置的变化，实际的负载线程（CarrierThread）还是老的线程。
众所周知，线上如果出现事故我们通常都是查看日志去进行问题定位并且进行修复。使用好Nginx日志有利于我们线上进行修复异常问题。在Nginx中日志主要分为两种：access_log(访问日志)和error_log(错误日志)。通过查看access_log我们可以查看用户ip，浏览器信息及请求时间等信息，通过查看error_log我们可以查看线上出错的具体信息，可以帮助我们定位异常的原因。本篇文章主要带领大家详细了解Nginx如何配置日志。本文将会涉及到的日志配置指令：
Linux作为网络操作系统，在服务器方面的应用越来越广泛。作为专门的网络服务器，一个重要功能就是对服务器数据进行备份，以确保数据的安全。本文将介绍在Linux系统下一些常用的数据备份方法。 1、本机上数据的手工备份 Linux系统上配有功能强大的tar命令，可以灵活地备份数据。tar最初是为了制作磁带备份而设计的把文件和目录备份到磁带中，然后从磁带中提取或恢复文件。当然，现在我们可以使用tar来备份数据到任何存储介质上。tar非常易于使用稳定可靠，而且在任何 Linux系统上都有这个命令。因此是最经常使用的
NGINX是众所周知的高性能负载均衡器、缓存和web服务器，为世界上40%以上最繁忙的网站供电。对于大多数用例，默认的NGINX和Linux设置工作得很好，但是要获得最佳性能有时需要进行一些调整。这篇博客文章讨论了在优化系统时要考虑的一些NGINX和Linux设置。
CentOS7.6日志服务是rsyslogd ,CentOS6.x日志服务是syslogd 。rsyslogd功能更强大。rsyslogd的使用、日志文件的格式，和 syslogd 服务兼容的。原理示意图
上次我们说到了关于 mongodb 的集群，分为主从集群和分片集群，对于分片集群中的分片这里需要注意如下几点，一起来回顾一下：
它允许fluentd从文本文件尾部读取日志事件，其行为类似linux的tail -F命令（按文件名来tail）。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
