之前写过一篇 《 在公司做的项目和自己在学校做的有什么区别? 》不知道大家还有印象没有,里面提到了在工作中可能需要等上Linux服务器,查看一些信息(特别是查日志找Bug)。
但是,在学校学完,没咋练手(还是太菜了),去到公司可以说是全忘光了。这篇文章主要来回顾以前的笔记,以及记录一下在工作中比较常用的一些命令。
1.日志(各种日志,访问日志、中间件日志、数据库日志、系统日志、运行日志、安全日志等等等等)
线上出现了问题,登上线上的机器查日志是非常常见的操作了。我第一次登上线上机器查日志的时候,我还只记得以下的几个命令(假设现在我们的日志文件叫做service.log):
身为程序员,避免不了的要跟BUG打交道。一般在出现BUG的时候,要么登陆Linux查日志、要么通过ELK查关键字。但是这两种都存在一些缺点。
今天查看两个月前上线的小项目,发现运行非常慢,而且增删改查失效了(吓我一大跳),急急忙忙的就开始了我的线上问题排查之路。
方法:http://www.aboutyun.com/thread-12694-1-1.html http://www.linuxidc.com/topicnews.aspx?tid=13 http
在项目开发和维护的过程中,我们经常需要在 Linux 服务器上查询和分析日志文件。为了高效地处理大量的文本数据,我们可以借助一些强大的文本过滤工具,如 tail -f、more、zmore 、less、zless和 grep。本文将换种方式介绍这些常用的 Linux 命令,帮助您在日志分析中更加得心应手。
一组的同事找我说,有很多应用不能连接数据库,让我去帮忙看看,一开始以为是process 和session 数不构,去了查了一下,发现远没到设置的数,且主机未发现有性能问题,查看等待事件,全是军空闲类的,这下我就有点朦了,后来查看监听状态,执行lsnrctl status 后出来两行字之后卡在那儿了,没有反应,所以kill掉进程后重启监听,重启后,没有服务注册时正常,过1分种在查看监听状态,还是卡在那儿了,查看监听日志没什么收获,后来查看数据库alter日志,发现如下:
大家工作时,少不了ssh登录各个服务器,我这边手里也有很多服务器,有一些登录很快就进去了,有些要卡半天才能进去。之前以为是公司网络问题,每次也就忍了,这次突然不想忍了,决定定位一下。
公司使用mongodb 来做数据库的功能,第一次使用,所以自己去研究了下MongoDB的官网和相关资料,本地windows环境搭建了一个MongoDB的简单数据库,话不多说,进入正题
对于零基础转行或者打算找一份初级测试的工作同学来说,linux属于必学必会内容,而且面试必问。
22年底,上海,这批程序员如果学历是本科,薪资一般是8k到2w,当然如果能进好公司或互联网大厂,薪资能更高。初级开发干的活一般是能做各种增删改查业务,遇到简单问题,比如空指针之类的,能通过看日志解决,也能适当干些和人沟通的事情,比如和其它组沟通API。
其实大多数Java开发确实能胜任日常的开发工作,但不少候选人却无法在面试中打动面试官。因为要在短时间的面试中全面展示自己的实力,这很需要技巧,而从当前大多数Java开发的面试现状来看,会面试的候选人不多。所以在展开讲述分布式组件面试技巧前,就先给出大多数候选人普遍会出现的问题,这需要大家引以为戒。
运维工作偏多一些,但是sql性能要开发人员注意 MySql性能监控 慢查询-默认1s 10s太慢了 被慢查询记录到日志 全表扫描,没建索引,因此被记录到日志 有索引,不会被记录到日志
环境:两台联想R680的物理机搭建一套2节点RAC,数据库版本为ORACLE 11.2.0.4
经过前几篇的铺垫,进入中间件日志排查篇。由于各种各样的原因安全人员获取到的告警信息很可能是零零碎碎的,且高级黑客的整个入侵过程很可能十分完整,包含了清除痕迹等,这就导致了几种情况可能会发生:可疑威胁文件已被删除,无法定位;远程命令执行痕迹已被清除,无法还原攻击者入侵路径。
简单说一下,我们为什么会推出关于HW防守的文章,目前关于该行动,会发现越来越多的厂商需求该行动的人员具备分析溯源的能力了。
1.日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。2.应用太多,面临数十上百台应用时你该怎么办。3.随意登录服务器查询log对系统的稳定性及安全性肯定有影响。4.如果使用人员对Linux不太熟练那面对庞大的日志,定位问题慢。
U1:没有太好的办法,上 notepad++ 吧,查关键词,好像可以各种颜色标注不同关键词,我看别人这么用过,还是挺方便的
继昨天服务器上应用 CPU占用过高 后面该应用宕掉了以后 java 一次CPU占用过高问题的排查及解决
作为计算机类毕业生,刚毕业才意识到在学校中没学到什么在工作中能用上的,别担心,其实你已经在学校打好基础了,(如编程,测试,数据库,网络,其他专业知识)把自身在学校积累的东西表现出来在加上自己在工作上的努力,我想问题不大。 1.测试 首先要耐性 细心 然后要懂一些测试的基本知识 然后就是业务理解能力了 建议先去做接口测试 2.(必须)基础知识(入门)可以看看这篇文章:测试基础知识加油站 3. (可选)用例、Linux命令、网络都稍微了解点 >>> 查日志 查问题这些 linux上下传、查看查找这类
本人最近和不少小公司的程序员打交道。经过和他们的深入交流,我感受到了不少小公司程序员的现状,由此深深地感叹,可能真有不少小公司的程序员未必能干到30岁,甚至,一些技术一般态度又不好的程序员,可能还未必能干到28岁。
到目前为止,参照我们系统( 某上市互联网保险中介 )应用,就日志而言,我们经历了以下几个时间段的变化,也经历很多方面的尝试。就目前我们的应用日志系统经历了以下的变化:
今天,内网测试服务器A总是运行一段时间就服务器进程自行退出了,给出了“Java Result :137”这样的错误码。上网查了一下这个137,感觉没有啥有价值的东西。一开始怀疑项目中的JNI调用崩溃到底层,但是没有看到core.*这样的崩溃日志,同时也没有发现OOM的日志,也没有常见的Java 的堆异常log,关键是同样的环境,另外一台机器B,压力远比这个大,都稳定运行很长时间没有问题。下午又崩溃了两三次,一度怀疑Java是不是有什么bug,不过这个想法立马被我否认了,先从自己找原因。
在我对项目进行检查后,准备手动进行重启项目服务的时候,发现我对Linux的命令陌生了许多,难过!
回望整个过年期间真的是躺的平平的,每天学习的时间和平时比起来差的不是一星半点。今天就复工了,也要收心了。我这个人有一个比较牛逼的能力就是状态调整特别快,只需要往工位上一坐下,我就能进入复工状态了。
本文讲述了一位技术编辑人员通过编写一个简单的 shell 脚本,实现了对若干网站进行批量查询是否可用的功能。该脚本使用 curl 命令和 grep 过滤,将结果输出到日志文件中。同时,该脚本还处理了长时间无响应的问题,并优化了输出结果。
2、准备数据 网址:https://dev.mysql.com/doc/sakila/en/sakila-installation.html
找到错误日志位置,定位日志(大量登录失败、异常查询)(并且不在正常运维期间所触发)
大家平时都怎么查Linux日志呢?像我平时会用tail、head、cat、sed、more、less这些经典系统命令,或者awk这类三方数据过滤工具,配合起来查询效率很高。但在使用过程中有一点让我比较头疼,那就是命令参数规则太多了,记的人脑壳疼。
像我平时会用tail、head、cat、sed、more、less这些经典系统命令,或者awk这类三方数据过滤工具,配合起来查询效率很高。但在使用过程中有一点让我比较头疼,那就是命令参数规则太多了,记的人脑壳疼。
基于DDD分层实现的web版 linux(终端 文件 脚本 进程)、数据库(mysql postgres)、redis(单机 集群)、mongo统一管理操作平台
最近,负责基础设施的同事,要对一批测试环境机器进行回收,回收就涉及到应用迁移,问题是整个过程一团乱。比如服务器A上一堆应用要调用服务器B上一堆服务,结果服务器B被回收了,然后服务器A上一堆应用报错。
记得之前写过一篇:《阿里巴巴 Java开发手册》读后感,之前自学时由于没怎么接触过打“日志”,所以《手册》中的“日志规约”我就先放一边去了。
前段时间,密集面试了若干位Java后端候选人,工作经验在3到5年间。我的标准其实不复杂(适用90%小小小公司,BAT等自动忽略):
问题背景:一次启动本地应用,两分钟过后自动退出,通过日志并未发现任何异常状况,莫名其妙的应用就自动被杀掉了;
大半夜接到线上一服务器磁盘占用率超过90%的短信,需要立即处理。一般这种情况都是线上异常,当天日志打太多,无法自动删掉的。上来第一反应就是查我们规范java应用日志目录,居然没有文件,再查,居然连java进程都没有,原来不是java应用,不过没关系,干一年运维也不是白干的,还是有其他方法可以查的,在此记录下整个排查过程。
Team IDE Team IDE 工具 集成 MySQL、Oracle、金仓、达梦、神通等数据库、SSH、FTP、Redis、Zookeeper、Kafka、Elasticsearch 等管理工具。 使用 Apache-2.0 开源协议 连接 Redis,支持单机、集群,增删改查等操作,批量删除等 连接 Zookeeper,支持单机、集群,增删改查等操作,批量删除等 连接 Kafka,增删改查主题,推送主题消息,自定义消费主题消息等 配置 Linux 服务器 SSH 连
转载随意,文章会持续修订,请注明来源地址:https://zhenbianshu.github.io 。
简介 NginxWebUI是一款方便实用的nginx 网页配置工具,可以使用 WebUI 配置 Nginx 的各项功能,包括端口转发,反向代理,ssl 证书配置,负载均衡等,最终生成「nginx.conf」配置文件并覆盖目标配置文件,完成 nginx 的功能配置。 他除了nginx的conf可视化配置以外,nginx Web UI还提供以下功能 功能 # 1. 静态网页包可上传并进行统一管理 # 2. ssl证书可在线申请并定时续签. 统一对ssl进行管理及部署 # 3. 集成nginx效验, 重载,
上周在升级时候,客户反馈某个job报了下面的错误,想让我们查看一下是不是数据库这边有什么问题。 报错的内容如下。 Caused by: java.sql.SQLRecoverableException: No more data to read from socket at oracle.jdbc.driver.T4CMAREngine.unmarshalUB1(T4CMAREngine.java:1142) at oracle.jdbc.driver.T4CMAREngi
今天晚上,在一个单机多实例的环境上,发生了一个错误,看着比较奇怪,之前也遇到过,但是没有留意,今天花了一点时间,搞了一下,问题得到了解决,跟大家分享一下。
◆ 一、开源项目简介 基于DDD分层实现的web版 linux(终端 文件 脚本 进程)、数据库(mysql postgres)、redis(单机 集群)、mongo统一管理操作平台 ◆ 二、开源协议 使用Apache-2.0开源协议 ◆ 三、界面展示 ◆ 系统核心功能截图 记录操作记录 ◆ 机器操作 状态查看 ssh终端 文件操作 ◆ 数据库操作 sql编辑器 在线增删改查数据 Redis操作 Mongo操作 ◆ 系统管理 账号管理 角色管理 资源管理 ◆ 四、功能概述 功能介
某天下午TIM官网突然无法访问(502错误),官网是纯静态页面,挂在nginx服务器下,我们下午也没有做发布。那么,问题出现在什么地方呢?下面就讲讲我定位、解决问题的思路及步骤,具体如下:
本人刚从某培训机构学习结束,现在已经上班一个月了。这篇文章我不会说太多的知识点,或噱人去培训机构学习的话语,仅作为一个普通打工者的身份,来写给那些对于软件测试未来发展、薪资待遇等不清楚的正在为家庭,解决信用卡负债问题的同好们看的(本人文案水平及其一般,请谅解)
Linux上部的Tomcat服务器中部署了Java Web应用,查看日志的时候发现里面的中文全部是乱码,把文件拖拽到本地Windows上全是问号。从其他系统拽过来一个正常显示的包含中文的日志也可以正常显示,说明系统字符集是没问题的。
领取专属 10元无门槛券
手把手带您无忧上云