随着技术的发展,DBA所做的工作不仅仅是对数据库的维护,所需要的知识可能更多,本文从开发语言、硬件、运维工具、关联软件,网络知识、Linux技能、数据库类型和数据库技能等八个方面对DBA技术栈进行总结,每种分类的简要内容如下: 开发语言: 开发语言可以分为四类,运维开发语言,数据库运维,大数据开发语言,数据库内核开发,牵扯的语言主要是Python,Shell和Go等 硬件方面: RAID卡,SSD固态硬盘,网卡等 运维工具: 包含运维部署工具,监控报警工具,日常运维工具以及一系列压测工具。 关联软件: 包括消息队列,缓存,搜索,服务发现,审计和版本控制等 网络方面: 包含TCP/IP,ethtool,iptables,DNS以及网络硬件 Linux技能: 常用命令,文件系统,系统层命令,IO管理层命令 数据库种类: 关系型(MySQL,SQL server,Oracle),新型数据库(mongodb),大数据(Hbase)。 数据库技能: 数据库开发规范,事务,锁,索引,存储引擎,备份恢复,中间件,优化,高可用,SQL审核 后续随着技术的进步,可能还需要进行一系列的补充。
开发运维工具与软件开发领域的最佳实践密切相关,也与必要的规范密切相关。在整个开发生命周期涉及到一大批新旧工具,从规划、编码、测试、发布到监控。本文介绍你应该考虑添加到工具箱中的20种开发运维工具,供大
发运维工具与软件开发领域的最佳实践密切相关,也与必要的规范密切相关。在整个开发生命周期涉及到一大批新旧工具,从规划、编码、测试、发布到监控。本文介绍你应该考虑添加到工具箱中的20种开发运维工具,供大家参考。
大公司也是从小公司一步步走过来的,而大公司之所以与小公司不同,不在于基础的技术体系不同,而是当数据量达到一定程度后,引发的质变而已。而在思考质变带来的性能问题中,总结出来了一系列的工具,然后通过把对应的工具集合起来后形成了对应的运维工具平台。
Ansible Semaphore是一个适配Ansible(自动化运维工具)的现代UI,使用纯Go语言现实。UI界面是使用Vue.js和Vuetify构建。
哈啰出行-运维架构专家/高级专家 100W + 期权 工作职责 1、 自动化运维工具和平台的设计和开发; 2、 应用性能监控,资源监控平台的设计和开发; 3、理解业务需求,识别系统风险,设计稳定性方案。负责高可用体系建设,如监控体系完善、故障定位、自动恢复等 ; 4、参与基础架构优化,优化工具平台:发布平台、运维自动化平台、配置管理平台等 5. 有行业眼光,持续提升运维效率和系统稳定性,引入优秀理念和工具。推动DevOPS文化理念,不断提升运维自动化水平; 任职资格 1、5年以上系统运维或者运维平
“金三银四”指的是在3月、4月,尤其是3月是应届生求职、也是在职人员跳槽到更满意职位的黄金时期。求职、跳槽,说到底,本质上就是职场人员和工作职位匹配的过程,一个萝卜一个坑,此坑不适合,自有留爷处。
Webmin是功能强大的基于Web的Unix/linux系统管理工具。管理员通过浏览器访问Webmin的各种管理功能并完成相应的管理操作。除了各版本的linux以外还可用于: AIX、 HPUX、Solaris、 Unixware、Irix 和FreeBSD等系统
中间件:nginx、tomcat、apache、mysql、redis、memcache
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/126020.html原文链接:https://javaforall.cn
开始之前,我们首先截取一个当前数据库使用流行度的一个图,来简单分析下这两个分支现在的使用情况,图截取自DB-Engine网站:
操作系统:Centos,※,Ubuntu,Redhat※,,suse,Freebsd
这些日志可以帮助我们定位 mysqld 内部发生的事件,数据库性能故障,记录数据的变更历史,用户恢复数据库等。本文主要讲解错误日志文件(Error Log)相关内容。
最近群里一些小伙伴总是问各种生态工具的问题,这里简单做个总结 (主要以开源工具为主,不包括商业产品)。
ansible是新出现的自动化运维工具,基于Python开发,集合了众多运维工具(puppet、cfengine、chef、func、fabric)的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。
官方提供了很多的安装方式。但是,最好用,最方便的安装方式就是Linux线上安装的方式。这个安装方式,可以避免百分之九十九的问题。因为这种安装方式使用的是docker技术,所以就可以避免服务器环境和软件版本带来的问题。本文也是围绕这种安装方式来讲解的。
在管理 Linux 内核时,开发者常常面临着很多问题,比如定位 TCP 协议栈中导致数据包丢失的环节,这些问题可能需要专业的知识和经验才能解决。还有些场景缺乏必要的工具来解决问题,甚至有时即使有相应的工具,也很难使用。
蓝鲸平台作为当下大型企业常用的研运一体化平台,已经在很多企业内落地实施,在银行业也得到了广泛的推广,但实施的规模,建设内容,推广方式以及应用效果却各有不同。本文以两个典型银行为例,对比分析蓝鲸建设方式区别和原因,同时基于平台特性,对蓝鲸在银行的应用方式给出相关的建议。
名称:CentOS 官网:https://www.centos.org/ 简介:CentOS(Community Enterprise Operating System,中文意思是:社区企业操作系统)是Linux发行版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。两者的不同,在于CentOS并不包含封闭源代码软件。
SQL审核是DBA的一项常规工作,人工审核机械无聊。王竹峰老师研发开源了inception工具,造福了广大DBA,也是业界SQL审核的标志性工具。
1)崩溃率:通过分析日志(底层Logstash将日志导入到数据库中),实时获取日志的状态码,计算出4xx,5xx的状态,和当前日志总量相比,得出结果,通过获取数据库中的数据,以画图的形式展示在页面中。
正好在最近,看到了一篇不错的资料,其中对于Linux入门学习的描述极其详尽,因此特别摘抄其中段落,制作成思维导图分享给大家。
[webserver] //主机分类组名 192.168.144.111 //主机IP地址或者是域名
基于专家知识库形成运维工具,提升操作系统底层运维能力,具备高效自动化运维能力:通过监控、诊断、维护等达到全过程自动化运维。
最近在跟一位粉丝聊天,聊起来了做离线数仓时该用那些技术栈。于是根据我的经验和参考一些资料于就有本篇文章。在这里我会分享三个案例,仅供参考。
2. 梳理优化系统后台数据库的性能,保证执行效率,建立相关备份与恢复机制,保障数据存储安全;
用SQLyog连接MySQL8.0(社区版:mysql-installer-community-8.0.15.0.msi),出现错误2058(Plugin caching_sha2_password could not be loaded:xxxx),通过查询资料了解了该错误的原因并在本文中提出了该问题的方案。
随着网络架构的不断升级和业务的复杂化,对产品多环境支持的要求越来越高。产品支持的数据库、应用服务器、中间件、操作系统等的多样化,使测试环境的组合越来越多,导致测试环境的部署难度不断增加。
运维工程师这个岗位不同于后端开发岗位,到底运维工程师平时做什么?老司机告诉你:正规的运维工作是什么的?。而且这个岗位对技能要求是越来越高,不仅仅要求需要知识的深度,还要求要有一定的广度,深度就是需
大多时间都在linux下工作,虽说不算系统管理员,也免不了要处理许多系统相关的东西。对linux还算熟悉,偶尔也在公司客串系统管理员的角色。于是就免不了要写许多自动化脚本的东西,来方便系统日常管理了。 bash脚本挺让人恶心的,属于dirty and quick一类。而Python语法清新可人,Python与系统的交互也极其便利,写自动化脚本再合适不过。 在此就分享些自己在写自动化脚本时中意的Python工具: 1、sh sh is a full-fledged subprocess replacemen
Ansible是新出现的自动化运维工具,基于Python开发,集合了众多运维工具(puppet、cfengine、chef、func、fabric)的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。
8 月 28 日,网曝华住旗下酒店开房记录疑似泄露,并在黑市进行售卖,数据量合计多达140G约5亿条,售卖总额打包8比特币,约合人民币37.6万元。涉及的酒店包括汉庭、美爵、禧玥、诺富特、美居、CitiGO、桔子、全季、星程、宜必思尚品、宜必思、怡莱、海友等。
大海是我多年老友,六七年前我们因OpenStack而相识,然后一起北上创业。创业结束后,他加入了某大厂,成为一名运维骨干。他做事负责,为人靠谱;勤于学习,从OpenStack运维,到K8S和云原生应用运维,不断更新自己的技术栈;喜欢写代码,笃信“能用代码做的事情就不人工做”,经常说“嗨,你看看我新写的这个工具...”;还喜欢分享,写过不少技术文章,我们也常夜聊技术。技术一直在变,我们对技术的热情不变,我们的友情也不变。
1.1 http反向代理服务器 在web站点前端,我们需要搭建一个反向代理服务器,用于负责接受用户的请求,请求包括动态和静态的内容请求。一般反向代理服务器的部署方案有HAProxy和Nginx,这里将
Ansiable 是新出现的自动化运维工具,基于 Python 开发,集合了众多运维工具(puppet、chef、func、fabric)的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。 ansible 是基于 paramiko 开发的,并且基于模块化工作,本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块,ansible只是提供一种框架。ansible不需要在远程主机上安装client/agents,因为它们是基于ssh来和远程主机通讯的。
作为后端程序员如果你只觉得只要把业务代码写完,功能实现,项目上线后就万事大吉,后期的运维完全不用关心那你就大错特错了。高级的后端程序员不仅要能高效的开发,还要会高效的运维,在遇到线上问题的时候能快速响应并定位修复。
MaxKey单点登录认证系统谐音为马克思的钥匙,寓意是最大钥匙,业界领先的企业级IAM身份管理和认证产品,国内开源IAM第一品牌
再怎么强调配置管理的重要性也不为过,特别是在多环境下。然而大家都知道重要,又少有人告诉我们具体如何做,所以实在难受。
忙了一个月,经历了一段连续工作周末午休的奋斗时光,终于保障了产品的按时发版,也正式的松了口气。睡了几天,让疲劳的身体得以恢复,准备下一次战斗。
生产环境需要做归档的任务有十几个,如果要知道每个归档任务成功与否、跑了多长时间、归档了多少数据,就得手工逐个查看日志,非常枯燥的重复劳动,那是否有办法可以统一管理呢?
在从研发转到运维之前,我一直就觉得运维工具这东西,应该是相当简单的,但在我自己带领一个运维工具团队一年多后,完全颠覆了我自己以前对运维工具的认知,才真正明白了运维工具这东西要做好,对技术的要求其实是极高的。 之前之所以觉得运维工具简单,是因为从在线业务系统角度来看,运维工具访问量低,数据量也很小,完全看不到什么技术难点。 在带领一个运维工具团队一年多后,看到的是运维工具系统对技术的要求其实和在线业务系统只是角度不同而已,先看看运维工具系统主要承担的职责: 1. 运维操作的自动化; 2. 线上故障出现时救命
免费云监控:云监控 _ 云产品数据监控_云产品异常告警 - 腾讯云 (tencent.com)
而要使用容器把后者运行起来,单通过Docker把一个Cassandra镜像run是没用的。
su是一个Linux命令,浑身充满了power。可以切换到其他用户或者高权用户去干sth。
上一段时间突然发现我的Xshell连接Linux云服务器工具不可用了,竟然要收费了,而且一年的费用高达上千人民币。但是没多久看到同行不少大佬推荐了FinalShell这款国产良心替代软件,给国内众多学习和从事IT运维技能的程序员节省了一大笔钱,这里真的要感谢因为国产开源软件变得越来越强大而带给国内众多程序员们来的免费福利!
3月底有幸参加了全球云计算开源大会,并作了一个关于《运维一体之平台一体化》的分享,现将PPT的内容整理成文。
在这之前,民工哥也给大家介绍过一款开源的SQL管理工具:自动补全、回滚!介绍一款可视化 sql 诊断利器。
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。
领取专属 10元无门槛券
手把手带您无忧上云