介绍多了服务器类的数据恢复案例,今天小编从虚拟机数据恢复角度为大家介绍一篇由于异常断电导致的虚拟机无法启动的数据恢复成功案例。其中不仅涉及虚拟机数据恢复,另外也涉及有服务器数据恢复、数据库修复等技术知识。
Dell MD 3200系列存储(用于存放虚拟机文件),VMware ESXi 5.5版本,因意外断电,导致某台虚拟机不能正常启动,查看虚拟机的配置文件时发现此虚拟机的配置文件除了磁盘文件以外其他配置文件全部丢失。此时xxx-flat.vmdk磁盘文件和xxx-000001-delta.vmdk快照文件还存在。找VMware工程师诊断后,尝试新建一个虚拟机来解决故障,但发现ESXi存储空间不足。因此就将故障虚拟机下的xxx-flat.vmdk磁盘文件删除。
本次分享的是因意外断电,导致某台虚拟机不能正常启动,查看虚拟机的配置文件时发现此虚拟机的配置文件除了磁盘文件以外其他配置文件全部丢失。此时磁盘文件和快照文件还存在。当遇到这种情况应该如何进行正确的操作呢? 【初检分析及数据恢复方式】 找VMware工程师诊断后,尝试新建一个虚拟机来解决故障,但发现ESXi存储空间不足。因此就将故障虚拟机下的某个磁盘文件删除了,这时ESXi存储就有200多G的剩余空间了,而后VMware工程师就重新建了一个40G的虚拟机,并且分配了固定大小的虚拟磁盘,Windows Server 2008,数据库应用环境SQL Server 2008数据库服务器,虚拟机磁盘容量精简200G数据盘+ 160G快照数据盘。 在VMware vSphere Client上将挂载的RD220i存储中VMFS卷以正常方式卸载掉。然后将卷通过网线的方式连接到备份服务器上,接着使用专业的工具将整个VMFS卷以扇区的方式镜像到已准备的备份空间上。分析VMFS卷的底层数据发现,ESXi主机的突然断电导致故障虚拟机目录下的目录项出现破坏,但是这种破坏不会影响虚拟机的重要数据,只是破坏了文件的目录项而已,可以通过人工修复即可解决。而人为删除某个文件的话,则目录项对应的数据区索引会被清掉,也不会影响删除文件的实际数据。这种情况可根据删除虚拟磁盘文件中的文件系统以及虚拟磁盘中的文件类型在VMFS卷自由空间中进行碎片匹配和合并,最终也可恢复删除的虚拟磁盘文件。但是在上述的两种情况之下又新建了一台虚拟机,并且分配了虚拟磁盘。 经过分析发现分配的虚拟磁盘已经全部清零了,也是这个新建的虚拟机所占用的磁盘空间全部被清零。 如果新虚拟磁盘占用了删除虚拟机磁盘所释放的空间,那么此部分空间将无法恢复的。根据SQL Server数据库的结构去自由空间中找到数据库的开始位置。在数据库的结构中,数据库的第9个页会记录本数据库的数据库名。因此根据这个特征可以核对此数据库的头部页是否是正在查找的。并且数据库的每个页中都会记录数据库页编号以及文件号,所以根据这些特征编写数据库扫描程序,然后利用程序去底层扫描所有符合数据库页的数据碎片。接着将扫描出来的碎片按顺序重组成一个完整MDF文件,再通过MDF校验程序检测整个MDF文件是否完整。在整个校验过程中,只有极少量因有部分碎片没有找到外,其余数据库均校验成功。 实施完后,并没有将所有的数据库文件全部恢复出来,还有文件因缺失部分页导致其无法正常使用。因此需要采用备份来恢复这两个数据库文件,但是在检查完这两个文件的备份后发现全部备份因备份机制故障导致没有备份出来,之前的备份全部没有,只有最近的全部增量备份 因此可以根据缺失的页号在增量备份中查找,再将找到的页补到文件中,这样可以恢复一部分丢失的数据库页。最终补完后还是缺失部分页,无法正常使用。但是可以通过自主开发的数据库解析程序将文件中用户比较重要的几十张表成功导出,并成功导入到新建的数据库中。 【数据恢复结果】 在本地服务器中搭建和原始环境一样的数据库环境并安装上层宏桥应用软件。再由客户安排工程验证数据库是否完整,经过验证后,数据库恢复基本没问题。上层应用可以正常运行,数据记录也都基本没有缺失,数据库成功挂载,本次数据恢复成功。
治大国若烹小鲜,学OpenStack亦是如此。每一个深入学习OpenStack的人都会从虚拟机创建流程开始自己的OpenStack代码分析之旅,因为它贯穿核心组件,覆盖了大部分OpenStack通用技术。食材的做法有煎、炒、烹、炸,把虚拟机创建流程比作食材,本文就给它换个做法,给读者呈现不同的口味。
Dell MD 3200系列存储,VMware ESXi 5.5版本,因意外断电,导致某台虚拟机不能正常启动,查看虚拟机的配置文件时发现此虚拟机的配置文件除了磁盘文件以外其他配置文件全部丢失。此时xxx-flat.vmdk磁盘文件和xxx-000001-delta.vmdk快照文件还存在。 找VMware工程师诊断后,尝试新建一个虚拟机来解决故障,但发现ESXi存储空间不足。因此就将故障虚拟机下的xxx-flat.vmdk磁盘文件删除,这时ESXi存储就有200多G的剩余空间了,而后VMware工程师就重新建了一个40G的虚拟机,并且分配了固定大小的虚拟磁盘,Windows Server 2008(虚拟机操作系统),数据库应用环境SQL Server 2008数据库服务器,虚拟机磁盘容量200G数据盘(精简模式)+ 160G快照数据盘。 解决方法: 1、备份数据 在VMware vSphere Client上将挂载的RD220i存储中VMFS卷以正常方式卸载掉。然后将RD220i存储上的VMFS卷通过网线的方式连接到备份服务器上,接着使用专业的工具将整个VMFS卷以扇区的方式镜像到已准备的备份空间上,以确保客户的数据安全,之后的分析和恢复操作均在备份的数据上进行。 2、分析故障原因 仔细分析VMFS卷的底层数据发现,ESXi主机的突然断电导致故障虚拟机目录下的目录项出现破坏,但是这种破坏不会影响虚拟机的重要数据,只是破坏了文件的目录项而已,可以通过人工修复即可解决。而人为删除某个文件的话,则目录项对应的数据区索引会被清掉,也不会影响删除文件的实际数据。这种情况可根据删除虚拟磁盘文件中的文件系统以及虚拟磁盘中的文件类型在VMFS卷自由空间中进行碎片匹配和合并,最终也可恢复删除的虚拟磁盘文件。但是在上述的两种情况之下又新建了一台虚拟机,并且分配了虚拟磁盘。经过仔细分析发现分配的40G虚拟磁盘已经全部清零了(在创建虚拟磁盘的时候会选择创建磁盘的类型),也是这个新建的虚拟机所占用的磁盘空间全部被清零。 如果新虚拟磁盘占用了删除虚拟机磁盘所释放的空间,那么此部分空间将无法恢复的。
虚拟机创建过程: (1)界面或命令行通过RESTful API向keystone获取认证信息。 (2)keystone通过用户请求认证信息,并生成auth-token返回给对应的认证请求。 (3)界面或命令行通过RESTful API向nova-api发送一个boot instance的请求(携带auth-token)。 (4)nova-api接受请求后向keystone发送认证请求,查看token是否为有效用户和token。 (5)keystone验证token是否有效,如有效则返回有效的认证和对应的角色(注:有些操作需要有角色权限才能操作)。 (6)通过认证后nova-api和数据库通讯。 (7)初始化新建虚拟机的数据库记录。 (8)nova-api通过rpc.call向nova-scheduler请求是否有创建虚拟机的资源(Host ID)。 (9)nova-scheduler进程侦听消息队列,获取nova-api的请求。 (10)nova-scheduler通过查询nova数据库中计算资源的情况,并通过调度算法计算符合虚拟机创建需要的主机。 (11)对于有符合虚拟机创建的主机,nova-scheduler更新数据库中虚拟机对应的物理主机信息。 (12)nova-scheduler通过rpc.cast向nova-compute发送对应的创建虚拟机请求的消息。 (13)nova-compute会从对应的消息队列中获取创建虚拟机请求的消息。 (14)nova-compute通过rpc.call向nova-conductor请求获取虚拟机消息。(Flavor) (15)nova-conductor从消息队队列中拿到nova-compute请求消息。 (16)nova-conductor根据消息查询虚拟机对应的信息。 (17)nova-conductor从数据库中获得虚拟机对应信息。 (18)nova-conductor把虚拟机信息通过消息的方式发送到消息队列中。 (19)nova-compute从对应的消息队列中获取虚拟机信息消息。 (20)nova-compute通过keystone的RESTfull API拿到认证的token,并通过HTTP请求glance-api获取创建虚拟机所需要镜像。 (21)glance-api向keystone认证token是否有效,并返回验证结果。 (22)token验证通过,nova-compute获得虚拟机镜像信息(URL)。 (23)nova-compute通过keystone的RESTfull API拿到认证k的token,并通过HTTP请求neutron-server获取创建虚拟机所需要的网络信息。 (24)neutron-server向keystone认证token是否有效,并返回验证结果。 (25)token验证通过,nova-compute获得虚拟机网络信息。 (26)nova-compute通过keystone的RESTfull API拿到认证的token,并通过HTTP请求cinder-api获取创建虚拟机所需要的持久化存储信息。 (27)cinder-api向keystone认证token是否有效,并返回验证结果。 (28)token验证通过,nova-compute获得虚拟机持久化存储信息。 (29)nova-compute根据instance的信息调用配置的虚拟化驱动来创建虚拟机。
其中值得关注的是用一台zuul网关节点和一个业务节点压测空接口,发现一个有意思的现象:
由于服务器突然断电,造成我公司Xen Server服务器中一台VPS(即Xen Server虚拟机)不可用,虚拟磁盘文件丢失。硬件环境是Dell 720服务器配戴一张H710P的RAID卡,由4块希捷2T STAT硬盘组成的RAID 10,上层环境是Xen Server 6.2版本操作系统,虚拟机是Windows Server 2003系统,10G系统盘 + 5G数据盘两个虚拟机磁盘,上层是Web服务器(ASP + SQL 2005的网站架构)。
因服务器突然断电原因导致Xen Server服务器中一台VPS(即Xen Server虚拟机)不可用,虚拟磁盘文件丢失,通过电话联系北亚数据来进行恢复。硬件环境是Dell 720服务器配戴一张H710P的RAID卡,由4块希捷2T STAT硬盘组成的RAID 10,上层环境是Xen Server 6.2版本操作系统,虚拟机是Windows Server 2003系统,10G系统盘 + 5G数据盘两个虚拟机磁盘,上层是Web服务器(ASP + SQL 2005的网站架构)。 【数据恢复过程】 将客户数据盘以磁盘底层扇区的方式镜像到备份空间上后,仔细分析底层数据发现Xen Server服务器中虚拟机的磁盘都是以LVM的结构存放的,即每个虚拟机的虚拟磁盘都是一个LV,并且虚拟磁盘的模式是精简模式的。LVM的相关信息在Xen Server中都有记载,查看“/etc/lvm/backup/frombtye.com “下LVM的相关信息发现并没有存在损坏的虚拟磁盘信息,因此可以断定LVM的信息已经被更新了。接着分析底层看能否找到未被更新的LVM信息,在底层发现了还未更新的LVM信息。 根据未被更新的LVM信息找到了虚拟磁盘的数据区域,发现该区域的数据已被破坏。分析后发现造成虚拟机不可用的最终原因是因为虚拟机的虚拟磁盘被破坏,从而导致虚拟机中的操作系统和数据丢失。而导致这种情况的发生很有可能是虚拟机遭遇网络攻击或hack入侵后留下恶意程序造成的。仔细核对这片区域后发现,虽然该区域有很多数据被破坏了,但还是发现了很多数据库的页碎片。因此可以尝试将许多数据库的页碎片拼成一个可用的数据库。
RAID5磁盘阵列,由于未知的原因导致存储忽然崩溃无法启动,RAID5阵列中的虚拟机全部丢失,其中3台虚拟机为重要数据,需要主要针对该3台虚拟机进行数据恢复。
本文讲述了一台服务器上运行的XenServer虚拟化中一台VPS(虚拟专用服务器)出现故障,导致虚拟机操作系统丢失的问题的解决过程。通过分析底层数据,最终发现是虚拟机磁盘被破坏,导致操作系统和数据丢失。经过一系列操作,最终使用RAR压缩包修复了数据,并重新附加到数据库环境中,查询最新数据正常。
误删数据库数据,在无法用现有数据恢复的情况下,通过数据库所在虚拟机的前几天的备份进行恢复,是一个可选的解决办法。
某公司使用的存储,采用RAID5磁盘阵列,由于未知的原因导致存储忽然崩溃无法启动,RAID5阵列中的虚拟机全部丢失,其中3台虚拟机为重要数据,需要主要针对该3台虚拟机进行数据恢复。
最近我要在SQL Server 2008上做数据库复制的实验,需要用到两台服务器,所以我需要同时开2个虚拟机(VPC),当然我不可能去单独安装2个SQL Server,安装过程太费时了,所以我是在一个虚拟机中安装了SQL2008,然后将该虚拟机文件复制了一个出来,然后还原成另外一个虚拟机,这样我就可以同时使用2个虚拟机来做复制的实验了。我先在虚拟机SQL2008RC0中安装了Windows2003操作系统,机器名为MS-ZY,然后安装SQL Server 2008,所以数据库的服务器名也就是MS-ZY。
本次分享的案例是关于存储的数据恢复,存储上RAID崩溃导致存储无法启动。存储内部共有6台以上虚拟机,其中LINUX虚拟机3台为客户重要数据。 工程师初步分析得出存储结构为所有物理磁盘均在一个存储池内,再由存储池分出几个LUN,LUN1是vmfs卷,三台LINUX虚拟机也是在这个里面。 1、重组RAID 重组过程中发现本RAID5缺失2块盘(第一掉线盘掉线后热备盘顶替,之后又掉线一块盘使得RAID5处于降级状态。最后在掉线第三块盘时盘片划伤RAID崩溃),无法通过校验直接获取丢失盘的数据,所以只能使用磁盘同等大小的全0镜像进行重组(此方法只可用于紧急情况,因为依赖空镜像组成的RAID文件系统结构会被严重破坏,相当于每个条带都会缺失两个块的数据)。 2、提取LUN 分析存储结构,获取存储划分的MAP块。在找到MAP块之后解析得到各个LUN的数据块指针,编写数据提取程序提取LUN碎片。提取完成后进行碎片拼接,组成完整LUN。导出LUN内所有虚拟机,尝试启动。导出虚拟机后尝试启动,同预想相同,操作系统被破坏虚拟机无法启动。 3、提取虚拟机内文件 在虚拟机无法启动的情况下只能退而求其次,提取虚拟机内文件。在取出文件后进行测试,发现大多数文件都被破坏,只有少部分小文件可以打开。在与客户沟通后得知虚拟机内有MYSQL数据库,因为数据库底层存储的特殊性,可以通过扫描数据页进行数据提取。在找到此虚拟机后发现虚拟机启用快照,父盘和快照文件都被损坏的情况下常规合并操作无法完成,使用北亚自主研发VMFS快照合并程序进行快照合并。 4、获取MYSQL数据页并分析 根据MYSQL数据页特征进行数据页扫描并导出(innodb引擎可以使用此方案,myisam因为没有“数据页”概念所以不可用),分析系统表获取各用户表信息,根据各个表的ID进行数据页分割。 5、提取表结构 因为数据库使用时间已久,表结构也曾多次变更,加上系统表在存储损坏后也有部分数据丢失,记录提取过程遇到很大阻力。首先获取最初版本数据库各个表的表结构:合并快照前的父盘因为写入较早,使用第一块掉线盘进行校验获取到这个文件的完整数据,然后提取出其中数据库各个表的表结构,之后客户方提供了最新版的数据库建表脚本。提取记录:分别使用两组不同表结构对数据记录进行提取并导入恢复环境中的MYSQL数据库内,然后剔除各个表中因为表结构变更造成的乱码数据,最后将两组数据分别导出为.sql文件。 6、数据恢复结果 因为两个版本的数据库表结构不同,所以联系了客户方的应用工程师进行调试。调试完成后导入平台,经验证,数据可用本次数据恢复成功。
随着越来越多的企业用户将传统的业务系统迁移至虚拟化环境或是云服务商提供的云平台,数据的泄露及篡改风险变的越发严峻,针对数据安全的防护以及事后审计追溯也变得越来越困难。究其原因,主要是传统的数据库审计解决方案是通过旁路分析目标被审计数据库镜像的流量,而虚拟化环境或者云平台由于内部的虚拟交换机(Vswitch)流量很难镜像或者无法镜像,因此传统的数据库审计解决方案不足以应对虚拟化和云平台的数据库审计需求。 首先我们对虚拟化及云平台环境中,传统的数据库审计解决方案在典型的几种场景下的优缺点进行解析:
本文作者 / 鹏飞师兄 专注于OpenStack计算、Python; 热爱大海、雪山。 Cell V2详解 Cell V2 第一次出现是在 Ocata 版本,但当时仅仅只支持单个 Cell,对多个 Cell 的支持是在 Pike 版本中实现的。它的出现是为了解决单个 OpenStack 集群下计算节点过多,而导致数据库和消息队列压力过大,无法支持大规模部署的问题。 在 Pike 版本以前,一个 OpenStack 集群下,只有一个消息队列和一个数据库。由于计算节点需要定时进行资源上报,电源状态同步
随着越来越多的企业用户将传统的业务系统迁移至虚拟化环境或是云服务商提供的云平台,数据的泄露及篡改风险变的越发严峻,针对数据安全的防护以及事后审计追溯也变得越来越困难。究其原因,主要是传统的数据库审计解决方案是通过旁路分析目标被审计数据库镜像的流量,而虚拟化环境或者云平台由于内部的虚拟交换机(Vswitch)流量很难镜像或者无法镜像,因此传统的数据库审计解决方案不足以应对虚拟化和云平台的数据库审计需求。
本文对Kubernetes集群在虚拟机和裸机上在CPU、内存、存储和网络性能方面的表现进行了详细的比较和分析。
在我之前的文章中,讨论了云计算背后的基本概念,包括其定义,特性和各种服务模型。在本文中,我将更加详细地讨论服务模型,特别是从开发者的角度来比较IAAS和PAAS。
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ajianyingxiaoqinghan/article/details/80234140
Linux文件系统中的文件是数据的集合,文件系统不仅包含着文件中的数据而且还有文件系统的结构,所有Linux用户和程序看到的文件、目录、软连接及文件保护信息等都存储在其中。Linux是一个性能稳定、功能强大、效率高的操作系统。它在功能特性方面与Unix系统相似,同时又具有多任务、多用户、多平台等若干特性。
上篇教程学院君给大家演示了如何在 Windows 中安装 WSL 版 Ubuntu 虚拟机,并且在虚拟机中安装了 PHP、Composer、Git 等 PHP 开发基础软件,此外还简单介绍了 WSL 虚拟机与 Windows 宿主机之间的文件同步机制。
本次分享的KVM虚拟机误删除数据恢复案例,客户的物理机器操作系统为Linux系统,文件系统为EXT4文件系统,KVM虚拟机被机房管理员误操作删除掉了。
机房突然断电导致整个存储瘫痪,加电后存储依然无法使用。经过用户方工程师诊断后认为是断电导致存储阵列损坏。
虚机RAC的一个节点失去连接,进入vSphere检查发现虚拟机电源关闭。打开电源时发生如下错误:
随着容器化技术盛行,Docker在前端领域也有着越来越广泛的应用;传统的前端部署方式需要我们将项目打包生成一系列的静态文件,然后上传到服务器,配置nginx文件;如果我们使用容器化部署,将部署操作都命令化,集中成一个脚本就可以完成原来复杂的部署过程。本文就来介绍BI系统如何通过Docker方式进行部署。
软件架构风格是软件系统结构的一种表现方式,不同的架构风格适用于不同类型的系统和应用场景。以下是您提到的几种软件架构风格的概述和示例:
组件:nova-api负责接受和响应终端用户有关虚拟机和云硬盘的请求,nova-api是整个nova 的入口。它接受用户请求,将指令发送至消息队列,由相应的服务执行相关的指令消息。
本文讨论了IaaS和PaaS这两种云计算服务模型的不同,从开发人员的角度分析了IaaS和PaaS之间的主要差异。作者通过举例说明在IaaS和PaaS中,开发人员可以做什么以及他们不能做什么。IaaS提供了一个虚拟化的计算环境,包括服务器、存储和网络资源,而PaaS提供了一个完整的应用程序开发和部署平台。作者指出,PaaS将更多控制权交给开发人员,允许他们自定义操作系统、中间件、运行时和数据库等。
这些节点是安装了VDSM和libvirt的Linux发行版,以及一些额外的软件包,可以轻松实现网络和其他系统服务的虚拟化。迄今为止支持的Linux发行版是Fedora 17或oVirt-node,它基本上是一个简化的发行版,其中只包含足够的组件以允许虚拟化。
VirtualBox的下载链接:https://www.virtualbox.org/wiki/Downloads
本次北亚小编分享的案例是关于IBM存储DS3512,6块盘,坏了多块盘,导致阵列失效,数据丢失。
最近在某个“群”, 经常看到吐槽某分布式数据库的“流言蜚语”,主要提到一些问题, 如系统不稳定,系统运行缓慢,等一些问题,细究大部分问题不在分布式数据库,而在于本身使用者不具备使用分布式数据库的最基本的“能力”。
在我的虚拟机里面, 与前端同学进行接口联调, 完成后发版到测试环境时, 前端同学突然说这个不对劲, 以为啥不对呢, 原来说的是返回值类型不对.
存储虚拟化可以提高硬件资源的使用效率,简化系统管理的复杂度,增强云存储平台的可靠性。
注: 本文之前已经在腾讯云tstack上发布过了https://cloud.tencent.com/developer/article/1473057,这里自己记录保存一份。
在工作中接触到了redis,Redis是一个非常高效的key-value的数据库,在项目中广泛使用,但是redis很明显的缺点是对于内存的处理,在项目上线之初,必须对内存规划合理,否则很容易出现内存爆了的现象,一般较合理的内存大小为电脑物理内存的3/5。
如果Linux操作系统宕机,启动不了,救援模式(rescue installed system)也行不通的时候,那么该机器上的MySQL数据还能恢复吗?如果能,怎么恢复呢?带着这个问题我们做个实验。
以前在虚拟机中安装了SQL Server 2008简体中文版用于做实验,当时由于一时偷懒,没有输入企业版的序列号,而是安装的企业试用版(Enterprise Evaluation),能够试用180天,半年的时间我想对一个虚拟机来说还是足够了。一直用这个虚拟机,做了很多实验也录制了不少视频教程,今天再打开虚拟机想做一个更改跟踪过期清除的实验,结果运行SQL Server Management Studio时却发现已经过期了,如图:
首先,我已经提前在虚拟机上配置了windows2008+oracle11g,为什么用server2008呢?我没有别的,win10做虚拟机觉得不太好,win7镜像还得下载,你懂的。 然后就是oracle11g是去某电脑上拷过来的,我是一个十分爱惜流量的人,嘿嘿。
公司有八九台服务器一直由我负责运维,这些服务器的配置参次不齐,主要部署了研发的持续集成环境、测试环境、性能压测环境、maven私服等一系列支撑日常开发活动的服务器。之前的办法是在这些服务器利用KVM虚拟化技术手工创建虚拟机来满足需求,最常用到的命令可能就是qemu-img、virsh了。这种办法主要存在以下的问题: 需要将每个主机上跑了哪些主机这些信息记录下来,最好形成表格,一旦有变更一定是同步更新表格 虚拟机创建、销毁、迁移得手工敲命令完成,即使形成一些较通用的工具脚本,还是有不少敲命令的工作量 由于公司
自从有了Docker,各种环境部署都简单从容起来,还记得我们曾经分享过:在macOS 上部署Oracle数据库环境,其实MySQL的环境部署起来同样得心应手。 前提条件,已经在自己的macOS操作系统
北京有一家公司由于管理员误操作不小心删除了XenServer服务器中的一台虚拟机,由于这台服务器中存储了公司的重要数据,因此联系到数据恢复中心进行虚拟机数据恢复。数据恢复中心数据恢复工程师前往客户现场进行初检发现客户服务器内的VPS不可用,虚拟磁盘中的数据丢失。经过沟通,客户采取了上门数据恢复的数据恢复形式,派遣工程师携带数据恢复设备前往客户现场进行数据恢复。
领取专属 10元无门槛券
手把手带您无忧上云