随着越来越多的企业用户将传统的业务系统迁移至虚拟化环境或是云服务商提供的云平台,数据的泄露及篡改风险变的越发严峻,针对数据安全的防护以及事后审计追溯也变得越来越困难。究其原因,主要是传统的数据库审计解决方案是通过旁路分析目标被审计数据库镜像的流量,而虚拟化环境或者云平台由于内部的虚拟交换机(Vswitch)流量很难镜像或者无法镜像,因此传统的数据库审计解决方案不足以应对虚拟化和云平台的数据库审计需求。
随着越来越多的企业用户将传统的业务系统迁移至虚拟化环境或是云服务商提供的云平台,数据的泄露及篡改风险变的越发严峻,针对数据安全的防护以及事后审计追溯也变得越来越困难。究其原因,主要是传统的数据库审计解决方案是通过旁路分析目标被审计数据库镜像的流量,而虚拟化环境或者云平台由于内部的虚拟交换机(Vswitch)流量很难镜像或者无法镜像,因此传统的数据库审计解决方案不足以应对虚拟化和云平台的数据库审计需求。 首先我们对虚拟化及云平台环境中,传统的数据库审计解决方案在典型的几种场景下的优缺点进行解析:
本次分享的是因意外断电,导致某台虚拟机不能正常启动,查看虚拟机的配置文件时发现此虚拟机的配置文件除了磁盘文件以外其他配置文件全部丢失。此时磁盘文件和快照文件还存在。当遇到这种情况应该如何进行正确的操作呢? 【初检分析及数据恢复方式】 找VMware工程师诊断后,尝试新建一个虚拟机来解决故障,但发现ESXi存储空间不足。因此就将故障虚拟机下的某个磁盘文件删除了,这时ESXi存储就有200多G的剩余空间了,而后VMware工程师就重新建了一个40G的虚拟机,并且分配了固定大小的虚拟磁盘,Windows Server 2008,数据库应用环境SQL Server 2008数据库服务器,虚拟机磁盘容量精简200G数据盘+ 160G快照数据盘。 在VMware vSphere Client上将挂载的RD220i存储中VMFS卷以正常方式卸载掉。然后将卷通过网线的方式连接到备份服务器上,接着使用专业的工具将整个VMFS卷以扇区的方式镜像到已准备的备份空间上。分析VMFS卷的底层数据发现,ESXi主机的突然断电导致故障虚拟机目录下的目录项出现破坏,但是这种破坏不会影响虚拟机的重要数据,只是破坏了文件的目录项而已,可以通过人工修复即可解决。而人为删除某个文件的话,则目录项对应的数据区索引会被清掉,也不会影响删除文件的实际数据。这种情况可根据删除虚拟磁盘文件中的文件系统以及虚拟磁盘中的文件类型在VMFS卷自由空间中进行碎片匹配和合并,最终也可恢复删除的虚拟磁盘文件。但是在上述的两种情况之下又新建了一台虚拟机,并且分配了虚拟磁盘。 经过分析发现分配的虚拟磁盘已经全部清零了,也是这个新建的虚拟机所占用的磁盘空间全部被清零。 如果新虚拟磁盘占用了删除虚拟机磁盘所释放的空间,那么此部分空间将无法恢复的。根据SQL Server数据库的结构去自由空间中找到数据库的开始位置。在数据库的结构中,数据库的第9个页会记录本数据库的数据库名。因此根据这个特征可以核对此数据库的头部页是否是正在查找的。并且数据库的每个页中都会记录数据库页编号以及文件号,所以根据这些特征编写数据库扫描程序,然后利用程序去底层扫描所有符合数据库页的数据碎片。接着将扫描出来的碎片按顺序重组成一个完整MDF文件,再通过MDF校验程序检测整个MDF文件是否完整。在整个校验过程中,只有极少量因有部分碎片没有找到外,其余数据库均校验成功。 实施完后,并没有将所有的数据库文件全部恢复出来,还有文件因缺失部分页导致其无法正常使用。因此需要采用备份来恢复这两个数据库文件,但是在检查完这两个文件的备份后发现全部备份因备份机制故障导致没有备份出来,之前的备份全部没有,只有最近的全部增量备份 因此可以根据缺失的页号在增量备份中查找,再将找到的页补到文件中,这样可以恢复一部分丢失的数据库页。最终补完后还是缺失部分页,无法正常使用。但是可以通过自主开发的数据库解析程序将文件中用户比较重要的几十张表成功导出,并成功导入到新建的数据库中。 【数据恢复结果】 在本地服务器中搭建和原始环境一样的数据库环境并安装上层宏桥应用软件。再由客户安排工程验证数据库是否完整,经过验证后,数据库恢复基本没问题。上层应用可以正常运行,数据记录也都基本没有缺失,数据库成功挂载,本次数据恢复成功。
由于服务器突然断电,造成我公司Xen Server服务器中一台VPS(即Xen Server虚拟机)不可用,虚拟磁盘文件丢失。硬件环境是Dell 720服务器配戴一张H710P的RAID卡,由4块希捷2T STAT硬盘组成的RAID 10,上层环境是Xen Server 6.2版本操作系统,虚拟机是Windows Server 2003系统,10G系统盘 + 5G数据盘两个虚拟机磁盘,上层是Web服务器(ASP + SQL 2005的网站架构)。
本文讲述了一台服务器上运行的XenServer虚拟化中一台VPS(虚拟专用服务器)出现故障,导致虚拟机操作系统丢失的问题的解决过程。通过分析底层数据,最终发现是虚拟机磁盘被破坏,导致操作系统和数据丢失。经过一系列操作,最终使用RAR压缩包修复了数据,并重新附加到数据库环境中,查询最新数据正常。
Dell MD 3200系列存储(用于存放虚拟机文件),VMware ESXi 5.5版本,因意外断电,导致某台虚拟机不能正常启动,查看虚拟机的配置文件时发现此虚拟机的配置文件除了磁盘文件以外其他配置文件全部丢失。此时xxx-flat.vmdk磁盘文件和xxx-000001-delta.vmdk快照文件还存在。找VMware工程师诊断后,尝试新建一个虚拟机来解决故障,但发现ESXi存储空间不足。因此就将故障虚拟机下的xxx-flat.vmdk磁盘文件删除。
因服务器突然断电原因导致Xen Server服务器中一台VPS(即Xen Server虚拟机)不可用,虚拟磁盘文件丢失,通过电话联系北亚数据来进行恢复。硬件环境是Dell 720服务器配戴一张H710P的RAID卡,由4块希捷2T STAT硬盘组成的RAID 10,上层环境是Xen Server 6.2版本操作系统,虚拟机是Windows Server 2003系统,10G系统盘 + 5G数据盘两个虚拟机磁盘,上层是Web服务器(ASP + SQL 2005的网站架构)。 【数据恢复过程】 将客户数据盘以磁盘底层扇区的方式镜像到备份空间上后,仔细分析底层数据发现Xen Server服务器中虚拟机的磁盘都是以LVM的结构存放的,即每个虚拟机的虚拟磁盘都是一个LV,并且虚拟磁盘的模式是精简模式的。LVM的相关信息在Xen Server中都有记载,查看“/etc/lvm/backup/frombtye.com “下LVM的相关信息发现并没有存在损坏的虚拟磁盘信息,因此可以断定LVM的信息已经被更新了。接着分析底层看能否找到未被更新的LVM信息,在底层发现了还未更新的LVM信息。 根据未被更新的LVM信息找到了虚拟磁盘的数据区域,发现该区域的数据已被破坏。分析后发现造成虚拟机不可用的最终原因是因为虚拟机的虚拟磁盘被破坏,从而导致虚拟机中的操作系统和数据丢失。而导致这种情况的发生很有可能是虚拟机遭遇网络攻击或hack入侵后留下恶意程序造成的。仔细核对这片区域后发现,虽然该区域有很多数据被破坏了,但还是发现了很多数据库的页碎片。因此可以尝试将许多数据库的页碎片拼成一个可用的数据库。
Dell MD 3200系列存储,VMware ESXi 5.5版本,因意外断电,导致某台虚拟机不能正常启动,查看虚拟机的配置文件时发现此虚拟机的配置文件除了磁盘文件以外其他配置文件全部丢失。此时xxx-flat.vmdk磁盘文件和xxx-000001-delta.vmdk快照文件还存在。 找VMware工程师诊断后,尝试新建一个虚拟机来解决故障,但发现ESXi存储空间不足。因此就将故障虚拟机下的xxx-flat.vmdk磁盘文件删除,这时ESXi存储就有200多G的剩余空间了,而后VMware工程师就重新建了一个40G的虚拟机,并且分配了固定大小的虚拟磁盘,Windows Server 2008(虚拟机操作系统),数据库应用环境SQL Server 2008数据库服务器,虚拟机磁盘容量200G数据盘(精简模式)+ 160G快照数据盘。 解决方法: 1、备份数据 在VMware vSphere Client上将挂载的RD220i存储中VMFS卷以正常方式卸载掉。然后将RD220i存储上的VMFS卷通过网线的方式连接到备份服务器上,接着使用专业的工具将整个VMFS卷以扇区的方式镜像到已准备的备份空间上,以确保客户的数据安全,之后的分析和恢复操作均在备份的数据上进行。 2、分析故障原因 仔细分析VMFS卷的底层数据发现,ESXi主机的突然断电导致故障虚拟机目录下的目录项出现破坏,但是这种破坏不会影响虚拟机的重要数据,只是破坏了文件的目录项而已,可以通过人工修复即可解决。而人为删除某个文件的话,则目录项对应的数据区索引会被清掉,也不会影响删除文件的实际数据。这种情况可根据删除虚拟磁盘文件中的文件系统以及虚拟磁盘中的文件类型在VMFS卷自由空间中进行碎片匹配和合并,最终也可恢复删除的虚拟磁盘文件。但是在上述的两种情况之下又新建了一台虚拟机,并且分配了虚拟磁盘。经过仔细分析发现分配的40G虚拟磁盘已经全部清零了(在创建虚拟磁盘的时候会选择创建磁盘的类型),也是这个新建的虚拟机所占用的磁盘空间全部被清零。 如果新虚拟磁盘占用了删除虚拟机磁盘所释放的空间,那么此部分空间将无法恢复的。
Oracle RAC One Node是Oracle Database 11.2引入的Oracle数据库企业版的一个选项。它为单实例Oracle数据库提供了增强的高可用性,可以保护计划内和计划外的停机时间。 本文来自Oracle白皮书翻译 Oracle RAC One Node有以下优点: 增强Oracle数据库的可用性 为Oracle数据库整合提供便利(提供对多租户的支持) 方便进行数据库虚拟化 Oracle RAC One Node还允许客户对其数据库部署和管理进行标准化,整合数据库存储,如果需要,可
最近在某个“群”, 经常看到吐槽某分布式数据库的“流言蜚语”,主要提到一些问题, 如系统不稳定,系统运行缓慢,等一些问题,细究大部分问题不在分布式数据库,而在于本身使用者不具备使用分布式数据库的最基本的“能力”。
由于云计算技术已向专业领域发展,除了使用虚拟软件化Hypervisor技术实现基础设施云化外,基于容器的虚拟化技术在操作系统、数据库平台云化等领域也得到了很大的发展与应用。数据库即服务 (DBaaS)也在这样的技术背景下应运而生。
介绍多了服务器类的数据恢复案例,今天小编从虚拟机数据恢复角度为大家介绍一篇由于异常断电导致的虚拟机无法启动的数据恢复成功案例。其中不仅涉及虚拟机数据恢复,另外也涉及有服务器数据恢复、数据库修复等技术知识。
续 上一篇引起了大家的讨论,看着讨论我是比较晕的,这也怪我没有说清楚,所以再补一个续把问题说清楚吧。 笔记本配置 CPU:Core 2 7250 2.0G 内存:4G,其中2G设置成了虚拟硬盘,虚拟硬盘的软件:Ramdisk。读取:5.5G,写入:3.5G。 硬盘:160G,平均读取:70M/s。写入:不详,估计没有读取快。 (内存的读取速度是硬盘的读取速度的785倍。) 这里是我的笔记本的测试:http://www.cnblogs.com/jyk/archive/2009/05/10/145355
招行ACS私有云上线投产后, MySQL作为云上主要服务的RDS数据库服务,规模急剧增长且部分承载着分行核心业务,对业务连续性要求也越来越高,因此迫切需要建立并完善云MySQL支持服务体系和提升MySQL服务能力。
如果你想在美国虚拟主机上搭建一个博客网站,那么WordPress是一个非常好的选择。本文将介绍如何在美国虚拟主机上安装WordPress,帮助你快速建立一个美观、高效的博客网站。
为了能够让企业的网站更加高效的进行运转,许多人都会选择云数据库。正确的使用它,能够方便日常的工作,但是云虚拟主机如何登陆数据库?相信绝大多数人都不知道要怎么做,以下就是关于这方面的相关内容。
关于云数据库大部分刚接触云服务器的客户都会有诸如什么是云数据库,云数据库使用有哪些优势,云数据库是否可以拓展容量等方面的问题。云数据库是云服务器的延伸,同样也是属于虚拟数据运作的类型,可以根据应用的环境来快速配置方案,同时还能针对于环境对储存容量的需求,一键拓展容量无需停机更新。云数据库采用多重数据保障,同步进行数据备份,避免数据被误删或是丢失。
大致了解我们要完成的项目之后, 我们要进行项目的开发. 我们并不是直接讲解 Django 框架, 而是通过项目驱动的方式, 一步步掌握 Django 框架的基本使用.
数据是一个企业的心脏命脉,数据的安全性直接影响着整个业务的发展,没有数据平台,就等于没有招牌,公司业务将无法运转, 所以大家明白数据的重要性,就要意识到数据的安全性。
每个 SQL Server 数据库都具有事务日志,用于记录所有事务以及每个事务对数据库所做的修改。 必须定期截断事务日志以避免它被填满。 但是,一些因素可能延迟日志截断,因此监视日志大小很重要。 某些
随着数据在企业发展中发挥着愈发重要的作用,如何更高效、简洁地利用数据成为用户非常关心的问题。数据虚拟化技术,正是面向此类问题的一种解决方法。本文通过近期阅读的数据虚拟化一书,提纲挈领谈谈对数据虚拟化的认识。
RAID5磁盘阵列,由于未知的原因导致存储忽然崩溃无法启动,RAID5阵列中的虚拟机全部丢失,其中3台虚拟机为重要数据,需要主要针对该3台虚拟机进行数据恢复。
随着企业数据应用的深化,尤其是低代码开发理念的提出,业务人员能便捷地看数和用数,即业务人员在其业务分析场景构思完成后,可以快速实现数据分析,进行论证和调整,成为数据应用效率和成效提升的关键。
某公司使用的存储,采用RAID5磁盘阵列,由于未知的原因导致存储忽然崩溃无法启动,RAID5阵列中的虚拟机全部丢失,其中3台虚拟机为重要数据,需要主要针对该3台虚拟机进行数据恢复。
治大国若烹小鲜,学OpenStack亦是如此。每一个深入学习OpenStack的人都会从虚拟机创建流程开始自己的OpenStack代码分析之旅,因为它贯穿核心组件,覆盖了大部分OpenStack通用技术。食材的做法有煎、炒、烹、炸,把虚拟机创建流程比作食材,本文就给它换个做法,给读者呈现不同的口味。
上接IM 5.2。本章为IM系列第五章 使用In-Memory表达式优化查询第三部分IM表达式如何工作。
一、云计算概述 云计算是近几年来最热门的互联网词汇之一。自从1983年由Sun Microsystems公司提出“网络是电脑”的概念,到2006年亚马逊推出弹性计算云(Elastic Compute Cloud,EC2)的服务,云计算的理念逐步从抽象走向具体。2006年8月9日,Google公司首席执行官埃里克?施密特在搜索引擎大会(SES San Jose 2006)首次提出“云计算”(Cloud Computing)的概念,这标志着云计算正式登上信息技术领域的舞台。 宏观上来看,云计算是
本次分享的案例是关于存储的数据恢复,存储上RAID崩溃导致存储无法启动。存储内部共有6台以上虚拟机,其中LINUX虚拟机3台为客户重要数据。 工程师初步分析得出存储结构为所有物理磁盘均在一个存储池内,再由存储池分出几个LUN,LUN1是vmfs卷,三台LINUX虚拟机也是在这个里面。 1、重组RAID 重组过程中发现本RAID5缺失2块盘(第一掉线盘掉线后热备盘顶替,之后又掉线一块盘使得RAID5处于降级状态。最后在掉线第三块盘时盘片划伤RAID崩溃),无法通过校验直接获取丢失盘的数据,所以只能使用磁盘同等大小的全0镜像进行重组(此方法只可用于紧急情况,因为依赖空镜像组成的RAID文件系统结构会被严重破坏,相当于每个条带都会缺失两个块的数据)。 2、提取LUN 分析存储结构,获取存储划分的MAP块。在找到MAP块之后解析得到各个LUN的数据块指针,编写数据提取程序提取LUN碎片。提取完成后进行碎片拼接,组成完整LUN。导出LUN内所有虚拟机,尝试启动。导出虚拟机后尝试启动,同预想相同,操作系统被破坏虚拟机无法启动。 3、提取虚拟机内文件 在虚拟机无法启动的情况下只能退而求其次,提取虚拟机内文件。在取出文件后进行测试,发现大多数文件都被破坏,只有少部分小文件可以打开。在与客户沟通后得知虚拟机内有MYSQL数据库,因为数据库底层存储的特殊性,可以通过扫描数据页进行数据提取。在找到此虚拟机后发现虚拟机启用快照,父盘和快照文件都被损坏的情况下常规合并操作无法完成,使用北亚自主研发VMFS快照合并程序进行快照合并。 4、获取MYSQL数据页并分析 根据MYSQL数据页特征进行数据页扫描并导出(innodb引擎可以使用此方案,myisam因为没有“数据页”概念所以不可用),分析系统表获取各用户表信息,根据各个表的ID进行数据页分割。 5、提取表结构 因为数据库使用时间已久,表结构也曾多次变更,加上系统表在存储损坏后也有部分数据丢失,记录提取过程遇到很大阻力。首先获取最初版本数据库各个表的表结构:合并快照前的父盘因为写入较早,使用第一块掉线盘进行校验获取到这个文件的完整数据,然后提取出其中数据库各个表的表结构,之后客户方提供了最新版的数据库建表脚本。提取记录:分别使用两组不同表结构对数据记录进行提取并导入恢复环境中的MYSQL数据库内,然后剔除各个表中因为表结构变更造成的乱码数据,最后将两组数据分别导出为.sql文件。 6、数据恢复结果 因为两个版本的数据库表结构不同,所以联系了客户方的应用工程师进行调试。调试完成后导入平台,经验证,数据可用本次数据恢复成功。
从官网的说明中提及“不会写入数据库”,也即 模型类的定义 不再跟数据库挂钩。但是其他特性还是要保留的,比如获取器、事件、类型转化、关联查询等等。
最近我要在SQL Server 2008上做数据库复制的实验,需要用到两台服务器,所以我需要同时开2个虚拟机(VPC),当然我不可能去单独安装2个SQL Server,安装过程太费时了,所以我是在一个虚拟机中安装了SQL2008,然后将该虚拟机文件复制了一个出来,然后还原成另外一个虚拟机,这样我就可以同时使用2个虚拟机来做复制的实验了。我先在虚拟机SQL2008RC0中安装了Windows2003操作系统,机器名为MS-ZY,然后安装SQL Server 2008,所以数据库的服务器名也就是MS-ZY。
经常在github看到一些优秀的Django项目,但Django的运行需要大量的依赖,这里分享一下,从github获取Django项目,并在本地运行项目的小经验... 准备工作 安装虚拟机: ub
例如我的虚拟机虚拟出50g的硬盘,实际上我的本机的磁盘空间只用了5g。其余的都是虚拟出来的。
其中值得关注的是用一台zuul网关节点和一个业务节点压测空接口,发现一个有意思的现象:
本次分享的KVM虚拟机误删除数据恢复案例,客户的物理机器操作系统为Linux系统,文件系统为EXT4文件系统,KVM虚拟机被机房管理员误操作删除掉了。
H2 是我们常使用的一个内存数据库,通常这个数据库能够帮助我们在测试的时候进行逻辑测试。
上节说到主从复制的一些问题 我们再来回忆一下 主从复制,增加了一个数据库副本,从数据库和主数据库的数据最终会是一致的 之所以说是最终一致,因为mysql复制是异步的,正常情况下主从复制数据之间会有一个微小的延迟 通过这个数据库副本看似解决了数据库单点问题,但并不完美 因为这种架构下,如果主服务器宕机,需要手动切换从服务器,业务中断不能忍受,不能满足应用高可用的要求
每个虚拟目录相当于是一个应用,其中的Session是不共享的,不过你的Session存储方式设置成了 inpro,stateserver还是SQLSERVE,同样都实现不了Session共享。
本文作者 / 鹏飞师兄 专注于OpenStack计算、Python; 热爱大海、雪山。 Cell V2详解 Cell V2 第一次出现是在 Ocata 版本,但当时仅仅只支持单个 Cell,对多个 Cell 的支持是在 Pike 版本中实现的。它的出现是为了解决单个 OpenStack 集群下计算节点过多,而导致数据库和消息队列压力过大,无法支持大规模部署的问题。 在 Pike 版本以前,一个 OpenStack 集群下,只有一个消息队列和一个数据库。由于计算节点需要定时进行资源上报,电源状态同步
前面魏艾斯博客介绍过有关安装微擎程序的部分教程,比如宝塔面板一键部署安装微擎,WDCP 面板安装微擎的过程记录,这都是基于 Linux 面板的安装方法,而也有用户在使用虚拟主机来安装微擎。当然官方不建议用虚拟主机,如果非要用的话,官方建议使用阿里云虚拟主机。 点我领取阿里云千元代金券,购买阿里云全部产品有不同程度优惠。使用方法看这里>>阿里云幸运券领取,使用规则及常见问题解答 领券后进入阿里云官方,购买阿里云独立虚拟主机有独立 IP,更适合百度优化,容易获取好排名。 本文是微擎官方论坛发布的阿里云虚拟主机部
机器之心专栏 作者:王雅楠、廖胜才 本文通过从单张照片克隆整套衣服穿搭到三维人物,构建了一个包含 5621 个三维人物模型的虚拟行人数据集 ClonedPerson。这些虚拟人物在游戏环境里模拟真实监控渲染了多场景下的多摄像机视频。实验表明,该数据集在行人再辨识任务取得了良好的泛化性,并可应用于无监督域适应、无监督学习、人体关键点检测等多个相关任务。相关论文已被 CVPR 2022 接收,数据和代码已开源。 论文地址:https://arxiv.org/pdf/2204.02611.pdf 项目地址:ht
随着容器化技术盛行,Docker在前端领域也有着越来越广泛的应用;传统的前端部署方式需要我们将项目打包生成一系列的静态文件,然后上传到服务器,配置nginx文件;如果我们使用容器化部署,将部署操作都命令化,集中成一个脚本就可以完成原来复杂的部署过程。本文就来介绍BI系统如何通过Docker方式进行部署。
在我之前的文章中,讨论了云计算背后的基本概念,包括其定义,特性和各种服务模型。在本文中,我将更加详细地讨论服务模型,特别是从开发者的角度来比较IAAS和PAAS。
本文叙述了高校业务系统及数据容灾备份方案 2.0 的应用探索和实践,介绍了数据库双活、应用秒级容灾和数据级实时备份、虚拟化平台备份等综合性创新应用,满足当前教育信息化 2.0 行动计划的信息安全需求,助力高校在等保、容灾、数据同步等方面的发展。
我们在建网站的过程中,可能出于某些原因会把网站重装,例如网站中病毒了、网站做的不满意,重头开始。本文会给大家分享一下2022年可行的重装WordPress网站方法。
误删数据库数据,在无法用现有数据恢复的情况下,通过数据库所在虚拟机的前几天的备份进行恢复,是一个可选的解决办法。
你已经有django项目了,并且已经创建了自己的虚拟环境,虚拟环境里面也安装了这个项目需要的依赖。如何安装项目需要的依赖,看文章
领取专属 10元无门槛券
手把手带您无忧上云