首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

系列(九)——异地数据冷备建设

异地数据冷备方案2.1 API实现方案数据备份:云平台数据库数据备份均为同地域,因此需要将该备份数据上传到异地COS存储桶。...2)通过url将备份下载到本地 3)调用cos上传api,将本地备份文件上传到异地cos桶 4)按照备份业务规则,周期性执行上面1-3步骤,将备份存储到异地COS存储桶。...目前云函数支持备份产品如下:图片跨地域复制:目前云函数只支持同地域备份,即备份数据库和cos需要同地域,因此通过存储桶跨地域复制能力,将对应备份文件复制到异地存储桶。...2.3 数据库备份服务数据库备份服务拥有一套完整数据备份和数据恢复解决方案,具备实时增量备份以及快速数据恢复能力,同时具备异地能力。...异地数据冷备案例3.1 异地冷备方案以某在线商城为例,涉及数据产品为mysql,reids以及cos,结合云平台能力,具体方案架构如下:图片方案要点说明:数据备份:基于数据恢复rto时长,mysql

8.9K164

异地方案解析

一、异地主要备份三种数据: 1、DB数据 2、操作系统 3、日志信息 二、恢复时间不能超过30分钟 三、图中为DB备份方式,DB总有四份备份:生产存储一份、移动硬盘一份、备份存储一份、备存储一份...备份方式为,平时通过生产系统介质服务器传输到移动硬盘,通过CS传输数据到备中心介质服务器,在通过介质服务器传输到备份存储、备存储。...生产中心发生异常时DB切换方式为,将移动硬盘迅速转移挂载到备中心介质服务器,然后再发起恢复 四、日常对OS进行每日备份,通过CS传输到备中心介质服务器,再发送给备份存储和备存储,即OS备份有三份...:生产存储、备份存储、备存储 五、日志备份和OS一样 六、恢复切换步骤:日志恢复、OS恢复、修改IP和主机名、移动硬盘转移挂载 七、本地恢复 image.png 八、两地传输带宽计算要考虑每日数据增量

2.7K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    CKV+异地探索和实践

    今天跟大家分享题目为《CKV+异地探索和实践》。CKV+是一个兼容redis协议内存数据库,现在大部分用户对内存数据库要求越来越高,对一致性、异地等方面也提出更高要求。...04CKV+单活多可用区异地实践 CKV+为了满足不同要求,已上线了单活多可用区特性,支持不同级别: 单可用区:机架级能力。 同地域多可用区:机架、可用区级能力。...跨地域多可用区:跨城际。 默认情况下,CKV+级别是跨机架,保证主备分片必须跨机架,避免一个机架掉电导致主备分片都不可用问题。...如果希望更高级别,可以选择同地域多可用区以及跨地域多可用区,当然这样可能导致访问和主备延时会更大。在不同级别上,对于性能和成本其实是一个很微妙关系。...05CKV+多活架构异地探索 异地单活虽然提供了不同级别,甚至不同可用区提供了读能力,但只能在主可用区执行写操作。

    1.2K20

    同城+异地多活是全球化处理最好模式吗?

    在海外,我们首先采取了跨区域异地多活模式,随后根据区域化业务发展需要,进一步调整为异地多活和同城结合模式。...与同城不同,异地会有一个选择过程:先判断同城资源,如果同城资源不够,再考虑区域间策略。...字节海外 由于海外业务特殊性,我们架构首先采用了异地模式,然后发展成为异地加同城双重模式。...因此,在海外,先同城后异地不一定是最佳默认策略,我们可以考虑利用海外天然特点,例如时区来做第一判断依据,根据事故发生时时区特点来决策,第一优先级是同城,或者是异地切流,因为容量是我们首要考虑因素...在国内容和海外方面,我们目前都在采用同城异地多活模式,并且我们正在持续不断地完善整体能力建设。

    18110

    架构分析和选择策略

    其中,本地存储网络连接主备高可用适用于近距离建设,受距离限制较大;异地远距离主备高可用,则会存在极小数据延时。...最为稳固、保护等级最高,也是成本最高方案,即“两地三中心”:本地生产中心和备中心相距100km以上,进行应用级或业务级保护,且在 300km 以外异地建立备中心,进行数据级或应用级保护...2.1数据级 数据级是指通过建立异地备中心,做数据远程备份,在灾难发生之后要确保原有的数据不会丢失或者遭到破坏,但在数据级这个级别,发生灾难时应用是会中断。...在数据级方式下,所建立异地备中心可以简单地把它理解成一个远程数据备份中心。数据级恢复时间比较长,但是相比其他级别来讲它费用比较低,而且构建实施也相对简单。...应用级生产中心和异地备中心之间数据传输是采用异类广域网传输方式;同时应用级系统需要通过更多软件来实现,可以使多种应用在灾难发生时可以进行快速切换,确保业务连续性。

    2.6K30

    客户案例—zookeeper迁移方案

    3台不停止服务最低限度是2台(X/2+1),而5台最低限度是3台。 我们应该保证,集群中最低有3台ZooKeeper是启动。...此外,重启时应保证先重启myid最小机器,由小向大进行重启 Leader无论其myid大小,都放到最后重启 因为ZooKeeper机制中,myid大会向小发起连接,而小不会向大发起连接。.../conf/zoo.cfgMode: follower 将其扩容为5节点ZooKeeper 先查看原先ZooKeeper集群情况 echo mntr|nc localhost 2181 这条4字命令可以查看集群情况...STOPPED 查看新Leader ZooKeeper会尽可能选择myid最大机器为Leader,因此原本idc02-kafka-ds-04其myid为5变为了Leader 12345 [hadoop...然后只要将现在5台再缩小到3台且不包括原本myid为1-2机器,就完成了迁移 将5台缩小回3台 修改idc02-kafka-ds-02 根据前面的注意事项,我们此时5台集群中启动数量不得少于3台,

    1.7K51

    系列(六)——数据存储建设

    数据存储建设主要从数据可靠性和业务稳定性两个维度阐述。这两者有哪些区别呢?...1.数据可靠性 1.1 云硬盘(CBS) 云硬盘采用三副本分布式机制,系统确认数据在三个副本中都完成写入后才会返回写入成功响应。...https://cloud.tencent.com/document/product/362/16312 2.将CBS数据上传异地COS,调用cos分块上传接口。...例如COS如果开启了异地复制,业务可以临时读异地存储桶,虽然存在访问延时,只是影响用户体验,不会造成业务持续不可用;如果是CBS通过挂载新盘通过快照恢复,或者通过使用大内存机器周期性将核心数据读到内存供业务临时访问等等...这里最常用就是新增COS和CBS盘方式让业务进行临时写入,待故障恢复后,补齐数据。

    3.4K73

    系列(十二)——业务异地多活能力建设【方案篇】

    同时业务异地多活有一个前提,就是业务支持单元化部署,这里对存量有历史技术债业务也存在非常大挑战。因此本篇幅讨论异地多活前提是,业务已经具备单元化部署能力。...具体技术架构如下:图片在本方案中,不涉及备份技术方案,详情请参考之前系列备份方案。方案要点说明如下:1)业务调度:目前通过DNS统一调度,调度路线设置通过地区或者运营商为区分。...接入层CLB具备跨AZ主备能力;应用层采用多可用区部署建议采用容器运行时;数据层采用一端写就近读跨AZ高可用实例。3)成本:业务备份资源成本,具体可参考之前文章系列。...详细技术架构图如下:图片在本方案中,不涉及备份技术和AS弹性扩容技术细节,详情请参考之前系列备份方案。方案要点说明如下:1)业务调度:同方案一保持一致。...详细技术架构如下:图片在本方案中,不涉及备份技术和AS弹性扩容技术细节,详情请参考之前系列备份方案。

    2.2K53

    系列(八)——同城数据冷备建设

    在数字化转型热潮中,业务数据无疑是企业生命线。无论业务部署在IDC还是云平台,对数据备份都是有强烈诉求。随着共享经济不断深化,越来越多企业将自身业务逐渐搬迁到了云上。...为了让企业能更好用好云平台数据安全能力,本文重点云平台数据备份冷备能力,以腾讯云为例,主要从以下两个维度介绍:同城数据冷备能解决企业什么问题,达到怎么样业务效果?...同城冷备份方案同城数据冷备方案主要依赖于云平台能力备份能力,对现有业务架构没有任何改造,方案架构如下:图片该方案核心要点说明:数据备份:云侧数据库mysql和redis在控制台设置数据备份参数,数据备份存储在COS,具备地域级别...本文小结同城冷备方案,在云平台协助下,企业几乎0成本并拥有同城数据冷备能力来保障业务生命线。指标详细说明能力具备同地域(不同可用区)数据备份能力,不具备不同地域能力。...3.演练能力建设,增加平时运维成本以及自动化工具开发功能。

    6.6K113

    ,双活、多活、同城、异地、多云,到底应该怎么选?

    去年写过一篇《做,冷备是不是个好方案?》,当时提出来,冷备或者主备,其实并不是一个理想方案,而且绝大多数情况下,只能是一个心理安慰,真正发生故障情况下,这样模式根本起不到作用。...最近,公有云又出了些大故障,各大群和朋友圈又开始沸沸扬扬,但是整体看下来,声音无非两种: 单站点不靠谱,要有,出现这种情况就得马上切,所以回去赶紧建设站点; 鸡蛋不能放在一个篮子里,单云不靠谱,...既然要双活,必然会选择另一个跟当前机房有一定距离机房(同城或异地),而且距离必须得拉开才有意义,如果都在一个园区里面,就没有任何意义了。...我们可以得出几个结论: 不管怎么选择方案,我们自己业务系统,从自身架构上,一定要支持单元化,一定要支持数据同步才行,如果这都不支持,讲双活和多活,就是特么扯淡。...一个合理建设节奏应该是,同城双活—异地双活—两地三中心(同城双活+异地多活),因为你要解决问题复杂度和难度也是在逐步上升,不可能一蹴而就。

    2.9K40

    同城异地

    序言 同城异地备,主要是用来进行备份,从而当一个数据中心挂了,另外一个数据中心经过切换之后,能让服务迅速恢复。...从最开始,业务不断发展,各种流量拥上来,导致业务吞吐量剧增,从而促使底层技术要不断进行扩展,从而云平台版本是否支持,必须要进行升级。。。...随着业务进一步发展,需要提供高可用水平,从而需要从单机房扩展为多机房,从而也就有了同城。。。 对于运维来说,多一次升级,多一次变更,就会多一个故障,多一个锅。。。...热升级了解一下,不可预知中断了解一下 同城异地最关键点在于存储,存储如何跨机房使用,从而分为几个方面进行探讨: 1、 DNS解析 在业务大量使用DNS解耦时候,而且使用双机房时候...在DNS解析时候修改时候,一般是依赖于高可用SLB服务,从而在切换时候,一般是对DNS进行动态修改。 ?

    4.1K31

    系列(三)——云网络建设

    IDC时代,业务对网络参与较少,主要依赖数据中心网络建设程度;当到了云时代,云服务商将底层网络能力产品化后,云上客户更多参与网络建设,提升业务稳定性。...以腾讯云为例,在同地域选择机房地址时候,距离大于60公里,要求不同可用区延时小于3ms,来满足云上客户同城建设基本需求。...2.网络复杂度 同城或者异地建设,网络层面因素主要有三个: 1)跨区或者跨地域网络延时,对上层业务影响。 网络延时,通过优化基础设施手段是非常有限,毕竟受限于实际物理距离和光速。...混合云模式,这里考虑到IDC和云上线路灾情况,一般建议两条专线接入不同POP点来进行建设;同时建立VPN或者GRE公网逃生通道来紧急恢复业务。...注意:对于入口VIP写死情况,客户端升级成本较高。 image.png 3.2 混合云网络 混合云网络分为两个部分: 1)idc和云机房之间线路,主要线路分为专线和VPN。

    4.7K93

    数据中心精讲(常见建设模式)

    当前,市场上常见模式可分为同城异地、双活数据中心、两地三中心几种。...同城 同城是在同城或相近区域内(≤200KM)建立两个数据中心:一个为数据中心,负责日常生产运行;另一个为灾难备份中心,负责在灾难发生后应用系统运行。...同城灾难备份一般用于防范火灾、建筑物破坏、供电故障、计算机系统及人为破坏引起灾难。 异地 异地主备中心之间距离较远(>200KM)因此一般采用异步镜像,会有少量数据丢失。...两地三中心 结合近年国内出现大范围自然灾害,以同城双中心加异地备中心“两地三中心”备模式也随之出现,这一方案兼具高可用性和灾难备份能力。...异地备中心是指在异地城市建立一个备份备中心,用于双中心数据备份,当双中心出现自然灾害等原因而发生故障时,异地备中心可以用备份数据进行业务恢复。

    2.3K20

    服务与容错

    引子 先介绍几个概念,同步一下认知: :是指系统冗余部署,当一处由于意外停止工作,整个系统应用还可以正常工作。 容错:是指在运行中出现错误(如上下游故障或概率性失败)仍可正常提供服务。...其他没有故障是可靠。 稳定性:这个业界没有明确定义,我理解是:在受到各种干扰时仍然能够提供符合预期服务能力。 从要求严格程度上:可用性<可靠性<稳定性。...可用性和可靠性更侧重于,而对稳定性同时包含和容错。 服务 服务解决方案就是冗余。多几个备份来切换。常用有N+1和两地三中心。N和中心实际上都是机房意思。...N是数据中心电力配置部分。电力配置有市电和备用发动机供电,但是一般互联网公司是不支持备用发动机供电。所以一般一个机房就是一个N。 N+1就是要多出一个机房做。...而两地三中心,是提高了安全级别,除了同城两个中心外,在异地再多出来一个中心。如果整个地区市电都不供电了,还有个备份。 这个备份冷备和热备不同于数据库冷备和热备。

    3.1K20

    ,双活、多活、同城、异地、多云,到底应该怎么选?

    冷备或者主备并不是一个理想方案,而且绝大多数情况下,只能是一个心理安慰,真正发生故障情况下,这样模式根本起不到作用。 原因我就不重复了,大家如果有兴趣可以直接看那篇文章。...最近,公有云又出了些大故障,各大群和朋友圈又开始沸沸扬扬,但是整体看下来,声音无非两种: 单站点不靠谱,要有,出现这种情况就得马上切,所以回去赶紧建设站点; 鸡蛋不能放在一个篮子里,单云不靠谱,...既然要双活,必然会选择另一个跟当前机房有一定距离机房(同城或异地),而且距离必须得拉开才有意义,如果都在一个园区里面,就没有任何意义了。...我们可以得出几个结论: 不管怎么选择方案,我们自己业务系统,从自身架构上,一定要支持单元化,一定要支持数据同步才行,如果这都不支持,讲双活和多活,就是特么扯淡。...一个合理建设节奏应该是,同城双活—异地双活—两地三中心(同城双活+异地多活),因为你要解决问题复杂度和难度也是在逐步上升,不可能一蹴而就。

    2.9K30

    备知识总结:与备份区别、备技术、体系规划

    系统在企业中给与数据安全系数相当高保障,但是系统倒是是什么,他们是什么意思?恐怕连正在使用备份网络管理人员都不能解释。本文用最浅显语言给大家解释备份到底是什么。...不能替换备份 系统会完整地把生产系统任何变化复制到端去,包括不想让它复制工作,比如不小心把计费系统内用户信息表删除了,同时 用户信息表也会被完整地删除。...; 对于“硬件和系统故障”以及“自然灾难”等故障可以通过在系统(或者异地备份)来防范,占总故障率44%。...常用备组合方式 基于以上原因,业界在备系统建设上一般按照以下几种方式: 建设机房内本地备份系统 建设异地备份系统 该方式可以备份系统价格满足备份和异地功能,能够避免主生产中心由于地震、...备份系统+异地系统 这是一个较为理想化系统一体化解决方案,能够在很大程度上避免各种可能错误。 恢复等级 ? 灾难恢复层次 ? 备技术层次 ? 1.1 磁盘阵列备技术 ?

    10.2K21

    知识知多少

    为什么要做? 你知道吗?自然灾害、设备故障、人为因素等都会造成业务中断。如今数字化时代,IT系统故障更会对公司业务造成难以估量巨大经济损失。...体系介绍 1 数据中心 集团公司通过两地建立三个数据中心,通过双活、冷备等方式,实现两地三中心架构。...2 体系建设 系统类型 --- 策略 核心业务系统 --- 两地三活 关键平台系统 --- 同城双活 非关键系统 --- 异地冷备 3 技术方案 异地冷备 恢复能力 RTP≤1h RPO≤5min...选取异地数据中心搭建备环境,通过公司统一平台工具实现应用配置同步,生产库与同城库可进行实时同步,同城库与异地备库可进行异步同步。...演习要求 每年进行演练,所有核心业务与平台系统均要参演。 异地备恢复、同城双活切换、一键式自动化启停等恢复方式不断创新,要求演习规模逐年扩大和恢复效率逐年提升。 - End - ----

    1.3K20

    腾讯云原生数据库 TDSQL-C异地核心能力构建

    本文将给大家分享《TDSQL-C (原CynosDB)实践和探索》,主要内容有以下三个方面: 1 云原生数据库和传统数据库架构对比 2 MySQL数据库部署模型 3 TDSQL-C 异地系统实践...; TDSQL-C异地系统实践 (TDSQL-C多维一体系统) 云原生数据库TDSQL-C在异地能力构建上,近期推出了跨可用实例功能,支持跨AZ手工和自动切换。...下文将重点介绍系统实现原理和难点: 多维一体系统概述: ● Agent与实例同机部署,负责采集实例状态,并定期上报给Scheduler。...以上是腾讯云原生数据库TDSQL-C异地系统实践。...TDSQL-C全球数据库形态,敬请期待 TDSQL-C是计算存储分离架构,这里主要介绍了计算层处理机制,而存储层数据则是依托于HiStor实现(HiStor是腾讯云分布式块存储产品CBS

    1.9K10

    系列(七)——混合云公网出口建设

    本文结合云平台公网能力,从网络平台角度来分析建设可行性。...2.公网出口方案 2.1 IDC和云平台出口互为主备 正常情况下,IDC和云平台公网出口流量是烟囱式,互不交叉;当IDC公网出口异常,流量切换到云平台,同样云平台公网出口异常,流量切换到IDC。...整体公网出口方案如下: image.png 2.1.1 云平台切换方案。 正常情况下,业务流量通过NAT访问公网,如上路绿色线条标识。...2.1.2 IDC切换方案 正常情况下,IDC业务流量通过NAT访问公网,如上路绿色线条标识。...IDC公网出口方案 (推荐) 1.方案简单,更多依赖云平台能力 2.方案落地快捷。 3.人力成本低,不需要自建系统。 4.维护成本低,不需要后续维护系统稳定性。

    3.1K124

    系列(四)——业务应用层建设

    综上所述,本文从云平台视角出发阐述应用层业务建设,主要分为方案设计考虑纬度、复杂度以及云上客户案例三个方面。 1.应用概述 1.1 应用部署 应用是否满足跨地域/可用区部署?...应用层调用链能接受跨区延时,一般以试点业务先观察,小步迭代方式逐步构建能力。...1)业务完全能接受跨区延时,不同可用区应用部署规模(1:1),各承载50%业务流量; 2)业务并不能完全接受跨区延时,为了做业务做了部分妥协,两个可用区业务部署规模(5:1),主要业务承载在主可用区...切换强依赖于调度系统以及配置系统稳定性。这里稳定性主要包括系统能力和性能;遇到大规模故障,大量信息配置变更请求调度系统和配置系统要能扛住洪峰,是保障这个方案根基。...2.应用复杂度 计算应用层,主要考虑以下两个方面: 哪些节点执行任务。 这里要区分清楚哪些节点执行核心业务,这里会引入不同复杂度。

    3.5K72
    领券