Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >私有存储云如何构建?

私有存储云如何构建?

作者头像
静一
发布于 2018-03-27 07:26:06
发布于 2018-03-27 07:26:06
19.3K0
举报
文章被收录于专栏:云计算D1net云计算D1net

构建内部的云存储必须考虑到弹性、选择正确的平台、支持工作流,以及批量部署和跟公有云的集成。

随着时间的推移,存储即服务的交付进展惊人。如今,公有云,如Amazon Web Services和Microsoft Azure,都提供了内部以及外部连接的按需分配的对象存储,以及块和文件存储,用于内部分配给计算实例。这种运维的灵活性在数据中心里很引人注意,比起传统的存储部署方式,它提供了更大的便捷性和敏捷性。

如何构建自己的私有存储云呢?我们首先退后一步,思考一下云计算到底意味着什么。云标准定义包括如下特性:弹性,所消耗资源能够自如扩展和收缩;作为服务交付,以抽象的形式(而不是在物理硬件上)定义的服务方案的标准集合;多租户,支持多个客户;请求资源的按需访问,很少或者无需任何手动干预;以及报告和计费,基于使用量收费,并提供详细的报告。

私有存储云必须具备这些特性。业务用户,这里也就是客户,必须具备请求存储能力,而不用关心这样的能力到底是如何交付的。因此服务目录,这项技术已经使用很多年了,之前关注于物理技术(比如HDD速度或者HDD/闪存),需要更新,从而更加关注于服务矩阵。这意味着使用这些术语:I/O密度(每兆字节存储的IOPS)、延迟、吞吐量、数据可用性和弹性。

多租户指的是安全和性能的隔离。安全确保数据在私有存储云的用户之间不可见,而性能特性,如服务质量(QoS)确保无论系统整体负载如何,每个用户都能享受始终如一的服务级别。安全访问保证客户对资源的请求尽量不需要IT——特别是存储管理员,的干预。报告特性需要提供存储使用率的更细粒度的度量,包括能够生成某个团队或者业务领域的报告。

创建弹性

私有存储云需要做的事情列表里的第一条就是弹性,这里有两个场景:首先,客户能够按需扩展以及收缩使用量,其次,系统管理员能够按需部署更多的基础架构。但是如果终端用户能够轻易地归还存储的话,部署的一些硬件可能就不会被使用到,不过这种情况很少发生。

这里的挑战是通过在数据中心里部署新硬件来持续满足需求,并且同时在不影响应用程序可用性的情况下管理技术的更新周期。对于大多数IT部门来说,达到新硬件正好及时的部署,这不仅是门艺术也是门科学——Amaon和Microsoft可能不一样——大部分公司现金流和人力都有限。他们必须妥协,因为无法提供无限的资源,只能预测什么时候需要添加新硬件。

这也正是体现艺术的地方。预测的需求要求业务线的参与,来计划可能的未来项目及其存储需求。如果IT能够洞察未来可能的存储资源需求,那么这些需求就能够很容易地计划出来——特别是如果是非核心产品的话,如对象或者高性能存储

科学性在于查清存储增长的足够信息。很多IT环境使用瘦预配,这意味着物理存储能力会随时间而增长,因为数据被写入到分配的空间里。并且因为计划消耗的存储的预留空间很少会被快速地全部使用掉(如,1TB的请求可能在第一天仅仅使用了50GB,之后可供三年使用),文件系统和对象存储的使用率就会随着应用写入更多数据而自然增长。这也使得必须有精确并且详尽的工具来度量随时间的存储消耗,最好是每天,同时能够使用这样的数据生成有意义的增长预测。

另外,决定什么时候部署新硬件要求理解并且管理供应商、硬件部署和配置事件。在企业里,IT仍然需要负责这些事情,当然如果你购买了公有云存储的话,这些都在云服务供应商(CSP)的服务范围内。

选择平台

有正确的存储平台是高效部署新硬件的关键。横向扩展作为纵向扩展技术的一个选择,可以让新的部署相对简单,因为你只需要简单地往已有配置上添加硬件来增加能力即可。

大多数现代的对象和块扩展产品都能够执行一定级别的重新平衡、重新分发数据,从而使用新增加的资源并且从硬件上获得最佳的性能。单体增强的架构很难管理,因为可扩展性的限制,而旧的遗留存储系统可能本身并没有负载均衡,从而无法使用新硬件。这意味着必须要更加小心地对遗留架构进行负载均衡规划,将逻辑资源分发到物理硬件之上。很多这些平台都提供了工具,可以在存储平台内移动LUN,减轻一些负载均衡问题。

为私有存储云选择存储平台时,多租户和QoS也是要考虑的核心特性。调研CSP提供的服务矩阵,可以看到性能用IOPS和吞吐量衡量,也有一些提到了I/O延迟。无论CSP是不是满负载,这些都是必须提供给客户的服务级别,这对于传统的遗留存储就无法保障了。因此QoS就变得特别重要,要么提供工具确保终端用户得到所需的性能,要么限制仅仅在新系统上才提供所购买的服务级别。

必需的API

最近几年里,存储应用领域发生了一些管理上的改革。以前通过GUI和命令行接口(CLI)的交互来管理存储,使用“提交”阶段来实施变更。CLI让存储管理员能够进行脚本化预配以及关闭流程,允许一定程度的自动化。但是,创建脚本是一项费时的工作。这些年里,供应商改为使用API实现存储的可编程化——通过授权API调用设置配置。配置数据现在也能够轻松地提取出来,一些存储平台可以生成很详细的度量。

API

应用程序编程接口已经改变了企业存储的管理方式。将来,API将会驱动自动化,并且移除大多数存储预配的手动干预,从而让私有云存储更为实用,推广到更多企业中。

API还能够带来自动化,让“人”不需要参与预配存储流程。现在,可以通过一次或两次API调用就可以将存储映射到主机上。一些平台原生实现了API,而另一些围绕已有的API工具构建了API封装器。这里的重要需求是确保API,CLI和GUI的操作更加和谐,而不用切换来切换去。

工作流问题

难题的最后一部分是,交付私有云存储就是执行一些工作流流程。用户请求必须被验证然后执行。公有云通过用户提供信用卡或者其他支付方式来实现验证流程。这之后,可以通过web门户或者API配置服务。在企业里,请求存储的传统流程需要有内部的流程,通过手工管理请求,基于服务ticket将存储预配到主机上。ticket的负责人负责确保是否允许业务线“购买”存储,并且随后负责所有实现。

即用即付

可以使用信用卡购买公有云资源,滞后付款。工作流的改动意味着很多企业需要在部署内部云存储时实现支付和退款。

在私有云里,目标是让流程尽可能地自动化。EMC的ViPR是这样的工具,让用户围绕存储自动化来构建工作流流程。Hitachi Data Systems提供了Hitachi Automation Director围绕存储以及其他资源的预配构建工作流。

很多企业将需要考虑私有存储云所需的支付上的变化。如果没有实现支付和退款,那么什么也干不了,因为IT部门还需要继续负责服务交付的费用——很可能继续根据项目来收费。但是,如果必须购买新资源,那么财务实践上就需要一些变更——可能包括IT直接支付硬件、可能需要允许基于服务的账单,让业务单元负责这里的开销。

Stack部署

跳出存储团队的视角,看向更为广泛的领域,你可以在私有云框架,比如Openstack上构建存储自动化,来节约预配的工作量。最初的Openstack部署没有持久化存储的能力,因此建立了一些项目来管理和外部存储队列的集成。最终Cinder项目处理块存储并且自动将LUN映射到OpenStack实例上,而Manila提供了和文件系统数据的集成,Swift提供对象存储的API。

更广泛的Stack

云存储,可以是内部的或者公开的,是更广泛的基础架构stack的一部分。这意味着和OpenStack或者vCloud Director这样的平台集成。

同时,存储供应商能够编写插件,让OpenStack框架能够按需预配并且映射存储LUN。很多硬件和软件公司已经支持了所有OpenStack的存储API。Cinder支持OpenStack平台的每个版本所支持的供应商特性。

公有云集成

向前看,这个世界并不是只有公开和私有,还有两者的混合。因此,存在在公有和私有基础架构之间移动数据和应用程序的需求,后者提供额外的数据保护(备份)并且提升可用性。你还可以为使用公有云存储负责突发的工作负载和归档。

在本地以及公有云地址之间移动应用和数据的产品已经出现在市场上了。对象存储供应商,比如Cloudian(HyperStore)以及Hitachi Data Systems (Hitachi Content Platform)提供了将本地数据归档到云上的能力,并且能够搜索所有内容,就像存储在同一个地方一样。

数据保护方面,Druva和Zerto都提供了产品,让用户可以在公有云上备份以及恢复本地的虚拟机(VM)。作为备份和迁移流程的一部分,软件负责处理VM镜像的转换,以及额外驱动的注入。

虚拟化

在运行服务器虚拟化的平台上,存储通常会映射到物理主机上。大部分创建虚拟机实例存储的工作都由hypervisor管理软件来处理。VMware通过vRealize Automation 和 vCloud Director提供自动化,而Microsoft提供了System Center 2016。

Velostrata更进一步,允许在公有云上启动VM来处理云爆发。这可以用来在高资源配置的VM上运行应用,随后在本地可用,或者将工作负载移动到公有云上来应对突增的需求。一旦峰值过去,VM就可以归还回去。

同时,虚拟化供应商也开始和云供应商合作,完成应用到公有云的迁移。比如,VMware最近发布了Amazon Web Services上的VMware Cloud,以及和IBM的合作伙伴关系。它还提出了跨云架构,作为管理多云部署的方式。Microsoft Azure Stack(撰写此文时出了技术预览版)在Azure云上提供了相同的功能,可以运行在私有数据中心上,链接到公有Azure上。

很明显,如今本地和公有云的实现是不同的,主要差异在自动化程度,是否完全利用私有云存储。工作流,是其中最为重要的部分,——可能——仍然尚未成熟,需要今后私有云上的更多工作。

这里难题的一部分是改变内部业务团队的行为。这是公有云帮忙推进的领域,并且也应该采纳为内部资源的交付模型。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-02-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 云计算D1net 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
如何架构企业内部的存储云
存储即服务在近年来得到长足发展,越来越多的用户开始接受这种服务交付模式。今天的公有云服务商,如Amazon Web Services和Microsoft Azure,可以按需为内部或外部提供对象存储,
静一
2018/03/27
2K0
如何架构企业内部的存储云
如何构建一个私有存储云
企业构建内部云存储时必须考虑弹性,选择正确的平台,并允许工作流,堆栈部署和公共云集成。 每个云存储选项都有其优点和缺点。企业需要根据自己的具体需求,规模大小,以及资金预算来选择采用哪种云存储,重要的是权衡所有云和内部部署选项。可以下载一些综合指南,其中专家分析和评估当前可用的每个云存储选项,以便企业可以决定采用哪个云计算模式-公共云,私有云,或混合云。 企业如何去构建自己的私有存储云?首先,让我们回顾一下云计算的真正含义。云计算的标准定义包括以下特点:弹性增长和缩减消耗资源;交付即服务,以抽象术语而不是在物
静一
2018/03/27
3.1K0
云计算下的这些细分领域 你都了解吗?
云计算的“云”源于绘制互联网的网络图表时的一个习惯——会将其画成一朵云。最受认同的关于云计算含义的解释是,在一个商业供应者的数据中心上通过互联网远程运行工作负载——也就是所谓的“公有云”模式。AWS、Azure、谷歌云等平台都是这一云计算概念的例证。 但是,云计算还有一个更精确的解释:数据中心资源的虚拟化和中心管理。其关键优势是敏捷性:根据工作负载的需求,使用抽象计算、存储和网络等资源,且具备大量的预构建服务。 从客户的角度来看,公有云能够提供一种方式,在不投入新的硬件和软件的情况下,获得新的功能。同时,客
静一
2018/03/27
1.8K0
云计算下的这些细分领域 你都了解吗?
中国市场OpenStack云选型指南
云计算时代的今天,数据中心架构和技术正在向着开源、融合的方向迈进,开源及融合的概念被越来越多的提及并成为新时代人们对产业事物发展进化的一种共识。在这样的趋势下,OpenStack在过去几年里增长迅速,
静一
2018/03/20
1.5K0
中国市场OpenStack云选型指南
如何构建高效自动化的企业私有云?
  Amazon Web Services、Google、Rackspace与Microsoft所提供的云服务不尽相同,但有一点共识:近乎疯狂的专注于自动化,以驱动敏捷、效率与交付质量。   接下来轮
静一
2018/03/16
2.9K0
从技术雷达看DevOps的十年 - 基础设施即代码和云计算
在上一篇文章中,我们讲到了DevOps和持续交付的关系。本篇将回顾最先改变运维工作的相关技术 —— 基础设施即代码和云计算,通过技术雷达上相关条目的变动来跟踪其趋势变化。
ThoughtWorks
2019/05/22
1.1K0
从技术雷达看DevOps的十年 - 基础设施即代码和云计算
DCOS :私有云的物理基础架构管理引擎
该文介绍了DC/OS是一款基于Docker容器的开源集群管理系统,适用于所有云环境。它通过将基础设施作为代码(IaC)进行管理,简化了管理和开发流程。它还提供了丰富的监控、日志、审计、通知等功能,可以实时了解集群状态,并快速定位和解决问题。此外,DC/OS还支持云原生应用,提供了统一的应用编排和发布平台,并支持容器、虚拟机和主机等多种环境。DC/OS的发布,将进一步推动开源云原生技术在行业中的应用,为更多企业带来敏捷、高效、安全、可靠的价值。
TEG云端专业号
2017/08/01
9.1K1
DCOS :私有云的物理基础架构管理引擎
公有云、私有云与混合云解决方案差异及选择
最近在跟人聊天时说到一个话题,说私有云必然会被淘汰,因为维护和使用成本太高,再者未来的云就像现在的水和电一样常见,就像发电厂一样,有谁会私自发电呢?在我看来,其实不然,了解更多,请看下文。
用户5166556
2023/03/18
4K0
公有云、私有云与混合云解决方案差异及选择
从惠普看企业如何实现真正的混合云
企业是选择私有云还是选择公有云进行部署?现在这已经不再是非此即彼的问题了。根据Gartner的一项调查,预计2017年底,接近一半的大型企业将部署混合云。从2013年到2014年,混合架构实际上已经在云架构中占据了支配地位。 然而,虽然目前围绕着混合云的炒作有许多,大部分企业也都表示他们正在使用混合云模式;但实际上,他们只是拥有各自独立的公有云和私有云而已。这样的应用模式并没有充分体现出混合云计算的真正价值:编排、自助服务自动化以及通过在公共云和私有云之间转移工作负载实现按需增减资源的能力。 混合云标准 的
静一
2018/03/20
1.5K0
程辉:私有云建设的过去、现在和未来
程辉认为,私有云软件系统复杂、厂商和企业客户缺乏对软件价值的认知,导致目前私有云行业的商业模式不可持续。私有云采用OpenStack、Ceph和Kubernetes分而治之的产品结构,重视服务水平,是未来能够匹敌公有云体验的关键。
SammyLiu
2019/06/28
2.2K0
程辉:私有云建设的过去、现在和未来
如何设置混合云环境
评估组织需求,选择统一控制平面并解决合规性问题,以便做出明智的决策并实施最佳实践。
云云众生s
2024/06/18
2140
嘉为蓝鲸CMP:跳出云管看云管
随着各行业的业务的发展和技术的进步,公有云、私有云、混合云技术的应用也越来越广泛。云计算为企业带来了快速的资源交付能力、敏捷性、扩展性以及规范性。
嘉为蓝鲸
2019/08/28
2.2K0
嘉为蓝鲸CMP:跳出云管看云管
架构师的全新私有云指南
几年来,“私有云”一词一直带有负面含义。但正如我们所知,技术更像一个轮子而不是一支箭,私有云应运而生,并获得了极大的关注——而且都是积极的。
云云众生s
2024/07/11
2410
架构师的全新私有云指南
全新的本地云系统期待重新定义混合云
混合云管理仍然是IT面临的一个挑战。供应商已经发力解决这些与公有云类似的,本地系统的挑战——但障碍仍然存在。 随着越来越多的企业采用混合云,他们也将面临新的管理上的挑战。脚本无法轻易跨越公有和私有云段,存储兼容性也可能成为问题,企业必须升级其虚拟LAN,并且解决其他挑战。 混合云管理正在改进,但是公有和私有云可以使用相同的服务器和存储平台的事实也引出了一个明显的问题:为什么不在公有和私有本地云上使用相同的技术来简化管理呢? 包括微软Azure,IBM和Oracle等在内的供应商们都已经想到这个想法,他们的本
静一
2018/03/27
6570
公有云、私有云及混合云应用场景辨析
近几年我们经常能看到一些研究公司(Gartner朋友Alice Yang语,“我们是研究公司”)、咨询机构发布关于公有云、私有云以及混合云的市场趋势分析,种种“公有云是未来发展趋势”、“混合云是主流”等观点层出不穷。在此,笔者试图抛开趋势,仅从应用场景角度分析,试图阐述当前国内各类云的客户群体、供应商、服务和技术特点。
楼炜
2019/04/30
10.6K0
如何以更少的成本、更便捷的方式构建私有云?
这些选项与传统的服务器部署模式类似:你可以部署在自己的服务器上,也可以在一个联合本地中心部署,你甚至可以在“托管但是专用”的基础上使用一个传统的托管服务。   这些指南适用于混合云及私有云。事实上,大多数组织都无法将完全私有的云适当化,但是他们可以为混合模型提供一个很好的案例。在混合云中,你可以通过公有云服务集成一个云并将其运行在由你直接管理的系统上。目前在市场上占据主要地位的公有云——AWS、微软Azure和谷歌云平台——都对这种集成提供了广泛的支持。   有很多的因素会致使你需要在一个私有环境中运行部分
BestSDK
2018/03/02
1.4K0
私有云竞争如此激烈,前景在哪?
国内私有云现状 目前国内做私有云的公司,没有两百家也不少于一百。在很多客户云管平台投标的时候,往往是各个厂商群雄逐鹿,技术参数项全满足,报价却一个比一个低。最后中标价格不足客户预算的一半的情况也时有发生。竞争之惨烈,利润之低薄,令人惨不忍睹。 或许有人会认为私有云已没有前途,公有云才是未来。为此我专门和一些私有云厂商以及公有云厂商的架构师讨论过,大家的反馈基本都认为混合云才是未来。 就像10多年以前的Linux市场,目前CMP正是风起云涌,百家争鸣。但趋势其实逐渐走向明朗。 关于CMP目前的市场现状,Gar
魏新宇
2018/03/22
2.5K0
私有云竞争如此激烈,前景在哪?
10大云存储平台技巧
何选择云迁移策略?   将数据迁移至云中时,选择一个适合组织需求的策略很重要。随着数据迁移至云存储平台,有一些因素需要考虑,如你是否迁移了归档数据,他们具有不同的宕机需求。除非发生在传说中的“通用型”
BestSDK
2018/03/02
2.2K0
云存储详解,企业数据该如何上云?
Google副总裁Kent Walker曾表示,截止到2000年,人类历史上存储的总数据量大约只有12EB,但根据IDC预测,到2020年全球总数据量将激增到40ZB(注:1ZB=1024EB,IEB=1024PB,IPB=1024TB)。显然,随着总体数据量的迅速增长,传统的存储方式已经不能满足当前企业的存储需求,因此,众多的IT经理开始去选择云存储服务以应对数据增长的挑战。 在Interop ITX 2018年的一项调查(Interop ITX 2018 State of Infrastructure
人称T客
2018/06/06
3.5K0
“云上”企业的“多云”挑战
经十余年的发展,“云”已经成为了今天企业级IT的事实标准。从十年前部署在企业内部专有网络中,通过虚拟化将计算存储和网络资源打通的私有云;到来自第三方,部署在企业专用网络外提供虚拟化计算、网络和存储资源的公有云;再到将私有云和公有云负载组合起来的混合云。IT的脚步一刻未停,云也一直在进化。
SDNLAB
2019/08/23
8970
“云上”企业的“多云”挑战
相关推荐
如何架构企业内部的存储云
更多 >
领券
💥开发者 MCP广场重磅上线!
精选全网热门MCP server,让你的AI更好用 🚀
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档