几种分布式存储组网架构参考

来自社区交流，仅供参考

分布式存储在网络设计方面的难点：分布式存储系统中管理网络如何去设计，如何保证数据层面的隔离，并保证业务的QOS？

@陈星星

1、分布式存储在网络设计方面时候分为存储节点之间的互联或是数据交互的网络和所谓的管理网络，两种网络分开的

2、分布式存储也有针对不同应用的QOS保障机制，类似于集中存储针对不同的LUN设置QOS的读写缓存和IOPS策略

@baimmi

单柜10GE组网

说明：

1、服务器上默认配置一块210GE的网卡，分别与两台10GE交换机连接，两个网口做bond，缺省为负载分担规模

2、服务器的BMC 网口与一台GE交换机连接，GE交换机上行两个GE线缆分别与两个10GE交换机连接

3、10GE交换机下行承担内部管理、存储、业务平面，10GE上行对接客户网络，默认提供410GE，两台10GE交换机堆叠

单柜Infinite Band存储组网

说明：

1、服务器上默认配置一块210GE的网卡，分别与两台10GE交换机连接，两个网口做bond，缺省为源目的IP和Port负荷分担模式，对应的交换机端口配置eth-trunk

2、服务器的BMC 网口与一台GE交换机连接，GE交换机上行两个GE线缆分别与两个10GE交换机连接，对应端口做eth-trunk

3、10GE交换机下行承担内部管理、业务平面网络连接，10GE上行对接客户网络，默认提供410GE，两台10GE交换机堆叠

4、每台服务器上的两个Infinite Band网口分别与两台Infinite Band交换机连接，两台Infinite Band交换机之间6根线互连，Infinite Band网口承担存储平面的通信

5、后续扩容需要增加10GE汇聚交换机和Infinite Band主干交换机

@wangshuai_go

第一种典型分布式存储组网架构,ceph ,华为fusionstroage object 采用这一类组网方式。

这种组网方式在对象分布式存储中占主流地位，的最大特点就是前、后端网络进行分离：后端网络用于传送存储集群节点内部交换流量，前端网络流量用于应用主机访问存储集群。前后端网络隔离，从安全性能和性能方面都是一种很好的考量。缺点就是成本高。

图-第一种典型分布式存储组网架构

第二种典型分布式存储组网架构,solidfire，华为fusionstroage block，高性能块分布式存储普遍采用这一类组网方式。

这种组网方式的最大特点就是物理上不分前后端网络，数据流位于同一个平面网络里面。对于这种架构的分布式块存储要求的是高IOPS和低延迟，带宽相反没有像对象存储那样高。同一个网络平面有助于减少数据传输延迟，到达极致高性能。

图-第二种典型分布式存储组网架构