1回答
我想知道你们是否有任何建议，哪些存储库实现在常见硬件上具有良好的集群和水平伸缩特性？问题是，我们必须在存储库之上实现一个保存系统，该系统能够摄取和管理大量具有大文件(> 50 TB)的异构数据(> 500 TB)。
似乎只能通过使用分布式文件系统来实现集群。可以是集群的，但是它的DataStore (对于大型二进制数据)对于集群环境中的所有节点必须是相同的。你们有什么建议吗?我应该检查哪些存储库系统？
浏览 3提问于2011-05-05得票数 3
1回答
lustre，或google文件系统(，GFS)将文件分割成某种块，并将它们保存到不同的节点中。因此，它们可以获得可伸缩性、分布式通信量。
尽管有很多文件系统支持恒定时间的克隆。但是我找不到任何支持恒定时间克隆的分布式文件系统。Nexenta存储看起来像是通
浏览 7提问于2012-02-22得票数 0
1回答
我正在设计一个应用程序，它可以根据内容拆分/合并文件，并将其推送到其他系统。一旦处理完毕，就完全不需要这些文件了。因此，我计划将文件存储在部署了应用程序的HDD上，而不是任何分布式/网络文件系统。为什么我没有选择网络文件系统，因为在我的场景中，我需要处理像1 1GB这样的大文件，而我正在使用JSON streams来处理这些文件。如果它发生在网络文件系统上，处理时间可能会很长。
我也考虑过使用本地文件系统来扩展应用
浏览 3提问于2017-08-13得票数 0
中间件由一组计算机中的进程或对象表示，这些进程或对象相互交互，以实现对分布式应用程序的通信和资源共享支持。它涉及到为构建可以在分布式系统中相互工作的软件组件提供有用的构建块。分布式文件系统定义为
分布式文件系统使程序能够与本地文件完全相同地存储和访问远程文件，从而允许用户从网络上的任何计算机访问文件。访问存储在服务器上的文件的性能和可靠性应与存储在本地磁盘上的文件相媲美。在本章中，我们为文件
浏览 0提问于2019-12-03得票数 0
2回答
我认为这个问题很常见:你有一个网站，人们可以在网站上上传图片/文件，每天可能有数千张。那么，什么是能够解决这个问题的最好的网络文件系统(分布式文件系统)，特别是可伸缩性。我已经研究过Hadoop文件系统，它似乎不是一个好的方法，因为它是关于管理地图减少的大文件，而不是数百万个小文件。
谢谢!
浏览 5提问于2012-01-27得票数 3
2回答
为什么即使hdfs可用于存储，hadoop仍在使用hbase？数据是否存储在hbase中？如果是，那么hdfs将扮演什么角色？
浏览 0提问于2015-04-27得票数 0
问题背景故事我没有可用的备用磁盘，所以我想:为什么我不创建一个回环设备并使用它呢？由于我的主机OS磁盘有足够的空闲空间，我应该能够在上面创建一个大文件，并将其作为回送设备挂载。这方面有两个问题(据我理解)：
必须用某种文件系统对回送设备进行
浏览 0提问于2021-10-20得票数 1
回答已采纳
1回答
我的应用程序从多个IoT设备接收大量日志数据。表现不太好，有人告诉我，更大的文件会更好。但是，是否还有另一个原因需要更大的文件(比如10mb)来提高性能？无论如何，如果我使用相同的tcp连接()，更大的文件还能提高性能吗？
浏览 0提问于2020-03-30得票数 0
1回答
在100台服务器中，主要是SLES和RHEL，我如何找到共享存储的服务器？它可以是集群文件系统，即OCFS、GPFS、.或分布式文件系统，如GlusterFS或Ceph.或网络附加存储器
浏览 0提问于2012-01-30得票数 -4
1回答
根据HDFS指南，对于较小的文件大小，hadoop不会分配用于通过数据节点存储文件数据的完整数据块。我正在使用FileStatus和java api进行连接，以获取与文件路径相关联的元数据信息。
浏览 2提问于2014-07-07得票数 0
1回答
我试图扩大我在分布式系统和系统设计方面的知识。我遇到了一些术语，如内容传送网络和分布式文件系统，用于存储/处理诸如音乐、视频、图片、gifs等媒体数据。据我所知，DFS只是一个文件系统，我们在笔记本电脑中复制到其他服务器(分布式)，使其99.9%可用。CDN是一个可以存储资产的网络，包括javascript、图像、视频等。
浏览 4提问于2021-06-19得票数 4
回答已采纳
2回答
是否有可以多次挂载并支持Linux并发文件访问的文件系统？基本上，我想要类似于集群文件系统的东西，但不需要为分布式锁管理器提供运行中的网络。这对于可以与主机或另一个VM共享数据而不需要创建网络链接的虚拟机来说非常方便。这是我想要避免的，以确保网络体系结构的安全(DMZ中的虚拟机)，但共享大文件。
浏览 0提问于2011-11-18得票数 3
在这篇文章"“中，我真的不知道他们有什么不同。ceph也是一个分布式文件系统，块存储，对象存储。有人知道吗，Ceph的文件系统和块存储是基于对象存储的？
浏览 5提问于2015-03-27得票数 1
4回答
在数据库中存储大文件(大约100 GB)是个好主意吗？
目前，我们考虑使用NBT格式或mysql/postgresql数据库将数据保存在文件夹中。
浏览 0提问于2013-08-18得票数 3
分布式文件系统的概念是否要求分布式文件系统由位于不同计算机上的多个文件系统组成？如果是，NFS文件系统是分布式文件系统吗？谢谢。
浏览 0提问于2020-03-29得票数 1
2回答
我试图在一个非常基本的层次上理解这三个文件系统之间的差异。并行FS :光泽另外，文件是如何存储在这个环境中的？到目前为止，我已经形成了几个概念：-
在本地文件系统中，存储被物理地安装在服务器/节点上。在并行文件系统中，磁盘在多个节点上
浏览 0提问于2015-07-15得票数 7
4回答
我需要为一组连接在mesh网络中的节点(设备)实现分布式存储系统。存储系统应该能够处理节点的动态进出。为此，我考虑使用分布式文件系统。每个节点都可以透明地访问其他节点中的数据。谢谢你的想法！
浏览 0提问于2010-04-09得票数 7
1回答
我最近对分布式开源产品很感兴趣。我发现它们似乎需要配置(协调？)ZooKeeper for Presto DB、Hive和Etcd等系统用于kubernetes，我认为理解etcd和ZooKeeper的作用是理解分布式系统的第一步。
顺序一致性和原
浏览 2提问于2016-04-17得票数 4
回答已采纳
1回答
NAS不会用作虚拟机的块存储，因此访问将始终面向文件。这两种设计都采用了“一定程度上的分布式存储软件”。首先，设计基于一个分布式文件系统，如Gluster或CephFS。我们将在这些商品服务器上部署此软件，并将结果文件系统安装在“access虚拟机”上，它们将通过NFS/CIFS为挂载的文件系统服务。第二，基于CEPH的分布式块存储设计。因此，我们将在这些商品
浏览 0提问于2018-11-12得票数 3
回答已采纳
3回答
考虑到Ubuntu上ext4文件系统上目录条目的当前结构，文件系统可以包含的最大文件数是多少？
计算文件系统可以包含的最大文件数的一般方法是什么？
浏览 0提问于2010-01-20得票数 46
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
