是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式文件存储？
浏览 3提问于2021-03-25得票数 0
在NoSQL数据库中存储数据可以提供键值存储模型。但是，HDFS在Hadoop生态系统中是一种分布式文件存储。Key-value由mapreduce集群使用。因此，此分布仅在处理阶段生成。我需要知道是否有可能将静态数据存储在HDFS中，其中每个值都由一个键标识。
浏览 44提问于2019-03-06得票数 0
回答已采纳
2回答
我可以为我的WebCrawler使用分布式数据库吗?可用的开源分布式数据库有哪些？我可以使用MySQL作为我的分布式数据库吗？可以存储多少数据量？
浏览 0提问于2010-08-06得票数 1
回答已采纳
我们有分布在13个表中的数据(>1mil行)。所有这些存储过程在@8分钟内运行，但我需要在1分钟内得到结果。我正在考虑的一个解决办法是在第一次运行后存储分布的结果和聚合数据</em
浏览 1提问于2012-11-21得票数 0
回答已采纳
infinispan本地缓存和分布式缓存有什么不同。我知道在本地缓存中不能形成集群，而在分布式缓存中我们可以形成集群。我怀疑分布式缓存数据是存储在我们正在运行的应用程序堆中，还是存储在应用程序外部。另外，是否可以通过在一个jvm中运行的应用程序来获取在另一个jvm中运行的infinispan中存储的数据。
浏览 1提问于2015-02-26得票数 0
我相信在分布式账本中，在多个主机之间共享的数据，每个主机存储部分数据，而在区块链中，每个主机复制和存储准确更新的记录副本。如果这是真的，那么为什么在blokchain中，分布式数据库术语被过度使用？
浏览 14提问于2017-11-30得票数 0
回答已采纳
分布式文件系统的概念是否要求分布式文件系统由位于不同计算机上的多个文件系统组成？如果是，NFS文件系统是分布式文件系统吗？谢谢。
浏览 0提问于2020-03-29得票数 1
1回答
我一直在查看AWS文档，似乎无法理解分发样式是如何工作的，以及该数据是如何存储在Redshift上的。我理解什么是柱状存储数据库，但是当我在Redshift上阅读关于分发样式的文档时，它让我对数据如何存储在节点上感到困惑。分发样式被描述为将新加载的数据按行分发到计算节点的片上。例如，甚至分发样式都定义为：
领导者节点以一种循环的方式跨片分布行，而不考虑任何特定列中的值。如果表不参与联接，或者在键分发和所有分发之间没有明确的选
浏览 0提问于2017-10-19得票数 2
回答已采纳
1回答
我想使用HDFS来存储图像/文件。但是我在网上读到，关于HDFS由于单一namenode的缺点。我遇到了这个名为Cassandra的框架，它是一个nosql分布式数据库，但对于blob存储来说，它的性能同样不好。对于这个问题有什么建议吗?例如，一个用于blob数据的分布式文件存储？
浏览 3提问于2013-05-28得票数 0
作为会话备份存储，我一直在使用包，并通过控制器中的HttpContext.Session访问会话，或者通过中间件和/或自定义组件中的HttpContextAccessor访问会话。我读了一篇关于MSFT的国家管理文章，发现：
更好的方法是使用Redis或Server分布式缓存，它不需要粘性会话。有关更多信息，请参见ASP.NET核心中的分布式缓存。
浏览 4提问于2021-06-23得票数 1
3回答
需要能够设置复制所有信息的服务器，作为拥有所有数据的主数据存储。这与分布式数据存储的好处(如抗故障能力和速度)一起需要。哪种分布式
浏览 0提问于2009-07-15得票数 0
回答已采纳
为了找到答案，我已经阅读了问题，但是这个问题是不同的，它是在比较“分布式版本控制系统”和其他“分布式系统”时出现的。当我看到诸如“分布式数据库”、“分布式缓存”和“分布式计算”这样的词“分布式”时，我发现数据或计算实际上是通过网络分布的。在这里，“分布式”一词的意思是“分割(不总是一样)”。例如，在Hazelcast中，“分布式缓存系统”中的密钥实际上是在提供的节点之间分配的。但我在“分布<
浏览 0提问于2018-11-05得票数 0
回答已采纳
SharePoint 2013中提供了一项新的分布式缓存服务。当我们检查一个新的示例SharePoint web应用程序的web.config时，我们发现它被配置为使用"In-proc“模式来存储会话状态。我们可以利用这种分布式缓存服务来存储会话状态吗？我还在下面的msdn文章中看到了用于在数据库中配置会话状态的powershell cmdlet：。对于SharePoint 2013，数据库是否是存储会话状态的首选方法，而不是分布式缓存？在S
浏览 3提问于2013-03-04得票数 1
回答已采纳
1回答
我们正在与一个地理上分布的全球编辑团队合作，并选择MarkLogic作为底层数据存储。
为了支持0停机时间和快速响应时间，我们希望设置具有多主体复制的分布式数据存储。
浏览 2提问于2016-01-19得票数 1
server1 -主节点、data node1 server2 - data node2、data node3这是我的集群...
浏览 1提问于2017-03-17得票数 0
我正在阅读有关分布式哈希表的资料，但我很难找到当一个节点发生故障时对分布式哈希表的值有何影响的信息。
据我所知，如果没有数据冗余(散列表值)，单个节点的故障只会使该节点中存储的值不可用。但是，如果我想使用DHT作为任何系统的存储，我希望该系统能够随时依赖所有存储的可用性，对吧？也许数据冗余在这里被外包为一个独立的问题，但这将意味着分布式哈希表的去中心化方面引入了额外的故障点，这似乎是分布式哈希表的一个巨大的缺点。
浏览 13提问于2020-09-10得票数 2
1回答
我在春季mvc.But中使用缓存，因为服务器每天重置2次，缓存的数据将被销毁。如何将缓存的数据存储在不发生这种情况的文件夹中？
浏览 0提问于2014-10-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
