是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式文件存储？
浏览 3提问于2021-03-25得票数 0
2回答
我可以为我的WebCrawler使用分布式数据库吗?可用的开源分布式数据库有哪些？我可以使用MySQL作为我的分布式数据库吗？可以存储多少数据量？
浏览 0提问于2010-08-06得票数 1
回答已采纳
infinispan本地缓存和分布式缓存有什么不同。我知道在本地缓存中不能形成集群，而在分布式缓存中我们可以形成集群。我怀疑分布式缓存数据是存储在我们正在运行的应用程序堆中，还是存储在应用程序外部。另外，是否可以通过在一个jvm中运行的应用程序来获取在另一个jvm中运行的infinispan中存储的数据。
浏览 1提问于2015-02-26得票数 0
我相信在分布式账本中，在多个主机之间共享的数据，每个主机存储部分数据，而在区块链中，每个主机复制和存储准确更新的记录副本。如果这是真的，那么为什么在blokchain中，分布式数据库术语被过度使用？
浏览 14提问于2017-11-30得票数 0
回答已采纳
我将非常感谢您的建议：我完全不明白这在实践中是如何工作的。假设我有一个包含1PB数据的SAN(存储)。我如何通过“主机”有效地将大量数据分发给从机？这是我不能理解的事情。假设我有一个从SAN到Master的
浏览 3提问于2011-04-12得票数 2
回答已采纳
1回答
我想使用HDFS来存储图像/文件。但是我在网上读到，关于HDFS由于单一namenode的缺点。我遇到了这个名为Cassandra的框架，它是一个nosql分布式数据库，但对于blob存储来说，它的性能同样不好。对于这个问题有什么建议吗?例如，一个用于blob数据的分布式文件存储？
浏览 3提问于2013-05-28得票数 0
我们正在开发基于SharePoint 2013基础的解决方案。SharePoint 2013中提供了一项新的分布式缓存服务。当我们检查一个新的示例SharePoint web应用程序的web.config时，我们发现它被配置为使用"In-proc“模式来存储会话状态。我们可以利用这种分布式缓存服务来存储会话状态吗？我还在下面的msdn文章中看到了用于在数据库中配置会话状态的powershell cmdlet
浏览 3提问于2013-03-04得票数 1
回答已采纳
我正在阅读有关分布式哈希表的资料，但我很难找到当一个节点发生故障时对分布式哈希表的值有何影响的信息。
据我所知，如果没有数据冗余(散列表值)，单个节点的故障只会使该节点中存储的值不可用。但是，如果我想使用DHT作为任何系统的存储，我希望该系统能够随时依赖所有存储的可用性，对吧？也许数据冗余在这里被外包为一个独立的问题，但这将意味
浏览 13提问于2020-09-10得票数 2
2回答
我在阅读设计数据密集型应用程序时迷失了方向。在分布式数据存储中，要满足哪些分布式事务？
ACID还是它的一部分仍然适用于分布式事务？关于复制的一致性是否是分布式事务需求的一部分？注意，单词一致性是从非分布式数据库系统(特定于应用程序)超载到分布式数据
浏览 0提问于2019-12-26得票数 -4
为了找到答案，我已经阅读了问题，但是这个问题是不同的，它是在比较“分布式版本控制系统”和其他“分布式系统”时出现的。当我看到诸如“分布式数据库”、“分布式缓存”和“分布式计算”这样的词“分布式”时，我发现数据或计算实际上是通过网络分布的。在这里，“分布式”一词的意思是“分割(不总是一样)”。例如，在Hazelcast中，“分布式
浏览 0提问于2018-11-05得票数 0
回答已采纳
最近，我一直在学习如何在ASP.NET核心中使用会话状态，当我的应用程序在单个实例上运行时，它运行得很好。作为会话备份存储，我一直在使用包，并通过控制器中的HttpContext.Session访问会话，或者通过中间件和/或自定义组件中的HttpContextAccessor访问会话。我读了一篇关于MSFT的国家管理文章，发现：
更好的方法是使用Redis或Server分布式缓存，它不需要粘性会话。有关更多信息，请参见ASP.NET核心中的
浏览 4提问于2021-06-23得票数 1
2回答
如何更新分布式哈希表中的条目
、、、、
我知道数据(理论上)是如何存储在分布式哈希表中的。然而，我不确定如何更新与键相关的数据。这个是可能的吗？另外，在分布式哈希表中如何处理冲突。
浏览 27提问于2012-08-01得票数 3
回答已采纳
3回答
我刚刚开始设计分布式存储数据库的“模式”。...But，人们常说预成熟的优化是不好的.使用引用而不是嵌入的重复数据的设计的优点是明确的:优雅、灵活，不需要担心重复数据的一致性，等等。这似乎是最好的选择
浏览 6提问于2011-07-21得票数 3
回答已采纳
1回答
我在春季mvc.But中使用缓存，因为服务器每天重置2次，缓存的数据将被销毁。如何将缓存的数据存储在不发生这种情况的文件夹中？
浏览 0提问于2014-10-23得票数 0
回答已采纳
1回答
目前，我正在为我的实习解决方案，处理多达100.000.000条记录，每天约10栏。我必须保存每一个记录，15天后我们有大约1.500.000.000个记录。的情况:所以，每天我收到大约100.000.000条(也许还有几百万条)记录，用这些记录，我必须做一些计算/分析。为此，我正在考虑将Hadoop用于MapReduce和分布式计算。使用MapReduce模式，我可以创建每组100.000条记录，并将它们分布在集群上，以便进行一些分布式分析/计算。
我不知道这是否是一个好的解决办法，
浏览 3提问于2015-02-11得票数 0
NetworkX是否支持对存储节点、边缘和属性的位置进行定制？例如，我想尝试两个选项：
NetworkX支持这些东西的扩展性点是什么？
浏览 7提问于2015-04-04得票数 2
回答已采纳
我是Hadoop的新手。我想要完成的是在分布式系统中通过云存储时间序列数据。在web OpenTSDB上查看一些东西对我来说似乎是一个可行的选择。我也有一些RDBMS数据库，可以存储在分布式系统中，并使用hive。我们计划使用timeseries数据库和结构化RDBMS数据(通过HIVE读取和写入)，然后将时间序列数据与这些结构化数据连接起来。以这样的</
浏览 6提问于2018-12-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
