对于get_peers查询，主线分布式哈希表节点发送的udp数据包的最大大小是多少？当节点存储3000个对等点时，节点如何响应？(在这种情况下，数据包非常大)。主线分布式哈希表客户端如何处理它的响应？
提前谢谢你。
浏览 1提问于2011-08-16得票数 1
回答已采纳
我正在努力学习云计算，尤其是分布式操作(网格计算？)我正在做的一个项目。我们需要在一个非常大的数据集中执行分布式容错操作，我们还将负责以优化的方式存储和维护这些数据集。
浏览 0提问于2011-03-31得票数 8
2回答
有一些技术用于分布式存储，比如分布式哈希表(比如kademlia或类似的)。比特币区块链与分布式哈希表有何不同？或者可能是分布式哈希表技术支撑了比特币区块链？或者，为什么与DHT相比，比特币区块链被誉为如此大的突破？
浏览 2提问于2014-10-17得票数 25
回答已采纳
3回答
我有一个分布式应用程序，我使用zookeeper来管理所有分布式servers.My服务中的配置数据，每个服务器都需要一些dlls来运行。我知道"ZooKeeper通常不是为大容量存储而设计的“。我的dll文件的大小小于3mb。
浏览 2提问于2013-09-24得票数 1
1回答
猪窝Hbase的不同之处
、、、
我正在尝试弄清楚这些Pig Hive和Hbase用于哪种类型的数据(结构化、非结构化、半结构化)？
在哪种情况下使用哪种工具更有效？
浏览 3提问于2015-01-05得票数 0
1回答
是的，我知道我可以在加载到H2O之前使用CSV数据，但我不想保留重复的数据。是的，我知道我可以使用火花/汽水，让我们暂时假装我不能。我试图联系H2O，但我得到的都是销售人员想和我进行一次鸡尾酒对话。
浏览 5提问于2018-10-11得票数 1
是否有可能将经过训练的Spark模型或交叉验证器保存到postgree数据库？我可以找到将它保存到磁盘或HDFS的方法，但是我们可以将它保存在RDBMS(例如Postgree)表中吗？
浏览 1提问于2017-08-21得票数 2
回答已采纳
我需要流读取到非常大的文件(在TBs中)。为了达到更高的吞吐量，如果我们能够缓存文件部分在内存中。Spark可以在分布式内存中缓存数据。如何使用spark缓存文件部件？文件大于任何一台计算机的本地存储空间，也大于集群中内存总容量的总和。
浏览 1提问于2014-05-08得票数 1
回答已采纳
2回答
我想用scrapy抓取相当大的网站。在某些情况下，我已经有了抓取的链接，而在其他情况下，我需要提取(抓取)它们。我还需要在运行时访问数据库两次。一次是为了确定是否需要抓取url (蜘蛛中间件)，一次是为了存储所提取的信息(项目流水线)。理想情况下，我可以运行并发或分布式爬行，以加快速度。使用scrapy运行并发或分布式爬网的推荐方式是什么？
浏览 5提问于2015-05-28得票数 4
2回答
在区块链中保存文件的最佳实践
、、、、
将文件保存为区块链数据的一部分的最佳实践是什么？我有非常大的文件要保存。
难道我们不能将这些文件保存在云存储上(像dropbox这样的集中式解决方案)，并使用文件散列将它们与区块链数据链接起来吗？或者使用像IPFS这样的分布式文件存储更好？或者在安全性、容量、性能和容错性方面有更好的解决方案。
浏览 0提问于2018-05-18得票数 8
我正在为我们的应用程序栈设置一个包含许多不同组件的kubernetes集群，并且我试图平衡存储需求，同时最小化组件的数量。我们有一个web 刮板，它每天下载数万个HTML文件(可能还有PDF)，我想把这些文件存储在某个地方(以及一些JSON元数据)。我希望以冗余的、可伸缩的方式存储文件，但拥有数百万个小文件似乎不适合例如GlusterFS。同时，我们有一些非常大的二进制文件用于我们的系统(几千兆字节大)，也可能还有许多较小的二进制文件(10的MBs)。这些似乎不适合像MongoDB这样的
浏览 5提问于2016-12-23得票数 1
2回答
我正忙着设计一个web应用程序，希望它能变得非常大，有很多用户。我选择MongoDB作为数据存储，其中一个主要原因是它能够随着用户群的增长而水平扩展。有谁有使用Mongoid与处理大量流量的高度分布式MongoDB进行交互的经验吗？有什么理由担心性能吗？
浏览 3提问于2012-03-30得票数 2
回答已采纳
3回答
我有一个大的二进制文件(300 as )，我将其存储为数据库表中的媒体blob。文件内容每天更改一次。有多个客户机从文件中请求不同的字节范围。我不对每个请求进行数据库调用，而是将整个文件缓存一天。我们有一个分布式系统。我们使用Tomcat，MySQL，并且语言是Java。缓存文件的最佳方法是什么？
浏览 5提问于2014-12-16得票数 0
回答已采纳
我将处理大量的数据，就像Azure Tables...are的想法一样，我现在可以做出一些具体的持久性选择，模仿Azure表，这样当迁移的痛苦到来时就会减轻？
浏览 0提问于2010-09-23得票数 1
回答已采纳
我正在跟踪这个页面，以了解SageMaker的分布式培训功能。上面写着：-
SageMaker分布式培训库只能通过TensorFlow、PyTorch和HuggingFace框架的AWS深度学习容器在SageMaker培训平台中使用。这是否意味着我们不能使用SageMaker分布式训练来使用传统的机器学习算法(如线性回归、随机森林或XGBoost )来训练机器学习模型？我有一个用例，其中数据集非常大，和分布式培训可以帮助模型并行和数据并行。为了避免在训练实例的内存中输
浏览 12提问于2022-09-17得票数 -1
我之所以问这个问题，是因为我想知道在数据库或共享键值存储上运行mapreduce查询是否有效？例如，要实现一个网络拖网工具，它对互联网进行索引，并计算不同网页上的所有术语，使用数据库作为后端可以有效地完成这一任务吗？
浏览 0提问于2010-03-09得票数 2
回答已采纳
1回答
我有一个小的数据集，大约2000行，实体只有4个字符串字段和一个长id。当我填充在本地运行的数据库时没有问题，但是当我在appengine上运行它时，在达到1Mb的限制之前，我只有867条记录进入数据库。“App Engine数据存储区使用分布式体系结构自动管理扩展到非常大的数据集”
有没有关于如何绕过这个严重限制的讨论？
浏览 1提问于2012-10-31得票数 2
3回答
我想建立一个分布式系统。我需要将数据存储在数据库中，在某些表中使用UUID或参考线作为主键是很有帮助的。我想这是这个设计的缺点，因为UUID/GUID相当大，而且它们几乎是随机的。
浏览 0提问于2011-01-06得票数 72
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
