我正在开发spark 1.6.1 我有一个分布式的数据帧，而且肯定比我的集群中的任何节点都大。 如果我把所有的东西都放在一个节点里，会发生什么？ df.coalesce(1) 作业会失败吗？ 谢谢
浏览 14提问于2019-04-24得票数 1
1回答
是的，我知道我可以在加载到H2O之前使用CSV数据，但我不想保留重复的数据。是的，我知道我可以使用火花/汽水，让我们暂时假装我不能。我试图联系H2O，但我得到的都是销售人员想和我进行一次鸡尾酒对话。
浏览 5提问于2018-10-11得票数 1
我正在跟踪这个页面，以了解SageMaker的分布式培训功能。上面写着：-
SageMaker分布式培训库只能通过TensorFlow、PyTorch和HuggingFace框架的AWS深度学习容器在SageMaker培训平台中使用。这是否意味着我们不能使用SageMaker分布式训练来使用传统的机器学习算法(如线性回归、随机森林或XGBoost )来训练机器学习模型？我有一个用例，其中数据集非常大，和分布式培训可以帮助模型并行和数据并行。为了避免在训练实例的内存中输
浏览 12提问于2022-09-17得票数 -1
对于get_peers查询，主线分布式哈希表节点发送的udp数据包的最大大小是多少？当节点存储3000个对等点时，节点如何响应？(在这种情况下，数据包非常大)。主线分布式哈希表客户端如何处理它的响应？
提前谢谢你。
浏览 1提问于2011-08-16得票数 1
回答已采纳
我正在尝试实现一个MapReduce作业，该作业除了处理实际的数据集(输入)之外，还处理一个大的文本文件(作为查找文件)。查找文件超过2 2GB。在做了一些搜索之后，建议使用分布式缓存。也许使用分布式缓存不是一个好主意，也可能是我在代码中遗漏了一些东西。任何想法都会很棒！
浏览 0提问于2015-10-20得票数 0
2回答
我的目标是在分布式环境中反演一个大的密集矩阵。另一个很好的候选者是SuperLU，但它适用于稀疏矩阵。PS -“分布式计算”和“线性代数”很好地以标记的形式存在，但我没有创建它们的代表。
浏览 0提问于2015-04-08得票数 2
回答已采纳
2回答
我试图分析包含follower和followee对的社交网络数据。我想找到十大用户中使用MapReduce最多的用户。然而，对于这些数据，我不知道如何在分布式系统中对它们进行排序。非常感谢。
浏览 0提问于2018-03-20得票数 0
回答已采纳
我正在努力学习云计算，尤其是分布式操作(网格计算？)我正在做的一个项目。我们需要在一个非常大的数据集中执行分布式容错操作，我们还将负责以优化的方式存储和维护这些数据集。
浏览 0提问于2011-03-31得票数 8
1回答
ETL利用预先训练的模型/转移学习处理大容量数据(图像、时间序列数据、传感器data..etc)后期生产培训(细菌或实时/在线)
移动应用程序开发
浏览 0提问于2019-12-02得票数 1
回答已采纳
我正在用C++开发一个分布式应用程序，为此需要一个中间件。我做了一个比较，我的结论是：
那么，您认为21世纪(2014年)在C++中的分布式应用程序是什么呢？
浏览 0提问于2014-03-25得票数 1
我正在做一个项目，该项目将涉及在大图上运行算法。最大的两个有大约300k和600k的顶点(我认为相当稀疏)。我希望找到一个java库，可以处理这么大的图，也可以处理更小的树，因为我将使用的算法之一涉及将图分解为树。理想情况下，该库还应包括广度优先搜索和Dijkstra算法或其他最短路径算法。对于记录，我不需要任何可视化工具；这只是在数据结构中表示图形和树，并在它们上运行算法。
背景如果有人真正关心的话:对于一个类，我应该实现研究论文中描述的算法，并尽我所能运行论文中运行的实验。我将使用的论文和数据集可以在中找到。我的教授说
浏览 3提问于2012-03-30得票数 8
回答已采纳
对于那些不知道Kindle的语音同步的人来说，下面是它的工作原理(来自amazon.com)：有人能详细介绍一下Whispersync功能是如何在Kindle和Amazon后端实现的吗？谢谢!
浏览 0提问于2012-10-04得票数 5
我浏览了TIPC ()上的维基百科页面，注意到当您在不同的节点上显示它时，所使用的寻址方案类似于分布式Erlang的pid地址。只是想知道，因为这两个努力都是在爱立信开发的。
浏览 1提问于2015-01-30得票数 1
2回答
我正在尝试理解分布式缓存的基本概念及其用法。最后，分布式缓存的主要好处是什么，即为什么人们不坚持传统的本地缓存模型？
非常感谢您提供的所有答案/资源。
浏览 0提问于2013-05-28得票数 11
回答已采纳
我即将开发一个分布式系统。在所有功能中，系统需要分配一些资源(可以分成较小块的大资源)。为了做到这一点，我想使用Chord/Pastry P2P方法(逻辑环网上的站点)。Pastry有一种非常有趣的资源分配方法:当用户工作站需要发送某些内容时，会使用站点guid的散列来查找分布式哈希表中的关键字，因此需要考虑如下内容：
用户站-> GUID (用户站ip上散列) ->散列-> I使用该散列获得称为X_ ->的值，并在糕点环网中找到具有相同GUID (糕点节点公钥上的散列)值的站位于(或直接
浏览 2提问于2011-04-23得票数 0
我刚开始使用visual studio，我用visual studio开发了一个分布式系统，我正在开发两个应用程序
所以我用WCF服务来做这个系统的分布式，是对的吗？在web应用程序im中，使用WCF服务登录并插入数据并检索数据。
浏览 1提问于2017-04-19得票数 0
Hadoop到底是干什么用的，主要的应用场景和应用领域是什么，主要解决的核心问题又是什么，我们个人可以用它来干什么 产生价值呢?
浏览 944提问于2020-09-24
6回答
什么是“分布式事务”？
、、、
您能给出一个高层次的描述，提供更多关于分布式事务的详细信息吗？
另外，你能给我一个例子，说明为什么一个应用程序或数据库应该执行一个事务来更新两个或两个以上联网计算机上的数据吗？我理解了经典的银行示例；我更关心网络规模数据库中的分布式事务，如Dynamo、Bigtable、HBase或Cassandra。
浏览 10提问于2010-11-18得票数 36
1回答
为了将其扩展到非常大的数据集和用户社区，我正在考虑通过类似MapReduce的框架使用分布式处理，如QizMt。
我的问题是，QizMt能和COMs一起工作吗？还有没有别的选择？COM内部的逻辑相当复杂，我希望使分布式处理对原始代码尽可能透明。
浏览 0提问于2011-01-04得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
