1回答
我们正在努力调优RocksDB作为一个状态存储在星火结构化流。通过火花的文档，我们有有限的选项提供的星火调优某些设置，例如，启用范围压缩。我想玩一下修改
max_write_buffer_number任何建议都会有帮助。我们是否应该修
浏览 6提问于2022-11-19得票数 1
最近，我们建立了火花作业为的submitted.But，我们发现我们的20个节点(每个节点8个核/128 G内存)火花集群只能提供10个同时运行的火花作业。有人能分享一些详细的信息，哪些因素实际上会影响多少火花作业可以同时运行？我们如何对conf进行调优，以便充分利用集群？
浏览 3提问于2016-01-27得票数 4
回答已采纳
我对处理火花中的执行者内存和驱动程序内存感到困惑。我的环境设置如下：
对于简单的开发，我使用spark-submit以独立集群模式(8个工作人员、20个内核、45.3G内存)执行我的Python代码。现在，我想设置执行器内存或驱动程序内存进行性能
浏览 3提问于2014-11-28得票数 51
回答已采纳
我需要使用火花计算后端的原因是，使用当前数据集的培训不再适合内存。
我希望使用SageMaker培训作业设置，这样我就可以使用SM超参数优化工作来为LightGBM找到最佳的超级参数。虽然LightGBM火花接口本身确实提供了一些超参数调优功能，但它不提供贝叶斯HP调优。现在，我知道了在SM中运行自定义培训的一般方法:以某种方式构建一个容器，然后从ECR中提取它，并通过sagemaker.Estimator 启动一个培训作业/超参数调<e
浏览 3提问于2022-01-24得票数 2
回答已采纳
1回答
火花流作业的巨大延迟
、、、
我有一个几乎实时的火花流应用，用于图像识别，其中接收器从卡夫卡获得输入帧。我有6个接收器每个执行者，5个执行者在总数，我可以看到30个活动任务每次迭代在星火UI。有了每个任务的流程流，处理单个任务的总延迟就会出现在10到15秒之间，这对于火花流应用程序来说是巨大的。
选项2-中断顺序处理，并将每个子进程放在单独的RDD中，即RDD1中的模型#1处理，RDD2中的模型#2处理，等等。
浏览 0提问于2018-03-04得票数 1
如何在星盘集群中配置执行器的内存。此外，如何配置每个员工节点的执行器数量？
有没有办法知道有多少执行者的内存是自由的缓存或持久化新的RDD的。
浏览 4提问于2015-03-11得票数 2
回答已采纳
在调优超参数时，我尝试使用hyperopt的sparkTrials函数来并行更快地调优它们，但是错误继续发生。错误是。
浏览 5提问于2022-05-12得票数 0
2回答
我的输出火花数据由三列组成，列有120000000行。我共享的集群大小是9节点集群，每个节点的内存为56 My。
我的怀疑是:- 1.)它在蓝色数据库中的行为是否具有缓慢的写入能力。2.)我们确实不能在azure databricks中调优火花配置，azure databricks用可用内存来调整自身。
浏览 0提问于2020-11-09得票数 1
回答已采纳
1回答
我正试图通过带有6个节点的EMR集群(每个节点上有8个核心和56GB内存)来执行火花作业。Spark作业对Hive表上的分区进行增量加载，最后执行刷新表以更新元数据。使用的火花配置：
调整火花核心/内存/执行器，但没有运气
浏览 0提问于2020-10-23得票数 0
1回答
421.189 seconds我试图通过更改/opt/ shark /shark/conf/shark-env.sh中的一些参数(增加: SPARK_MEM和SHARK_MASTER_MEM)来调优鲨鱼以下是我为所涉及的各种软件安装的版本列表：Shark：鲨鱼-0.9.1-bin-cdh4.6.0-fe75a886硬件
浏览 1提问于2014-06-25得票数 0
1回答
您可以设置jvm内存设置和金牛座，但它完全支持动态调优吗？是否有相对于系统上可用CPU和内存数量来调优jvm的设置？不用自己写剧本就好了。
特别是如果我运行金牛座容器，我希望它是可移植的。
浏览 2提问于2017-11-04得票数 2
回答已采纳
1回答
我有一个四节点hadoop集群(Mapr)，每个节点都有40内存。我需要在大数据集(5亿行)的一个字段上‘应用’一个函数。
浏览 2提问于2016-08-24得票数 1
1回答
我正在尝试调优我的Cloudera Navigator，官方文档只给出了关于Cloudera Navigator元数据服务器内存大小的建议。有没有关于Cloudera Navigator调优的完整文档/文章？
谢谢:)
浏览 5提问于2017-02-27得票数 0
2回答
代码将一个大文档加载到内存中，并在循环中处理它。如果我在这个循环中停止(在调试模式下)或添加GC.Collect()，内存使用量就会降到70MB以下。
如何调优GC？有没有调优GC的最佳实践？
浏览 1提问于2010-09-02得票数 3
回答已采纳
2回答
sc = SparkContext(conf=conf)我想在文档中更好地理解spark.executor.memory
这是否意味着在一个节点上运行的所有进程的累积内存不会超过该上限？
浏览 3提问于2015-01-03得票数 6
回答已采纳
2回答
但是这是一个新的ambari集群，我们认为这篇文章不适合这个特定的问题(我们的ambari集群现在没有火花作业)
浏览 2提问于2018-02-07得票数 3
2回答
内存不足，CPU消耗低
、、、、
我正在尝试调优某种高负载的应用程序，它通过预处理将数据从一个云流到另一个云端。我的应用程序的具体特点是内存的广泛使用和较低的CPU消耗。手动触发来自j控制台的“执行GC”将在所有代中清除大量内存，因此我假设应用程序中没有内存泄漏。我的应用程序是在mesos/马拉松上运行的，所以我尝试用各种GCs (-XX:+UseG1GC；-XX:+UseParallelGC，无需其他调优)在单个虚拟CPU之间切换到多个CPU，并且图片实际上是一样的；
那么，为什么GC不
浏览 3提问于2017-04-14得票数 2
回答已采纳
1回答
有关Solr调优的文章(如、或)谈到了缓存和JVM调优。但我感兴趣的是如何配置Solr以在内存中保存完整的索引(就像内存中的数据库一样)。
浏览 0提问于2015-07-30得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
