如何知道java中spark中的任务所需的内存？
在Java中使用Spark进行任务处理时，可以通过以下方式来确定任务所需的内存：
- 配置Spark的内存参数：可以通过设置Spark的内存参数来指定任务所需的内存。主要的参数包括：
- spark.driver.memory：用于指定Driver程序的内存大小。
- spark.executor.memory：用于指定Executor的内存大小。
- spark.driver.memoryOverhead：用于指定Driver程序的内存开销。
- spark.executor.memoryOverhead：用于指定Executor的内存开销。
- 这些参数可以通过在启动Spark应用程序时使用
--conf参数来进行配置，例如： - 这些参数可以通过在启动Spark应用程序时使用
--conf参数来进行配置，例如：
- 监控Spark任务的内存使用情况：Spark提供了一些工具和API来监控任务的内存使用情况。可以使用Spark的Web界面（通常在
http://<driver-node>:4040上）来查看任务的内存使用情况，包括已分配的内存、已使用的内存等信息。此外，还可以使用Spark的监控API来获取任务的内存使用情况，例如通过SparkContext对象的getExecutorMemoryStatus方法来获取Executor的内存使用情况。 - 调整任务的数据分区和内存使用策略：根据任务的具体需求和数据规模，可以调整任务的数据分区和内存使用策略来优化内存的使用。例如，可以通过调整RDD的分区数来控制每个Executor的内存使用量，或者使用缓存机制来减少重复计算和内存开销。
总结起来，确定Java中Spark任务所需的内存可以通过配置Spark的内存参数、监控任务的内存使用情况以及调整任务的数据分区和内存使用策略来实现。具体的配置和调整方法可以根据任务的具体需求和环境来灵活选择。
相关·内容
我正在使用以下环境：spark = 2.0.0、hdp = 2.5.3.0、python = 2.7、yarn-client
我的PySpark代码大部分时间都工作得很好。
然而，有时我在df.count()函数上遇到以下异常
适用于我的代码：
df= spark.read.orc("${path}")
df.count()
我得到异常的代码：
df= spark.read.orc("${path}")
df = df.cache()
df.count()
堆栈跟踪：
Job aborted due to stage failure: Task 0 in s
浏览 0提问于2017-01-19得票数 0
如何修复GC overhead limit exceeded版本2.2.1中发生的PySpark。安装在Ubuntu 16.04.4上。
在Python3.5.2脚本中，我设置为：
spark = SparkSession.builder.appName('achats_fusion_files').getOrCreate()
浏览 0提问于2018-03-14得票数 4
回答已采纳
我使用AWSEMR5.2实例m4.2x和10个节点运行我的Spark应用程序，使用Spark2.0.2。我使用了maximizeResourceAllocation=true的属性。我在spark-defaults.conf中看到了以下属性：
spark.executor.instances 10
spark.executor.cores 16
spark.driver.memory 22342M
spark.executor.memory 21527M
spark.default.parallelism
浏览 2提问于2017-01-25得票数 2
1回答
但是，我的工作失败了，但是我并不完全理解。它似乎是由
"YarnSchedulerBackend$YarnSchedulerEndpoint: Container killed by YARN for exceeding memory limits. 24.7 GB of 24 GB physical“。
但是我怎样才能增加中的内存。
日志：
16/05/05 01:12:42 WARN org.apache.spark.scheduler.TaskSetManager: Lost task 332.0 in stage 0.0 (TID 332, cluster-4-w-40.c.l
浏览 3提问于2016-05-05得票数 0
我想运行一个简单的火花程序，但我受到一些错误的限制。我的环境是: CentOS:6.6 Java：1.7.0_51 Scala：2.10.4 Spark： Mesos：0.22.1
所有节点都已安装，节点为up.Now，我有一个Mesos主节点和一个从节点。我的火花属性如下：
spark.app.id 20150624-185838-2885789888-5050-1291-0005
spark.app.name Spark shell
spark.driver.host 192.168.1.172
spark.driver.memory 512m
浏览 6提问于2015-06-24得票数 0
在以群集模式运行的spark应用程序中，我得到异常下面。我知道这可能是因为艾默里的问题。但是正如错误说的那样，它不能连接到一个节点。但我确信节点是可用的，并且可以连接起来。谁能知道这一错误的主要原因是什么，以及如何解决？
17/10/31 17:10:54 ERROR ShuffleBlockFetcherIterator: Failed to get block(s) from AUPER01-02-10-12-0.prod.vroc.com.au:36787
java.io.IOException: Failed to connect to AUPER01-02-10-12-0.prod.
浏览 4提问于2017-10-31得票数 3
现在，我必须使用sc.parallelize()来创建一个并行化集合(Spark2.1.0)。
我的驱动程序中的收集量很大。当我并行化它时，我发现它在主节点中占用了大量的内存。
在将集合并行化到每个工作节点之后，似乎仍然将保存在主节点的spark的内存中。下面是我的代码示例：
# my python code
sc = SparkContext()
a = [1.0] * 1000000000
rdd_a = sc.parallelize(a, 1000000)
sum = rdd_a.reduce(lambda x, y: x+y)
我试过了
del a
去摧毁它，但它没有起作用。星星之火是
浏览 7提问于2017-09-17得票数 3
回答已采纳
我在试着用电子病历来爬行。目标服务器可以识别客户机IP，因此我希望为每个核心节点运行一个executor。目前，我有一个主节点和两个核心节点。核心节点的类型是c4.large，每个节点都有两个vcore。因此，我需要更改设置。(默认设置是在一个核心节点上运行两个执行器。) 这是我的集群的配置。 [{"classification":"spark", "properties":{"maximizeResourceAllocation":"true"}, "configurations":[]},
{
浏览 13提问于2020-04-08得票数 0
1回答
喂，
当我使用一个最大的数据集并且使用MlLib (ALS)时，我有很多次这个错误
数据集有3列(用户、电影和评级)和1.200.000行
WARN TaskSetManager: Stage 0 contains a task of very large size (116722 KB). The maximum recommended task size is 100 KB.
Exception in thread "dispatcher-event-loop-3" java.lang.OutOfMemoryError: Java heap space
我的机器现在有8个核
浏览 2提问于2016-02-11得票数 2
回答已采纳
我是阿帕奇·斯帕克的新手。
我需要从本地/挂载目录读取日志文件。一些外部源将文件写入本地/挂载目录。例如，外部源将日志写入combined_file.txt文件，一旦文件写入完成，外部源将创建前缀为_的新文件，如0_combined_file.txt。然后我需要读取combined_file.txt日志文件并对其进行处理。因此，我试图编写自定义接收器来检查日志文件，将写入本地/挂载的目录完成，然后读取已完成的文件。
这是我的密码
@Override
public void onStart() {
Runnable th = () -> {
浏览 0提问于2018-01-19得票数 1
2回答
我们有相当少的问题，星火节约服务器
从日志中我们可以看到：未能将RPC 9053901149358924945发送到/DATA节点计算机:50149
请建议为什么会发生这种情况，以及解决办法是什么？
Failed to send RPC 9053901149358924945 to /DATA NODE MACHINE:50149: java.nio.channels.ClosedChannelException
more spark-hive-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master03.sys67.c
浏览 2提问于2018-02-07得票数 3
我的MapR集群中有两个位置，我的spark作业正在从这两个端点加载数据。其中一个端点具有巨大的数据，而其他端点则相对较少。现在，当我做一个像.reduceByKey或.groupByKey这样的混洗操作时，我得到了OOM异常： "java.lang.OutOfMemoryError: Java heap space
at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57)
at java.nio.ByteBuffer.allocate(ByteBuffer.java:335)
at org
浏览 33提问于2020-08-25得票数 0
1回答
我正试着理解这张照片中的火花的现状。
，在我看来是什么样子，
4台机器，每台93.3 Gb
app pyskark-shell在每台机器上使用10个核，在每台机器上使用32 Gb内存。
app backtestin2在每台机器上使用2或6个核，在每台机器上使用8gb。
(注意:我确信作业是如何在节点间分配的。)
我的期望
app pyskark-shell在每台机器上使用10个核心，在每台机器中使用32 Gb内存，每台核= 320 Gb使用的内存总数。
app backtestin2在机器之间使用16个核，每个核在每台机器中需要8GB=总计128 Gb。
这
浏览 2提问于2017-06-15得票数 1
我在cassandra表中有数百万条记录，希望获得所有分区键列的值。我得到了java.lang.OutOfMemoryError: Java堆空间错误。请参阅我的示例代码。
val rowKeyRdd: Array[CassandraRow] =
sc.cassandraTable(keyspace, table).select("customer_id", "uniqueaddress").collect()
val clientPartitionKeys = rowKeyRdd.map(x => ClientPartitionKey(
浏览 0提问于2016-02-12得票数 0
1回答
我正在尝试在一个Google DataProc集群上安装Spark (2.0.0)的ml模型。当拟合模型时，我会收到执行者心跳超时错误。我怎么解决这个问题？
其他解决方案表明，这可能是由于(其中一个)执行器内存不足所致。我作为解决方案阅读:设置正确的设置、重新分区、缓存和获得一个更大的集群。我能做什么，最好不设置一个更大的集群？(创建更多/更少的分区？缓存更少？调整设置？)
我的背景：
在Google DataProc集群上火花2.0.0 :1主处理器和2名工作人员都具有相同的规格: n1-highmem-8 -> 8 vCPU，52.0GB内存-500 GB磁盘
设置：
spark\:
浏览 3提问于2016-09-03得票数 0
我有一个星火应用程序，应该在本地模式和本地集群模式下进行测试，使用scalatest。
使用此方法提交本地群集模式：
测试成功运行，但在结束测试时，我在日志中得到了以下错误：
22/05/16 17:45:25 ERROR TaskSchedulerImpl: Lost executor 0 on 172.16.224.18: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages
浏览 20提问于2022-05-16得票数 1
我在集群中以独立模式运行Spark (100台机器，每台计算机16个CPU核，每台机器32 GB RAM )。我在运行任何应用程序时都会指定SPARK_WORKER_MEMORY和SPARK_WORKER_CORES。
在星火程序设计中，我把它当作一个串行程序来编程，然后星火框架会自动并行任务，对吗？
当我使用SPARK_WORKER_CORES = 16运行程序时，我遇到了OOM崩溃。我再次尝试使用SPARK_WORKER_CORES = 4，程序成功地完成了。
当然，通过数据并行来开发多线程需要更大的内存，但我不知道我的Spark程序中的哪个功能是由多线程并行化的。所以我不知道哪个部门负责
浏览 2提问于2017-01-23得票数 0
回答已采纳
2回答
我有一个火花作业，运行以下代码的文件。但是，此步骤会在输出文件夹中创建几个文件。
sampledataframe.write.mode('append').partitionBy('DATE_FIELD').save(FILEPATH)
因此，我已经开始使用下面这行代码来重新划分这些文件，并拥有一个单独的文件。
sampledataframe.repartition('DATE_FIELD').write.mode('append').partitionBy('DATE_FIELD').save(FILEPATH)
浏览 5提问于2019-09-27得票数 0
1回答
我制作了独立的集群，并希望找到最快的方式来处理我的应用程序。我的机器有12克内存。这是我试过的一些结果。
Test A (took 15mins)
1 worker node
spark.executor.memory = 8g
spark.driver.memory = 6g
Test B(took 8mins)
2 worker nodes
spark.executor.memory = 4g
spark.driver.memory = 6g
Test C(took 6mins)
2 worker nodes
spark.executor.memory = 6g
spark.drive
浏览 0提问于2016-03-24得票数 1
回答已采纳
我使用以下命令在本地模式下使用Spark2.0调用Pyspark：
pyspark --executor-memory 4g --driver-memory 4g
输入数据正在从tsv文件中读取，并且有580 Kx28列。我正在对dataframe做一些操作，然后我尝试将它导出到tsv文件中，我得到了这个错误。
df.coalesce(1).write.save("sample.tsv",format = "csv",header = 'true', delimiter = '\t')
任何关于如何消除这个错误的提示。我可以很容易
浏览 7提问于2016-08-15得票数 24
回答已采纳
1回答
我正在尝试运行来自的示例pyspark PCA代码
我在DataFrame上加载了5,000,000条记录，23,000个特征。运行PCA代码后，我得到了以下错误
Py4JJavaError: An error occurred while calling o908.fit.
: java.lang.OutOfMemoryError
at java.io.ByteArrayOutputStream.hugeCapacity(ByteArrayOutputStream.java:123)
at java.io.ByteArrayOutputStream.grow(ByteArra
浏览 0提问于2018-05-24得票数 1
很少有不同的答案可以在网络上实例化电火花等等。然而，有些是过时的，有些没有涵盖所有的“期望和最佳”*字符的启动火花。这是压缩和可用的每一点RAM和CPU，你有火花会话。因此，我试图找出一种方法来做以下工作。
1)利用最大核数
2)使用最大的驱动程序内存。
3)利用最大的执行器内存数。
4)利用最大堆栈大小和堆大小。
5)将最大大小传递给spark.driver.extraJavaOptions和spark.executor.extraJavaOption
( 6)在2017年至2018年，使用高评论的星火书中推荐的Kryo.serializer。
以及任何其他适当的属性。
一个广义的方法将实例
浏览 0提问于2018-07-30得票数 0
回答已采纳
我正在优化Spark中的参数，我想确切地知道Spark是如何处理数据的。
确切地说，我有一个简单的字数统计程序，我想知道spark.shuffle.file.buffer.kb是如何影响运行时的。现在，只有当我将这个参数设置得非常高时，我才会看到速度变慢(我猜这会阻止每个任务的缓冲区同时放入内存)。
有人能解释一下Spark是如何执行缩减的吗？例如，在RDD中读取数据并对其进行分区，当调用"action“函数时，Spark会将任务发送到工作节点。如果动作是一个缩减，Spark如何处理这个过程，以及shuffle文件/缓冲区是如何与这个过程相关的？
浏览 2提问于2015-07-13得票数 17
回答已采纳
在Spark结构化流(Version2.2.0)中，如果使用以更新模式作为输出模式的mapGroupsWithState查询，则Spark似乎使用java.util.ConcurrentHashMap数据结构存储内存中的状态数据。有人能详细地向我解释，当状态数据增长而内存不足时会发生什么呢？另外，是否可以使用spark配置参数更改在内存中存储状态数据的限制？
浏览 2提问于2017-08-22得票数 4
回答已采纳
1回答
起泡水滴工程运行问题
、、、
我从'‘中克隆了闪闪发光的液滴项目。并分别使用./gradlew洁净、./gradlew构建清理和构建项目。之后，尝试使用命令运行项目。
build/libs/sparkling-water-droplet-app.jar -火花-提交-类water.droplets.SparklingWaterDroplet
然后得到以下错误消息：
Exception in thread "main" java.lang.NoClassDefFoundError: water/fvec/Frame
at water.droplets.SparklingWaterDroplet.mai
浏览 0提问于2016-03-13得票数 0
回答已采纳
我正试图在我的上运行ALS模型，而且我总是遇到同样的错误：
这里是我的星火配置：
spark_config["spark.executor.memory"] = "32G"
spark_config["spark.executor.memoryOverhead"] = "20G"
spark_config["spark.executor.cores"] = "32"
spark_config["spark.driver.memory"] = "32G"
# spark
浏览 15提问于2022-08-25得票数 0
1回答
通过蒙特卡罗近似计算π的简单pyspark程序：
def inside(p):
x, y = p
return x*x + y*y < 1
num_samples = 10000000
count = sc.parallelize(((random.random(), random.random()) for i in range(num_samples))).filter(inside).count()
pi = 4 * count / num_samples
print(pi)
为了理解RDDs的缓存，我尝试了以下方法：
rdd = sc.parallelize((
浏览 0提问于2018-04-10得票数 1
回答已采纳
如果您缓存的数据集非常大，不能全部存储在内存或磁盘上，那么stored如何处理部分缓存？当您再次使用该数据时，它如何知道需要重新计算哪些数据？
示例：
基于df1Compute的将100 GB数据集读取到内存中
如果spark只能容纳50 go的df2缓存，那么如果在接下来的步骤中重用df2会发生什么呢？如何激发知道哪些数据不需要重新计算，哪些数据需要重新计算？它是否需要重新读取那些不能持久的数据呢？
更新
如果您有5GB内存和5GB磁盘并尝试缓存20 5GB数据集，会发生什么情况？其他无法缓存的10 of数据会发生什么? spark如何知道需要重新计算哪些数据，哪些数据不需要重新计算？
浏览 2提问于2021-02-24得票数 0
1回答
我必须用两个任务在Airflow中运行两个模块。每个任务都有一个执行一些spark操作的PySpark模块。第二个模块使用在前一个会话中创建的数据帧并继续其操作。同样的SparkSession初始化，如何实现同样的效果？我尝试使用getActiveSession()，但由于任务1作业已完成，因此无法工作，因此当任务2运行时，会创建一个新的spark会话。 - [root@ ..dags]# cat tmp_spark_1.py
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("
浏览 32提问于2021-11-23得票数 0
1回答
提高误差的AWS胶示方法
、、、
我正在使用AWS Glue使用开发端点执行ETL工作。我试图运行以下代码，但在执行时出现了错误。几天前我运行的时候它运行得很成功。但是，这增加了新运行的错误。
df1=
sqlContext.createDataFrame([("11/25/1991","11/24/1991","11/30/1991")
("11/25/1391","11/24/1992","11/30/1992")],
schema=['first', '
浏览 0提问于2018-04-09得票数 2
纱线群集模式下的Spark提交失败，但在客户端模式下成功 Spark提交： spark-submit
--master yarn --deploy-mode cluster \
--py-files packages.zip,deps2.zip \
--files /home/sshsanjeev/git/pyspark-example-demo/configs/etl_config.json \
jobs/etl_job.py
Error stack:
Traceback (most recent call last):
File "etl_job.py", li
浏览 24提问于2020-01-30得票数 3
2回答
我想转换一个非常大的火花放电数据为熊猫，以便能够将它分成火车/测试熊猫框架的滑雪随机森林回归器。我在星火3.1.2的数据库里工作。
数据集的形状为(782019,4242)。
在运行以下命令时，根据堆栈跟踪，内存不足。
dataset_name = "dataset_path"
dataset = spark.read.table(dataset_name)
dataset_pd = dataset.toPandas()
22/01/31 08:06:32 WARN TaskSetManager: Lost task 2.2 in stage 16.0 (TID 85
浏览 14提问于2022-01-31得票数 1
我有一个由一台机器组成的EMR集群"c3.8xlarge"，在阅读了几个资源之后，我了解到我必须允许堆外有相当数量的内存，因为我使用的是吡火花，所以我将集群配置为：
One执行者：
spark.executor.memory 6g
spark.executor.cores 10
spark.yarn.executor.memoryOverhead 4096
驱动程序：
spark.driver.memory 21g
当我cache() DataFrame时，它需要3.6GB的内存。
现在，当我在collect()或toPandas()上调用Dat
浏览 4提问于2017-11-28得票数 13
回答已采纳
2回答
火花启动比指定更多的执行器
、、、、
我正在运行Spark1.5.1在独立(客户端)模式下使用Pyspark。我正在尝试启动一个内存似乎很重的作业(也就是说，在python中，这不应该是executor-memory设置的一部分)。我正在一台有96核和128 GB内存的机器上进行测试。
我有一个主程序和工作人员正在运行，开始使用/sbin中的start-all.sh脚本。
这些是我在/conf中使用的配置文件。
火花违约：
spark.eventLog.enabled true
spark.eventLog.dir /home/kv/Spark/spark-1.5.1-bin-had
浏览 1提问于2016-08-28得票数 2
1回答
调整纱线中的火花作业
、、、
由于java.lang.OutOfMemoryError: Java堆空间，我的火花作业失败了。我试着玩配置参数，如executor-cores，executor-memory，num-executors，driver-cores，driver-memory，spark.yarn.driver.memoryOverhead，spark.yarn.executor.memoryOverhead，根据。下面是我的配置集
--master yarn-cluster --executor-cores 4 --executor-memory 10G --num-executors 30 --driver
浏览 0提问于2018-05-04得票数 0
回答已采纳
5回答
我有一个由两个工作节点组成的集群。Worker_Node_1 -64 RAM内存Worker_Node_2 -32 RAM内存
背景总结:我正在尝试执行星火提交，在纱线集群上运行Pregel，以计算从一个源顶点到所有其他顶点的最短路径距离，并在控制台上打印值。专家：
对于具有15个顶点的小图，执行完成应用程序的最终状态:成功
我的代码工作得很好，输出241个顶点的最短距离，单个顶点的图作为源顶点，但存在一个问题。
successfully问题：问题:当我深入日志文件时，任务在4分钟26秒内完成，但仍在终端上继续显示应用程序状态，运行，大约12分钟后，任务执行就停止了。
Appl
浏览 3提问于2015-11-17得票数 15
我正在读取一个巨大的csv文件，包括39,795,158条记录，并在Azure Databricks上写入MSSQL服务器。Databricks(笔记本)运行在一个具有56 GB内存、16个核心和12个工作人员的集群节点上。
这是我在Python和PySpark中的代码：
from pyspark.sql import *
from pyspark.sql.types import *
from pyspark.sql.functions import *
from time import sleep
url = "jdbc:sqlserver://{0}:{1};database=
浏览 10提问于2022-02-11得票数 0
我有一个4个节点集群，每个节点上都安装了Spark和Cassandra。SparkVersion3.1.2和Cassandrav3.11让我说每个节点都有4GB的内存，我想在整个集群中运行我的"spark+cassandra“程序。我如何分配2GB内存的卡桑德拉执行和2GB的火花执行？
我注意到了.
如果我的Cassandra集群已经启动，并且我在一个工作节点上运行start-worker.sh命令来使我的星火集群运行起来，那么Cassandra服务就会突然停止，但是spark仍然可以工作。基本上，斯派克把内存资源偷给卡桑德拉。我怎样才能避免这种情况呢？
在崩溃节点的Cassandra
浏览 2提问于2021-06-13得票数 0
我有以下星火的代码：
package my.spark;
import java.util.ArrayList;
import java.util.List;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;
public class ExecutionTest {
public static void main(String[] args) {
浏览 3提问于2017-09-04得票数 1
回答已采纳
当我运行一个带有火花的模型训练管道时，会出现上述错误。
`val inputData = spark.read
.option("header", true)
.option("mode","DROPMALFORMED")
.csv(input)
.repartition(500)
.toDF("b", "c")
.withColumn("b", lower(col("b")))
.withColumn("c", lower(col(
浏览 2提问于2018-06-28得票数 2
我目前正在使用一个连接到RDS的EMR集群来收集两个表。
创建的两个RDD相当庞大，但我可以执行其他的.take(x)操作。
我还可以执行更复杂的操作，例如：
info_rdd = somerdd.map(lambda x: (x[1], x[2])).groupByKey().map(some_lambda)
apps_rdd = apps.join(info_rdd).map(lambda x: (x[0], (x[1][0], x[1][1][0], x[1][1][1])))
但是，执行以下操作来计算从RDS导入的不同用户的数量不起作用：
unique_users = rdd.dist
浏览 2提问于2017-02-14得票数 2
回答已采纳
我在使用spark_apply的Spark中遇到了GC开销超过限制错误。以下是我的规格：
sparklyr v0.6.2 Spark v2.1.0 4个工作进程，具有8个内核和29G内存
closure get_dates一次从Cassandra拉取一行数据。总共大约有200k行。这个过程运行了大约一个半小时，然后出现了这个内存错误。
我已经用spark.driver.memory做了实验，它应该会增加堆的大小，但它不起作用。
有什么想法吗？下面的用法
> config <- spark_config()
> config$spark.executor.cores = 1 #
浏览 3提问于2018-03-10得票数 1
1回答
我已经将Spark配置为查询hive表。
使用下面的命令运行/ODBC服务器：
cd $SPARK_HOME
./sbin/start-thriftserver.sh --master spark://myhost:7077 --hiveconf hive.server2.thrift.bind.host=myhost --hiveconf hive.server2.thrift.port=9999
然后在Spark用户界面上检查，执行器启动失败并出现以下错误，JVM初始化失败是因为错误的-Xms：
Invalid initial heap size: -Xms0M
Error: Could
浏览 2提问于2016-01-29得票数 3
在Spark中，我们可以随时将数据保存在内存中，但我想知道在Hadoop MapReduce中，数据保存在地图和缩减阶段之间的位置。它是否保存在HDFS、磁盘或RAM中？我的意思是，当数据被洗牌时(在Map/Combiner之后，在减缩之前，也就是说)，它保存在哪里？
浏览 5提问于2016-10-13得票数 0
回答已采纳
2回答
在我的HDFS中，我收集了大约350个csv文件。每个文件的大小从几个KBs到250 KBs不等。我需要将这些csv文件的值插入一个名为RECORD的表中。在插入时，我还需要参考其他一些表(参数和FRAME_RATE)。我有下面的查询来完成这个任务。
-- create external table for the csv files in hdfs
CREATE EXTERNAL TABLE TEMP_CSV(
FRAME_RANK BIGINT,
FRATE BIGINT,
SOURCE STRING,
PARAM STRING,
RE
浏览 3提问于2017-06-12得票数 0
1回答
我读过关于spark的文章，发现spark是用scala编写的。由于scala是一种函数式语言，就像erlang一样，它可以正确地使用多核。对吗？
我想知道我是否可以在具有多核处理器的分布式系统中使用spark。单个任务可以同时使用所有内核吗？我读过YARN将为每个不同的任务分配不同的核心，但在这种情况下，它是一个单一的任务
而且，在JAVA中使用多线程编程(hadoop)来使用每台计算机中的所有内核是否足够？因为linux调度器是基于线程的？
浏览 0提问于2015-04-18得票数 10
我尝试在带有hdfs的YARN集群上运行一个用Scala编写的Spark/Graphx程序。群集有16个节点，每个节点具有16 HD和2TB硬盘。我想要的是使用edgeListFile函数加载一个3.29 is的无向图(称为orkutUndirected.txt)，该函数由GraphX库提供：
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.streaming._
import org.apache.spark.streaming.Stream
浏览 1提问于2016-02-27得票数 1
我编写了一段代码，读取多个拼板文件，并将它们缓存以供以后使用。我的代码看起来像这样简化了
val data = SparkStartup.sqlContext.read.parquet(...)
data.setName(...).persist(StorageLevel.MEMORY_AND_DISK_SER).collect()
map += data
拼花文件总共约为11克。我通过以下方式配置应用程序：
val sparkConfig = new SparkConf().setAppName(...).setMaster("local[128]")
sparkConfi
浏览 5提问于2015-09-21得票数 4
回答已采纳
使用Pyspark时，当尝试将大量json文件从S3加载到dataframe时，会出现一个错误。错误似乎取决于我的火花会话使用的驱动程序内存。错误消息是"java.lang.OutOfMemoryError: GC开销超过限制“。我花了大量的时间在网上做研究，但是我没有找到任何能指出这个错误的确切原因的东西。请在下面找到完整的错误信息和代码。
我希望能在这方面提供任何帮助！
驱动环境
我在jupyterlab中运行的jupyter笔记本中使用了pyspark，它本身运行在一个拥有30 on可用内存的EC2实例上。
Sparksession资源
spark.executor.memory
浏览 1提问于2020-04-13得票数 0
我想获得有关Spark集群中应用程序正在使用的工作人员的信息。我需要得到它的IP地址，CPU核心，内存可用等。是否有任何API在火花用于此目的？
上面的图片在Spark上显示了相同的信息，但是我无法找到通过JAVA代码获得它的方法。
它是特定于JAVA的。我要所有员工节点的信息。谢谢。
浏览 3提问于2015-12-15得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
