spark execution -在驱动程序和执行器中访问文件内容的单一方式
Spark Execution是Spark计算框架中的一个重要概念。它是指在Spark应用程序中，驱动程序和执行器之间访问文件内容的一种方式。
在Spark中，驱动程序负责编写应用程序的逻辑并将其提交给集群进行执行，而执行器则在集群上运行并执行具体的任务。Spark Execution提供了一种机制，使驱动程序能够将文件内容发送给执行器进行处理。
Spark Execution的工作流程如下：
- 驱动程序读取文件：驱动程序从本地文件系统或分布式文件系统（如HDFS）中读取文件内容。
- 文件分片：Spark将文件内容分成多个较小的数据块，称为分片。每个分片都包含了文件的一部分数据。
- 任务分发：驱动程序将任务分发给执行器，每个任务处理一个或多个分片。
- 分片处理：执行器接收任务并处理分配给它的分片。它读取分片的数据，执行计算操作，并生成结果。
- 结果返回：执行器将处理结果返回给驱动程序。
通过Spark Execution，驱动程序可以将文件内容分发给执行器并进行并行处理，从而实现了大规模数据处理的能力。
对于Spark Execution的应用场景，一些常见的例子包括：
- 批处理：对大规模数据集进行批处理，如数据清洗、转换、聚合等操作。
- 迭代算法：运行需要多次迭代的算法，如机器学习的迭代训练过程。
- 流处理：实时处理数据流，如日志分析、实时推荐等。
腾讯云提供了一系列与Spark Execution相关的产品，包括腾讯云数据分析服务（Tencent Cloud Data Analysis，简称TDA）和腾讯云弹性MapReduce（EMR）。这些产品提供了灵活的Spark执行环境和资源管理，帮助用户快速构建和运行Spark应用程序。
关于腾讯云数据分析服务（TDA）的介绍和产品链接，可以参考：
- 产品概述：腾讯云数据分析服务（TDA）
- 产品文档：TDA文档
关于腾讯云弹性MapReduce（EMR）的介绍和产品链接，可以参考：
- 产品概述：腾讯云弹性MapReduce（EMR）
- 产品文档：EMR文档
相关·内容
我想要获取一个CSV文件并转换成单个JSON，我已经编写并验证了代码。我有一个54 GB的CSV文件，我想将这个文件转换并导出成单个JSON，我想在Spark中获取这些数据，它将使用SparkSQL collect_set(struct内建函数来设计JSON。我只在一台机器上运行Eclipse中的Spark作业。机器配置有16 GB内存，i5处理器，600 GB硬盘。
现在，当我试图运行spark程序时，它正在抛出java.lang.OutOfMemory和堆大小错误。我试图将spark.sql.shuffle.partitions值2000增加到20000，但由于前面提到的错误，在加载和转换
浏览 1提问于2018-08-16得票数 0
jdk 1.8 scala 2.12.11 spark 3.0.1当我在scala spark中读取配置单元表并写入导出orc文件时
df.write.option("compression", "none").mode(SaveMode.Overwrite).orc(dump_path)
它运行成功
当我想从python pyspark中的句号导出orc文件中读取orc文件时，它正在成功运行。
dfs = spark.read.orc("/Users/muller/Documents/gitcode/personEtl/knowledge_source
浏览 29提问于2021-02-19得票数 1
3回答
我有一个scala对象文件，它在内部查询mysql表，进行连接并将数据写入s3，在本地测试我的代码--运行非常好。但是，当我将其提交到集群时，它会抛出以下错误：
线程"main“中的异常: java.sql.DriverManager.getDriver(DriverManager.java:315) at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$2.apply(JdbcUtils.scala:54) at org.apache.spark.sql.execution.datasources
浏览 6提问于2016-12-14得票数 0
1回答
我试图在eclipse中运行Spark程序，这两个表分别包含4百万条记录。我正在尝试加入并导出到一个JSON文件中。当我运行程序，然后在20分钟后，我得到OutOfMemory错误。
请帮我改正错误。
系统配置： RAM 16 GB和处理器i5
火花康菲
val conf = new SparkConf().setAppName("CustomerInfo")
.setMaster("local[*]")
.set("spark.executor.memory", "6g")
.set(
浏览 0提问于2018-08-10得票数 0
1回答
我正在编写一个自定义火花结构化流宿写事件从Kafka读取到谷歌BQ(大查询)。下面是我写的代码。
代码正在成功编译和运行。但是我的Sink总是只在一个执行器中运行(总是在驱动程序运行的地方)。我不明白这里的问题。
下面是我的自定义Big Query Sink的实现。
package bq
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.execution.streaming.Sink
import org.apache.spark.sql.sources.{DataSourceRegister, Strea
浏览 6提问于2021-02-28得票数 0
回答已采纳
我正在尝试执行下面的火花流示例代码。
我正在一个AWS EMR集群上运行它，它的版本为SparkVersion2.0.2。下面的依赖项被添加到星火提交中。
spark-sql-kafka-0-10_2.11-2.0.2.jar
spark-streaming-kafka-0-8-assembly_2.11-2.0.2.jar
kafka-clients-0.10.2.0.jar
下面是错误日志：
Batch: 0
-------------------------------------------
17/06/06 19:44:01 WARN TaskSetManager
浏览 2提问于2017-06-06得票数 0
回答已采纳
我们在AWS EMR上运行spark 2.3.0。以下DataFrame "df“是非空的，大小适中：
scala> df.count
res0: Long = 4067
下面的代码可以很好地将df编写到hdfs
scala> val hdf = spark.read.parquet("/tmp/topVendors")
hdf: org.apache.spark.sql.DataFrame = [displayName: string, cnt: bigint]
scala> hdf.count
res4: Long = 4067
但是，使用
浏览 0提问于2018-07-30得票数 18
回答已采纳
1回答
我搜索了这类错误，却找不到任何关于如何解决它的信息。这就是我在执行以下两个脚本时得到的结果：
org.apache.arrow.memory.OutOfMemoryException: Failure while allocating memory.
write.py
import pandas as pd
from pyspark.sql import SparkSession
from os.path import abspath
warehouse_location = abspath('spark-warehouse')
booksPD = pd.read_csv(
浏览 3提问于2019-08-20得票数 1
我的问题与Scala非常相似，只是我使用的是this。 对于下面的代码： roleList = res.select($"results", explode($"results").as("results_flat1"))
.select("results_flat1.*")
.select(explode($"rows").as("rows"))
浏览 38提问于2019-12-11得票数 0
回答已采纳
我正在使用Spark 2.2.0进行数据处理。我正在使用Dataframe.join将两个数据帧连接在一起，但是我遇到了这个堆栈跟踪：
18/03/29 11:27:06 INFO YarnAllocator: Driver requested a total number of 0 executor(s).
18/03/29 11:27:09 ERROR FileFormatWriter: Aborting job null.
org.apache.spark.SparkException: Exception thrown in awaitResult:
at org.apa
浏览 4提问于2018-03-30得票数 2
使用Pyspark时，当尝试将大量json文件从S3加载到dataframe时，会出现一个错误。错误似乎取决于我的火花会话使用的驱动程序内存。错误消息是"java.lang.OutOfMemoryError: GC开销超过限制“。我花了大量的时间在网上做研究，但是我没有找到任何能指出这个错误的确切原因的东西。请在下面找到完整的错误信息和代码。
我希望能在这方面提供任何帮助！
驱动环境
我在jupyterlab中运行的jupyter笔记本中使用了pyspark，它本身运行在一个拥有30 on可用内存的EC2实例上。
Sparksession资源
spark.executor.memory
浏览 1提问于2020-04-13得票数 0
我使用的是CDH5.7.0和PySpark。当我运行RDD.count()这样的操作时，它会显示错误:找不到com.mysql.jdbc.Driver类的已注册驱动程序
以下是步骤
吡火花-驱动-类-路径/usr/share/java/mysql-连接器-java.jar(/usr/share/java/mysql-连接器-java.jar在每个节点上)
>>>url ="jdbc:mysql://host/spark?user=root&password=test"
>>> stock_data=sqlContext.read.fo
浏览 4提问于2016-05-19得票数 2
回答已采纳
2回答
在运行我的Scala作业时，我遇到了一个"OutOfMemoryError: Requested数组大小超过VM限制“的错误。
我在AWS EMR集群上运行此作业，其组成如下：
主内存:1m4.4xLarge32 vCore，64 GiB内存
核心:1 r3.4×32 vCore，122个GiB内存
在EMR发布标签5.11.0上，我使用的Spark版本是2.2.1。
我在火花外壳中运行我的工作，配置如下：
spark-shell --conf spark.driver.memory=40G
--conf spark.driver.maxResultSize=25G
--c
浏览 0提问于2018-03-30得票数 0
我有一个很大的DynamicFrame在一个AWS胶ETL作业。当试图将这些数据输出到S3时，由于任务太大，它失败了。
错误：
由:org.apache.spark.SparkException引起:由于阶段失败而中止作业: 3225个任务(1024.0 MB)的序列化结果的总大小大于spark.driver.maxResultSize (1024.0 MB)
我相信一个很好的解决方案将是按日期分离我的DynamicFrame，并循环从每个日期循环数据并以较小的块输出它。也许是这样的：
for eventDateParam in mapped_datasource0_general.e
浏览 1提问于2018-06-15得票数 0
我正在使用Google Cloud Dataproc做spark工作，我的编辑器是Zepplin。我正在尝试将json数据写入gcp存储桶。当我尝试10MB文件时，它成功了。但由于文件为10 But而失败。我的dataproc有一个主服务器，4CPU，26 My内存，500 My磁盘。5个具有相同配置的工作进程。我猜它应该能够处理10 it的数据。
我的命令是toDatabase.repartition(10).write.json("gs://mypath")
错误是
org.apache.spark.SparkException: Job aborted.
at org
浏览 4提问于2019-04-08得票数 11
回答已采纳
1回答
我使用flintrock 0.9.0和spark 2.2.0在EC2上启动集群。代码是用pyspark编写的，我已经做了很长一段时间了，并运行了几个成功的作业。在过去的两天里，我遇到了一个问题，当我在某些实例上启动一个集群时，我没有得到任何内核。我在c1.medium上观察到了这种行为，现在在r3.xlarge上，获取spark和spark context objects的代码是这样的
conf = SparkConf().setAppName('the_final_join')\
.setMaster(master)\
浏览 0提问于2018-04-09得票数 0
回答已采纳
从一个jupyter笔记本，我正在创建一个火花上下文，部署火花的库伯内特斯。一段时间以来，这件事一直运转良好。我现在正在尝试配置星火上下文，以便驱动程序和执行器将nfs共享挂载到本地目录。注意，我试图挂载的nfs共享已经使用了一段时间，既通过我的k8集群，也通过其他方式。
根据和，我应该能够修改我的火花conf的选项，然后传递给kubernetes。
在本例中，我的set设置为：
sparkConf.set(f"spark.kubernetes.driver.volumes.nfs.myshare.mount.readOnly", "false")
sparkC
浏览 29提问于2022-07-11得票数 0
我将大约4 4GB的数据从拼图文件加载到Spark DF中。加载需要几百毫秒。然后，我将DF注册为一个表，以执行SQL查询。sparkDF = sqlContext.read.parquet("<path>/*.parquet") sparkDF.registerTempTable("sparkDF") 其中一个是select列表中有60列的选择性查询，它给出了内存不足异常。 spark.sql("select <60 columns list> from sessions where endtime >= '20
浏览 17提问于2019-09-19得票数 0
回答已采纳
我想知道如何将OJAI连接从火花驱动程序传递到它的执行者。这是我的密码：
val connection = DriverManager.getConnection("ojai:mapr:")
val store = connection.getStore("/tables/table1")
val someStream = messagesDStream.mapPartitions {
iterator => {
val list = iterator
.map(record => record.value())
.toLis
浏览 1提问于2021-09-24得票数 0
回答已采纳
在探索Spark累加器时，我试图理解和展示Spark中累加器和常规变量之间的区别。但产出似乎与我的预期不符。我的意思是，累加器和计数器在程序结束时具有相同的值，并且能够在转换函数中读取累加器(根据文档，只有驱动程序可以读取累加器)。我做错了什么吗？我的理解正确吗？ object Accmulators extends App {
val spark = SparkSession.builder().appName("Accmulators").master("local[3]").getOrCreate()
val cntAccum = spark
浏览 33提问于2019-05-09得票数 0
1回答
我正在使用TimesTen数据库和Spark2.3.0
我需要参考火花提交命令中的.so文件，以便连接到Timesten db。
在spark-submit中有相同的选项吗？
我尝试在--conf spark.executor.extraLibraryPath中添加这样的文件，但是它仍然不能解决错误。
我得到的错误是：
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 135 in stage 8.0 failed 4 times,
浏览 6提问于2018-09-27得票数 2
回答已采纳
我有一个关于火花执行的问题。
我们都知道，每个spark应用程序(或驱动程序)可能包含一个或多个动作。
我的问题是哪一个是正确的-一个作业集合对应于一个动作，还是每个作业对应一个动作。这里的job是指可以在Spark execution UI中看到的作业。
我认为后者是正确的(每个作业对应一个操作)。请验证
谢谢。
浏览 1提问于2019-10-30得票数 1
2回答
我想知道在下面的场景中，数据是如何加载到spark中的：
有10 GB的交易数据存储在S3中的拼花格式，我将运行一个星火程序，以分类每一个记录在10 GB的parquet文件(例如收入，购物，晚餐)。
我有以下问题：
如何将这10 GB分配给星团中的不同工作人员？如果所有这些都发生在内存中，那么10 GB的文件是否加载到Spark中，然后将数据拆分并发送给执行程序？？如果其中一个执行器在作业运行期间崩溃，主程序会再次从S3加载10 GB文件并提取假定由崩溃的执行器处理的数据子集并发送给另一个执行器吗？
浏览 7提问于2021-02-16得票数 1
回答已采纳
我正在通过pyspark启动一个spark实例。我使用的系统是EC2上的r3.8x，内存为244gb，vCPU为32。我使用的代码是
#Import Packages
import os
import sys
import pandas as pd
import numpy as np
import glob
import shutil
#Initialize Spark Environment
spark_path = "C:\spark"
os.environ['SPARK_HOME'] = spark_path
os.environ['HADOO
浏览 1提问于2017-07-24得票数 1
我有火花作业运行在亚恩。这几天我要搬到库伯奈特斯的斯派克。
在Kubernetes上，我有一个问题:通过--files上传的文件不能被火花驱动程序读取。
在Yarn上，如许多答案所述，我可以使用Source.fromFile(filename)读取这些文件。
但我看不懂库伯奈特斯的斯派克文件。
火花版本: 3.0.1
Scala版本: 2.12.6
部署模式:集群
提交命令$火花-提交--类\-名称=\-主=K8s://\.-部署-模式=集群\-文件app.conf \-conf app.conf\ app.jar
执行上述命令后，app.conf被上传到hdfs://
浏览 0提问于2020-12-18得票数 3
2回答
与JDBC结合使用
、、、、
我在做什么？
我希望使用Flask构建一个API服务，从一个数据库中提取数据，进行一些数据分析，然后将新数据加载到一个单独的DB中。
怎么了？
如果我单独运行Spark，我可以访问数据库，执行分析并加载到db。但是，在Flask应用程序(api路由)中使用它们时，相同的函数不能工作。
我怎么做的？
首先，我启动了火花大师和工人。我可以看到，我有一个工人在localhost:8080下的主人。
export JAVA_HOME=$(/usr/libexec/java_home -v 1.8)
../sbin/start-master.sh
../sbin/start-slave.sh spar
浏览 2提问于2019-01-16得票数 2
回答已采纳
我有一个Spark应用程序，我试图将其打包成一个胖jar，并使用spark-submit部署到本地集群。我正在使用Typesafe配置为各种部署环境( local.conf、staging.conf和production.conf )创建配置文件，并试图提交jar。
我正在运行的命令如下：
/opt/spark-3.0.1-bin-hadoop2.7/bin/spark-submit \
--master spark://127.0.0.1:7077 \
--files ../files/local.conf \
--driver-java-options '-Dconfig.file
浏览 12提问于2020-11-16得票数 0
回答已采纳
sparkContext和sparkConf的用途是什么？寻找细节上的差异。
超过下面的定义：
Spark Context是任何spark应用程序的入口点，用于访问所有spark特性，并且需要一个包含所有集群配置和参数的sparkConf来创建Spark Context对象。
浏览 0提问于2020-05-02得票数 0
我是个新手，目前在Hadoop2.6.5安装程序上作为t3.xlarge (16 as mem)上的一个节点运行spark 2.1.2。一直在增加spark.executor.memory -> 12g，spark.driver.maxResultSize -> 12g，spark.driver.memory -> 6g，但却一再获得GC开销限制，有什么问题和建议吗？
辅助qns:在此单节点设置中，是否更好地将更多mem分配给执行程序或驱动程序？
Traceback (most recent call last):
File "/usr/local/lib/pyt
浏览 10提问于2021-11-22得票数 1
2回答
我正试图在火花壳中执行这段代码：
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
sqlContext.sql("show tables")
执行第二行之后，我将得到一个异常：
org.apache.hadoop.hive.ql.Driver.getResults(Ljava/util/ArrayList；：java.lang.NoSuchMethodError在org.apache.spark.sql.hive.HiveContext.runHive(HiveContext.scala:305)，
浏览 3提问于2015-01-07得票数 0
回答已采纳
我有HDFS目录，里面有13.2 GB和4个文件。我试图在spark中使用wholeTextFile方法读取所有文件，但我有一些问题
这是我的密码。
val path = "/tmp/cnt/warehouse/"
val whole = sc.wholeTextFiles("path",32)
val data = whole.map(r => (r._1,r._2.split("\r\n")))
val x = file.flatMap(r => r._1)
x.take(1000).foreach(println)
下面是火花提
浏览 0提问于2019-06-18得票数 4
1回答
我正在尝试在eclipse中构建一个基于scala的jar文件，它使用log4j来制作日志。它在控制台中打印得很好，但当我尝试使用log4j.properties文件将其写入日志文件时，什么也没有发生。
项目结构如下
loggerTest.scala
package scala.n*****.n****
import org.apache.log4j.Logger
object loggerTest extends LogHelper {
def main(args : Array[String]){
log.info("This is info");
浏览 5提问于2016-10-15得票数 5
回答已采纳
1回答
当我提交这个命令时，我的作业失败了，错误是“容器正在超越物理内存限制运行”。
spark-submit --master yarn --deploy-mode cluster --executor-memory 5G --total-executor-cores 30 --num-executors 15 --conf spark.yarn.executor.memoryOverhead=1000
但是，如果将参数：--driver-memory添加到5GB (或更高)，则作业结束时不会出错。
spark-submit --master yarn --deploy-mode cluster -
浏览 0提问于2018-11-09得票数 2
回答已采纳
1回答
我需要将数据集数据划分为6列: region/year/month/day/id/quadkey，其中在顶层我只有二进制区域状态，而在最底层实际上是它进入许多分区的位置。假设我们有两个区域/通常是一年/通常是一个月/3-4天/100-150个I/ 50-200个四键，当我执行这个操作时，我得到了非常不平衡的随机操作，有时执行器会因为超出内存限制而失败。此外，我从History UI中注意到，hat阶段的一些任务非常大(约15 1Gb)，而其他任务则小得多(约1 1Gb)。
我试着去玩
sqlContext.setConf("spark.sql.shuffle.partitions
浏览 0提问于2019-04-11得票数 1
当作为火花引擎执行蜂巢查询时，我得到了下面的错误。
Error:
Failed to execute spark task, with exception org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
Hive Console:
hive> set hive.
浏览 2提问于2016-08-01得票数 3
1回答
我是星火和HBase的新手。我正在处理HBase表的备份。这些备份位于S3桶中。我是通过spark(scala)这样使用newAPIHadoopFile来阅读它们的：
conf.set("io.serializations", "org.apache.hadoop.io.serializer.WritableSerialization,org.apache.hadoop.hbase.mapreduce.ResultSerialization")
val data = sc.newAPIHadoopFile(path,classOf[SequenceFileInp
浏览 3提问于2017-06-26得票数 0
回答已采纳
1回答
2.1.1.2.6.2.0-205
齐柏林飞艇素 0.7.3
server-A说，我正在某台机器上运行一段代码。代码完成得很好。
当我通过Zeppelin (连接到同一台机器)运行相同的代码时，当它到达这一行时(它是python)：
df.coalesce(1).write.csv(remote_path, header=True)
我得到以下错误：
An error occurred while calling o55.csv.
: org.apache.spark.SparkException: Job aborted.
at org.apache.spark.sql.execution
浏览 1提问于2018-02-22得票数 1
1回答
我有一个spark程序，需要传递一个配置文件作为主方法的参数。当前，当我以纱线集群模式提交作业时，我需要将配置文件放在所有的工作节点中，以便程序能够找到它。但是，我想把它放到HDFS路径中，但是会得到文件未找到的错误。下面是我使用的命令：
spark-submit --master yarn\
--name StreamingApp \
--deploy-mode cluster \
--class com.test.streaming.App \
--driver-java-options "-Djava.security.auth.login=/home/spark/auth.co
浏览 1提问于2021-12-28得票数 0
我尝试编写一个自定义代码来比较源模式(SAS)和目标模式(Hive)的数据类型。在SAS中，我们有不同的数据类型。例如，对于日期时间，数据类型定义为Num，格式定义为DateTime20. (例如)。在蜂巢中，这种数据类型相当于Timestamp。
因此，我的源模式文件如下所示：
source.csv文件
S_No,Variable,Type,Len,Format,Informat
6,EMP_HOURS,Num,8,15.2,15.1
4,EMP_NAME,Char,50,,
1,DATETIME,Num,8,DATETIME20.,DATETIME20.
5,HEADER_ROW_COUN
浏览 4提问于2018-01-04得票数 0
4回答
可以从查询执行期间抛出的异常自动恢复吗？
上下文:我正在开发一个应用程序，该应用程序可以读取卡夫卡主题中的数据，处理数据并输出到S3。但是，在生产运行几天之后，spark应用程序将面临来自S3的一些网络问题，这会导致抛出一个异常并停止应用程序。还值得一提的是，该应用程序使用在Kubernetes上运行。
根据我到目前为止所看到的，这些异常很小，应用程序的简单重新启动就解决了这个问题。我们能处理这些异常并自动重新启动结构化流查询吗？
这里有一个抛出异常的例子：
Exception in thread "main" org.apache.spark.sql.streamin
浏览 4提问于2020-05-07得票数 5
回答已采纳
我使用Spark 3.0.1和Python 3.6.8作为独立应用程序通过spark-submit运行脚本：
spark-submit [spark-confs] pyspark-script.py --args1 val1 --args2 val2
而且脚本运行得很好。但是，当我在脚本中引入args1时，我可以使用argparse获得args2和UDF：
my_udf = udf(lambda x: my_func(x))
df = df.withColumn(cat, my_udf(cat))
我得到以下错误：
pyspark.sql.utils.PythonExceptio
浏览 0提问于2021-03-09得票数 1
1回答
通过运行我的scala-spark应用程序，我得到了以下异常： 19/02/22 11:27:48 WARN TaskSetManager: Lost task 0.0 in stage 3.0 (TID 3, localhost): java.lang.OutOfMemoryError: Java heap space
at parquet.column.values.dictionary.IntList.initSlab(IntList.java:90)
at parquet.column.values.dictionary.IntList.<init>(IntList.ja
浏览 30提问于2019-02-23得票数 0
我目前在IntelliJ，DataFrameSuiteBase和SharedSparkContext下使用Spark的单元测试。
我是在Windows下运行的，只要Spark操作不使用org.apache.spark.sql.expressions.Window对象，一切都很完美。
例如：
val accu = anosGroupees.select($"col1", $"avg(col2)",
sum($"avg(col2)").over(Window.orderBy("col3").rowsBetween(Long.MinVa
浏览 4提问于2016-03-22得票数 2
我正在使用Apache Spark运行机器学习算法和其他大数据任务。以前，我使用spark集群独立模式，在同一台机器上运行spark master和worker。现在，我添加了多台worker机器，由于严格的防火墙，我必须编辑worker的随机端口。有没有人可以帮助我如何更改随机spark端口，并告诉我需要编辑的确切配置文件？我读了spark文档，它说应该配置spark-defaults.conf，但我不知道如何配置这个文件，特别是更改spark的随机端口。
浏览 10提问于2015-01-01得票数 15
我需要在spark中对一些事情计时，比如spark读取我的文件需要多长时间，所以我喜欢使用<code>D0</code>来将额外的信息打印到屏幕上，我发现有一件事非常有用，那就是当像这样的消息打印<code>D1</code>时，因为它会告诉我一些事情花了多长时间。
有没有办法以编程的方式(最好是在scala中)实现这一点？现在，我只是复制这个结果，并将其保存在一个文本文件中。
浏览 23提问于2018-12-18得票数 0
2回答
我使用以下命令运行存储在AWS EMR集群的主节点上(一个主服务器和两个从服务器，每个具有8GB RAM和4个核的)的pyspark代码-
spark-submit --master yarn --deploy-mode cluster --jars /home/hadoop/mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar --driver-class-path /home/hadoop/mysql-connector-java-5.1.45/mysql-connector-java-5.1.45.jar --co
浏览 7提问于2020-07-06得票数 1
1回答
我是spark的新手。我有一个10节点的Hadoop集群，只有一个边缘节点。我正在从边缘节点提交spark应用程序，并将spark-submit命令输出重定向到边缘节点上的本地文件。 因此，当spark应用程序失败时，我可以检查边缘节点日志文件并采取行动。 当我读到yarn应用程序日志时，据说运行该应用程序的节点管理器将登录到某个位置(yarn n.nodumager.log-dir)。 这个nodemanager日志和边缘节点日志有什么不同。有人能详细解释一下yarn应用程序日志吗？
浏览 39提问于2021-08-25得票数 0
我使用python pyspark在本地模式下运行spark集群。其中一个spark配置选项设置为："spark.executor.cores": "8" "spark.cores.max": "8" 设置完所有选项后： SparkSession.builder.config(conf=spark_configuration) 我构建了spark上下文：SparkSession.builder.master("local[*]").appName(application_name).getOrCreate() 我
浏览 51提问于2021-08-12得票数 0
在用Twitter工具加载了一个jar之后，我在shell中做一些测试。下面是一个工作的代码序列：
// launch:
// spark-shell --driver-memory 1g --master local[3] --jars target/scala-2.10/tweetProcessing-1.0.jar
import org.apache.spark._
import org.apache.spark.rdd._
import org.apache.spark.SparkConf
import org.apache.spark.streaming._
import org.
浏览 0提问于2016-05-27得票数 0
我是在客户端模式下在纱线上运行Spark，所以我希望纱线只为执行者分配容器。然而，据我所见，似乎也为驱动程序分配了一个容器，而且我没有像我所期望的那样得到更多的执行者。
我正在主节点上运行火花提交。参数如下：
sudo spark-submit --class ... \
--conf spark.master=yarn \
--conf spark.submit.deployMode=client \
--conf spark.yarn.am.cores=2 \
--conf spark.yarn.am.memory=8G \
--conf spar
浏览 1提问于2018-07-29得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
