本机文件系统上的Spark行为
是指在本地计算机的文件系统上运行Spark的操作和行为。Spark是一个快速、通用的大数据处理框架，可以在分布式环境中进行数据处理和分析。
在本机文件系统上的Spark行为可以包括以下几个方面：
- 数据读取：Spark可以从本机文件系统中读取数据，支持多种文件格式，如文本文件、CSV文件、JSON文件等。通过Spark的API，可以方便地加载和处理这些数据。
- 数据转换和处理：Spark提供了丰富的转换和处理操作，可以对从本机文件系统中读取的数据进行各种转换和处理，如过滤、映射、聚合等。这些操作可以帮助用户对数据进行清洗、转换和分析。
- 数据存储：Spark可以将处理后的数据存储回本机文件系统，以便后续使用。用户可以选择合适的文件格式和存储方式，如文本文件、Parquet文件、Hive表等。
- 分布式计算：尽管Spark可以在本机文件系统上运行，但它的真正优势在于分布式计算。Spark可以将数据分布在多台计算机上进行并行计算，提高数据处理的速度和效率。
- 应用场景：本机文件系统上的Spark行为适用于各种大数据处理场景，如数据清洗、数据分析、机器学习等。通过Spark的强大功能和分布式计算能力，可以处理大规模的数据集并提取有价值的信息。
推荐的腾讯云相关产品：腾讯云的云服务器（CVM）和弹性MapReduce（EMR）是适合运行Spark的产品。云服务器提供了灵活的计算资源，可以用来搭建Spark集群；弹性MapReduce是一种大数据处理服务，可以方便地运行Spark作业。
腾讯云云服务器（CVM）产品介绍链接：https://cloud.tencent.com/product/cvm 腾讯云弹性MapReduce（EMR）产品介绍链接：https://cloud.tencent.com/product/emr
相关·内容
1回答
我已经完成了所有依赖项的线程，以便将运行在aws上的火花连接到s3桶上，但是我的问题似乎略有不同。在我看到的所有其他讨论中，s3和s3a协议具有相同的依赖关系。不知道为什么其中一个在为我工作而另一个却不在。目前，在本地模式下运行spark，s3a做得很好，但我的理解是，在EMR上运行s3是支持的(因为它依赖HDFS块存储)。要让s3协议发挥作用，我缺少什么？
spark.read.format("csv").load("s3a://mybucket/testfile.csv").show()
//this works, displays the df
对比
sp
浏览 5提问于2019-10-14得票数 2
回答已采纳
我正在尝试使用流式数据帧将文件(csv.gz格式)转换为拼图。我必须使用流式数据帧，因为压缩文件的大小约为700 MB。作业使用AWS EMR上的自定义jar运行。源、目的地和检查点位置都在AWS S3上。但是，一旦我试图写到检查点，作业就会失败，并出现以下错误：
java.lang.IllegalArgumentException:
Wrong FS: s3://my-bucket-name/transformData/checkpoints/sourceName/fileType/metadata,
expected: hdfs://ip-<ip_address>.us-we
浏览 1提问于2018-03-15得票数 0
回答已采纳
1回答
我正在使用pyspark测试脚本来读取和写入S3文件。下面是我如何初始化星火会话：
import findspark
from pyspark.sql import SparkSession
findspark.init()
spark = SparkSession \
.builder \
.config("spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem") \
.config("fs.s3a.fast.upl
浏览 8提问于2022-02-22得票数 0
我们在AWS EMR上运行spark 2.3.0。以下DataFrame "df“是非空的，大小适中：
scala> df.count
res0: Long = 4067
下面的代码可以很好地将df编写到hdfs
scala> val hdf = spark.read.parquet("/tmp/topVendors")
hdf: org.apache.spark.sql.DataFrame = [displayName: string, cnt: bigint]
scala> hdf.count
res4: Long = 4067
但是，使用
浏览 0提问于2018-07-30得票数 18
回答已采纳
2回答
我从hive表/视图中选择数据，但是spark-shell或beeline没有提取字符编码，但是如果我从Ambari(直接throguh Hive)选择相同的数据，但是出于安全原因，从命令行Hive被禁用。请参考以下数据： Ambari Data:
•Construction Maintenance
• 524 N. Martin Luther King Jr.
‘SS-MN-BAE – Other’
¿NPM¿ GOVT/GS SCD US ARM
¿MCCRAY,LORENZO
beeline data:
?Construction Mai...
? 524 N. Martin L
浏览 19提问于2019-01-11得票数 0
回答已采纳
我正在尝试在Spark上执行一个程序。我有一个包含一个主节点和两个从节点的集群。我在执行过程中收到以下错误。
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 3 in stage 4.0 failed 4 times, most recent failure: Lost task 3.3 in stage 4.0 (TID 44, hadoopslave3): java.lang.RuntimeException: java.io
浏览 23提问于2017-02-01得票数 1
Delta Lake在哪里存储表元数据信息。我在我的独立机器上使用的是spark 2.6(不是Databricks)。我的假设是，如果我重启spark，在delta中创建的表将被删除(尝试使用Jupyter notebook)。但事实并非如此。
浏览 31提问于2020-07-21得票数 1
回答已采纳
1回答
为什么Apache任务会失败？我认为，由于DAG，即使没有缓存任务也是可以重新计算的？我实际上是在缓存，我要么得到一个filenotfoundexception，要么得到以下内容：
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 9238.0 failed 4 times, most recent failure: Lost task 0.3 in stage 9238.0 (TID 17337, ip-XX
浏览 3提问于2015-04-20得票数 1
回答已采纳
2回答
火花2.2
我有一个spark作业，它从HDFS读取压缩数据，应用ETL逻辑，并将输出写回HDFS。但是，当我在spark UI中看到任务级数据时，一些任务的Input Records / Size标记为0.0B/6 (即0.0B/N，其中N< 100)。此外，阶段中具有XX MB等输入的所有其他任务都会在某个时间成功完成，但以0.0B作为输入的任务将永远运行，从而使spark作业永远运行。
我知道数据偏差可能会使一个分区比其他分区大得多，从而导致任务落后。然而，我看到了相反的行为-输入为100MB/500MB的任务正在完成，而输入为0.0B的任务被挂起。
你见过这样的行为吗？我应该如何
浏览 1提问于2019-07-30得票数 0
我很好奇！据我所知，HDFS需要datanode进程才能运行，这就是它只能在服务器上运行的原因。Spark可以在本地运行，但需要winutils.exe，这是Hadoop的一个组件。但是它到底是做什么的呢？为什么我不能在Windows上运行Hadoop，但我可以运行基于Hadoop构建的Spark？
浏览 4提问于2016-07-07得票数 13
回答已采纳
我对spark来说还是个新手。我正在Windows7操作系统上安装spark。对于像unix中的sbt/sbt assembly这样的命令，在cmd中，我必须将bat文件放在spark的主目录中，并编写sbt assembly。/bin/spark-shell也是如此。我必须做cd箱，然后火花壳。但是，spark主目录中的文件不能像unix中那样直接访问。
我知道这个问题更倾向于cmd命令的用法，而不是Apache spark。但这是正在进行中的问题之一。正在等待快速回复！
谢谢。
浏览 2提问于2014-05-11得票数 0
我正尝试在Amazon EKS集群上运行我的spark作业。我的spark作业在每个数据节点/工作者/执行器都需要一些静态数据(参考数据)，这些参考数据可以在S3上找到。
有没有人能帮我找出一个干净高效的解决方案，将S3桶安装在豆荚上？
S3 API是一个选项，我正在将它用于我的输入记录和输出结果。但是"Reference data“是静态数据，所以我不想在每次运行/执行spark作业时都下载它。在第一次运行时，作业将下载数据，随后的作业将检查数据是否已在本地可用，并且不需要再次下载。
浏览 27提问于2018-08-03得票数 15
我有一组JAR，我想要提供给我的Spark作业，存储在HDFS上。
Spark2.3的文档中说spark.jars就是这样的参数：
spark.jars: Comma-separated list of jars to include on the driver and executor classpaths. Globs are allowed.
但是，将spark.jars设置为hdfs:///path/to/my/libs/*.jar失败:驱动程序启动正常，启动一个阶段，但随后任务终止，并显示：
WARN TaskSetManager: Lost task 0.0 in stage 0.
浏览 0提问于2018-05-08得票数 9
2回答
是否有可以运行的JSP脚本指向要打印到Windows默认打印机的本地文件系统上的JPEG文件？谢谢。
编辑:我的服务器上已经有这个文件了。如何将文件加载到浏览器中以运行window.print()？谢谢
浏览 2提问于2008-10-15得票数 0
回答已采纳
1回答
因此，我正在读取一个目录，其中满是csv文件，这些文件按日期顺序排列，使用readStream()和maxFilesPerTrigger=1，在上，它从最早的 2010-12-01.csv文件开始，然后按顺序进行处理。我将行附加到控制台并指定水印。=> 2010-02.csv => 2010-03.csv.
(Windows)
streaming = spark.readStream.format("csv").schema(staticSchema)\
.option("maxFilesPerTrigger", 1)\
.l
浏览 2提问于2021-03-30得票数 0
回答已采纳
我是Spark和Python的新手，我正在尝试启动Python脚本(通过bash run.sh命令)。
当我在本地模式下运行它时，一切都很好。当我尝试在集群(没有hadoop的spark 2.1.2 )中运行它时，我收到了同样的错误。
我希望这些信息足够了。
我应该怎么做才能让脚本在yarn中运行？
from pyspark import SparkContext, SparkConf
import sys
import collections
import os
from subprocess import call, Popen
import numpy
import re
import
浏览 1提问于2017-11-30得票数 2
我试图以独立模式(MacOSX)启动火花流，并获得以下错误：
线程"main“中的异常( org.apache.spark.storage.DiskBlockManager.addShutdownHook(DiskBlockManager.scala:147) at org.apache.spark.storage.DiskBlockManager.(DiskBlockManager.scala:54) at org.apache.spark.storage.BlockManager.(BlockManager.scala:75) at org.apache.spark.storag
浏览 5提问于2015-12-26得票数 0
Cray建议使用环回设备在具有Lustre文件系统的HPC群集上运行Spark 1。问题是大多数HPC群集不为其用户提供对环回设备的访问。所以我想知道是否有一个库在Lustre上只打开一个巨大的文件，让我们把这个巨大的文件当作一个文件系统，然后我们就可以利用对那个文件的并行文件访问了。 通过这种方式，我们可以拥有并行IO，同时拥有适当的分区和每个分区一个文件。搜索没有给我任何东西。 1
浏览 10提问于2019-04-02得票数 0
我有一个星星团通过码头集装箱运行。到目前为止，如果我在容器中运行任何星火命令，那么它就可以正常工作。
问题是，我希望从外部容器，从主机运行一个吡火花应用程序，并且能够调试我的应用程序。
我使用的撰写文件如下：
version: '3'
services:
spark-master:
image: bde2020/spark-master:3.1.1-hadoop3.2
container_name: spark-master
ports:
- "8080:8080"
- "7077:7077"
浏览 3提问于2021-04-12得票数 0
1回答
我有使用LinearRegression的机器学习模型。我有5 vm的星系团。在对模型进行培训之后，我想保存模型，以便以后只需将其加载到内存中即可使用。
我试过用
model.save("/tmp/model.pkl").
这样保存时，它在集群的所有节点中创建名为model.pkl的目录，该目录的文件为data/, metadata/, _SUCCESS, ._SUCCESS.crc, _temporary, .. and some more。
有没有一种方法可以将模型保存为像model.pkl这样的单个文件？
此外，当我使用新的可用数据对模型进行重新培训时，我使用model.
浏览 4提问于2017-10-03得票数 2
我正在做一些关于ZFS的研究，如果它可以用作分布式处理框架的一个组件。我试图回答的主要问题是-如果数据驻留在zfs中，Apache Spark是否会以高效、分布式的方式运行？
即。HDFS上的Spark有数据局部性的概念，ZFS也可以这样说吗？
浏览 8提问于2018-01-26得票数 1
回答已采纳
2回答
在编写dataframe时，pyspark创建目录，创建临时目录，但不创建文件。csv & parquet格式返回类似的错误。它失败了，因为：
```Py4JJavaError: An error occurred while calling o99.save: org.apache.spark.SparkException: Job aborted.
at org.apache.spark.sql.errors.QueryExecutionErrors$.jobAbortedError(QueryExecutionErrors.scala:496)
at org.apache.spa
浏览 21提问于2022-01-04得票数 0
回答已采纳
我已经将一个可执行文件放入HDFS。我想在每个Spark worker上阅读它，以便通过它运行RDD的输出。有没有办法做到这一点？这类似于sc.addFile("program")。不幸的是，sc.addFile不能工作，因为下面这行代码：
JavaRDD<String> output = data.pipe("Program"):
产生以下异常：
TaskSetManager: Lost task 2.0 in stage 0.0 (TID 3, compute14.dev):
java.io.IOException: Cannot run pr
浏览 0提问于2015-02-24得票数 2
1回答
在完成了所有的星火任务之后，我检测到了一个意外的磁盘IO (DISKBUSY尖峰)，但是火花上下文还没有停止--如图2所示，在21:56:47。有人能帮我解释一下，并就如何避免或推迟它提出建议吗？或者火花上下文有一些周期性的异步IO活动可能导致尖峰？谢谢!
给出了在两种情况下运行SparkSQL批处理作业的示例。在第一个示例中，我执行spark，并在.show()操作完成后立即停止sql上下文。在第二种情况下，我在.show()之后使用Thread.sleep(60000)添加1分钟睡眠，然后停止星火上下文。结果表明，在两种情况下执行sql工作负载的时间开销是相似的，但在第二种情况下，在磁盘上
浏览 1提问于2019-03-18得票数 3
回答已采纳
使用spark 3.2和IntelliJ IDEA
是否有一种方法可以在运行后查看火花运行时信息？一旦我在spark-shell上运行操作，就会报告数据，但是我有一个完整的应用程序，我想在那里查看它的统计数据。
有可能这样做吗？
浏览 2提问于2022-03-06得票数 1
1回答
我是的初学者，我已经用SBT (自带的应用程序)创建了一个项目。我在互联网上搜索，我问了很多人，为什么我们用SBT在scala上创建一个独立的应用程序？为什么我们需要独立的应用程序？独立应用程序的兴趣是什么？我得出了这样的结果：-我们用sbt在scala中创建了一个自包含的应用程序，以创建一个项目的树状结构，并且我们可以运行一个完整的程序。-在程序运行过程中，我们创建了一个文件罐。
我这样运行我的程序：
spark-submit --class "name_file" --master local[*] target/scala-2.11/"name_project&#
浏览 5提问于2016-12-06得票数 0
回答已采纳
Windows 10 Pro NetBeans 12.3最新模拟器
如何将file://home转换为Windows绝对路径，如C:/user/mab/cn1
下注
浏览 7提问于2021-12-15得票数 1
我有一个Spark独立集群，它有2个工作节点和1个主节点。
使用spark-shell，我可以从本地文件系统上的文件中读取数据，然后进行一些转换，并将最终的RDD保存到/home/output(比方说) RDD成功保存，但只在一个工作节点上，在主节点上只有_SUCCESS文件。
现在，如果我想从/home/output读取输出数据，我没有得到任何数据，因为它在主节点上获得0数据，然后我假设它不会检查其他工作节点。
如果有人能解释为什么Spark不能从所有的工作节点读取数据，或者Spark用来从工作节点读取数据的机制是什么，那就太好了。
scala> sc.textFile("/h
浏览 19提问于2017-08-17得票数 0
我试图使用spark-sklearn库在星火库集群上执行网格搜索。出于这个原因，我在我的nohup ./spark_python_shell.sh > output.log & shell上运行bash以点燃Spark集群，并且运行我的python脚本(参见下面的spark-submit \ --master yarn 'rforest_grid_search.py')：
SPARK_HOME=/u/users/******/spark-2.3.0 \
Q_CORE_LOC=/u/users/******/****** \
ENV=loca
浏览 2提问于2018-10-25得票数 2
回答已采纳
在我们的项目中，我使用结构化流+ Kafka进行实时数据分析。我用的是火花2.2，卡夫卡0.10.2。
在应用程序启动时，在从检查点恢复流查询时，我面临一个问题。由于有来自单个kafka流点的多个流查询，而且每个流查询都有不同的校验点目录。因此，在作业失败的情况下，当我们重新启动作业时，会有一些流查询无法从检查点位置恢复，从而抛出读取增量文件的错误异常。以下是日志：
Job aborted due to stage failure: Task 2 in stage 13.0 failed 4 times, most recent failure: Lost task 2.3 in stage
浏览 7提问于2017-10-12得票数 5
我用的是Sparkv1.5.2。我用Python编写了一个程序，我不明白为什么它会两次读取输入文件。用Scala编写的同一个程序只读取一次输入文件。
我使用累加器来计算调用map()的次数。从累加器值推断输入文件被读取的次数。
输入文件包含3行文本。
Python：
from pyspark import SparkContext, SQLContext
from pyspark.sql.types import *
def createTuple(record): # used with map()
global map_acc
map_acc += 1
retu
浏览 3提问于2016-11-26得票数 1
回答已采纳
4回答
问题
如何使用sc.textFile将文件从本地文件系统加载到Spark？我需要更改任何-env变量吗？此外，当我在没有安装Hadoop的windows上尝试相同的命令时，我得到了相同的错误。
代码
> val inputFile = sc.textFile("file///C:/Users/swaapnika/Desktop/to do list")
/17 22:28:18 INFO MemoryStore: ensureFreeSpace(63280) called with curMem=0, maxMem=278019440
/17 22:28:18 INFO
浏览 0提问于2015-08-18得票数 5
我已经设法运行了hadoop和spark，就像https://www.linode.com/docs/databases/hadoop/install-configure-run-spark-on-top-of-hadoop-yarn-cluster/中解释的那样。 然而，作为一个初学者，我发现在本地机器上运行简短的例子要容易得多。 例如，对于代码airportsNameAndCityNames.saveAsTextFile("out/airports_by_latitude.text") 看/home/foo/out/airports_by_latitude.text比看h
浏览 23提问于2019-06-12得票数 0
回答已采纳
这篇文章可能看起来有点长，但我提供了所有具体的细节来帮助读者，我正在努力实现什么，以及我已经做了什么，但仍然遇到了问题。
我正在尝试将spark作业从本地运行在windows7机器上的eclipse提交到远程集群，但在寻找集群节点上数据的输入路径时遇到了问题。我按照论坛中的建议配置了sparkContext，如下所示，我将spark.driver.host设置为Windows机的IP地址。
SparkConf sparkConf = new SparkConf().setAppName("Count Lines")
浏览 2提问于2016-02-26得票数 1
我正在尝试使用PySpark执行数据转换。
我有一个带有数据的文本文件(CHANGES.txt)
我能够执行以下命令：
RDDread = sc.textFile("file:///home/test/desktop/CHANGES.txt")
但是当我跑的时候：RDDread.first()
然后我得到了错误：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/srv/spark/python/pyspark/rdd
浏览 0提问于2017-01-04得票数 3
回答已采纳
2回答
在AWS内Cloudera上使用pyspark2 (版本2.0.0.Cloudera 1)
我正在尝试编写从Spark到S3存储的数据，但由于身份验证而失败：
pyspark.sql.utils.IllegalArgumentException:必须通过设置fs.s3n.awsAccessKeyId和fs.s3n.awsSecretAccessKey属性来指定U‘’AWS访问密钥ID和秘密访问密钥。
我的电火花代码是：
utp.coalesce(1).write.format('com.databricks.spark.csv').save('s3n://my_
浏览 6提问于2017-03-14得票数 4
我想将我的数据写入本地文件系统：
path = "/tmp/test"
df = spark.sql(select_str)
df.write.parquet(path, mode="overwrite", compression="snappy")
代码运行时没有出现错误，但是当我查看tmp时，就没有test了，如果我想将它读回parquet中：
parquet = pq.ParquetDataset(path)
我知道错误：
IOError: Passed non-file path: /tmp/test
hdfs://tmp/test也会
浏览 7提问于2017-09-19得票数 1
回答已采纳
我试图用Apache将Parquet数据写入AWS S3目录。我在Windows 10上使用本地机器，没有安装Spark和Hadoop，而是将它们添加为SBT依赖项(Hadoop 3.2.1，Spark2.4.5)。我的SBT如下：
scalaVersion := "2.11.11"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-sql" % "2.4.5",
"org.apache.spark" %% "spark-hadoo
浏览 9提问于2020-05-09得票数 2
回答已采纳
我正在尝试从Spark Structured Streaming中的S3存储桶中读取数据。下面的代码用于获取现有数据。但是，当新数据添加到存储桶中时，Spark不会选择这一点。
val lines = spark.readStream.schema(schemaImp).format("com.databricks.spark.avro").load("s3n://bucket/*")
val query = lines.writeStream.outputMode("append").format("memory").query
浏览 0提问于2016-12-10得票数 3
我对集群计算还很陌生，所以我甚至不确定这是否可能。
我成功地在Rstudio中创建了一个spark_context (使用sparklyr)来连接到我们本地的Spark集群。使用copy_to我可以将数据帧从R上传到Spark，但我正在尝试使用spark_read_csv将本地存储的CSV文件直接上传到Spark集群，而无需先将其导入R环境(这是一个5 5GB的大文件)。它不工作(甚至用file:///)，作为位置前缀，并且它似乎只能上传已经存储在集群中的文件。
如何将本地文件直接上传到spark，而无需先将其加载到R？
任何建议都很感谢。
浏览 21提问于2017-01-25得票数 1
回答已采纳
如果源数据有新列，我将尝试在Hive表中添加一个列。所有对新列的检测都运行良好，但是，当我试图将该列添加到目标表时，将收到以下错误：
for (f <- df.schema.fields) {
if ("[" + f.name + "]"==chk) {
spark.sqlContext.sql("alter table dbo_nwd_orders add columns (" + f.name + " " + f.dataType.typeName.replace("integer",
浏览 2提问于2018-06-08得票数 2
回答已采纳
我正在将csv文本文件从s3加载到spark中，过滤和映射记录，并将结果写入s3。
我尝试过几个输入大小:100 k行、1M行和350万行。前两个成功完成，而后者(3.5M行)挂起一些奇怪的状态，作业阶段监视web应用程序(端口4040中的一个)停止，命令行控制台被卡住，甚至不响应ctrl。Master监控应用程序仍然响应，并将状态显示为FINISHED。
在s3中，我看到一个空目录，其中只有一个零大小的条目_temporary_$folder$。s3 url是使用s3n://协议给出的。
我没有在web控制台的日志中看到任何错误。我还尝试了几个集群大小(1个主+1个工作人员，1个主+5个工作
浏览 2提问于2014-08-10得票数 5
2回答
我一直在使用dataset Movielens (2000万条记录)，并且一直在使用中的Spark。
我的环境是VirtualBox上的Ubuntu14.4。我有一个主节点和两个从节点。我使用了已发布的Apache、Apache、Scala、sbt。代码是用Scala编写的。
如何将代码和数据集分发到工作节点上？
import java.lang.Math._
import org.apache.spark.ml.recommendation.ALS
import org.apache.spark.ml.recommendation.ALS.Rating
import org.ap
浏览 0提问于2019-06-29得票数 1
回答已采纳
1回答
我已经用HDFS设置了一个Spark集群配置，并且我知道在HDFS示例中，Spark将读取默认的文件路径：
/ad-cpc/2014-11-28/ Spark will read in : hdfs://hmaster155:9000/ad-cpc/2014-11-28/
有时，我想知道如何在没有reConfig我的集群(不使用hdfs)的情况下，强制Spark在本地读取文件。
请帮帮我！
浏览 2提问于2014-11-28得票数 4
回答已采纳
在一个独立的应用程序中(在java8上运行，Windows10使用spark-xxx_2.11:2.0.0作为jar依赖项)，下面的代码会给出一个错误：
/* this: */
Dataset<Row> logData = spark_session.createDataFrame(Arrays.asList(
new LabeledPoint(1.0, Vectors.dense(4.9,3,1.4,0.2)),
new LabeledPoint(1.0, Vectors.dense(4.7,3.2,1.3,0.2))
), LabeledPoint.clas
浏览 4提问于2016-08-03得票数 1
回答已采纳
我尝试使用textFile方法从spark-shell中使用WEB，但出现错误。也许这不是正确的方式。所以谁能告诉我如何从火花上下文访问web URL。
我使用的是spark版本1.3.0；Scala版本2.10.4和Java 1.7.0_21
hduser@ubuntu:~$ spark-shell
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Welcome to
__
/ / / /
\ \/ \/ `/
浏览 0提问于2015-04-20得票数 9
回答已采纳
1回答
我是一名皮斯喀斯特新手，最近加入了一个项目，该项目使用了在Pyspark中开发的ETL /ETL管道，该管道从S3 (通过读取DF中的数据)中摄取CSV文件，并对它们进行处理，然后将它们加载到Hive表(暂存层)。该框架接受一个ETL配置文件，该文件包含Spark语句形式的转换(使用临时视图)。然后从暂存表中读取数据并应用这些转换，最后将数据加载到DWH目标中的Hive表中。上述转换被提交给EMR集群运行Spark (2.4)上的纱线。
在这种情况下，S3与HDFS (EMR)有什么关系？我已经向团队中的其他人提出了这个问题，但没有得到完整的了解。
现在，根据我的理解，输入文件以及Hive表的
浏览 3提问于2022-05-03得票数 0
在Spark中，事件日志目录和历史服务器日志目录有什么区别？
spark.eventLog.dir hdfs:///var/log/spark/apps
spark.history.fs.logDirectory hdfs:///var/log/spark/apps
浏览 3提问于2015-08-14得票数 18
1回答
我使用安装在亚马逊EC2实例上的Gremlin控制台连接到Neptune实例，并在上面运行Gremlin查询。
我已经在EC2实例上安装和配置了Anaconda、Python (3.10.4)、木星笔记本(6.4.12)、Java (1.8.0_252)、Scala (2.12.16)、火花和Hadoop (星火-3.3.0-bin-Hadoop 3)。
我还在DB图上安装并激活了spark：
gremlin> :install org.apache.tinkerpop spark-gremlin 3.6.0
gremlin> :q
$ bin/gremlin.sh
浏览 7提问于2022-07-26得票数 1
回答已采纳
我使用的是spark streaming的1.6版本。
几天前，我的spark流媒体应用(上下文)突然关闭。查看日志，其中一个执行器似乎已关闭。(设备实际上已关闭。)
如果发生这种情况，我应该怎么做？(请注意，动态分配选项不可用。)
如果某个executor被关闭，我希望将该作业单独分配给另一个executor。我的应用是在yarn客户端模式下运行的。
## log example, at the time of shutdown.
WARN TransportChannelHandler: Exception in connection from xxxx-hostname/12.34.5
浏览 2提问于2018-02-15得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
