在这些情况下，大文件会发生什么情况？
1) Spark从NameNode获取数据的位置。Spark是否会在同一时间停止，因为根据来自NameNode的信息，数据大小太长？
2) Spark根据datanode块大小对数据进行分区，但不能将所有数据存储到主存中。这里我们不使用StorageLevel。那么这里会发生什么呢？
3) Spark做数据分区，有些数据会存储在主存中，一旦这个主存中的数据被重新处理，spark就会从磁盘中加载其他数据。
浏览 0提问于2017-10-09得票数 30
回答已采纳
有人能解释一下AWS Glue如何分割单个大文件吗？如果使用spark.sql.files.maxPartitionBytes将大文件转换为分区，如何在胶水作业中覆盖它？我试过使用sparkConf conf = SparkConf() conf.set('spark.files.maxPartitionBytes',41943040) # 40MB sc= SparkContext().getOrCreate(conf=conf)
我使用的是火花放电。
浏览 2提问于2021-09-23得票数 0
1回答
我需要一些关于Spark+Java编程的帮助。这是我的问题：
我在hdfs中有一个大文件，名为A，另一个大文件名为B。基本上，我需要同时迭代第一个(A)和第二个(B)。我的意思是类似的东西(这是伪代码)：
a = read.A; //Read record from A
b = read.B; // Read record from B
while( a != EOF )
{
if ( a > b)
{
b= read.B;
// Write Output in some way
}
else
{
a= read.
浏览 3提问于2014-11-17得票数 1
回答已采纳
我对集群计算还很陌生，所以我甚至不确定这是否可能。
我成功地在Rstudio中创建了一个spark_context (使用sparklyr)来连接到我们本地的Spark集群。使用copy_to我可以将数据帧从R上传到Spark，但我正在尝试使用spark_read_csv将本地存储的CSV文件直接上传到Spark集群，而无需先将其导入R环境(这是一个5 5GB的大文件)。它不工作(甚至用file:///)，作为位置前缀，并且它似乎只能上传已经存储在集群中的文件。
如何将本地文件直接上传到spark，而无需先将其加载到R？
任何建议都很感谢。
浏览 21提问于2017-01-25得票数 1
回答已采纳
2回答
我在我的系统中以独立模式运行spark (希望在将来进行分发)，以分析一个大于5 GB的非常大的文件。首先，我需要将这个文件从FTP复制到我的本地e.g c:\spark\analysis\bigfile.txt，然后我就可以加载spark文件进行分析了。
我的问题是，如何才能高效地复制如此大的文件而不会出现内存不足？有没有可能在spark中实现？我应该使用像kafka这样的流媒体库吗？
同样的方式，我需要在完成spark分析后向ftp服务器写入一个大文件。
浏览 3提问于2017-12-24得票数 0
1回答
S3并行读写性能？
、、、
考虑一个场景，其中Spark (或任何其他Hadoop框架)从S3读取一个大文件(比如1TB)。多个火花执行器如何从S3并行读取非常大的文件。在HDFS中，这个非常大的文件将分布在多个节点上，每个节点都有一个数据块。在对象存储中，我假定整个文件将位于单个节点(忽略副本)。这将大大降低读取吞吐量/性能。
类似地，HDFS中的大文件写入也应该比S3快得多，因为HDFS中的写入将分布在多个主机上，而所有数据都必须通过S3中的一个主机(为简洁而忽略复制)。
因此，这是否意味着与大数据世界中的HDFS相比，S3的性能要差得多。
浏览 2提问于2019-01-15得票数 12
回答已采纳
我尝试在一个大文件上使用Apache Spark SQL dataframe的聚合函数"first“和"last”，其中有一个spark master和2个worker。当我执行"first“和" last”操作时，我希望返回文件中的最后一列；但看起来Spark返回的是worker分区中的"first“或"last”。
有没有办法在聚合函数中获得“真正的”第一个和最后一个值？
谢谢,
浏览 0提问于2016-01-23得票数 1
1回答
除了重新分区(这减慢了处理速度)，还有其他方法将所有1mb文件合并成多个大文件吗？
在500 on的数据上运行spark代码，在100个执行器上运行24个核，但将它们保存到包含128 on的大型文件中。现在，它正在保存每个文件1MB。
spark.sql("set pyspark.hadoop.hive.exec.dynamic.partition=true")
spark.sql("set pyspark.hadoop.hive.exec.dynamic.partition.mode=nonstrict")
spark.sql("set hive.
浏览 0提问于2019-06-27得票数 2
回答已采纳
1回答
这可能是一个愚蠢的问题。我想确保我正确地理解了这一点。
当你在一个巨大的文件(400GB)到一个集群中，那里的集体执行器内存只有120GB，火花似乎是永远读取。它不会崩溃，也不会启动第一个地图作业。
我认为发生的情况是，Spark正在以流的形式读取大文件，并在executors耗尽内存时开始丢弃较旧的行。当开始执行.map代码时，这显然是一个问题，因为executor jvm将再次从头开始读回文件。我想知道，Spark是否以某种方式将数据溢出到硬盘上，类似于shuffle溢出机制。
注意，我指的不是缓存过程。这与使用sc.textFile(filename)的初始读取有关
浏览 3提问于2015-06-29得票数 9
回答已采纳
我正在尝试使用PySpark执行数据转换。
我有一个带有数据的文本文件(CHANGES.txt)
我能够执行以下命令：
RDDread = sc.textFile("file:///home/test/desktop/CHANGES.txt")
但是当我跑的时候：RDDread.first()
然后我得到了错误：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/srv/spark/python/pyspark/rdd
浏览 0提问于2017-01-04得票数 3
回答已采纳
我试图使用Kafka接收器将ApacheSpark2.3.1的流输出发送到Apache：
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types.StructType
import org.apache.spark.sql.functions._
import org.apache.spark.sql.functions.udf
import org.apache.kafka.clients
import org.apache.spark.streaming
import java.sql.Times
浏览 2提问于2018-09-14得票数 1
回答已采纳
当我试着这个
filePath1='/tmp/cs/data_train/cs_subsprofile.csv'
fd_subsprofile=spark.read.format("csv").schema(schema_f_d_subs_profile).load(filePath1)
或
fd_subsprofile = spark.read.csv('/tmp/cs/data_train/cs_subsprofile.csv', header = True)
它是成功的，但是当我尝试
data = pd.read_csv('/tmp
浏览 1提问于2021-09-23得票数 0
回答已采纳
1回答
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/tmp/hadoop-hp/nm-local-dir/usercache/hp/filecache/28/__spark_libs__5301477595013800425.zip/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hp/hadoop-2.7.5
浏览 0提问于2018-04-06得票数 1
回答已采纳
对于我的大多数文件，当我读入带分隔符的文件并将它们写出到snappy parquet时，spark会像我预期的那样执行，并创建多个分区的snappy parquet文件。 也就是说，我有一些用管道分隔的大型.out文件(25GB+)，当我读入它们时： inputFile = spark.read.load(s3PathIn, format='csv', sep=fileSeparator, quote=fileQuote, escape=fileEscape, inferSchema='true', header='true', multili
浏览 17提问于2021-07-19得票数 0
我想在本地磁盘上写一个大文件。我将大文件分割成许多小文件，并尝试将其写入磁盘。但我观察到，当我拆分文件并尝试写入时，磁盘写入时间会大大增加。
此外，我从磁盘复制文件，并将其写入另一台计算机的磁盘(Reducer)。我观察到读取时间也有很大的增加。有人能给我解释一下原因吗？我正在使用hadoop。
谢谢!
浏览 0提问于2012-10-31得票数 2
回答已采纳
Pcollection<String> p1 = {"a","b","c"}
PCollection< KV<Integer,String> > p2 = p1.apply("some operation ")
//{(1,"a"),(2,"b"),(3,"c")}
我需要让它可扩展到像Apache Spark这样的大文件，这样它的工作方式就像：
sc.textFile("./filename").zipWithIndex
我的
浏览 1提问于2018-12-12得票数 0
3回答
我需要在Java中对大文件执行简单的grep和其他操作。我对Java NIO实用程序不是很熟悉，但我想这就是我需要使用的。对于读/写大文件，你有什么资源或有用的提示。另外，我正在开发一个SWT应用程序，需要在GUI上的文本区域中显示部分数据。
浏览 1提问于2009-02-25得票数 0
回答已采纳
我只是在学习Node.js，并且(至少)对一件事感到困惑。看来，Node.js在处理多个上传或下载大文件的请求时没有任何问题。每个请求可能需要几分钟才能完成。为什么当其中一个请求被服务时，事件循环没有被冻结？
-brian
浏览 0提问于2013-06-25得票数 2
回答已采纳
1回答
我已经完成了所有依赖项的线程，以便将运行在aws上的火花连接到s3桶上，但是我的问题似乎略有不同。在我看到的所有其他讨论中，s3和s3a协议具有相同的依赖关系。不知道为什么其中一个在为我工作而另一个却不在。目前，在本地模式下运行spark，s3a做得很好，但我的理解是，在EMR上运行s3是支持的(因为它依赖HDFS块存储)。要让s3协议发挥作用，我缺少什么？
spark.read.format("csv").load("s3a://mybucket/testfile.csv").show()
//this works, displays the df
对比
sp
浏览 5提问于2019-10-14得票数 2
回答已采纳
1回答
我已经用HDFS设置了一个Spark集群配置，并且我知道在HDFS示例中，Spark将读取默认的文件路径：
/ad-cpc/2014-11-28/ Spark will read in : hdfs://hmaster155:9000/ad-cpc/2014-11-28/
有时，我想知道如何在没有reConfig我的集群(不使用hdfs)的情况下，强制Spark在本地读取文件。
请帮帮我！
浏览 2提问于2014-11-28得票数 4
回答已采纳
我要问的问题非常简单。让我们简单地说，我想读取一个大文件(6GB)，而不让堆耗尽内存。我该怎么做。(我主要问的是是否有方法读取文件的一部分、清除缓冲区并读取文件的下一部分)
浏览 1提问于2017-01-30得票数 0
回答已采纳
1回答
我有一个用例，其中我们有800000个json文件，每个文件大小为2KB。我们的需求是将这些较小的文件合并成一个大文件。我们已经尝试在Spark中使用repartition和coalesce实现这一点。然而，我们发现这并不有效，因为这比预期消耗了更多的时间。有没有其他方法可以以一种出色的方式实现同样的目标呢？
感谢你的帮助。提前谢谢。
浏览 1提问于2018-03-01得票数 1
我尝试使用textFile方法从spark-shell中使用WEB，但出现错误。也许这不是正确的方式。所以谁能告诉我如何从火花上下文访问web URL。
我使用的是spark版本1.3.0；Scala版本2.10.4和Java 1.7.0_21
hduser@ubuntu:~$ spark-shell
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Welcome to
__
/ / / /
\ \/ \/ `/
浏览 0提问于2015-04-20得票数 9
回答已采纳
更新:文件夹大小为2T！现在我的问题是如何处理这么大的文件与火花？
我有一个巨大的文件夹大小的在线存储(至少200 GB，我不知道确切的大小)。我在计算巨大文件夹中所有文件的行号。
spark.sparkContext.textFile("online/path").filter(x => x.contains("keyword")).count
但总是失败。我检查了Spark，显示总任务数为1,546,000，我的程序在大约完成110,000项任务后失败。
我试着检查日志文件，但是日志文件本身是巨大的，并且在我的浏览器中读取时被卡住了。
我还尝试了ma
浏览 2提问于2017-04-19得票数 0
回答已采纳
2回答
假设我有一个4 nodes集群，每个集群都有1 core。我有一个600 Petabytes大小的大文件，我想通过Spark来处理。文件可以存储在HDFS中。
我认为这样可以决定不。分区的值是文件大小/总数no。集群中的核心。如果是这样的话，我将使用4 partitions(600/4)，所以每个分区都是125 PB大小的。
但是我认为125 PB对于分区来说太大了，所以我的想法也是正确的。隔断。
PS:，我刚从Apache Spark开始。所以，如果这是一个天真的问题，我很抱歉。
浏览 1提问于2018-07-27得票数 2
回答已采纳
我有一个关于如何使用Spark处理大文件的问题。假设我有一个非常大的文件(1 TB)，而我的集群中只能访问500 TB的RAM。一个简单的单词计数应用程序将如下所示：
sc.textfile(path_to_file).flatmap(split_line_to_words).map(lambda x: (x,1)).reduceByKey()
当我无法访问足够的内存时，上述应用程序会因为OOM而失败吗？如果是这样，我有什么方法可以解决这个问题？
浏览 10提问于2020-08-03得票数 0
回答已采纳
我已经阅读了AppendText和FileMode.Append的文档，它们说它会查找到文件流的末尾。尚不清楚的是，这是否比读取到文件末尾的其他技术更有效。寻道是否会导致读取整个文件？
我只是想更好地理解这一点，这样我就能理解在处理超大文件时的性能影响。
浏览 4提问于2013-04-12得票数 1
回答已采纳
我已经设置了一个spark集群，所有节点都可以访问网络共享存储，在那里它们可以访问要读取的文件。我在python jupyter笔记本上运行它。几天前它还在工作，现在它停止工作了，但我不确定为什么，或者我改变了什么。
我已经尝试重新启动节点和主节点。
我还尝试将csv文件复制到一个新目录，并将spark.read指向该目录，但仍然显示相同的错误。
当我删除csv文件时，它给出了一个简短得多的错误消息“file not found”。
任何帮助都将不胜感激。
这是我的代码：
from pyspark.sql import SparkSession
from pyspark.conf import
浏览 1提问于2017-08-02得票数 0
回答已采纳
1回答
实际上，我最近正在使用Greenplum外部表，我对此很好奇：
将外部表的数据分布到大量的小文件(小于100KB)，而不是几个大文件(可能是几十到几百MB)，是否存在性能差异？
除了性能方面还有什么不同吗？
浏览 0提问于2018-07-04得票数 1
在.net框架中可以读取的最大文件大小是多少？
它是最大长度(Int64)，因为它是所有阅读器中Seek方法的偏移量类型？
浏览 1提问于2010-01-17得票数 5
回答已采纳
我试着用火花来处理，10 me的数据--它给了我这个错误，
java.lang.OutOfMemoryError: GC开销限制超过
笔记本电脑的配置是: 4CPU，8个逻辑核心，8GB内存。
提交火花作业时的火花配置。
spark = SparkSession.builder.master('local[6]').config("spark.ui.port", "4041").appName('test').getOrCreate()
spark.conf.set("spark.executor.instances
浏览 3提问于2020-04-11得票数 0
我执行了下面的简单脚本，使用Spark上下文在内存中创建临时表
import sys.process._
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val zeppelinHome = ("pwd" !!).replace("\n","")
val bankText = sc.textFile(s"$zeppelinHome/data/bank-full.csv")
case class Bank(age:Integer, job:String, marit
浏览 1提问于2015-09-30得票数 1
回答已采纳
1回答
正如标题说的那样，我对上传视频有问题。我需要做一个表单，上传一个文件到一个文件夹，它可以处理照片，甚至视频(或者无论如何，.mp4文件)。
当我试图上传大文件时，问题就出现了，因为PhP失败了。
我已经修改了php.ini post最大大小、最大文件大小、内存限制，甚至修改了处理脚本或输入脚本的时间，但是如果无论如何都不能工作的话。
我注意到的一件奇怪的事情是，当我试图上传大文件时，看起来像php遗漏了文件的名称和扩展名，即使它与小文件完美地工作。
我怎么才能解决这个问题？在脚本上有什么PhP命令设置吗，或者php.ini中的其他命令，看起来php指南帮不了我。
$extension = pa
浏览 3提问于2017-08-12得票数 0
回答已采纳
在Hadoop中，考虑一个大文件已经加载到hdfs文件系统的场景，使用hdfs dfs put或hdfs dfs CopyFromLocal命令，大文件将被拆分成块(64MB)。
在这种情况下，当需要创建customRecordReader来读取bigfile时，请解释使用FileSplit的原因，因为bigfile在文件加载过程中已经被拆分，并且以拆分的块的形式存在。
浏览 3提问于2014-12-31得票数 0
在Spark中，事件日志目录和历史服务器日志目录有什么区别？
spark.eventLog.dir hdfs:///var/log/spark/apps
spark.history.fs.logDirectory hdfs:///var/log/spark/apps
浏览 3提问于2015-08-14得票数 18
我正在使用Kafka运行一个结构化的流应用程序。我发现如果由于某种原因系统停机了几天...检查点变得陈旧，并且在Kafka中找不到与检查点对应的偏移量。我如何让Spark结构化流媒体应用选择最后一个可用的偏移量，并从那里开始。我尝试将偏移量重置设置为较早/最新，但系统崩溃，出现以下错误：
org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {MyTopic-574=6559828}
at
浏览 3提问于2020-04-19得票数 0
2回答
第一个count()方法调用时非常简单的Scala代码文件。
def main(args: Array[String]) {
// create Spark context with Spark configuration
val sc = new SparkContext(new SparkConf().setAppName("Spark File Count"))
val fileList = recursiveListFiles(new File("C:/data")).filter(_.isFile).map(file =>
浏览 6提问于2016-12-16得票数 0
回答已采纳
我正在尝试通过将文件分割为移动中的数据块来解析一个大文件。有人能帮我解决这个问题吗?因为我不是Node.js专家。
浏览 1提问于2014-02-06得票数 0
是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式文件存储？
浏览 3提问于2021-03-25得票数 0
1回答
我在一个Java应用程序中使用SparkSQL对CSV文件进行一些处理，使用Databricks进行解析。
我正在处理的数据来自不同的来源(远程网址，本地文件，谷歌云存储)，我习惯于把所有东西都转换成InputStream，这样我就可以解析和处理数据，而不需要知道它来自哪里。
我在Spark上看到的所有文档都是从一个路径读取文件，例如
SparkConf conf = new SparkConf().setAppName("spark-sandbox").setMaster("local");
JavaSparkContext sc = new JavaSpar
浏览 0提问于2016-07-21得票数 14
回答已采纳
1回答
我使用的是容器，它基于容器。
我如何解决这个异常：
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/README.md
Main.java
context = new SparkContext(
new SparkConf()
.setAppName("Test App")
.setMaster("spark://s
浏览 0提问于2018-08-08得票数 0
我正在从事Spark Streaming的工作，我想设置一个本地目录来将数据流式传输到我的spark应用程序中，这样目录中的每个新文本文件都将被流式传输到我的应用程序中。我尝试使用StreamingContext的textFileStream方法，但我没有从我移动到指定的本地目录的文件中获得任何数据。你能帮我找出为什么会发生这种情况吗？
下面是我写的代码：
def main():
if len(sys.argv) != 5:
print 'Usage: SPARK_HOME/bin/spark-submit CoinpipeVectorBuilder.py <S
浏览 3提问于2015-02-26得票数 2
2回答
我从hive表/视图中选择数据，但是spark-shell或beeline没有提取字符编码，但是如果我从Ambari(直接throguh Hive)选择相同的数据，但是出于安全原因，从命令行Hive被禁用。请参考以下数据： Ambari Data:
•Construction Maintenance
• 524 N. Martin Luther King Jr.
‘SS-MN-BAE – Other’
¿NPM¿ GOVT/GS SCD US ARM
¿MCCRAY,LORENZO
beeline data:
?Construction Mai...
? 524 N. Martin L
浏览 19提问于2019-01-11得票数 0
回答已采纳
1回答
我正在为文件编写3D模型数据，同时包含许多不同类型的信息(网格、纹理、动画等)，大小约为50到100 mb。
我想把所有这些都放在一个文件中，但如果我只需要读取该文件的一小部分就能得到我想要的东西，恐怕要花费我的钱。
我应该为此使用多个较小的文件，还是一个非常大的文件可以吗？我不知道文件系统如何处理试图跳过大型文件的问题，因此，就我所知，迭代一个大文件要么代价高昂，要么根本没有问题。
另外，如果使用单个大文件，我必须做什么特别的事情吗？
浏览 4提问于2015-07-12得票数 2
回答已采纳
2回答
我有一个spark流作业，批处理间隔为2分钟(可配置)。
此作业读取Kafka主题，创建一个数据集，并在其上应用模式，然后将这些记录插入到Hive表中。
Spark作业在配置单元分区中为每个批处理间隔创建一个文件，如下所示：
dataset.coalesce(1).write().mode(SaveMode.Append).insertInto(targetEntityName)；
现在传入的数据并不是那么大，如果我将批处理持续时间增加到10分钟左右，那么我最终可能只获得2-3mb的数据，这远远小于块大小。
这是Spark Streaming中的预期行为。
我正在寻找有效的方法来做一个后期处理
浏览 0提问于2018-03-20得票数 2
1回答
我需要上传和读取大文件(大小超过500MB)。我在SQL Server中有一个数据类型为varbinary(MAX)的列文件要存储。
我想上传和读取文件使用C#。我需要传递字节数组来存储SQL Server数据库中的文件。但我得到错误，而初始化字节，而上传大文件。
我可以上传大小为250MB的文件。但是我尝试上传超过500MB的文件，在初始化字节数组时抛出“内存不足”异常。
byte[] fileByte = new byte[file.ContentLength]; // "Out of Memory" exception
file.InputStream.Read(fi
浏览 2提问于2017-08-30得票数 0
世界,
我是spark的新手。
我注意到了这个网上的例子：
我对这个语法很好奇：
// Prepare training data from a list of (label, features) tuples.
val training = spark.createDataFrame(Seq(
(1.0, Vectors.dense(0.0, 1.1, 0.1)),
(0.0, Vectors.dense(2.0, 1.0, -1.0)),
(0.0, Vectors.dense(2.0, 1.3, 1.0)),
(1.0, Vectors.dense(0.0, 1.2,
浏览 18提问于2016-09-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
