1回答
我们在CDH 5.5集群上使用spark 1.6.1。这项工作在Kerberos上工作得很好，但当我们实现静态加密时，我们遇到了以下问题：at org.apache.spark.sql.execution.ExecutedCommand.doExecute(commands.scala:70)
at org.apa
浏览 8提问于2017-01-31得票数 1
回答已采纳
我刚刚开始使用spark和scala.Trying来读取文本文件并将其保存为拼图文件。对我来说，我使用的一个字段是TimeStamp，文档上说spark1.1.0支持java.util.TimeStamp。我在保存到parquet文件时遇到的运行时错误是
线程"main“java.lang.RuntimeException中出现异常:在org.apach
浏览 2提问于2014-10-11得票数 3
2回答
当Spark将dateframe数据写入拼图文件时，Spark将创建一个包含多个独立拼图文件的目录。保存代码： .mode("overwrite")我需要
浏览 30提问于2019-08-07得票数 1
回答已采纳
我使用spark-structured-streaming作为消费者从kafka获取数据，按照指南参考https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html然后将数据保存到hdfs作为拼图文件。这是我的问题:程序运行良好，但一些容器很少失败(但它确实发生了)，导致了一些损坏的拼接文件。它将导致错误，如不是拼图
浏览 20提问于2019-05-25得票数 0
我有一个包含拼图文件的文件夹。= [value: int]
当我去读取df文件夹中的所有拼图文件时，在保存数据帧后，它给出了错误scala> val read = spark.read.parquet(&quo
浏览 0提问于2017-03-27得票数 13
回答已采纳
我可以做这样的事情：我可以保存文件我在其他地方找到的用于传入的拼图文件的代码是：
val df = spark.read.parquet("resources/Parquet/MyFile.parquet/
浏览 12提问于2021-03-09得票数 0
我正在运行Spark Notebook，将DataFrame保存为Bluemix对象存储中的拼图文件。df = sqlContext.sql("SELECT * FROM table")
df.write.parquet("swift://my-container.spark
浏览 0提问于2016-05-12得票数 0
2回答
我有一个月的数据存储在HDFS中。31个文件夹，每个文件夹以yyyy-mm-dd格式按日期表示。举例: 2020-01-30 每隔5分钟我们将获得数据，我们将使用spark append mode将数据保存为拼图文件。一小时12个文件，一天288个文件。因此每个文件夹包含大约288个拼图文件。因此，对于一月份，它是关于8928(31*288)<e
浏览 41提问于2020-01-31得票数 1
1回答
我有一个需要将拼图文件从Lambda保存到S3的用例。我需要在append模式下存储Lambda函数中触发的事件。
我尝试使用Avro，但它不允许将数据以append模式存储在相同的拼图文件中。到目前为止，我发现spark允许以附加模式将数据存储在拼图文件中……然后，我可以使用Lambda提交一个存储数据的spark作业。你对这个可行的解决方案有
浏览 4提问于2017-04-30得票数 1
15回答
true),StructField(response,ShortType,true)))outcome2 = sqlc.read.parquet(response) # fail在……里面
/usr/local/lib/python2.7/dist-packages/pyspark-2.1.0+hadoop2.7-py2.7.egg/pyspark/sq
浏览 2提问于2017-07-07得票数 38
创建作为拼图位置'wasb://sparkblob@lntsparkblobaccount.blob.core.windows.net/empparquet'；存储的外部表parquet_emp_parquet
浏览 14提问于2017-08-10得票数 0
检查点版本：spark.sparkContext.setCheckpointDir(savePath)写入磁盘版本：val df = spark.read.parquet(savePath)
我认为两者都以同样的方式打破了血统。在我的实验中，磁盘上的checkpoint比parquet大了近30 (689 my对24 my)。在运行时间方
浏览 1提问于2018-08-10得票数 19
1回答
我的拼图文件的当前模式是：org.apache.spark.sql.types.StructType = StructField(route,StringType,true), StructField(wgt,StringType,true))org.apache.spark.sql.types.StructType= StructField(route,StringType,true
浏览 11提问于2021-06-02得票数 0
当我尝试使用pyspark从本地目录保存拼图文件时，出现以下错误。我尝试了spark 1.6和2.2，两者都给出了相同的错误 df2.printSchema()
org.apach
浏览 0提问于2017-11-10得票数 0
我用Sqoop 1.4.5以拼图格式从mssql服务器导入了一个表。但是当我试图从Spark shell加载它时，它抛出了错误，如下所示：scala.collection.parallel.CompositeThrowableat scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWo
浏览 2提问于2015-04-15得票数 0
中的Redshift database。user=user&password=password").load()org.apache.spark.sql.AnalysisExceptionIt must be specified manually.;
我不确定在读取数据时是否指定了正确的format。我也读到过spark-redshift driver是可用的，但
浏览 4提问于2018-09-12得票数 4
我使用pyarrow(0.12.1)从s3读取拼图对象s3 = s3fs.S3FileSystem()尝试创建ParquetDataset时出现以下错误：
"除了我正在使用的拼图</e
浏览 22提问于2019-11-09得票数 1
似乎在Spark 2.1.0中，保存空的Parquet文件被破坏了，因为无法再次读取它们(由于错误的模式推断)。我发现，从Spark2.0开始，在编写拼图文件时，默认情况下禁用_metadata文件的写入。但是我找不到配置设置来重新打开它。') \和一些完全不同的组合，例如没有spark.ha
浏览 52提问于2017-01-25得票数 3
回答已采纳
从Azure Data Factory生成拼图文件(复制活动-从Azure SQL复制到数据湖中的拼图)。当我尝试从蜂窝中读取相同的拼图时，它给出了错误，因为org.apache.parquet.io.ParquetDecodingException:无法读取块中0的值。如果你使用Spark生成拼图，那么你可以设置Spark.sql.parquet.writeLegacyForma
浏览 0提问于2021-07-02得票数 0
我正在尝试恢复一些以拼图格式保存的历史备份文件，我想从它们中读取一次，并将数据写入PostgreSQL数据库。我知道使用spark保存备份文件，但对我来说有一个严格的限制，即我不能在DB机器中安装spark，也不能在远程设备中使用spark读取拼图文件，并使用spark_df.write.jdbc将其写入数据库一切都需要在DB机器上进行，在没有<
浏览 1提问于2019-11-10得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
