我在Spark中有一个数据帧，我正在将它作为table.But保存在我的hive中，以获取下面的错误消息。allow create table as select.at scala.sys.package$.error(package.scala:27) .option("table", "tablename")
.mode("Ap
浏览 32提问于2020-05-15得票数 0
我正在尝试编写一个依赖于DataFrame.saveAsTable()的单元测试用例(因为它是由文件系统支持的)。(commands.scala:54) at org.apache.spark.sql.execution.ExecutedCommand.execute(commands
浏览 4提问于2015-05-29得票数 8
1回答
我需要加载在DataFrame中创建的SparkR，以便在Hive中加载。16/08/24 23:08:36 ERROR RBackendHandler: saveAsTable on 13 invokeJava中的失败错误(isStatic= FALSE，objId$id：java.lang.RuntimeException:用SQLContext创建的表必须是临时的。使用HiveContext代替。$.error(package.scal
浏览 4提问于2016-08-24得票数 1
回答已采纳
我试图以DataFrame模式(对于我的应用程序来说是必需的)将Hive表(在S3上)写入一个Overwrite表，并且需要在DataFrameWriter的两种方法(Spark / Scala)之间做出决定从我在中可以看到的情况来看，df.write.saveAsTable在以下方面与df.write.insertInto不同：
saveAsTable使用基于列名的解析，而insertInto使用基于
浏览 25提问于2017-12-16得票数 35
回答已采纳
当试图通过spark保存到MySQL数据库时，我得到了以下错误：: java.lang.RuntimeExceptionat scala.sys.package$.error(package.scala:27)
at org.apache.spark.sql.sources.ResolvedDataSource$(SQLContext.scala:10
浏览 4提问于2015-10-07得票数 4
回答已采纳
我可以这样写我的dataframe作为一个hive表： mydf.write.format("parquet").saveAsTable("mydb.mytable") 但是当我尝试使用" append“模式在同一个表中添加相同的数据时，如下所示： mydf.write.mode("append").format("parquet").saveAsTable("mydb.mytable") 我得到
浏览 132提问于2021-01-08得票数 1
我有一个查询结果，我试图将其写入GCP上的Hive表，并指向GCS bucket path，但当我执行saveAsTable()方法时，它失败了，错误如下。(DataFrameWriter.scala:273)org.apache.spark.sql.DataFrameWriter.save(DataFrameWriter.scala</em
浏览 0提问于2020-10-13得票数 2
2回答
我试图从Spark将数据插入到Hive外部表中。我是通过以下命令创建hive外部表的在火花作业中，我编写了以下代码数据集df = session.read().option("header.;
at org.apache.sp
浏览 1提问于2018-10-10得票数 0
回答已采纳
for details at org.apache.spark.sql.DataFrameWriter.saveAsTable(DataFrameWriter.scala:209)
at org.apache.spark.sql.DataFrameWriter.saveAsTable(DataFrameWriter.<em
浏览 2提问于2016-03-18得票数 3
回答已采纳
:1099) at org.apache.spark.sql.SQLContext$QueryExecution.toRdd(SQLContext.scala:1099) at org.apache.spark.sql.DataFrame.saveAsTable(DataFrame.scala:1121) at org.apache.spark.sql.DataFrame.saveAsTable(DataFrame.scala:1071) at org
浏览 0提问于2015-08-02得票数 2
我正在尝试将我的Spark dataframe (在电子病历上运行的齐柏林飞艇笔记本)保存到我的亚马逊网络服务账户中的GlueCatalog上。当我不使用bucketBy()时，saveAsTable()方法可以正常工作。当我使用它的时候，我会得到UnknownHostException我的问题是:该主机
浏览 0提问于2019-08-28得票数 0
我正试着把数据保存到蜂巢表中。简化的代码如下所示：df.write().mode("overwrite").saveAsTable("schemaName.tableName:55)
at org.apache.spark.sql.DataFrameWriter.saveAsTable(DataFrameWriter.scala:251)
浏览 2提问于2016-09-12得票数 4
1回答
然而，我面临着网关的问题:一些未解决的主机具有ec2实例的公共IP。('example') at org.apache.spark.sql.DataFrameWriter.saveAsTable(DataFrameWriter.scala:444)
at org.apache.spark.sql.DataFrameW
浏览 3提问于2019-03-26得票数 2
回答已采纳
1回答
我在Spark1.6上有多个线程在同一个蜂箱表中写入(使用拼花文件)，当它们试图同时写入时，会在将文件重命名为HDFS的过程中提示一个错误。我正在寻找一个解决方案来绕过这个已知的火花问题。{ myTable.write.format("parquet").mode("append")
.saveAsTable(commands.scala</
浏览 2提问于2018-12-28得票数 2
1回答
我有一个奇怪的错误，我试图写数据给蜂巢，它在火花壳工作良好，但当我使用火花提交，它抛出数据库/表在默认错误中找不到。下面是我试图在spark submit中编写的代码，我使用的是自定义构建的spark 2.0.0
val sqlContext = new org.apache.spark.sql.SQLContext18 INFO SparkSqlParser:解析命令: spark_schema.mea
浏览 4提问于2016-05-20得票数 0
回答已采纳
2回答
我通过在我的数据帧上调用.saveAsTable创建了一个Spark SQL表。该命令完全成功。但是，现在当我查询表时，拼图文件似乎已损坏。java.io.IOException: hdfs://ip:8020/user/hive/warehouse/people/part-r-00001.parquet not a SequenceFile"scala
浏览 3提问于2016-01-20得票数 1
我正在尝试将数据追加到配置单元中的现有表中。但是当我打电话给数据已成功保存，但我收到以下错误(DataFrameWriter.scala:727)
at org.apache.spark.sql.DataFrameWriter.saveAsTable<
浏览 4提问于2021-05-19得票数 1
我能够使用scala创建databricks增量表，并能够对其执行追加和覆盖操作。 有没有办法可以使用scala而不是Databricks运行时来执行删除和更新操作？Data("b", "1"), Data("d", "3")
).toDF().write.format("delta").mode("overwrite").saveAsTable</em
浏览 6提问于2019-05-29得票数 0
我在蓝色突触的笔记本上写了下面的代码val df = spark.read.sqlanalytics("emea_analytics.abc.cde_mydata") 我得到了以下错误：
Error: com.microsoft.spark.sqlanalytics.exception.SQLAnalyticsConnec
浏览 1提问于2021-03-09得票数 1
回答已采纳
我在unix cli中运行scala_script.scala，得到的错误是：enycription key missing，而同样的scala代码在spark-shell中运行良好。代码用于访问配置单元表，将其加载到dataframe中，处理一些转换，然后再次执行：write.mode("append/overwrite").saveAsTable("my_db.my_tab
浏览 3提问于2018-05-08得票数 0
云服务器
ICP备案
对象存储
云点播
智聆口语评测
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号