我正尝试在Hive中使用ACID事务，但在使用Spark添加数据时遇到了问题。string)STORED AS ORC TBLPROPERTIES('transactional'='true');并且我已经能够使用这个查询来删除行：
DELETE FROM testdb.test WHERE
浏览 0提问于2016-09-15得票数 3
使用HDP 3.1中的Spark 2.4和Hive 3.1.0，我试图使用spark sql从hive读取托管表，但它返回一个空的dataframe，而它可以轻松地读取外部表。如何通过spark sql从hive读取托管表？ 注意:当从hive客户端读取时，hive maanged表不是空的。 1-我尝试通过ORC和拼花来格式化表格，但两者都失败了。2-我无法使用HWC读取
浏览 26提问于2019-09-25得票数 1
3回答
如何在spark中读取orc事务单元表？hive> create table default.Hello(id int,name string) clustered by('transactional'='
浏览 0提问于2018-05-09得票数 4
val spark = SparkSession .appName("Spark Hive Example") .enableHiveSupport()当我使用spark-shell执行spark-sql从Hive</em
浏览 1提问于2017-11-10得票数 1
我在本地安装了Apache，并试图通过Rstudio/sparklyr读取表。我使用Hive创建了一个数据库：我试着用下面的R脚本读取这个数据库：library(dplyr)config$spark.sql.hive.me
浏览 3提问于2017-05-31得票数 3
回答已采纳
我有一个Hive表X，它在HDFS上有多个文件。表X在HDFS上的位置是/data/hive/X。文件：/data/hive/X/f2提前谢谢。
浏览 8提问于2016-09-14得票数 0
回答已采纳
在Spark2.2中，基于成本的优化器选项已经启用。文档似乎是说，在启用此选项之前，我们需要分析Spark中的表。我想知道，当我们将来自Hive的所有表数据作为数据存储层时，这个选项是否有用。由于spark将使用Hivetablescan (避免映射/减少)读取Hive，所以在从Hive读取数据时使用CBO配置是否有意义。
浏览 4提问于2018-08-28得票数 2
回答已采纳
我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。
浏览 3提问于2021-08-16得票数 3
回答已采纳
我已经在Qubole(Hive)中创建了一个外部表，它从s3读取parquet(压缩: snappy)文件，但是在执行SELECT * table_name时，我将获得除分区列之外的所有列的空值。我检查了拼花文件，并能够使用拼花工具读取数据：{"col_2":1234,"col_3":ABC}(
col2
浏览 0提问于2019-05-15得票数 2
我尝试过使用PySpark访问Hive事务表(它在HDFS上有底层的增量文件)，但是我无法通过sparkContext/hiveContext读取事务表。
浏览 5提问于2019-08-01得票数 1
回答已采纳
1回答
我正在尝试开发一个通用的实现来使用Spark来支持从各种符合JDBC的数据库(如PostgreSQL、MySQL、Hive等)读取/写入数据。 .builder() .getOrCreate()首先，我的read无法读取任何数据</
浏览 6提问于2019-11-12得票数 0
2回答
我正在使用PySparkwarehouse_location = '\user\hive\warehouse'spark=SparkSession.builder.appName("Pyspark").config("spark.sql.warehouse.dir", warehouse_location).enableHiveSupport().getOrCreate()
DF = s
浏览 0提问于2018-05-07得票数 0
回答已采纳
3回答
：set hive.optimize.ppd=true;sethive.tez.bucket.pruning=true;set hive.fetch.task.conversion=none;
现在，当我尝试使用spark读取同一个蜂箱表db.abc时
浏览 3提问于2020-02-06得票数 4
回答已采纳
我可以使用哪些亚稳态/数据目录选项？
在简单的例子中，我可以使用蜂巢Metastore -它与蜂巢，火花和普雷斯托的工作很好。这里还有其他数据目录选项可以使用吗？
浏览 0提问于2019-07-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
